JP2003009155A - 画像復号方法とその装置、および画像符号化方法とその装置 - Google Patents
画像復号方法とその装置、および画像符号化方法とその装置Info
- Publication number
- JP2003009155A JP2003009155A JP2001185593A JP2001185593A JP2003009155A JP 2003009155 A JP2003009155 A JP 2003009155A JP 2001185593 A JP2001185593 A JP 2001185593A JP 2001185593 A JP2001185593 A JP 2001185593A JP 2003009155 A JP2003009155 A JP 2003009155A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene change
- stream
- images
- intermediate image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 シーンチェンジ検出のため符号化画像を復号
した上で前後画像の比較を行う場合、処理時間がかかり
素早いシーンチェンジ検出が難しい。 【解決手段】 逆量子化器１８で得られる第１と第２中
間画像のＬＬサブバンドを中間画像メモリ３０に保存
し、シーンチェンジ判定部５０がそれら保存されたデー
タを比較することで、シーンチェンジが存在するか否か
判定する。
した上で前後画像の比較を行う場合、処理時間がかかり
素早いシーンチェンジ検出が難しい。 【解決手段】 逆量子化器１８で得られる第１と第２中
間画像のＬＬサブバンドを中間画像メモリ３０に保存
し、シーンチェンジ判定部５０がそれら保存されたデー
タを比較することで、シーンチェンジが存在するか否か
判定する。
Description
【０００１】
【発明の属する技術分野】この発明は、画像処理技術に
関する。この発明は特に、動画像のシーンチェンジ検出
を行うための画像復号および画像符号化技術に関するも
のである。
関する。この発明は特に、動画像のシーンチェンジ検出
を行うための画像復号および画像符号化技術に関するも
のである。
【０００２】
【従来の技術】動画像を再生する場合、場面の変化を検
出することをシーンチェンジ検出という。
出することをシーンチェンジ検出という。
【０００３】通常シーンチェンジ検出は、再生装置また
は編集装置において所望の場面を検出することにより頭
出し作業を効率よく行うために利用される。シーンチェ
ンジ検出方法として、一般に画像フレーム間の変化の情
報を利用する。例えば画像フレーム間の相関係数をとる
手法や、画像フレームに含まれる画素値を統計処理し画
像フレーム間の差分をとる手法などが知られている。
は編集装置において所望の場面を検出することにより頭
出し作業を効率よく行うために利用される。シーンチェ
ンジ検出方法として、一般に画像フレーム間の変化の情
報を利用する。例えば画像フレーム間の相関係数をとる
手法や、画像フレームに含まれる画素値を統計処理し画
像フレーム間の差分をとる手法などが知られている。
【０００４】このような手法において、従来技術では表
示される画像を単位として前後の画像フレームの画素値
のうち輝度成分を比較することにより、シーンチェンジ
を検出することが一般的である。
示される画像を単位として前後の画像フレームの画素値
のうち輝度成分を比較することにより、シーンチェンジ
を検出することが一般的である。
【０００５】
【発明が解決しようとする課題】ＭＰＥＧ（Moving Pic
ture Experts Group）等の技術で圧縮された動画像にお
いても、符号化画像を一度完全に復号した画像データに
対し、例えば前記の相関係数を調べるなどの処理を施し
シーンチェンジを検出する。従って、この手法によりシ
ーンチェンジを検出するためには、一般に大きなメモリ
領域が必要であり計算量が多く、検出の効率化には改善
の余地がある。
ture Experts Group）等の技術で圧縮された動画像にお
いても、符号化画像を一度完全に復号した画像データに
対し、例えば前記の相関係数を調べるなどの処理を施し
シーンチェンジを検出する。従って、この手法によりシ
ーンチェンジを検出するためには、一般に大きなメモリ
領域が必要であり計算量が多く、検出の効率化には改善
の余地がある。
【０００６】本発明はこのような状況に鑑みてなされた
ものであり、その目的は効率的なシーンチェンジ検出を
可能とする画像復号技術および画像符号化技術を提供す
るものである。
ものであり、その目的は効率的なシーンチェンジ検出を
可能とする画像復号技術および画像符号化技術を提供す
るものである。
【０００７】
【課題を解決するための手段】シーンチェンジを検出す
る場合、再生時には復号が完了して得られる画像が対象
となる。しかし、以下の態様では、再生時はあえて復号
を完了させず中間画像を取得し利用する。以降、復号が
完了して得られる最終的な画像を復号画像と呼ぶ。その
場合、これは中間画像を含まないものとする。また、符
号化が行われていない画像を原画像と呼び、符号化画像
が復号されて生成される復号画像とは区別する。
る場合、再生時には復号が完了して得られる画像が対象
となる。しかし、以下の態様では、再生時はあえて復号
を完了させず中間画像を取得し利用する。以降、復号が
完了して得られる最終的な画像を復号画像と呼ぶ。その
場合、これは中間画像を含まないものとする。また、符
号化が行われていない画像を原画像と呼び、符号化画像
が復号されて生成される復号画像とは区別する。
【０００８】中間画像は、原画像を階層化して符号化す
る過程において生じる中間階層の画像であり、その中間
階層の画像は一般に復号の途上においても現れる。中間
階層の画像は、階層化処理の過程で自然に発生すること
が多く、好都合である。以下、単に中間画像というと
き、これは「中間階層の画像」も含むものとする。以
下、復号の途上または符号化の途上で生じる中間画像
は、２次元ウェーブレット変換により符号化された際に
生じるサブバンド成分により形成されている画像として
説明する。
る過程において生じる中間階層の画像であり、その中間
階層の画像は一般に復号の途上においても現れる。中間
階層の画像は、階層化処理の過程で自然に発生すること
が多く、好都合である。以下、単に中間画像というと
き、これは「中間階層の画像」も含むものとする。以
下、復号の途上または符号化の途上で生じる中間画像
は、２次元ウェーブレット変換により符号化された際に
生じるサブバンド成分により形成されている画像として
説明する。
【０００９】本発明のある態様は、画像復号装置に関す
る。この装置は符号化画像のストリームを、順次復号し
て動画像を再生する装置であって、画像メモリとシーン
チェンジ判定部を有する。前記画像メモリは符号化画像
のストリームに含まれる第１の画像フレームの復号途上
において生じる第１の中間画像（以下、「第１中間画
像」という）と、前記ストリームに含まれ第１の画像の
後に再生すべき第２の画像フレームの復号途上において
生じる第２の中間画像（以下、「第２中間画像」とい
う）とを保存する。前記シーンチェンジ判定部は、それ
ら保存された第１中間画像と第２中間画像を比較するこ
とにより、それら画像間にシーンチェンジが存在するか
否かを判定する。
る。この装置は符号化画像のストリームを、順次復号し
て動画像を再生する装置であって、画像メモリとシーン
チェンジ判定部を有する。前記画像メモリは符号化画像
のストリームに含まれる第１の画像フレームの復号途上
において生じる第１の中間画像（以下、「第１中間画
像」という）と、前記ストリームに含まれ第１の画像の
後に再生すべき第２の画像フレームの復号途上において
生じる第２の中間画像（以下、「第２中間画像」とい
う）とを保存する。前記シーンチェンジ判定部は、それ
ら保存された第１中間画像と第２中間画像を比較するこ
とにより、それら画像間にシーンチェンジが存在するか
否かを判定する。
【００１０】シーンチェンジ判定部は、検出されたシー
ンチェンジを手がかりに表示すべき画像フレームを特定
してもよい。
ンチェンジを手がかりに表示すべき画像フレームを特定
してもよい。
【００１１】この態様によれば、シーンチェンジ検出の
際、復号途上において副次的に、また一時的に生じる中
間画像を有効利用できる。したがって復号の完了を待つ
必要がなく、検出処理開始時期が早いため、効率のよい
シーンチェンジ検出処理が可能となる。
際、復号途上において副次的に、また一時的に生じる中
間画像を有効利用できる。したがって復号の完了を待つ
必要がなく、検出処理開始時期が早いため、効率のよい
シーンチェンジ検出処理が可能となる。
【００１２】本発明の別の態様は、画像符号化装置に関
する。この装置は動画像を順次符号化し符号化画像のス
トリームを生成する装置であって、画像メモリとシーン
チェンジ判定部を有し、画像メモリは動画像のストリー
ムに含まれる第１の画像フレームの符号化途上において
生じる第１の中間画像（以下、これも「第１中間画像」
という）と、前記ストリームに含まれ第１の画像の後に
符号化すべき第２の画像フレームの符号化途上において
生じる第２の中間画像（以下、これも「第２中間画像」
という）とを保存し、シーンチェンジ判定部はそれら保
存された第１中間画像と第２中間画像を比較することに
より、それら画像間にシーンチェンジが存在するか否か
を判定する。
する。この装置は動画像を順次符号化し符号化画像のス
トリームを生成する装置であって、画像メモリとシーン
チェンジ判定部を有し、画像メモリは動画像のストリー
ムに含まれる第１の画像フレームの符号化途上において
生じる第１の中間画像（以下、これも「第１中間画像」
という）と、前記ストリームに含まれ第１の画像の後に
符号化すべき第２の画像フレームの符号化途上において
生じる第２の中間画像（以下、これも「第２中間画像」
という）とを保存し、シーンチェンジ判定部はそれら保
存された第１中間画像と第２中間画像を比較することに
より、それら画像間にシーンチェンジが存在するか否か
を判定する。
【００１３】前記画像符号化装置は、シーンチェンジ判
定部によりシーンチェンジが検出されたとき、符号化画
像のストリーム中にその旨を第１の画像フレームまたは
第２の画像フレームの少なくとも一方と関連づけて記録
するインデックス付加部を含んでもよい。
定部によりシーンチェンジが検出されたとき、符号化画
像のストリーム中にその旨を第１の画像フレームまたは
第２の画像フレームの少なくとも一方と関連づけて記録
するインデックス付加部を含んでもよい。
【００１４】本発明のさらに別の態様は、画像復号方法
に関する。この方法は符号化画像のストリームを順次復
号して動画像を再生する方法であって、復号途上で生じ
る第１中間画像と第２中間画像とを保存する工程と、そ
れら保存された中間画像を比較することにより、それら
画像間にシーンチェンジが存在するか否かを判定する工
程とを含む。
に関する。この方法は符号化画像のストリームを順次復
号して動画像を再生する方法であって、復号途上で生じ
る第１中間画像と第２中間画像とを保存する工程と、そ
れら保存された中間画像を比較することにより、それら
画像間にシーンチェンジが存在するか否かを判定する工
程とを含む。
【００１５】本発明のさらに別の態様は、画像符号化方
法に関する。この方法は原画像のストリームを順次符号
化する方法であって、符号化途上で生じる第１中間画像
と第２中間画像とを保存する工程と、それら保存された
中間画像を比較することにより、それら画像間にシーン
チェンジが存在するか否かを判定する工程とを含む。
法に関する。この方法は原画像のストリームを順次符号
化する方法であって、符号化途上で生じる第１中間画像
と第２中間画像とを保存する工程と、それら保存された
中間画像を比較することにより、それら画像間にシーン
チェンジが存在するか否かを判定する工程とを含む。
【００１６】なお、以上の構成要素の任意の組み合わ
せ、本発明の表現を方法、装置、システム、コンピュー
タプログラム、データ構造、記録媒体などの間で変換し
たものもまた、本発明の態様として有効である。
せ、本発明の表現を方法、装置、システム、コンピュー
タプログラム、データ構造、記録媒体などの間で変換し
たものもまた、本発明の態様として有効である。
【００１７】
【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。実施の形態では、画像処理としてＪＰＥＧ
（Joint Photographic Experts Group）２０００を利用
した符号化および復号を考える。
を説明する。実施の形態では、画像処理としてＪＰＥＧ
（Joint Photographic Experts Group）２０００を利用
した符号化および復号を考える。
【００１８】図１にＪＰＥＧ２０００規格による画像符
号化の手順を示す。原画像ＯＩ（Original Image）はウ
ェーブレット変換器により階層化される。ＪＰＥＧ２０
００におけるウェーブレット変換器はDaubechiesフィル
タを利用する。このフィルタは原画像のｘ、ｙそれぞれ
の方向において同時にローパスフィルタおよびハイパス
フィルタとして作用し、一つの画像を４つの周波数サブ
バンドへ分割する。これらサブバンド成分は、ｘ、ｙの
両方向において低周波数成分を有するＬＬサブバンド
と、ｘ、ｙいずれか一つの方向に低周波数成分を有し、
かつもう一つの方向には高周波数成分を有するＨＬおよ
びＬＨサブバンドと、ｘ、ｙの両方向に高周波数成分を
有するＨＨサブバンドである。各サブバンド成分の縦横
の画素数は処理前の画像のそれぞれ１／２であり、一回
のフィルタリングで解像度、すなわち画像サイズが１／
４のサブバンド画像が得られる。
号化の手順を示す。原画像ＯＩ（Original Image）はウ
ェーブレット変換器により階層化される。ＪＰＥＧ２０
００におけるウェーブレット変換器はDaubechiesフィル
タを利用する。このフィルタは原画像のｘ、ｙそれぞれ
の方向において同時にローパスフィルタおよびハイパス
フィルタとして作用し、一つの画像を４つの周波数サブ
バンドへ分割する。これらサブバンド成分は、ｘ、ｙの
両方向において低周波数成分を有するＬＬサブバンド
と、ｘ、ｙいずれか一つの方向に低周波数成分を有し、
かつもう一つの方向には高周波数成分を有するＨＬおよ
びＬＨサブバンドと、ｘ、ｙの両方向に高周波数成分を
有するＨＨサブバンドである。各サブバンド成分の縦横
の画素数は処理前の画像のそれぞれ１／２であり、一回
のフィルタリングで解像度、すなわち画像サイズが１／
４のサブバンド画像が得られる。
【００１９】ウェーブレット変換器は、こうして得られ
たサブバンド成分のうち、ＬＬサブバンドに対し再度フ
ィルタリング処理を行い、これをさらにＬＬ，ＨＬ，Ｌ
Ｈ，ＨＨの４つのサブバンド成分に再分割する。フィル
タリングは所定の回数行われる。
たサブバンド成分のうち、ＬＬサブバンドに対し再度フ
ィルタリング処理を行い、これをさらにＬＬ，ＨＬ，Ｌ
Ｈ，ＨＨの４つのサブバンド成分に再分割する。フィル
タリングは所定の回数行われる。
【００２０】つづいて量子化器においてデータは量子化
され、さらにその量子化されたデータは、エントロピ符
号化が施され符号化画像ＣＩ（Coded Image）が生成さ
れる。上記の処理により生成された符号化画像ＣＩに対
し、逆の手順で処理を施すことで復号画像ＤＩ（Decode
d Image）が得られる。
され、さらにその量子化されたデータは、エントロピ符
号化が施され符号化画像ＣＩ（Coded Image）が生成さ
れる。上記の処理により生成された符号化画像ＣＩに対
し、逆の手順で処理を施すことで復号画像ＤＩ（Decode
d Image）が得られる。
【００２１】実施の形態１
図２は、本発明の実施の形態１に係る画像復号装置１０
０の構成を示す図である。画像復号装置１００の主要な
構成は、復号ユニット１０、ユーザインタフェイス２
４、中間画像メモリ３０、モード検出部４０、シーンチ
ェンジ判定部５０である。復号ユニット１０はＪＰＥＧ
２０００の仕様に基づき復号処理を担当し、符号化画像
ＣＩに対して順次処理を加えるストリーム解析器１２、
算術復号器１４、ビットプレーン復号器１６、逆量子化
器１８、逆ウェーブレット変換器２０、およびワークエ
リアとして使用されるフレームバッファ２２を含む。中
間画像メモリ３０は第１中間画像と第２中間画像を保存
する。モード検出部４０は、「通常モード」と「頭出し
モード」のうちユーザが選択したいずれかを検出する。
「通常モード」は通常再生処理を行い、符号化画像を順
次復号し再生する。「頭出しモード」はシーンチェンジ
を検出する。シーンチェンジ判定部５０は、保存された
第１中間画像と第２中間画像を比較しシーンチェンジが
存在するか否かを判定する。シーンチェンジ判定部５０
は、さらにフレーム特定部５２を含み、シーンチェンジ
後の先頭の画像フレームを特定する。
０の構成を示す図である。画像復号装置１００の主要な
構成は、復号ユニット１０、ユーザインタフェイス２
４、中間画像メモリ３０、モード検出部４０、シーンチ
ェンジ判定部５０である。復号ユニット１０はＪＰＥＧ
２０００の仕様に基づき復号処理を担当し、符号化画像
ＣＩに対して順次処理を加えるストリーム解析器１２、
算術復号器１４、ビットプレーン復号器１６、逆量子化
器１８、逆ウェーブレット変換器２０、およびワークエ
リアとして使用されるフレームバッファ２２を含む。中
間画像メモリ３０は第１中間画像と第２中間画像を保存
する。モード検出部４０は、「通常モード」と「頭出し
モード」のうちユーザが選択したいずれかを検出する。
「通常モード」は通常再生処理を行い、符号化画像を順
次復号し再生する。「頭出しモード」はシーンチェンジ
を検出する。シーンチェンジ判定部５０は、保存された
第１中間画像と第２中間画像を比較しシーンチェンジが
存在するか否かを判定する。シーンチェンジ判定部５０
は、さらにフレーム特定部５２を含み、シーンチェンジ
後の先頭の画像フレームを特定する。
【００２２】通常再生処理として、符号化画像ＣＩに対
してストリーム解析器１２以下の処理が施され、最終的
に復号画像ＤＩが出力される。
してストリーム解析器１２以下の処理が施され、最終的
に復号画像ＤＩが出力される。
【００２３】一方、本実施の形態に特徴的な処理は、シ
ーンチェンジ検出を実現する工程にあり、ユーザによ
り、例えば装置に備えられたボタンなどのユーザインタ
フェイス２４を介し「頭出しモード」が選択された場
合、モード検出部４０はその「頭出しモード」を検出
し、復号ユニット１０に対し「頭出しモード」の処理を
行うように命令する。
ーンチェンジ検出を実現する工程にあり、ユーザによ
り、例えば装置に備えられたボタンなどのユーザインタ
フェイス２４を介し「頭出しモード」が選択された場
合、モード検出部４０はその「頭出しモード」を検出
し、復号ユニット１０に対し「頭出しモード」の処理を
行うように命令する。
【００２４】「頭出しモード」ではまず、逆量子化器１
８で得られる第１中間画像のＬＬサブバンドが中間画像
メモリ３０に保存される。つづいて第１中間画像の次に
逆量子化器１８で得られる第２中間画像のＬＬサブバン
ドが中間画像メモリ３０に保存される。
８で得られる第１中間画像のＬＬサブバンドが中間画像
メモリ３０に保存される。つづいて第１中間画像の次に
逆量子化器１８で得られる第２中間画像のＬＬサブバン
ドが中間画像メモリ３０に保存される。
【００２５】シーンチェンジ判定部５０は、これら保存
された中間画像のデータの相関をとることで、これら画
像間にシーンチェンジが存在するか否かを判断する。
された中間画像のデータの相関をとることで、これら画
像間にシーンチェンジが存在するか否かを判断する。
【００２６】シーンチェンジ判定部５０においてサブバ
ンド成分間の相関をとる場合、利用するサブバンド成分
はＬＬではなくＬＨやＨＬ、ＨＨサブバンドでもよい。
さらに、複数のサブバンド成分を利用してもよい。その
際、中間画像メモリ３０に保存されるデータは、該当す
るサブバンド成分のデータとなる。いずれの場合も、相
関をとるべき画像のサイズが復号画像より小さいため計
算負荷は軽く、また中間画像は復号の際当然に生成され
るため無駄な処理も生じない。
ンド成分間の相関をとる場合、利用するサブバンド成分
はＬＬではなくＬＨやＨＬ、ＨＨサブバンドでもよい。
さらに、複数のサブバンド成分を利用してもよい。その
際、中間画像メモリ３０に保存されるデータは、該当す
るサブバンド成分のデータとなる。いずれの場合も、相
関をとるべき画像のサイズが復号画像より小さいため計
算負荷は軽く、また中間画像は復号の際当然に生成され
るため無駄な処理も生じない。
【００２７】シーンチェンジ判定部５０においてシーン
チェンジの存在が確認されたとき、フレーム特定部５２
はシーンチェンジ後の先頭の画像フレームを特定し、復
号ユニット１０に対しその画像フレームを出力するよう
に命令する。その命令を受け逆ウェーブレット変換器２
０はフレームバッファ２２に保存されている前記画像フ
レームの中間画像を復号し復号画像ＤＩを出力する。
チェンジの存在が確認されたとき、フレーム特定部５２
はシーンチェンジ後の先頭の画像フレームを特定し、復
号ユニット１０に対しその画像フレームを出力するよう
に命令する。その命令を受け逆ウェーブレット変換器２
０はフレームバッファ２２に保存されている前記画像フ
レームの中間画像を復号し復号画像ＤＩを出力する。
【００２８】出力された復号画像ＤＩが、ユーザの所望
するシーンの先頭の画像であれば、ユーザはユーザイン
タフェイス２４を介しモード検出部４０に「頭出しモー
ド」を停止し「通常再生モード」へ移行するように指示
を出す。
するシーンの先頭の画像であれば、ユーザはユーザイン
タフェイス２４を介しモード検出部４０に「頭出しモー
ド」を停止し「通常再生モード」へ移行するように指示
を出す。
【００２９】ユーザにより「通常再生モード」への移行
指示がない場合、頭出しモードは継続され、次のシーン
の先頭の画像の検出が続行する。その間も出力された復
号画像ＤＩは、次のシーンチェンジが検出されるまで継
続して出力される。
指示がない場合、頭出しモードは継続され、次のシーン
の先頭の画像の検出が続行する。その間も出力された復
号画像ＤＩは、次のシーンチェンジが検出されるまで継
続して出力される。
【００３０】シーンチェンジ検出が継続される場合、第
１中間画像のデータは破棄され、第２中間画像のデータ
が新しい第１中間画像のデータとして保存され、次の中
間画像が新たな第２中間画像データとして保存される。
この繰り返しを実現するために、中間画像メモリ３０は
２枚の中間画像を格納するのに十分なメモリ領域さえ持
てばよい。
１中間画像のデータは破棄され、第２中間画像のデータ
が新しい第１中間画像のデータとして保存され、次の中
間画像が新たな第２中間画像データとして保存される。
この繰り返しを実現するために、中間画像メモリ３０は
２枚の中間画像を格納するのに十分なメモリ領域さえ持
てばよい。
【００３１】図３は画像復号装置１００によるシーンチ
ェンジ検出手順を示すフローチャートである。
ェンジ検出手順を示すフローチャートである。
【００３２】ユーザにより「頭出しモード」が選択さ
れ、モード検出部４０によりその旨が検出された場合
（Ｓ１０）、隣接する中間画像データのＬＬサブバンド
が中間画像メモリ３０に保存される（Ｓ１４）。シーン
チェンジ判定部５０がそれら保存されている中間画像の
ＬＬサブバンドを比較することでシーンチェンジの有無
を判定する（Ｓ１８）。シーンチェンジが存在しない場
合、シーンチェンジ判定部５０は、次の画像フレームに
関する中間画像データについて再度シーンチェンジを判
定する（Ｓ１８のＮ）。シーンチェンジの存在が確認さ
れた場合（Ｓ１８のＹ）、シーンチェンジ後の先頭の画
像を出力する（Ｓ２０）。ユーザより「通常再生モー
ド」への移行指示があった場合（Ｓ２２のＹ）、シーン
チェンジ後の先頭の画像より通常再生が行われる（Ｓ２
４）。ユーザより「通常再生モード」へ移行する指示が
ない場合（Ｓ２２のＮ）、シーンチェンジ検出が継続さ
れ、次のシーンチェンジが検出されるまで前回検出され
たシーンチェンジ後の先頭の画像が継続出力される（Ｓ
２６）。
れ、モード検出部４０によりその旨が検出された場合
（Ｓ１０）、隣接する中間画像データのＬＬサブバンド
が中間画像メモリ３０に保存される（Ｓ１４）。シーン
チェンジ判定部５０がそれら保存されている中間画像の
ＬＬサブバンドを比較することでシーンチェンジの有無
を判定する（Ｓ１８）。シーンチェンジが存在しない場
合、シーンチェンジ判定部５０は、次の画像フレームに
関する中間画像データについて再度シーンチェンジを判
定する（Ｓ１８のＮ）。シーンチェンジの存在が確認さ
れた場合（Ｓ１８のＹ）、シーンチェンジ後の先頭の画
像を出力する（Ｓ２０）。ユーザより「通常再生モー
ド」への移行指示があった場合（Ｓ２２のＹ）、シーン
チェンジ後の先頭の画像より通常再生が行われる（Ｓ２
４）。ユーザより「通常再生モード」へ移行する指示が
ない場合（Ｓ２２のＮ）、シーンチェンジ検出が継続さ
れ、次のシーンチェンジが検出されるまで前回検出され
たシーンチェンジ後の先頭の画像が継続出力される（Ｓ
２６）。
【００３３】実施の形態２
図４は実施の形態２に係る画像符号化装置１１０の構成
図である。この構成の主要部分は、符号化ユニット６
０、中間画像メモリ３０、シーンチェンジ判定部５０、
インデックス付加部８０である。符号化ユニット６０は
ＪＰＥＧ２０００の仕様に基づき符号化処理を担当し、
原画像ＯＩに対して順次処理を加えるウェーブレット変
換器６２、量子化器６４、ビットプレーン符号化器６
６、算術符号化器６８、ストリーム生成器７０、および
ワークエリアとして使用されるフレームバッファ２２を
含む。中間画像メモリ３０は第１中間画像と第２中間画
像を保存する。
図である。この構成の主要部分は、符号化ユニット６
０、中間画像メモリ３０、シーンチェンジ判定部５０、
インデックス付加部８０である。符号化ユニット６０は
ＪＰＥＧ２０００の仕様に基づき符号化処理を担当し、
原画像ＯＩに対して順次処理を加えるウェーブレット変
換器６２、量子化器６４、ビットプレーン符号化器６
６、算術符号化器６８、ストリーム生成器７０、および
ワークエリアとして使用されるフレームバッファ２２を
含む。中間画像メモリ３０は第１中間画像と第２中間画
像を保存する。
【００３４】まず一般的な処理として、原画像ＯＩに対
してウェーブレット変換器６２以下の処理が施され、最
終的に符号化画像ＣＩが出力される。
してウェーブレット変換器６２以下の処理が施され、最
終的に符号化画像ＣＩが出力される。
【００３５】一方、本実施の形態に特徴的な処理は、シ
ーンチェンジ検出を実現する工程にある。まずウェーブ
レット変換器６２で得られる第１中間画像および第２中
間画像がフレームバッファ２２に保存され、それら保存
された第１中間画像および第２中間画像のＬＬサブバン
ドが中間画像メモリ３０に保存される。
ーンチェンジ検出を実現する工程にある。まずウェーブ
レット変換器６２で得られる第１中間画像および第２中
間画像がフレームバッファ２２に保存され、それら保存
された第１中間画像および第２中間画像のＬＬサブバン
ドが中間画像メモリ３０に保存される。
【００３６】シーンチェンジ判定部５０は、これら保存
されたＬＬサブバンドの相関をとることで、画像間にシ
ーンチェンジが存在するか否かを判断する。
されたＬＬサブバンドの相関をとることで、画像間にシ
ーンチェンジが存在するか否かを判断する。
【００３７】前記サブバンド成分間の相関をとる場合、
利用するサブバンド成分は実施の形態１と同様にＬＬサ
ブバンドではなくＬＨやＨＬ、ＨＨサブバンドでもよ
い。さらに、複数のサブバンド成分を利用してもよい。
その際、中間画像メモリ３０に保存されるデータは、該
当するサブバンド成分のデータとなる。いずれの場合
も、相関をとるべき画像のサイズが原画像より小さいた
め計算負荷は軽く、また中間画像は符号化の際当然に生
成されるため無駄な処理も生じない。
利用するサブバンド成分は実施の形態１と同様にＬＬサ
ブバンドではなくＬＨやＨＬ、ＨＨサブバンドでもよ
い。さらに、複数のサブバンド成分を利用してもよい。
その際、中間画像メモリ３０に保存されるデータは、該
当するサブバンド成分のデータとなる。いずれの場合
も、相関をとるべき画像のサイズが原画像より小さいた
め計算負荷は軽く、また中間画像は符号化の際当然に生
成されるため無駄な処理も生じない。
【００３８】シーンチェンジ判定部５０でシーンチェン
ジの存在が確認されたとき、インデックス付加部８０
は、符号化ユニット６０、例えばストリーム生成器７０
に対しシーンチェンジの情報をインデックスとして第１
の画像フレームと第２の画像フレームの少なくとも一方
に関連づけて符号化画像データストリーム中に挿入する
ように命令する。
ジの存在が確認されたとき、インデックス付加部８０
は、符号化ユニット６０、例えばストリーム生成器７０
に対しシーンチェンジの情報をインデックスとして第１
の画像フレームと第２の画像フレームの少なくとも一方
に関連づけて符号化画像データストリーム中に挿入する
ように命令する。
【００３９】図５は画像符号化装置１１０によるシーン
チェンジ検出手順を示すフローチャートである。
チェンジ検出手順を示すフローチャートである。
【００４０】ウェーブレット変換器６２は原画像ＯＩに
対し２次元ウェーブレット変換を施し、中間画像を生成
する（Ｓ３０）。隣接する画像フレームの中間画像のデ
ータのＬＬサブバンドがそれぞれ中間画像メモリ３０に
保存される（Ｓ３２）。シーンチェンジ判定部５０はこ
れら画像フレームの間にシーンチェンジが存在するか否
かを判定する（Ｓ３４）。シーンチェンジが存在する場
合（Ｓ３４のＹ）、これら画像フレームの間にシーンチ
ェンジが存在する旨をインデックスとして符号化画像に
挿入する（Ｓ３６）。このインデックス挿入後、または
シーンチェンジが存在しない場合（Ｓ３４のＮ）、符号
化すべき画像ストリームが無くなるまで（Ｓ３８の
Ｙ）、シーンチェンジの検出が継続される。
対し２次元ウェーブレット変換を施し、中間画像を生成
する（Ｓ３０）。隣接する画像フレームの中間画像のデ
ータのＬＬサブバンドがそれぞれ中間画像メモリ３０に
保存される（Ｓ３２）。シーンチェンジ判定部５０はこ
れら画像フレームの間にシーンチェンジが存在するか否
かを判定する（Ｓ３４）。シーンチェンジが存在する場
合（Ｓ３４のＹ）、これら画像フレームの間にシーンチ
ェンジが存在する旨をインデックスとして符号化画像に
挿入する（Ｓ３６）。このインデックス挿入後、または
シーンチェンジが存在しない場合（Ｓ３４のＮ）、符号
化すべき画像ストリームが無くなるまで（Ｓ３８の
Ｙ）、シーンチェンジの検出が継続される。
【００４１】実施の形態２の様な画像符号化装置があれ
ば、実施の形態１の様な自らシーンチェンジを判定する
画像復号装置１００は不要である。その代わり画像復号
装置１００は、シーンチェンジの存在を示すインデック
スを検出するインデックス検出部（図示せず）を持てば
よい。
ば、実施の形態１の様な自らシーンチェンジを判定する
画像復号装置１００は不要である。その代わり画像復号
装置１００は、シーンチェンジの存在を示すインデック
スを検出するインデックス検出部（図示せず）を持てば
よい。
【００４２】以上、本発明を実施の形態をもとに説明し
た。これらの構成は、ハードウエア的には、任意のコン
ピューターのＣＰＵ、メモリ、その他のＬＳＩで実現で
き、ソフトウエア的にはメモリにロードされた復号また
は符号化機能のある、プログラムなどによって実現され
るが、ここではそれらの連携によって実現される機能ブ
ロックを描いている。従って、これらの機能ブロック
が、ハードウエアのみ、ソフトウエアのみ、またはそれ
らの組み合わせによっていろいろな形で実現できること
は、同業者には理解されるところである。
た。これらの構成は、ハードウエア的には、任意のコン
ピューターのＣＰＵ、メモリ、その他のＬＳＩで実現で
き、ソフトウエア的にはメモリにロードされた復号また
は符号化機能のある、プログラムなどによって実現され
るが、ここではそれらの連携によって実現される機能ブ
ロックを描いている。従って、これらの機能ブロック
が、ハードウエアのみ、ソフトウエアのみ、またはそれ
らの組み合わせによっていろいろな形で実現できること
は、同業者には理解されるところである。
【００４３】
【発明の効果】本発明によれば、効果的なシーンチェン
ジ検出が可能となる。
ジ検出が可能となる。
【図１】 ＪＰＥＧ２０００の規格による、画像の符号
化の手順を示す図である。
化の手順を示す図である。
【図２】 実施の形態１に係る画像復号装置の構成図で
ある。
ある。
【図３】 実施の形態１における処理手順を示すフロー
チャートである。
チャートである。
【図４】 実施の形態２に係る画像符号化装置の構成図
である。
である。
【図５】 実施の形態２における処理手順を示すフロー
チャートである。
チャートである。
１０ 復号ユニット、 ２０ 逆ウェーブレット変換
器、 ２２ フレームバッファ、 ３０ 中間画像メモ
リ、 ５０ シーンチェンジ判定部、 ５２ フレーム
特定部、 ６０ 符号化ユニット、 １００ 画像復号
装置、 １１０画像符号化装置。
器、 ２２ フレームバッファ、 ３０ 中間画像メモ
リ、 ５０ シーンチェンジ判定部、 ５２ フレーム
特定部、 ６０ 符号化ユニット、 １００ 画像復号
装置、 １１０画像符号化装置。
フロントページの続き
Ｆターム(参考） 5C053 FA14 GA11 GB09 GB19 GB22
GB32 GB36 KA03
5C059 KK08 KK36 MA00 MA24 MC11
MC38 ME01 NN43 PP04 SS19
UA02 UA05 UA38
Claims (6)
- 【請求項１】 符号化画像のストリームを、順次復号し
て動画像を再生する装置であって、 当該装置は画像メモリとシーンチェンジ判定部を有し、 前記画像メモリは、符号化画像のストリームに含まれる
第１の画像フレームの復号途上において生じる第１の中
間画像と、前記ストリームに含まれ第１の画像の後に再
生すべき第２の画像フレームの復号途上にて生じる第２
の中間画像とを保存し、 前記第１の中間画像および第２の中間画像は、２次元ウ
ェーブレット変換によって符号化された符号化画像のス
トリームを復号する所定の段階において生じるサブバン
ド成分により形成され、 前記シーンチェンジ判定部は、前記保存された第１の中
間画像と第２の中間画像を比較することにより、それら
画像間にシーンチェンジが存在するか否かを判定するこ
とを特徴とする画像復号装置。 - 【請求項２】 前記シーンチェンジ判定部は、検出され
たシーンチェンジを手がかりに表示すべき画像フレーム
を特定することを特徴とする請求項１に記載の画像復号
装置。 - 【請求項３】 動画像を順次符号化し符号化画像のスト
リームを生成する装置であって、 当該装置は画像メモリとシーンチェンジ判定部を有し、 前記画像メモリは、動画像のストリームに含まれる第１
の画像フレームの符号化途上の２次元ウェーブレット変
換による符号化過程の所定の段階において生じるサブバ
ンド成分で形成される第１の中間画像と、前記ストリー
ムに含まれ第１の画像フレームの後に符号化すべき第２
の画像フレームの符号化途上の２次元ウェーブレット変
換による符号化過程の所定の段階において生じるサブバ
ンド成分で形成される第２の中間画像とを保存し、 前記シーンチェンジ判定部は、前記保存された第１の中
間画像と第２の中間画像を比較することにより、それら
画像間にシーンチェンジが存在するか否かを判定するこ
とを特徴とする画像符号化装置。 - 【請求項４】 前記シーンチェンジ判定部によりシーン
チェンジが検出されたとき、符号化画像のストリーム中
にその旨を第１の画像フレームまたは第２の画像フレー
ムの少なくとも一方と関連づけて記録するインデックス
付加部を含むことを特徴とする請求項３に記載の画像符
号化装置。 - 【請求項５】 符号化画像のストリームを順次復号して
動画像を再生する方法であって、 符号化画像のストリームに含まれる第１の画像フレーム
の復号途上において生じる第１の中間画像と、前記スト
リームに含まれ第１の画像フレームの後に再生すべき第
２の画像フレームの復号途上にて生じる第２の中間画像
とを保存する工程と、 前記保存された第１の中間画像および第２の中間画像を
比較することにより、それら画像間にシーンチェンジが
存在するか否かを判定する工程とを含み、 前記第１の中間画像と第２の中間画像は、２次元ウェー
ブレット変換によって符号化された符号化画像のストリ
ームを復号する途上の所定の段階において生じるサブバ
ンド成分で形成されていることを特徴とする画像復号方
法。 - 【請求項６】 動画像を順次符号化し符号化画像のスト
リームを生成する方法であって、 動画像のストリームに含まれる第１の画像フレームの符
号化途上にて生じる第１の中間画像と、前記ストリーム
に含まれ第１の画像フレームの後に符号化すべき第２の
画像フレームの符号化途上にて生じる第２の中間画像と
を保存する工程と、 前記保存された第１の中間画像および第２の中間画像を
比較することによりそれら画像間にシーンチェンジが存
在するか否かを判定する工程とを含み、 前記第１の中間画像と第２の中間画像は、２次元ウェー
ブレット変換により符号化される所定の段階において生
じるサブバンド成分で形成されていることを特徴とする
特徴とする画像符号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001185593A JP2003009155A (ja) | 2001-06-19 | 2001-06-19 | 画像復号方法とその装置、および画像符号化方法とその装置 |
| US10/167,673 US6977962B2 (en) | 2001-06-19 | 2002-06-10 | Method and apparatus for decoding and coding images with scene change detection function |
| CNB021245886A CN1206855C (zh) | 2001-06-19 | 2002-06-19 | 带场景变化检测功能的编码解码图像的设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001185593A JP2003009155A (ja) | 2001-06-19 | 2001-06-19 | 画像復号方法とその装置、および画像符号化方法とその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003009155A true JP2003009155A (ja) | 2003-01-10 |
Family
ID=19025146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001185593A Pending JP2003009155A (ja) | 2001-06-19 | 2001-06-19 | 画像復号方法とその装置、および画像符号化方法とその装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6977962B2 (ja) |
| JP (1) | JP2003009155A (ja) |
| CN (1) | CN1206855C (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8036475B2 (en) * | 2002-12-13 | 2011-10-11 | Ricoh Co., Ltd. | Compression for segmented images and other types of sideband information |
| US8769395B2 (en) * | 2002-12-13 | 2014-07-01 | Ricoh Co., Ltd. | Layout objects as image layers |
| JP2006014121A (ja) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | 画像符号化方法、画像符号化装置および撮像装置 |
| US8611418B2 (en) * | 2006-11-30 | 2013-12-17 | Lsi Corporation | Decoding a progressive JPEG bitstream as a sequentially-predicted hybrid video bitstream |
| JP5191240B2 (ja) * | 2008-01-09 | 2013-05-08 | オリンパス株式会社 | シーン変化検出装置およびシーン変化検出プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3200108B2 (ja) | 1991-10-04 | 2001-08-20 | キヤノン株式会社 | 画像処理方法及び装置 |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US5808683A (en) * | 1995-10-26 | 1998-09-15 | Sony Corporation | Subband image coding and decoding |
| JP3496907B2 (ja) | 1996-05-24 | 2004-02-16 | 株式会社日立国際電気 | 音声・動画像符号化データ検索方法及び検索装置 |
| US6125201A (en) * | 1997-06-25 | 2000-09-26 | Andrew Michael Zador | Method, apparatus and system for compressing data |
| US6542619B1 (en) * | 1999-04-13 | 2003-04-01 | At&T Corp. | Method for analyzing video |
-
2001
- 2001-06-19 JP JP2001185593A patent/JP2003009155A/ja active Pending
-
2002
- 2002-06-10 US US10/167,673 patent/US6977962B2/en not_active Expired - Lifetime
- 2002-06-19 CN CNB021245886A patent/CN1206855C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1392730A (zh) | 2003-01-22 |
| US20020191697A1 (en) | 2002-12-19 |
| US6977962B2 (en) | 2005-12-20 |
| CN1206855C (zh) | 2005-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7707422B2 (en) | Method for embedding watermark into an image and digital video recorder using said method | |
| JP4682102B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| KR101381600B1 (ko) | 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치 | |
| US6625214B1 (en) | Apparatus and method for fade detecting and information encoding | |
| JP4656912B2 (ja) | 画像符号化装置 | |
| US20060171599A1 (en) | Image searching device and method, program and program recording medium | |
| US20060015735A1 (en) | Electronic watermarking method and storage medium for storing electronic watermarking program | |
| JP2006197557A (ja) | 画像符号化装置、画像符号化方法及びそのプログラム | |
| JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
| US20020118754A1 (en) | Device and method for selecting coding mode for video encoding system | |
| KR100618291B1 (ko) | 압축된 비디오 신호에서 워터마크 검출 | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP2003009155A (ja) | 画像復号方法とその装置、および画像符号化方法とその装置 | |
| KR20010062824A (ko) | 정보 삽입/검출 시스템 | |
| JP2003224868A (ja) | 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、および画像伸張プログラム | |
| JP4822340B2 (ja) | カラー画像の圧縮符号化方法、復号化方法、カラー画像の圧縮符号化装置および復号化装置 | |
| US20040131122A1 (en) | Encoding device and encoding method | |
| JPH11261961A (ja) | 動画像処理装置 | |
| JP2004194030A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP3348776B2 (ja) | 動画像符号化装置及びその方法 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP2011045138A (ja) | 画像復号方法 | |
| JP4143535B2 (ja) | 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム | |
| JPH08186842A (ja) | 画像データの雑音低減装置および方法 | |
| JP3136523B2 (ja) | 画像変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060214 |