JP2003338995A

JP2003338995A - 画像再生装置及び画像再生方法

Info

Publication number: JP2003338995A
Application number: JP2002146234A
Authority: JP
Inventors: Akihito Ishihara; 明仁石原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-05-21
Filing date: 2002-05-21
Publication date: 2003-11-28

Abstract

(57)【要約】【課題】画像再生装置において高速再生を行なう際、
高速再生動作中は復号処理時間を短縮させて再生速度に
適応した安定した復号処理を実行させつつ、高速再生画
の質の向上を実現する。【解決手段】ウェーブレット変換を用いて符号化され
た画像データを記録媒体から読み出して高速再生する
際、所定フレーム間隔毎に画像データの低周波帯域成分
から高周波帯域成分までを含む復号処理と、低周波帯域
成分のみの復号処理とを、再生速度に応じて所定のフレ
ーム間隔で切換えて復号処理を行なうことによって、高
速な復号処理と高品質な高速再生表示を実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像の記録、再生が
可能な装置に関するもので、特には動画の高速再生機能
を備えた画像再生装置及び再生方法に関する。

【０００２】

【従来の技術】近年、デジタルスチルカメラやデジタル
ビデオムービーなどの記録再生装置では、動画の記録フ
ォーマットとして、MotionJPEG、MPEG、あるいはDV方式
を用いた製品が主流となっている。

【０００３】これらの製品において、記録媒体に記録さ
れた動画像を、記録された動画の実時間よりも短い時間
で再生（高速再生）する場合、動画中の各フレームの復
号処理に対して与えられる時間が減少するため、動画再
生のフレームレートを変更し、単位時間内で復号化する
フレーム枚数を減らして復号処理することにより、復号
処理時間を短縮し、高速再生表示を実現していた。

【０００４】

【発明が解決しようとする課題】しかしながら、前述し
た従来技術のように、復号処理時間を短縮するためフレ
ームレートを下げて高速再生を行なった場合、コマ送り
の映像表示になり見づらい上、再生されたフレーム以外
の画像が欠落し、見たいシーンを見落とすことがあっ
た。

【０００５】さらに、再生速度が高速になるほど前記問
題点が悪化し、そのために再生速度を制限することもあ
った。

【０００６】そこで、本発明は、前記の問題点を除去す
るために成されたもので、画像の符号化方式としてウェ
ーブレット変換を用いた画像の再生装置において、その
特徴であるサブバンド分解を利用して、高速再生時には
低域成分のみの画像と、所定期間毎に高域サブバンドま
でを含んだ画像を再生、出力することで高速再生画像の
画質の向上を実現することを目的とする。

【０００７】

【課題を解決するための手段】斯かる目的を達成する為
の手段として、本発明は以下の構成からなる手段を有す
る。

【０００８】本発明の画像再生装置は、複数の画面から
なる符号化された画像データを再生する再生手段と、前
記再生手段の再生速度に応じて、所定画面単位で復号す
る周波数帯域を切換えて前記画像データを復号処理する
復号手段とを備えたことを特徴とする。

【０００９】また、本発明の画像再生方法は、複数の画
面からなる符号化された画像データを再生する再生ステ
ップと、前記再生ステップにおける再生速度に応じて、
所定画面単位で復号する周波数帯域を切換えて前記画像
データを復号処理する復号ステップとを有することを特
徴とする。

【００１０】

【発明の実施の形態】（実施の形態１）以下、図面を用
いながら本発明に好適な実施の形態を説明する。

【００１１】図１は、本発明の実施の形態１における画
像再生装置の概略構成ブロック図である。

【００１２】１０１は画像データの入力部、１０２は入
力画像を離散ウェーブレット変換を用いて圧縮／符号化
する符号化部、１０３は記録状態等の記録に関わる制御
情報（記録情報）を生成する記録情報生成部、１０４は
符号化された画像データと生成された記録情報とを符号
列として生成し、記録データとして記録媒体に書き込む
為の処理を行なう符号列書き込み部、１０５は記録用ヘ
ッドや再生用ヘッド及び記録媒体の動作制御機構等から
構成される記録再生部、１０６は光ディスクや固体メモ
リ等からなる画像データを格納する為の記録媒体、１０
７は記録媒体１０６から記録再生部１０５によって再生
されたデータを読み出して再生処理を行ない、画像デー
タの符号列として再構築する符号列読み出し部、１０８
は再生された画像データから抽出する帯域成分を切換可
能な再生帯域成分切換部、１０９は再生画像データのフ
レームカウンタ、１１０は逆離散ウェーブレット変換を
用いて伸張／復号化する復号部、１１１は画像データの
表示装置への出力部、１１２は再生帯域成分切換部１０
８の帯域成分の切換を行なう帯域成分切換制御部、１１
３は記録再生部１０５の再生速度を設定する為の再生速
度設定部である。

【００１３】次いで、符号化部１０２の構成と復号化部
１１０の構成を詳細に示した図を参照しながら、図１の
画像再生装置の動作説明を行なう。

【００１４】図２は符号化部１０２の構成を詳細に図示
したものである。符号化部１０２はMotion-JPEG2000
（標準技術である画像圧縮方式JPEG2000の拡張仕様）に
よって規定されている符号化方式を用いた場合を例にし
て説明する。

【００１５】本発明の画像再生装置が記録動作を実行す
る際、画像データ入力部１０１より符号化部１０２に入
力される入力画像データには、コンポーネント変換部２
０１で色空間変換を施す。変換された各色成分のデータ
は、必要に応じて所定の間引き処理が行われて出力され
る。なお、入力画像データがモノクログレースケールの
画像である場合は、コンポーネント変換を行なう必要は
無い。後述の説明は、上記のように色空間変換が行われ
た画像データの、各色成分毎に行われる処理について説
明するものである。

【００１６】次いで、タイル分割部２０２では、入力し
た画像データを所定の大きさからなる複数個の矩形タイ
ルに分割して出力する。このタイルの大きさは、最大で
各色成分のデータ全体の大きさとすることができ、この
場合は実質的にタイル分割は行われないことと同一であ
る。

【００１７】離散ウェーブレット変換部２０３は、入力
した各色成分のタイル毎の画像データに対して、２次元
の離散ウェーブレット変換を施して周波数成分に分解
し、複数の周波数帯域のそれぞれに属する変換係数群
（以降、サブバンドと称する）を出力する。

【００１８】図３は離散ウェーブレット変換部２０３に
より出力されるサブバンドの構成を示した図であり、２
次元のウェーブレット変換を低周波帯域に対して再帰的
に２レベル行ったものである。

【００１９】なお、離散ウェーブレット変換部２０３で
は可逆符号化と非可逆符号化が選択可能であって、非可
逆符号化を行ないたい場合にはウェーブレット変換後の
係数が実数になる実数型のフィルタを、可逆符号化を行
ないたい場合にはウェーブレット変換後の係数が整数に
なる整数型のフィルタが用いられる。

【００２０】次いで、量子化部２０４は入力したサブバ
ンド毎に、所定の方法により設定された量子化ステップ
を用いて量子化を行ない、量子化インデックスを生成し
て出力する。なお、上述した可逆符号化を行ないたい場
合には、量子化部２０４では量子化を行なわず、入力し
た変換係数そのものを出力する。

【００２１】次いで、エントロピ符号化部２０６は、図
４に示すように、入力したサブバンドをさらに複数の矩
形ブロック（以降、コードブロックと称す）に分割（サ
ブバンドと矩形ブロックが同サイズの時は分割しない）
し、このコードブロックを単位として独立にエントロピ
符号化を行ない、符号化データを生成する。この時、量
子化インデックスを表すビットは、上位ビットプレーン
から順に、算術符号化され符号化データが生成される。

【００２２】符号列形成部２０７は、所定の方法により
設定されたプログレッシブ形態に基づいて符号列を形成
し、出力する。ここでの符号列形成方法として、符号列
形成部２０７は、採用するプログレッシブ形態に合わせ
て、各コードブロックの符号化データの上位ビットプレ
ーンから順に適量の符号化データを選択して１つ以上の
レイヤを構成する。

【００２３】例えば、設定されたプログレッシブ形態が
SNRスケーラブルである場合、符号列形成部２０７は図
１１に示すように、レイヤを単位として上位レイヤから
下位レイヤに向かう順序で符号化データを配置させて、
符号列を形成する。なおこの時、後半のレイヤを省略し
て下位ビットプレーンに係る符号化データを含めないよ
うに選択することもできる。こうすることにより当該符
号列のデータ量を最適化でき、このデータ量に応じて、
符号列を復号し再生される画像の画質を変化させること
ができる。

【００２４】一方、設定されたプログレッシブ形態が空
間解像度スケーラブルである場合、符号列形成部２０７
は図１２に示すように低周波サブバンドから高周波サブ
バンドに向かう順序で符号化データを配置させて、符号
列を形成する。この時、後半のサブバンドの符号化デー
タを符号列に含めないように選択することもできる。こ
うすることにより当該符号列のデータ量を最適化でき、
このデータ量に応じて、符号列を復号し再生された画像
の解像度を変化させることができる。

【００２５】次いで、図１の記録情報生成部１０３で生
成された記録情報、すなわち各種マーカ等の制御情報か
ら構成されるヘッダ情報を、符号列形成部２０７で各プ
ログレッシブ形態に応じて形成された符号列に追加し
て、最終的な符号列を符号列書き込み部１０４で生成
し、出力する。

【００２６】図５は最終的な符号化データの符号列の構
成を図示した例である。図５において、メインヘッダMH
は圧縮符号化対象となる画像の解像度、色成分数、各成
分のビット精度（各成分を表現するビット数）、画像を
構成するタイルのサイズ、離散ウェーブレット変換のフ
ィルタのタイプ、量子化ステップ等の圧縮符号化に関す
るパラメータおよびプログレッシブ形態等の符号列構成
に関する情報を指定するマーカを含んでいる。

【００２７】また、タイルヘッダTH_iはi番目のタイル
の開始を表すマーカを含んでいる。さらに、当該タイル
において符号化に関するパラメータを、それ以前に符号
化されたタイルから変更した場合には、そのパラメータ
を指定するマーカも含んでいる。BS_iはi番目のタイル
の符号化データであり、その配列は先に述べたプログレ
ッシブ形態に基づいて構成されている。

【００２８】以上のようにして形成された符号列は、図
１における記録再生部１０５で記録媒体に記録される。

【００２９】次に、本発明の画像再生装置が再生動作を
実行する際の説明を行なう。

【００３０】図１において、記録媒体１０６から記録再
生部１０５によって再生された再生データは、符号列読
み出し部１０７で符号列が再生処理され、復号化部１１
０において復号される。この間、再生帯域成分切換部１
０８では、帯域成分切換制御部１１２の制御に基づき、
任意に必要とされる帯域成分のみを抽出して復号化部１
１０で復号処理を行なうよう帯域成分の切換え処理を行
なう。

【００３１】図６は復号化部１１０の構成を詳細に図示
したものである。復号化部１１０はMotion-JPEG2000に
よって規定されている復号化方式を用いた場合を例にし
て説明する。

【００３２】符号列入力部６０１は受信した符号列を入
力し、画像やタイルのサイズ、プログレッシブ形態や量
子化ステップ等の、復号処理に必要な各種パラメータを
抽出する。抽出された各種パラメータは後段の復号処理
において適宜用いられる。また、実際の符号列（データ
部）は続いてエントロピ復号部６０２に出力される。

【００３３】なお、復号対象となる全体の符号列には、
上述した図５の形態を持つ複数タイル分の符号列が、上
述したコンポーネント変換部２０１にて得られた色成分
の数だけ含まれる。本実施の形態では復号処理は各色成
分毎に独立して行なうこととし、復号対象となる色成分
を構成する各タイルの符号列を順に復号してゆく。

【００３４】エントロピ復号部６０２は入力した符号列
に対して復号処理を行ない、量子化インデックスを出力
する。この復号処理ではコードブロック内の量子化イン
デックスを上位ビットプレーンから順に復号され、量子
化インデックスが復元される。

【００３５】例えば、この時、符号列のプログレッシブ
形態がSNRスケーラブルとなっており、所定数の上位レ
イヤのみが入力されている場合には、復号処理は入力さ
れたレイヤで打ち切られ、その時点での復元値が量子化
インデックスとして出力される。

【００３６】逆量子化部６０３は入力した量子化インデ
ックスを、先に符号列から読み込まれた量子化ステップ
を元に逆量子化を行ない、変換係数を復元して出力す
る。

【００３７】逆離散ウェーブレット変換部６０４は、入
力した変換係数から、２次元の逆離散ウェーブレット変
換を施すことにより、これに対応する色成分データ（符
号化対象画像がモノクロ画像の時は画像濃度データ）を
復元して出力する。

【００３８】なおこの時、符号列のプログレッシブ形態
が空間解像度スケーラブルであり、前半に符号化される
レベル（例えばLLのみや、LL、HL2、LH2、HH2のみ）の
サブバンドのみが復元されている場合は、復元された色
成分データの解像度はその復元されたサブバンドのレベ
ルに応じて変化する。

【００３９】図７はこの様子を示しており、同図におい
てサブバンドLLの係数のみが復号された場合は、逆離散
ウェーブレット変換は実質的には行われず、LLの係数が
元のデータレンジに収まるように調節された後に出力さ
れる。この場合復元された色成分データは、同図７のr=
0に示すように元の解像度に対して水平および垂直方向
に1/4のサイズとなっている。

【００４０】さらに、LL、HL2、LH2、HH2のサブバンド
まで復号された場合、逆変換を１レベル行なうことで同
図r=1に示すように、元の解像度に対して水平及び垂直
方向に1/2のサイズの色成分データが復元される。

【００４１】以上の処理は各タイル単位で行われ、画像
構成部６０５は復元された各タイルの各色成分データを
再度、元の１枚の符号化対象画像を構成する色成分デー
タとして構成してコンポーネント逆変換部６０６に出力
する。

【００４２】コンポーネント逆変換部６０６は、入力し
た各色成分データに所定の変換を施すことにより、元の
符号化対象画像の色空間を持つ画像データを復元して出
力する。この時、元の色成分データがコンポーネント変
換部２０１にて間引き処理されている場合は、逆変換を
行なう前に必要な解像度に変換（データ補間）される。

【００４３】以上の説明において、プログレッシブ形態
が空間解像度スケーラブルの場合には、復号するレイヤ
を制限することで、復元される画像の画質を制御するこ
とが出来る。また、SNRスケーラブルの場合には、逆離
散ウェーブレット変換するサブバンドのレベル数を制限
することで復元される画像の解像度を制御することが出
来る。

【００４４】続いて、コンポーネント逆変換部６０６か
ら出力された復号後の画像データは、画像データ出力部
１１１から装置内部または装置外部の表示装置へ出力
し、表示可能である。

【００４５】次に、本発明の画像再生装置が高速再生動
作（サーチ動作）を実行する際の説明を行なう。

【００４６】高速再生とは、複数画面からなる動画像を
記録した際に要した記録時間よりも短い時間で倍速再生
（サーチ）する機能である。高速再生動作は、通常再生
（+１倍速の再生）状態もしくは停止状態から、ユーザ
からの命令によって起動可能である。

【００４７】高速再生を行なう際は、再生速度設定部１
１３において速度の設定を行ない（+１倍速が通常再生
速度）、一例として通常再生速度の+３倍、+５倍、+１
０倍といった再生速度設定が可能である（−方向も設定
可能）。

【００４８】記録再生部１０５は、設定された再生速度
情報に従って記録媒体の搬送や再生手段の高速動作制御
を行ない、符号列読み出し部１０７での高速読み出しを
可能にする。

【００４９】このとき上述したように、離散ウェーブレ
ット変換を用いた符号化方式の特徴であるサブバンド分
解により複数の周波数帯域に分解されて符号化された符
号列から、所定の帯域成分の符号列のみを読み出すこと
が可能であることを利用し、帯域成分切換制御部１１２
は設定された再生速度に従って、再生帯域成分切換部１
０８を制御し、再生速度に応じて所定の帯域成分のみを
復号化部１１０で復号するような処理を実行する。

【００５０】このとき、符号列読み出し部１０７で読み
出されたフレームをフレームカウンタ１０９によって検
出してフレームカウント値を生成し、この値を基に、再
生帯域成分切換部１０８においてフレーム単位で切換え
る際のタイミング調節に用いることができる。

【００５１】以下に高速再生時のフレーム単位での帯域
成分切換パターンを記した動作例を説明する。

【００５２】例えば、再生速度+５倍設定時（図９）に
おける帯域成分切換パターンでは、フレームカウンタ１
０９でのカウント値に応じて４フレーム毎にサブバンド
分解によって分解された全ての周波数領域（図中のＡＬ
Ｌ）を復号するようにし、それ以外のフレームは分解レ
ベル４に相当する最も低域の周波数成分（ＬＬ）のみを
復号ように再生帯域成分切換部１０８が動作する。

【００５３】また、再生速度+２倍設定時（図１０）に
おける帯域成分切換パターンでは、+５倍速時より低速
であり、見やすくまた復号も比較的容易であるため、フ
レームカウンタ１０９でのカウント値に応じて３フレー
ム毎にＡＬＬを復号し、それ以外はＬＬのみを復号する
ように再生帯域成分切換部１０８が動作する。

【００５４】このように、高速再生時は所定フレーム数
毎に再生帯域成分切換部１０８によって高域の帯域成分
を含む符号列を抽出して復号することで、高速再生時の
安定した復号化に加え、再生画質を向上させることが可
能となる。

【００５５】（実施の形態２）続いて、本発明の第２の
実施形態として、図１３の画像再生装置のブロック図を
参照しながら高速再生動作実行時の説明を行なう。

【００５６】図１３は図１のブロック図と同様である
が、再生速度があらかじめ判明していなくても、記録再
生部１０５における動作状態から、帯域成分切換制御部
１１２が再生速度を判別可能な構成となっている。図１
３の各ブロックの構成は図１で説明したそれぞれ同符号
のものと同様であるので、省略する。

【００５７】以下に、図１３の画像再生装置において、
記録再生部１０５が任意の再生速度で変化しながら高速
再生を行なう際に最適な帯域成分切換に関する動作例を
説明する。

【００５８】帯域成分切換制御部１１２は、記録再生部
１０５の動作を判別し、高速再生時にはその再生速度情
報を検出する。

【００５９】次いで、帯域成分切換制御部１１２は、フ
レームカウンタ１０９で生成されるフレームカウント値
に応じて、再生帯域成分切換部１０８で再生速度に対応
してフレーム毎にリアルタイムかつ最適な帯域成分切換
を行なうよう制御する。

【００６０】以下に高速再生時のフレーム単位での帯域
成分切換パターンを記した動作例を説明する。図１４に
記した帯域成分切換パターンでは、フレームカウンタ１
０９でのカウント値に応じて、毎フレームにおいてリア
ルタイムな再生速度に応じた再生帯域成分切換えを行な
い、図１４で示すように毎フレーム異なったサブバンド
の復号を行なうことが可能となる（図１４で使用されて
いるＳＥＰ１、ＳＥＰ２、ＳＥＰ３、ＳＥＰ４は図８で
示された周波数分解レベルに相当した周波数帯域を示
す）。

【００６１】このように、高速再生時の再生速度が一定
でない場合であっても、再生部の動作状態に応じて最適
な復号化を実行することができ、高速再生時の安定した
復号化に加え、再生画質を向上させることが可能とな
る。

【００６２】

【発明の効果】以上説明したように、本発明によれば高
速再生動作を行なう場合であっても、再生速度に応じた
最適な復号処理を実行することで、高速再生時の安定し
た復号処理と再生画質の向上させることが出来る。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像再生装置の
ブロック図である。

【図２】本発明の符号化部を説明する為のブロック図で
ある。

【図３】ウェーブレット変換のサブバンドの構成をあら
わす図である。

【図４】コードブロックを説明するための図である。

【図５】最終的な符号列の構成をあらわす図である。

【図６】本発明の復号化部を説明するためのブロック図
である。

【図７】復号時のサブバンドの様子をあらわす図であ
る。

【図８】サブバンド分解レベルを説明するための図であ
る。

【図９】実施の形態１における＋５倍速再生動作時の復
号パターンの一例である。

【図１０】実施の形態１における＋２倍速再生動作時の
復号パターンの一例である。

【図１１】SNRスケーラブルを説明する図である。

【図１２】空間解像度スケーラブルを説明する図であ
る。

【図１３】本発明の実施の形態２における画像再生装置
のブロック図である。

【図１４】実施の形態２における高速再生動作時の復号
パターンの一例である。

【符号の説明】

１０１画像データ入力部１０２符号化部１０３記録情報生成部１０４符号列書き込み部１０５記録再生部１０６記録媒体１０７符号列読み出し部１０８再生帯域成分切換部１０９フレームカウンタ１１０復号化部１１１画像データ出力部１１２帯域成分切換制御部１１３再生速度設定部

Claims

【特許請求の範囲】

【請求項１】複数の画面からなる符号化された画像デ
ータを再生する再生手段と、前記再生手段の再生速度に応じて、所定画面単位で復号
する周波数帯域を切換えて前記画像データを復号処理す
る復号手段とを備えたことを特徴とする画像再生装置。
【請求項２】請求項１において、前記復号手段はウェ
ーブレット変換を用いて符号化された前記画像データを
復号処理することを特徴とする画像再生装置。
【請求項３】請求項１において、更に前記再生手段の
再生速度を設定可能な再生速度設定手段を有し、前記復
号手段は前記再生速度設定手段で設定された再生速度に
従って、前記画像データの復号処理を変化させることを
特徴とする画像再生装置。
【請求項４】請求項３において、前記復号手段は前記
再生速度設定手段で設定された再生速度が通常速度の再
生とは異なる高速再生であるときは、前記画像データの
低周波帯域から高周波帯域までを含んだ復号処理と、低
周波数帯域のみの復号処理とを、所定の画面周期で切換
えて復号処理することを特徴とする画像再生装置。
【請求項５】請求項４において、前記復号手段は前記
再生速度設定手段で設定された再生速度が高速なほど、
前記所定の画面周期を長くすることを特徴とする画像再
生装置。
【請求項６】請求項１において、更に前記再生手段の
再生速度を検出可能な検出機能を有する制御手段を有
し、前記制御手段は検出した再生速度に応じて、前記復
号手段における前記画像データの復号処理を制御するこ
とを特徴とする画像再生装置。
【請求項７】請求項６において、前記制御手段は前記
復号手段での復号処理に関して、前記画像データの低周
波帯域から高周波帯域までを含んだ復号処理から低周波
帯域のみの復号処理のうち、検出した再生速度に従って
前記画面単位で復号する周波数帯域を適応的に切換えて
復号処理するよう制御することを特徴とする画像再生装
置。
【請求項８】複数の画面からなる符号化された画像デ
ータを再生する再生ステップと、前記再生ステップにおける再生速度に応じて、所定画面
単位で復号する周波数帯域を切換えて前記画像データを
復号処理する復号ステップとを有することを特徴とする
画像再生方法。
【請求項９】請求項８において、前記復号ステップは
ウェーブレット変換を用いて符号化された前記画像デー
タを復号処理することを特徴とする画像再生方法。
【請求項１０】請求項８において、更に前記再生ステ
ップの再生速度を設定する再生速度設定ステップを有
し、前記復号ステップは前記再生速度設定ステップにて
設定された再生速度に従って、前記画像データの復号処
理を変化させることを特徴とする画像再生方法。
【請求項１１】請求項１０において、前記復号ステッ
プは前記再生速度設定ステップにて設定された再生速度
が通常速度の再生とは異なる高速再生であるときは、前
記画像データの低周波帯域から高周波帯域までを含んだ
復号処理と、低周波数帯域のみの復号処理とを、所定の
画面周期で切換えて復号処理することを特徴とする画像
再生方法。
【請求項１２】請求項１１において、前記復号ステッ
プは前記再生速度設定ステップにて設定された再生速度
が高速なほど、前記所定の画面周期を長くすることを特
徴とする画像再生方法。
【請求項１３】請求項８において、更に前記再生ステ
ップにおける再生速度を検出する検出ステップと、検出
した再生速度に応じて、前記復号ステップにおける前記
画像データの復号処理を制御する制御ステップとを有す
ることを特徴とする画像再生方法。
【請求項１４】請求項１３において、前記制御ステッ
プは前記復号ステップでの復号処理に関して、前記画像
データの低周波帯域から高周波帯域までを含んだ復号処
理から低周波帯域のみの復号処理のうち、前記検出ステ
ップで検出した再生速度に従って前記画面単位で復号す
る周波数帯域を適応的に切換えて復号処理するよう制御
することを特徴とする画像再生方法。