JP2007158807A - 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム - Google Patents

記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム Download PDF

Info

Publication number
JP2007158807A
JP2007158807A JP2005352204A JP2005352204A JP2007158807A JP 2007158807 A JP2007158807 A JP 2007158807A JP 2005352204 A JP2005352204 A JP 2005352204A JP 2005352204 A JP2005352204 A JP 2005352204A JP 2007158807 A JP2007158807 A JP 2007158807A
Authority
JP
Japan
Prior art keywords
recording
group
pictures
encoded data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005352204A
Other languages
English (en)
Other versions
JP2007158807A5 (ja
JP4674535B2 (ja
Inventor
Jun Hirai
純 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005352204A priority Critical patent/JP4674535B2/ja
Publication of JP2007158807A publication Critical patent/JP2007158807A/ja
Publication of JP2007158807A5 publication Critical patent/JP2007158807A5/ja
Application granted granted Critical
Publication of JP4674535B2 publication Critical patent/JP4674535B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】画質の劣化を抑えつつ、圧縮率を向上させる。
【解決手段】記録制御部１３は、HDTVカメラ１２から供給されるHD動画像から、HD動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得するとともに、その画像情報に基づいて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、そのグループ毎に、グループを構成するピクチャの予測符号化を行い、その結果得られる符号化データを、HDD１４に記録する。一方、再生制御部１５は、HDD１４から符号化データを復号する復号順に読み出し、グループ毎に復号し、その結果得られるピクチャを表示順に並び替えて、モニタ１６に供給して、表示させる。本発明は、例えば、ハードディスクレコーダ等に適用することができる。
【選択図】図１

Description

本発明は、記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関し、特に、例えば、動画像データの画像の劣化を抑えつつ、圧縮率を向上させることができるようにする記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関する。
例えば、動画データを記録し、記録した動画像データを再生するハードディスクレコーダ等の記録再生装置によれば、ハードディスクの記録容量を節約するために、記録する動画像データに対して、例えば、MPEG(Moving Picture Expert Group)方式による予測符号化等の符号化(圧縮)処理を施すことで、動画データのデータ量が少なくされる。
なお、フレームレートを低くして、１ピクチャ(フレームまたはフィールド)あたりの情報量を多くすることにより、ピクチャの画質の劣化を抑えるモードと、１ピクチャあたりの情報量を減らすことにより、ピクチャの画質は劣化するが、通常のフレームレートで動画像を符号化するモードとを有する記録再生装置が、例えば、特許文献１に記載されている。
特開平１１−１６４２４５号公報
ところで、例えばMPEGでは、表示順に連続する、例えば、１５枚等のピクチャをGOP(Group Of Pictures)として、GOP単位で予測符号化が行われる。従って、GOPを構成する(表示順で)隣接するピクチャ同士が類似していない場合には、一方のピクチャから予測画像を得て、その予測画像を用いて、他方のピクチャを符号化するとき、符号量が増加する(圧縮率が低下する)。一方、符号量を抑えようとすれば、復号時に得られる画質が劣化する。
本発明は、このような状況に鑑みてなされたものであり、画質の劣化を抑えつつ、圧縮率を向上させる(符号量を低減する)ことができるようにするものである。
本発明の第１の側面の記録再生装置は、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置において、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得する取得手段と、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするグループ分け手段と、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力する符号化手段と、前記符号化データを、前記記録媒体に記録する記録制御手段と、前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出す読み出し制御手段と、前記記録媒体から読み出された符号化データを、前記グループ毎に復号する復号手段と、前記グループ毎の復号によって得られるピクチャを表示順に出力させる出力制御手段とを備える。
第１の側面の記録再生装置には、前記ピクチャを縮小した縮小画像を作成する作成手段をさらに設けることができ、前記取得手段には、前記縮小画像を用いて、前記画像情報を取得させることができる。
第１の側面の記録再生装置には、複数の前記復号手段を設けることができる。
前記符号化手段は、MPEG(Moving Picture Expert Group)方式の符号化を行い、前記復号手段は、MPEG方式の復号を行い、前記復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、前記出力制御手段は、前記記録手段に記録されたDCT係数を、表示順に、前記ピクチャに復号させて出力させることができる。
第１の側面の記録再生装置には、類似する一連のピクチャの集合であるシーンを検出する検出手段をさら設けることができ、前記取得手段には、前記シーンをピクチャの類似するグループにグループ分けをするのに用いる画像情報を取得させ、前記グループ分け手段には、前記画像情報に基づいて、類似する１以上のシーンを１のグループとさせることができる。
前記取得手段は、画素値のヒストグラムを、前記画像情報として取得することができる。
前記取得手段は、動きベクトルを、前記画像情報として取得することができる。
第１の側面の記録再生装置には、前記符号化手段と異なる方式でピクチャの符号化を行い、符号化データを出力する他の符号化手段と、前記ピクチャの符号化を、前記符号化手段または前記他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択する選択手段とをさらに設けることができる。この場合、第１の側面の記録再生装置には、前記他の符号化手段による符号化により得られた符号化データを復号する他の復号手段とをさらに設けることができ、前記グループ分け手段には、前記符号化手段での符号化を選択された前記シーンを対象にグループ分けを行わせることができる。
本発明の第１の側面の記録再生方法、またはプログラムは、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置の記録再生方法、または動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生処理をコンピュータに実行させるプログラムにおいて、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し、前記符号化データを、前記記録媒体に記録し、前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出し、前記記録媒体から読み出された符号化データを、前記グループ毎に復号し、前記グループ毎の復号によって得られるピクチャを表示順に出力させるステップを含む。
以上のような第１の側面の記録再生装置、記録再生方法、またはプログラムにおいては、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報が取得され、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けがされる。さらに、前記グループ毎に、前記グループを構成するピクチャの予測符号化が行われ、その結果得られる符号化データが、前記記録媒体に記録される。一方、前記符号化データを復号する復号順に、前記記録媒体から前記符号化データが読み出され、前記記録媒体から読み出された符号化データが、前記グループ毎に復号されて、前記グループ毎の復号によって得られるピクチャが表示順に出力させる。
本発明の第２の側面の記録装置は、動画像データを記録媒体に記録する記録装置において、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得する取得手段と、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするグループ分け手段と、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力する符号化手段と、前記符号化データを前記記録媒体に記録する記録制御手段とを備える。
第２の側面の記録装置には、前記記録媒体に記録された前記符号化データを、動画像データを再生する他の装置に送信する送信制御手段をさらに設けることができる。
第２の側面の記録装置には、前記ピクチャを縮小した縮小画像を作成する作成手段をさらに設けることができ、前記取得手段には、前記縮小画像を用いて、前記画像情報を取得させることができる。
第２の側面の記録装置には、類似する一連のピクチャの集合であるシーンを検出する検出手段をさらに設けることができ、前記取得手段には、前記シーンをピクチャの類似するグループにグループ分けをするのに用いる画像情報を取得させることができる。また、前記グループ分け手段には、前記画像情報に基づいて、類似する１以上のシーンを１のグループとさせることができる。
前記取得手段は、画素値のヒストグラムを、前記画像情報として取得することができる。
前記取得手段は、動きベクトルを、前記画像情報として取得することができる。
第２の側面の記録装置には、前記符号化手段と異なる方式でピクチャの符号化を行い、符号化データを出力する他の符号化手段と、前記ピクチャの符号化を、前記符号化手段または前記他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択する選択手段とをさらに設けることができる。この場合、前記グループ分け手段には、前記符号化手段による符号化を選択された前記シーンを対象にグループ分けを行わせることができる。
第２の側面の記録方法、またはプログラムは、動画像データを記録媒体に記録する記録装置の記録方法、または、動画像データを記録媒体に記録する記録処理をコンピュータに実行させるプログラムにおいて、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し、前記符号化データを、前記記録媒体に記録するステップを含む。
以上のような第２の側面の記録装置、記録方法、またはプログラムにおいては、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報が取得され、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けがされる。そして、前記グループ毎に、前記グループを構成するピクチャの予測符号化が行われ、その結果得られる符号化データが、前記記録媒体に記録される。
本発明の第３の側面の再生装置は、動画像データを再生する再生装置において、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行うことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出す読み出し制御手段と、前記記録媒体から読み出された符号化データを、前記グループ毎に復号する復号手段と、前記グループ毎の復号によって得られるピクチャを表示順に出力させる出力制御手段とを備える。
第３の側面の再生装置には、他の装置から送信されてくる前記符号化データを受信する受信制御手段をさらに設けることができ、前記記録媒体には、前記受信制御手段で受信された前記符号化データを記録することができる。
第３の側面の再生装置には、複数の前記復号手段を設けることができる。
前記復号手段は、MPEG(Moving Picture Expert Group)方式の復号を行い、前記復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、前記出力制御手段は、前記記録手段に記録されたDCT係数を、表示順に、前記ピクチャに復号させて出力させることができる。
前記記録媒体には、類似する一連のピクチャの集合であるシーンを検出し、前記ピクチャの符号化を、前記予測符号化を行う符号化手段、または前記符号化手段と異なる方式で符号化を行う他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択し、前記符号化手段での符号化を選択されたシーンを対象に、前記画像情報に基づき、類似する１以上のシーンを１のグループとするグループ分けを行い、前記符号化手段において、前記符号化手段での符号化を選択されたシーンのピクチャの予測符号化を、前記グループ毎に行うことにより得られた符号化データと、前記他の符号化手段において、前記他の符号化手段での符号化を選択されたシーンのピクチャの符号化を行うことにより得られた他の符号化データとが記録されている。この場合、第３の側面の再生装置には、前記他の符号化データを復号する他の復号手段をさらに設けることができる。
本発明の第３の側面の再生方法、またはプログラムは、動画像データを再生する再生装置の再生方法、または動画像データを再生する再生処理をコンピュータに実行させるプログラムにおいて、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行うことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出し、前記記録媒体から読み出された符号化データを前記グループ毎に復号し、前記グループ毎の復号によって得られるピクチャを表示順に出力させるステップを含む。
以上のような第３の側面の再生装置、再生方法、またはプログラムにおいては、記録媒体から、符号化データを復号する復号順に前記符号化データが読み出され、前記記録媒体から読み出された符号化データがグループ毎に復号され、前記グループ毎の復号によって得られるピクチャが表示順に出力される。
本発明によれば、動画像データの画像の劣化を抑えつつ、圧縮率を向上させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面の記録再生装置(例えば、図１の記録再生装置１１)は、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置において、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得する取得手段(例えば、図３の画像情報作成部３２)と、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするグループ分け手段(例えば、図３のグルーピング部３３)と、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力する符号化手段(例えば、図３の圧縮部３４)と、前記符号化データを、前記記録媒体に記録する記録制御手段(例えば、図３の入出力インタフェース２１)と、前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出す読み出し制御手段(例えば、図１５の入出力インタフェース１１１)と、前記記録媒体から読み出された符号化データを、前記グループ毎に復号する復号手段(例えば、図１５の解凍部１１２)と、前記グループ毎の復号によって得られるピクチャを表示順に出力させる出力制御手段(例えば、図１５の出力制御部１１４)とを備える。
第１の側面の記録再生装置は、前記ピクチャを縮小した縮小画像を作成する作成手段(例えば、図２２の縮小画像作成部１６３)をさらに備え、前記取得手段は、前記縮小画像を用いて、前記画像情報を取得することができる。
第１の側面の記録再生装置は、複数の前記復号手段(例えば、図１８の解凍部１１２1乃至１１２n)を備えることができる。
前記符号化手段は、MPEG(Moving Picture Expert Group)方式の符号化を行い、前記復号手段は、MPEG方式の復号を行い、前記復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段(例えば、図２０のバッファ１３４)を有し、前記出力制御手段は、前記記録手段に記録されたDCT係数を、表示順に、前記ピクチャに復号させて出力させることができる。
第１の側面の記録再生装置は、類似する一連のピクチャの集合であるシーンを検出する検出手段(例えば、図４のシーン検出部４１)をさらに備え、前記取得手段は、前記シーンをピクチャの類似するグループにグループ分けをするのに用いる画像情報を取得し、前記グループ分け手段は、前記画像情報に基づいて、類似する１以上のシーンを１のグループとすることができる。
第１の側面の記録再生装置は、前記符号化手段と異なる方式でピクチャの符号化を行い、符号化データを出力する他の符号化手段(例えば、図２４の圧縮部１８２)と、前記ピクチャの符号化を、前記符号化手段または前記他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択する選択手段(例えば、図２４のエンコーダ選択部１８１)と、前記他の符号化手段による符号化により得られた符号化データを復号する他の復号手段(例えば、図２８の解凍部２０２)とをさらに備え、前記グループ分け手段は、前記符号化手段での符号化を選択された前記シーンを対象にグループ分けを行うことができる。
本発明の第１の側面の記録再生方法、またはプログラムは、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置の記録再生方法、または、動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生処理をコンピュータに実行させるプログラムにおいて、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し(例えば、図１１のステップS１２)、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし(例えば、図１１のステップS１３)、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し(例えば、図１１のステップS１４)、前記符号化データを、前記記録媒体に記録し(例えば、図１１のステップS１５)、前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出し(例えば、図１７のステップS８１)、前記記録媒体から読み出された符号化データを、前記グループ毎に復号し(例えば、図１７のステップS８２)、前記グループ毎の復号によって得られるピクチャを表示順に出力させる(例えば、図１７のステップS８４)ステップを含む。
本発明の第２の側面の記録装置(例えば、図３２の記録装置２２１)は、動画像データを記録媒体に記録する記録装置において、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得する取得手段(例えば、図３の画像情報作成部３２)と、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするグループ分け手段(例えば、図３のグルーピング部３３)と、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力する符号化手段(例えば、図３の圧縮部３４)と、前記符号化データを前記記録媒体に記録する記録制御手段(例えば、図３の入出力インタフェース２１)とを備える。
第２の側面の記録装置は、前記記録媒体に記録された前記符号化データを、動画像データを再生する他の装置(例えば、図３２の再生装置２３１)に送信する送信制御手段(例えば、図３２の送信制御部２２５)をさらに備えることができる。
第２の側面の記録装置は、前記ピクチャを縮小した縮小画像を作成する作成手段(例えば、図２２の縮小画像作成部１６３)をさらに備え、前記取得手段は、前記縮小画像を用いて、前記画像情報を取得することができる。
第２の側面の記録装置は、類似する一連のピクチャの集合であるシーンを検出する検出手段(例えば、図４のシーン検出部４１)をさらに備え、前記取得手段は、前記シーンをピクチャの類似するグループにグループ分けをするのに用いる画像情報を取得し、前記グループ分け手段は、前記画像情報に基づいて、類似する１以上のシーンを１のグループとすることができる。
第２の側面の記録装置は、前記符号化手段と異なる方式でピクチャの符号化を行い、符号化データを出力する他の符号化手段(例えば、図２４の圧縮部１８２)と、前記ピクチャの符号化を、前記符号化手段または前記他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択する選択手段(例えば、図２４のエンコーダ選択部１８１)と、をさらに備え、前記グループ分け手段は、前記符号化手段による符号化を選択された前記シーンを対象にグループ分けを行うことができる。
第２の側面の記録方法、またはプログラムは、動画像データを記録媒体に記録する記録装置の記録方法、または、動画像データを記録媒体に記録する記録処理をコンピュータに実行させるプログラムにおいて、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し(例えば、図１１のステップS１２)、前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし(例えば、図１１のステップS１３)、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し(例えば、図１１のステップS１４)、前記符号化データを、前記記録媒体に記録する(例えば、図１１のステップS１５)ステップを含む。
本発明の第３の側面の再生装置(例えば、図３２の再生装置２３１)は、動画像データを再生する再生装置において、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行うことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出す読み出し制御手段(例えば、図１５の入出力インタフェース１１１)と、前記記録媒体から読み出された符号化データを、前記グループ毎に復号する復号手段(例えば、図１５の解凍部１１２)と、前記グループ毎の復号によって得られるピクチャを表示順に出力させる出力制御手段(例えば、図１５の出力制御部１１４)とを備える。
第３の側面の再生装置は、他の装置(例えば、図３２の記録装置２２１)から送信されてくる前記符号化データを受信する受信制御手段(例えば、図３２の受信制御部２３２)をさらに備え、前記記録媒体には、前記受信制御手段で受信された前記符号化データが記録されている。
第３の側面の再生装置は、複数の前記復号手段(例えば、図１８の解凍部１１２1乃至１１２n)を備えることができる。
前記復号手段は、MPEG(Moving Picture Expert Group)方式の復号を行い、前記復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段(例えば、図２０のバッファ１３４)を有し、前記出力制御手段は、前記記録手段に記録されたDCT係数を、表示順に、前記ピクチャに復号させて出力させることができる。
前記記録媒体には、類似する一連のピクチャの集合であるシーンを検出し、前記ピクチャの符号化を、前記予測符号化を行う符号化手段、または前記符号化手段と異なる方式で符号化を行う他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択し、前記符号化手段での符号化を選択されたシーンを対象に、前記画像情報に基づき、類似する１以上のシーンを１のグループとするグループ分けを行い、前記符号化手段において、前記符号化手段での符号化を選択されたシーンのピクチャの予測符号化を、前記グループ毎に行うことにより得られた符号化データと、前記他の符号化手段において、前記他の符号化手段での符号化を選択されたシーンのピクチャの符号化を行うことにより得られた他の符号化データとが記録されており、前記他の符号化データを復号する他の復号手段(例えば、図２８の解凍部２０２)をさらに備えることができる。
本発明の第３の側面の再生方法、またはプログラムは、動画像データを再生する再生装置の再生方法、または、動画像データを再生する再生処理をコンピュータに実行させるプログラムにおいて、動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、前記グループ毎に、前記グループを構成するピクチャの予測符号化を行うことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出し(例えば、図１７のステップS８１)、前記記録媒体から読み出された符号化データを前記グループ毎に復号し(例えば、図１７のステップS８２)、前記グループ毎の復号によって得られるピクチャを表示順に出力させる(例えば、図１７のステップS８４)ステップを含む。
次に、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。
記録再生システムは、記録再生装置１１、HDTV(High Definition TeleVision)カメラ１２、およびモニタ１６から構成され、記録再生装置１１は、記録制御部１３、HDD(Hard Disk Drive)１４、および再生制御部１５により構成される。なお、記録再生装置１１は、ハードディスクレコーダや、いわゆるホームネットワークに接続されるファイルサーバ等に適用することができる。
HDTVカメラ１２は、HDTV信号によるHD(高解像度)動画像を撮像し、記録制御部１３に供給する。
記録制御部１３は、HDTVカメラ１２から供給されるHD動画像を、HDD１４に供給し、記録させる。また、記録制御部１３は、HDD１４に記録されたHD動画像を読み出して、HD動画像を構成する各ピクチャ(フレームまたはフィールド)を、類似するピクチャのグループにグループ分けをし、そのグループ毎に、グループを構成するピクチャの予測符号化を行い、その結果得られる符号化データを、HDD１４に供給して記録させる。
ここで、上述したようなピクチャの予測符号化を行う場合は、グループを構成する各ピクチャはそれぞれ類似することとなるため、HDD１４からのHD動画像そのままのピクチャの並び順(表示順)で予測符号化をする場合と比較して、圧縮率を向上させることができる。また、予測符号化の方式としては、例えば、MPEG方式がある。但し、MPEG方式では、例えば、１５枚等のピクチャで構成されるGOP単位で予測符号化がされるが、記録制御部１３では、後述するグループ分けによって得られるグループ単位で予測符号化が行われる。
HDD１４は、内蔵するハードディスクに、記録制御部１３から供給されるHD動画像や、そのHD動画像を符号化することにより得られる符号化データを記録する。なお、予測符号化されるHD動画像を記録する記録媒体としては、ハードディスク以外のディスク状記録媒体や、半導体メモリ等を採用することができる。
再生制御部１５は、HDD１４から符号化データを読み出して、復号し、その結果得られるピクチャを、表示順に並び替えて、モニタ１６に供給する。
モニタ１６は、再生制御部１５から供給されるピクチャ、即ち、HD動画像を表示する。
また、記録制御部１３は、HDTVカメラ１２から供給されるHD動画像を一旦HDD１４に記録してから、そのHD動画像の符号化を行うことも出来るし、HDD１４に記録せずに、直接、HDTVカメラ１２から供給されるHD動画像を、リアルタイムで符号化することもできる。
ここで、記録再生装置１１では、上述したように、HD動画像のピクチャが、類似するピクチャのグループにグループ分けされ、グループ単位での予測符号化が行われる。従って、予測符号化の単位であるグループについては、例えば、MPEGのGOPと異なり、ピクチャが表示順に並んでいるとは限らないし、グループを構成するピクチャの数が一定であるとも限らない。このため、予測符号化として、例えば、動き補償とDCT変換を行うMPEGと同様の符号化を採用したとしても、記録再生装置１１でのグループ単位での予測符号化が行われることにより得られる符号化データを再生するには、ピクチャが表示順に並んでいるとは限らず、ピクチャの数も一定であるとは限らないため、グループ単位のピクチャの符号化データを復号する専用の仕組みが必要となる。
従って、記録再生装置１１で得られた符号化データを、例えば、光ディスクその他のリムーバブルな記録媒体に記録し、その記録媒体に記録された符号化データを、記録再生装置１１とは別の装置で再生するには、その別の装置が、上述したようなグループ単位のピクチャの符号化データを復号する専用の仕組みを有している必要がある。
また、MPEGでは、編集や頭出し(ジャンプ)を行うことを考慮して、GOPは、例えば、１５枚等のピクチャの、あまり多くない枚数のピクチャで構成されることが多いが、記録再生装置１１において、そのような編集や頭出しを行うことを考慮しなければ、グループは、ある程度多くの枚数のピクチャで構成することができる。
図２は、図１の記録制御部１３の構成例を示すブロック図である。
入出力インタフェース２１は、HDTVカメラ１２から供給されるHD動画像(データ)を受信し、HDD１４または並び替え圧縮部２２に供給する。また、入出力インタフェース２１は、HDD１４からHD動画像を読み出し、並び替え圧縮部２２に供給する。さらに、入出力インタフェース２１は、並び替え圧縮部２２から供給されるHD動画像の符号化データを受信し、HDD１４に供給して記録させる。
並び替え圧縮部２２は、HDTVカメラ１２またはHDD１４から、入出力インタフェース２１を介して供給されるHD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、そのグループ毎に、グループを構成するピクチャの予測符号化を行う。
以上のように構成される記録制御部１３では、HDTVカメラ１２から供給されるHD動画像が、入出力インタフェース２１に供給され、入出力インタフェース２１は、HDTVカメラ１２からのHD動画像を、HDD１４に供給し、記録させる。
その後、入出力インタフェース２１は、HDD１４から、HD動画像を読み出し、並び替え圧縮部２２に供給する。
並び替え圧縮部２２は、入出力インタフェース２１を介して供給されるHD動画像を対象に処理を行うことにより、画像情報を取得し、その画像情報に基づき、HD動画像の各ピクチャのグループ分けを行う。そして、並び替え圧縮部２２は、そのグループ分けによって得られるグループ単位で、HD動画像のピクチャの予測符号化を行い、その結果得られる符号化データを、入出力インタフェース２１を介して、HDD１４に供給して記録させる。
なお、HDTVカメラ１２から、入出力インタフェース２１を介して、HDD１４に記録されたHD動画像(データ)は、並び替え圧縮部２２で得られた符号化データがHDD１４に記録された後に、必要に応じて削除される。
図３は、図２の並び替え圧縮部２２の構成例を示すブロック図である。
ピクチャ表示番号付加部３１は、HDTVカメラ１２またはHDD１４から、入出力インタフェース２１を介して供給されるHD動画像を構成する各ピクチャに、ピクチャの表示順を表すピクチャ表示番号を付加する。また、ピクチャ表示番号付加部３１は、ピクチャ表示番号を付加したHD動画像を構成する各ピクチャを、画像情報作成部３２に供給する。
画像情報作成部３２は、ピクチャ表示番号付加部３１から供給されたHD動画像の各ピクチャを用いて、HD動画像を構成する各ピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成(取得)する。また、画像情報作成部３２は、画像情報と、ピクチャ表示番号を付加したHD動画像を構成する各ピクチャとを、グルーピング部３３に供給する。
グルーピング部３３は、画像情報作成部３２から供給された画像情報を用いて、同じく、画像情報作成部３２から供給されたHD動画像を構成する各ピクチャを類似するピクチャのグループにグループ分けをし、HD動画像を構成する各ピクチャを、グループ単位で、圧縮部３４に供給する。
圧縮部３４は、グルーピング部３３からグループ単位で供給されるピクチャを、１GOPとみなして、MPEG方式で予測符号化し、その結果得られるグループ単位の符号化データを、入出力インタフェース２１を介してHDD１４に供給し、記録させる。
図４は、図３の画像情報作成部３２の構成例を示すブロック図である。
画像情報作成部３２は、シーン検出部４１およびヒストグラム作成部４２により構成される。
シーン検出部４１は、ピクチャ表示番号付加部３１(図３)から供給されるHD動画像から、類似する一連のピクチャの集合であるシーンを検出し、ヒストグラム作成部４２に供給する。
ヒストグラム作成部４２は、シーン検出部４１からの各シーンについて、そのシーンを構成する各ピクチャの画素値のヒストグラムを作成する。さらに、ヒストグラム作成部４２は、各シーンについて、そのシーンを構成する各ピクチャの画素値のヒストグラムの、画素値毎の平均をとることでシーンのヒストグラムを求め、画像情報として、グルーピング部３３に供給する。
なお、ヒストグラム作成部４２は、シーン検出部４１からの各シーンについて、そのシーンを構成する各ピクチャの画素値のヒストグラムを、画素値毎にそれぞれ加算することにより得られるシーンのヒストグラムを、画像情報とすることもできる。
ここで、画素値のヒストグラムを作成するにあたり、画素値としては、輝度値や色信号を用いることができる。
また、画像情報としては、画素値のヒストグラムの他、ブロック単位で検出された動きベクトル等、画像同士が類似するかどうかを判定するのに用いることができる情報を採用することができる。
図５は、図４のシーン検出部４１の構成例を示すブロック図である。
シーン検出部４１は、ピクチャ間差部５１およびシーン分割部５２により構成される。
ピクチャ間差部５１は、ピクチャ表示番号付加部３１(図３)から供給されるHD動画像を構成する表示順に並ぶピクチャのうちの隣接する２つのピクチャの、同一位置の画素の画素値同士の差の２乗和を、ピクチャ間差値として求め、シーン分割部５２に供給する。
具体的には、例えば、HD動画像の先頭から第N番(ピクチャ表示番号)目のピクチャを、第Nピクチャとし、第Nピクチャの画素値をラスタスキャン順にA1,A2,…,Amと表すときに、第(N+1)ピクチャの画素値をラスタスキャン順にB1,B2,…,Bmと表すこととした場合、まず、ピクチャ間差部５１は、第Nピクチャと第(N+1)ピクチャとで、対応する画素毎に画素値の差A1−B1、A2−B2、…、Am―Bmをとる。次に、ピクチャ間差部５１は、画素値の差を、それぞれ２乗し、その結果得られる値を加算(サメーション)することにより、第(N+1)ピクチャのピクチャ間差値(A1−B1)2 +(A2−B2)2+…+(Am―Bm)2を取得し、シーン分割部５２に供給する。
なお、第０ピクチャは、実際には存在しないが、便宜的に、画素値がすべて０であるピクチャを第０ピクチャとし、第０ピクチャと第１ピクチャとから求められるピクチャ間差値を、第１ピクチャのピクチャ間差値とすることとする。
また、ピクチャ間差部５１では、各ピクチャをブロック単位に区切って、ブロック毎の画素値の平均値(または動きベクトル)を求め、隣接するピクチャの同一位置にあるブロック毎の平均値(または動きベクトル)同士の差の２乗和を、ピクチャ間差値としてもよい。
さらに、ピクチャ間差部５１では、各ピクチャの画素値のヒストグラムを作成し、隣接するピクチャのヒストグラムの各画素値の画素数(度数)同士の差の絶対値や２乗和等を、ピクチャ間差値とすることもできる。
シーン分割部５２は、ピクチャ間差部５１から供給される各ピクチャのピクチャ間差値を用いて、各ピクチャを、類似する一連のピクチャの集合であるシーンに分割する。
即ち、例えば、第Nピクチャのピクチャ間差値が、所定の閾値未満の場合に、次のピクチャである第(N+1)ピクチャのピクチャ間差値が閾値を超えているときには、シーン分割部５２は、第Nピクチャと第(N+1)ピクチャとの間をシーンの区切りとして検出し、第Nピクチャを、シーンの最後のピクチャとすると共に、第(N+1)ピクチャを、次のシーンの先頭のピクチャとする。また、第Nピクチャのピクチャ間差値が閾値を超えている場合に、次の第(N+1)ピクチャのピクチャ間差値が閾値未満のときには、シーン分割部５２は、第Nピクチャと第(N-1)ピクチャとの間をシーンの区切りとして検出し、第(N-1)ピクチャを、シーンの最後のピクチャとするとすると共に、第Nピクチャを、次のシーンの先頭のピクチャとする。そして、シーン分割部５２は、HD動画像を表示順に探索し、シーンの先頭のピクチャから、次に現れるシーンの最後のピクチャまでの一連のピクチャを、１シーンとして検出する。
次に、図６を参照して、図５のシーン分割部５２の処理について、さらに説明する。
図６によって■印は、先頭から第１番目のシーン(以下、第１シーンという)、第２シーン、第３シーン、第４シーン、第５シーン、第６シーン、および第７シーンからなるHD動画像の各ピクチャのピクチャ間差値を示している。
ここで、第１シーン、第３シーン、第５シーン、および第７シーンは、例えば、スタジオでアナウンサが喋っているシーンであり、第２シーンは、例えば、グラフィックスの静止画像によるシーンである。また、第４シーンは、例えば、動きの激しい中継シーンであり、第６シーンは、例えば、スタジオで第１シーン、第３シーン、第５シーン、第７シーンとは異なるカメラで撮影されたシーンである。
ここで、図６において、第1ピクチャ、第１０ピクチャ、第１５ピクチャ、第２５ピクチャ、第３６ピクチャ、第４０ピクチャ、および第４９ピクチャは、シーンの先頭のピクチャである。
図５のシーン分割部５２は、ピクチャ間差部５１から、図６のピクチャ間差値が供給されると、そのピクチャ間差値を用いて、第1ピクチャ、第１０ピクチャ、第１５ピクチャ、第２５ピクチャ、第３６ピクチャ、第４０ピクチャ、および第４９ピクチャをシーンの先頭として検出し、第１シーン乃至第７シーンの７つのシーンに分割する。
図７は、図４のヒストグラム作成部４２における処理の一例を説明する図である。
図７は、シーン検出部４１(図４)から供給されるシーンのうちの、第mシーンを構成するピクチャ６１1乃至６１n(nは、第mシーンを構成するピクチャ数)、ピクチャ６１1乃至６１nそれぞれのヒストグラム６２1乃至６２n、および第mシーンの画像情報としてのヒストグラム６３mを示している。
ヒストグラム作成部４２(図４)は、例えば、ピクチャ６１1のヒストグラム６２1の画素値xにおける画素数A1(x)乃至ヒストグラム６２nの画素値xにおける画素数An(x)の平均値Bm(x)=(A1(x)+A2(x)+…+ An-1(x)+An(x))/nを求め、ヒストグラム６３mの画素値xの画素数(度数)とすることを、すべての画素値について行うことにより、第mシーンの画像情報としてのヒストグラム６３mを作成する。
次に、図８を参照して、図３のグルーピング部３３における処理の一例を説明する。
グルーピング部３３は、画像情報作成部３２からのシーンの画像情報としてのヒストグラムを用いて、シーン同士が類似している度合いを表す類似値を求める。即ち、グルーピング部３３は、HD動画像を構成するシーンのうちの、任意の２つのシーンについて、画像情報作成部３２からのシーンのヒストグラムの各画素値の画素数(度数)同士の差の２乗和を、その２つのシーンの類似値として求める。
ここで、第１シーンのヒストグラムについての画素値xにおける画素数をB1(x)とし、第２シーンのヒストグラムについての画素値xにおける画素数をB2(x)とする。また、画素値xは、１以上１００以下の整数であるとすれば、第１シーンと第２シーンとの類似値は、(B1(1)−B2(1))2+(B1(2)−B2(2))2+…+(B1(99)−B2(99))2+ (B1(100)−B2(100))2と表すことができる。
図８は、グルーピング部３３(図３)によるグループ分けの対象となるHD動画像が、例えば、図６で説明したような第１シーン乃至第７シーンの７つのシーンで構成されるとした場合の、任意の２つのシーンの類似値を、表形式で示している。
例えば、類似値が１０以下であるシーン同士を、類似するシーンであるとして、同一のグループにグループ分けをすることとすれば、図８において、第１シーンは、第３シーン、第５シーン、第７シーンとの類似値が１０以下であるため、グルーピング部３３では、第３シーン、第５シーン、および第７シーンとともに、１つのグループにグループ分けされる。
次に、グルーピング部３３は、グループ分けされていない第２シーンについて、同じくグループ分けされていない第４シーン、および第６シーンとの類似値を比較してグループ分けをする。具体的には、第２シーンと第４シーンとの類似値は１３０であり、第２シーンと第６シーンとの類似値は１００であり、いずれも１０以下でないので、グルーピング部３３は、第２シーンのみを、１つのグループにグループ分けをする。
同様にして、第４シーン、および第６シーンについても、グループ分けをする。
以上のように、グルーピング部３３は、グループ分けされていない任意のシーンを選択し、その任意のシーンとの類似値があらかじめ定められた閾値以下の、グループ分けされていないシーンを検出し、その任意のシーンと、その任意のシーンについて検出されたシーンとを、１つのグループとする。グルーピング部３３は、HD動画像を構成するすべてのシーンが、いずれかのグループにグループ分けされるまで、同様の処理を繰り返す。
次に、図９を参照して、図３のグルーピング部３３および圧縮部３４における処理をさらに説明する。
図９は、第１シーン乃至第７シーンにより構成されるHD動画像データ(図９上側)と、各シーンがグルーピング部３３によりグループ分けされた後のHD動画像データ(図９下側)とを示している。
図９では、第１シーン、第３シーン、第５シーン、および第７シーンが１つのグループG１に、第２シーン、および第４シーンが他の１つのグループG２に、第６シーンのみがさらに他の１つのグループG３に、それぞれグループ分けされている。
グルーピング部３３(図３)は、グループ分け後のシーンを、グループ単位で、圧縮部３４に供給するが、そのグループ単位でのシーンの供給は、表示順、即ち、ピクチャ表示番号がより小さいピクチャを含むシーンが属するグループの順に行われる。図９においては、グループG１に属する第１シーンに含まれるピクチャのピクチャ表示番号が最も小さく、グループG２に属する第２シーンに含まれるピクチャのピクチャ表示番号が次に小さく、グループG３に属する第６シーンに含まれるピクチャのピクチャ表示番号が最も大きいため、グループG１に属する第１シーン、第３シーン、第５シーン、および第７シーン、グループG２に属する第２シーンおよび第４シーン、グループG３に属する第６シーンが、その順番で、グルーピング部３３から圧縮部３４に供給される。
そして、圧縮部３４では、１つのグループを、１GOPとみなして、各グループに属するシーンを構成するピクチャがMPEG符号化される。
以上のように、圧縮部３４は、グループをGOPとみなして符号化を行い、各グループは、類似するシーン(ピクチャ)で構成されるため、例えば、MPEGのように、表示順の１５枚等のピクチャをGOPとして符号化を行う場合と比較して、画質の劣化を抑えつつ、圧縮率を向上させることができる。
図１０は、図３の圧縮部３４が出力する、ピクチャの符号化データのフォーマットを示している。
ピクチャの符号化データのフォーマットは、そのピクチャを予測符号化することにより得られるピクチャの符号化データに、そのピクチャの表示順を表すピクチャ表示番号が付加されて構成される。
次に、図１１のフローチャートを参照して、図３の並び替え圧縮部２２における処理を説明する。
並び替え圧縮部２２は、例えば、ユーザが図示せぬ操作部を操作した場合に、あるいは、特に行うべき処理が(ほとんど)ない場合に、図１１のフローチャートにしたがった処理を行う。
即ち、入出力インタフェース２１は、HDD１４からHD動画像を読み出し、ピクチャ表示番号付加部３１に供給する。ステップS１１において、ピクチャ表示番号付加部３１は、入出力インタフェース２１から供給されたHD動画像の各ピクチャに、そのピクチャの表示順を表すピクチャ表示番号を付加し、画像情報作成部３２に供給して、ステップS１２に進む。
ステップS１２において、画像情報作成部３２は、ピクチャ表示番号付加部３１から供給されるHD動画像を用いて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成する。また、画像情報作成部３２は、HD動画像と画像情報とを、グルーピング部３３に供給し、ステップS１２から、ステップS１３に進む。
ステップS１３において、グルーピング部３３は、画像情報作成部３２から供給される画像情報を用いて、同じく、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャを、類似するピクチャのグループにグループ分けをし、その結果得られるグループ分けされたピクチャを、グループ単位で圧縮部３４に供給して、ステップS１４に進む。
ステップS１４において、圧縮部３４は、グルーピング部３３から供給されるグループ分けされたピクチャを、グループ毎に予測符号化し、その結果得られる符号化データを、入出力インタフェース２１に供給して、ステップS１５に進む。
ステップS１５において、入出力インタフェース２１は、圧縮部３４から供給される符号化データを、HDD１４に供給し記録させて、処理を終了する。
次に、図１２のフローチャートを参照して、図１１のステップS１２における画像情報作成処理の詳細について説明する。
ステップS２１において、シーン検出部４１(図４)は、ピクチャ表示番号付加部３１(図３)から供給されるHD画像により、シーンを検出(算出)し、ヒストグラム作成部４２(図４)に供給して、ステップS２２に進む。
ステップS２２において、ヒストグラム作成部４２は、シーン検出部４１から供給される各シーンのヒストグラム(図７)を作成し、画像情報としてグルーピング部３３に供給し、処理を終了する。
次に、図１３のフローチャートを参照して、図１２のステップS２１のシーン検出処理の詳細を説明する。
ステップS３１において、ピクチャ間差部５１(図５)は、ピクチャ表示番号付加部３１(図３)から供給されるHD動画像を構成する各ピクチャより、ピクチャ間差値を求め、ピクチャ表示番号付加部３１から供給されるHD動画像とともに、シーン分割部５２(図５)に供給し、ステップS３２に進む。
ステップS３２において、シーン分割部５２は、ピクチャ間差部５１から供給されるHD動画像を、同じく、ピクチャ間差部５１から供給されるピクチャ間差値を用いて、シーンに分割し、そのシーンに分割後のHD動画像を、ヒストグラム作成部４２(図４)に供給して、処理を終了する。
次に、図１４のフローチャートを参照して、図１１のステップS１３のグルーピング処理の詳細を説明する。
ステップS４１において、グルーピング部３３(図３)は、HD動画像を構成するシーンの中から、例えば、ピクチャ表示番号が１番小さなピクチャを含み、かつ、いずれのグループにも属していないシーンの１つを、比較シーンとして選択し、ステップS４２に進む。
ステップS４２において、グルーピング部３３は、グループ分けされていない(グループに属していない)比較シーンとは別のシーン(以下、単に別のシーンという)が存在しているかを判断し、別のシーンが存在しないと判断した場合、ステップS４３に進む。ステップS４３では、グルーピング部３３は、比較シーンのみを、１つのグループにグループ分けをする。
一方、ステップS４２において、グルーピング部３３が、別のシーンが存在すると判断した場合、ステップS４４に進み、グルーピング部３３は、別のシーンのうちの１つを注目シーンとして選択し、画像情報作成部３２からの比較シーンのヒストグラムと、同じく、画像情報作成部３２からの注目シーンのヒストグラムとの類似値を求め、ステップS４５に進む。
ステップS４５において、グルーピング部３３は、比較シーンのヒストグラムと、注目シーンのヒストグラムとの類似値が、所定の閾値以下であるかどうかを判断する。
ステップS４５において、類似値が所定の閾値以下であると判断された場合、ステップS４６に進み、グルーピング部３３は、注目シーンを、比較シーンと同じグループにグループ分けされるグループ分け対象とし、ステップS４７に進む。
また、ステップS４５において、類似値が所定の閾値以下でないと判断された場合、ステップS４６をスキップして、ステップS４７に進み、グルーピング部３３は、比較シーンと類似性の比較をしていない別のシーンが存在するかを判断し、そのような別のシーンが存在すると判断した場合、ステップS４４に戻り、以下、同様の処理を繰り返す。
一方、ステップS４７において、比較シーンと類似性の比較をしていない別のシーンが存在しないと判断された場合、ステップS４８に進み、グルーピング部３３は、比較シーンと同じグループにグループ分けされるグループ分け対象となったすべての別のシーンと、比較シーンとを、１つのグループにグループ分けをし、ステップS４９に進む。
ステップS４９において、グルーピング部３３は、すべてのシーンがグループ分けされたか判断し、まだグループ分けされていないシーンがあると判断した場合には、ステップS４１に戻り、以下、同様の処理を繰り返すが、すべてのシーンがグループ分けされていると判断した場合には、処理を終了する。
なお、ステップS４５で類似値と比較する所定の閾値は、例えば、ユーザにより決められた任意の値であってもよいし、あらかじめ記録制御部１３に設定されている値であってもよい。
図１５は、図１の再生制御部１５の構成例を示すブロック図である。
再生制御部１５は、入出力インタフェース１１１、解凍部１１２、バッファ１１３、および出力制御部１１４から構成される。
入出力インタフェース１１１は、HDD１４からピクチャ(を含むシーン)の符号化データを、グループ単位で、復号すべき順に読み出し、解凍部１１２に供給する。なお、入出力インタフェース１１１は、ピクチャ表示番号がより小さいピクチャ(の符号化データ)を含むグループの符号化データを、より先に復号すべきグループの符号化データとして、HDD１４から読み出す。
解凍部１１２は、入出力インタフェース１１１から供給される、グループ単位の符号化データを、１GOPとして、MPEG方式により復号し、その結果得られるHD動画像を構成する各ピクチャを、順次、バッファ１１３に供給する。
バッファ１１３は、解凍部１１２から供給されるHD動画像を構成するピクチャを一旦保存する。
出力制御部１１４は、バッファ１１３に保存されたピクチャを、そのピクチャ表示番号の小さい順に読み出すことにより、ピクチャの並びを表示順に並び替え、モニタ１６に出力して表示させる。
図１６は、入出力インタフェース１１１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。
なお、図１６において、横軸は、時間軸を表す。また、HD動画像は、例えば、図６で説明したように、第１シーン乃至第７シーンの７つのシーンから構成され、また、第１シーン乃至第７シーンは、例えば、図９で説明したように、グループG１、グループG２、およびグループG３の３つのグループにグループ分けされていることとする。即ち、第１シーン、第３シーン、第５シーン、および第７シーンはグループG１に属し、第２シーンおよび第４シーンはグループG２に属し、第６シーンはグループG３に属することとする。
符号化データの復号は、表示順がより先(時間的に前)のピクチャほど、先に行う必要がある。そこで、入出力インタフェース１１１は、上述したように、ピクチャ表示番号がより小さいピクチャ(の符号化データ)を含むグループを、先に、HDD１４から読み出し、解凍部１１２に供給する。
従って、グループG１、グループG２、およびグループG３については、図９で説明したように、グループG１に属する第１シーンに含まれるピクチャのピクチャ表示番号が最も小さく、グループG２に属する第２シーンに含まれるピクチャのピクチャ表示番号が次に小さく、グループG３に属する第６シーンに含まれるピクチャのピクチャ表示番号が最も大きいため、入出力インタフェース１１１は、図１６上側に示すように、グループG１、グループG２、グループG３の順番で、HDD１４から符号化データを読み出し、解凍部１１２に供給する。
解凍部１１２は、入出力インタフェース１１１から供給される符号化データを、グループ単位で、順次、復号して、バッファ１１３に供給して保存させる。そして、出力制御部１１４は、バッファ１１３に保存されたピクチャを、図１６下側に示すように、ピクチャ表示番号が小さい順、即ち、表示順に読み出し、モニタ１６に供給する。
次に、図１７のフローチャートを参照して、図１５の再生制御部１５における処理について説明する。
例えば、ユーザが図示せぬ操作部を操作することにより、画像の再生が、入出力インタフェース１１１に指令されると、ステップS８１において、入出力インタフェース１１１は、HDD１４からピクチャ(を含むシーン)の符号化データを、グループ単位で復号すべき順に読み出し、解凍部１１２に供給して、ステップS８２に進む。なお、入出力インタフェース１１１は、ピクチャ表示番号がより小さいピクチャ(の符号化データ)を含むグループの符号化データを、より先に復号すべきグループの符号化データとして、HDD１４から読み出す。
ステップS８２において、解凍部１１２は、入出力インタフェース１１１から供給される、グループ単位の符号化データを、１GOPとして、MPEG方式により復号し、その結果得られるHD動画像を構成する各ピクチャを、順次、バッファ１１３に供給して、ステップS８３に進む。
ステップS８３において、バッファ１１３は、解凍部１１２から供給されるHD動画像を構成するピクチャを一旦保存して、ステップS８４に進む。
ステップS８４において、出力制御部１１４は、バッファ１１３に保存されたピクチャを、そのピクチャ表示番号の小さい順に読み出すことにより、ピクチャの並びを表示順に並び替え、モニタ１６に出力して表示させ、処理を終了する。
次に、図１５の再生制御部１５では、１つの解凍部１１２によって符号化データを復号するが、１つの解凍部１１２がピクチャを復号する処理速度によっては、ピクチャを表示する時刻までに、そのピクチャの復号が間に合わないことがある。そこで、再生制御部１５は、解凍部１１２と同様に構成される複数の解凍部を用いて構成することができる。
図１８は、複数の解凍部を用いて構成された再生制御部１５の構成例を示すブロック図である。
なお、図中、図１５の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図１８の再生制御部１５は、入出力インタフェース１１１に代えて、入出力インタフェース１２１が設けられており、解凍部１１２に代えて、解凍部１１２と同じ構成をとる複数の解凍部１１２1乃至１１２nが設けられているほかは、図１５の場合と同様に構成されている。
入出力インタフェース１２１は、図１５の入出力インタフェース１１１と同様に、HDD１４から、グループ単位で、符号化データを読み出す。そして、入出力インタフェース１２１は、解凍部１１２1乃至１１２nのうちの、復号を行っていない(空いている)ものの１つを選択し、その選択した解凍部に、HDD１４から読み出したグループ単位の符号化データを供給して復号させる。
解凍部１１２1乃至１１２nは、入出力インタフェース１２１から供給されるグループ単位の符号化データを、１GOPの符号化データとしてMPEG方式により復号し、その結果得られるピクチャを、バッファ１１３に供給する。
出力制御部１１４は、バッファ１１３に保存されたピクチャを、図１５で説明したように表示順に読み出し、モニタ１６に供給する。これにより、モニタ１６において、HD動画像が表示される。
なお、図１５の解凍部１１２において、HDD１４に記録された符号化データの復号を、表示に間に合うようにすることができる場合、複数の解凍部１１２1乃至１１２nそれぞれとしては、解凍部１１２により低速なものを用いることができる。逆にいえば、図１５の解凍部１１２は、複数の解凍部１１２1乃至１１２nそれぞれよりも、高速なデコーダ機能を有する必要がある。
図１９は、図１の再生制御部１５の他の構成例を示すブロック図である。
なお、図中、図１５に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図１９の再生制御部１５は、図１５の解凍部１１２、バッファ１１３、および出力制御部１１４に代えて、解凍部１２２が設けられているほかは、図１５の場合と同様に構成されている。
解凍部１２２は、入出力インタフェース１１１から、MPEG方式による予測符号化された符号化データが供給されるようになっている。また、解凍部１２２は、入出力インタフェース１１１から供給される符号化データを、DCT(Discrete Cosine Transform)係数まで復号し、その結果得られるDCT係数を一旦保存して、適切な時期に、保存されたDCT係数を表示順にピクチャに復号し、モニタ１６に供給する。
図２０は、図１９の解凍部１２２の構成を示すブロック図である。
バッファ１３１は、入出力インタフェース１１１から供給される符号化データ(可変長符号)を、一旦保存し、随時、可変長復号部１３２に供給する。
可変長復号部１３２は、バッファ１３１から供給される可変長符号を復号して、量子化係数(DCT係数を量子化して得られる値)や動きベクトルを求め、逆量子化部１３３に供給する。
逆量子化部１３３は、可変長復号部１３２から供給される量子化係数を逆量子化し、DCT係数に変換する。また、逆量子化部１３３は、そのDCT係数と、可変長復号部１３２から供給された動きベクトルとをバッファ１３４に供給し、保存させる。
バッファ１３４は、逆量子化部１３３から供給されるDCT係数と動きベクトルとを、一旦保存する。なお、逆量子化部１３３から供給されるDCT係数と動きベクトルとを、一旦保存するバッファ１３４としての記録媒体としては、例えば、半導体メモリや、HDD１４に内蔵されるハードディスク等を採用することができる。
出力制御部１３５は、ピクチャの表示順に、バッファ１３４に保存された、ピクチャの復号に必要なDCT係数と動きベクトルとを読み出し、DCT係数を、逆DCT部１３６に供給するとともに、動きベクトルを動き補償部１３９に供給する。
逆DCT部１３６は、出力制御部１３５から供給されるDCT係数に、逆DCT処理を施し、その結果得られる画素値を、演算部１３７に供給する。
演算部１３７は、逆DCT部１３６からの画素値がI(Intra)ピクチャの画素値である場合、その画素値をそのままピクチャの復号結果として出力し、逆DCT部１３６からの画素値がP(Predictive)ピクチャ、またはB(Bidirectionally)ピクチャの画素値である場合、動き補償部１３９から供給される予測画像の画素値と加算し、その結果得られる加算値を、ピクチャの復号結果として出力する。
バッファ１３８は、演算部１３７が出力する復号結果(ピクチャ)のうちの、Pピクチャ、またはBピクチャを復号するために用いる予測画像を生成するのに参照するIピクチャ、およびPピクチャを保存する。
動き補償部１３９は、バッファ１３８に保存されるピクチャを参照して、出力制御部１３５から供給される動きベクトルを用いて動き補償を施し、その結果得られる予測画像を演算部１３７に供給する。
以上のように構成される解凍部１２２では、入出力インタフェース１１１からブロック単位で供給されるピクチャの符号化データが、バッファ１３１、可変長復号部１３２、および逆量子化部１３３で処理されることにより得られる各ピクチャのDCT係数と動きベクトルとが、そのピクチャのピクチャ表示番号とともに、バッファ１３４に供給されて保存される。
そして、出力制御部１３５は、バッファ１３４に保存された各ピクチャのDCT係数と動きベクトルとを、ピクチャ表示番号の小さい順、即ち、ピクチャの表示順に読み出し、DCT係数を逆DCT部１３６に、動きベクトルを動き補償部１３９に、それぞれ供給する。これにより、逆DCT部１３６、演算部１３７、バッファ１３８、および動き補償部１３９では、各ピクチャのDCT係数と動きベクトルとを用いて、各ピクチャ(の画素値)が、表示順に復号されて出力される。
なお、解凍部１２２は、入出力インタフェース１１１から供給される符号化データを、復号の途中で得られるDCT係数の状態でバッファ１３４に保存しておくため、復号後のHD動画像の状態でバッファ(例えば、図１５のバッファ１１３)に保存する場合と比較して、バッファの記憶容量をより節約することができる。
次に、図１９の再生制御部１５では、１つの解凍部１２２によって符号化データを復号するが、１つの解凍部１２２がピクチャを復号する処理速度によっては、ピクチャを表示する時刻までに、そのピクチャの復号が間に合わないことがある。そこで、再生制御部１５は、解凍部１２２と同様に構成される複数の解凍部を用いて構成することができる。
図２１は、複数の解凍部を用いて構成された再生制御部１５の他の構成例を示すブロック図である。
図２１の再生制御部１５は、図１８で説明した入出力インタフェース１２１と、図１９および図２０で説明した解凍部１２２と同じ構成をとる複数の解凍部１２２1乃至１２２nとから構成されている。
図２１の再生制御部１５では、入出力インタフェース１２１が、HDD１４からグループ単位の符号化データを読み出す。そして、入出力インタフェース１２１は、複数の解凍部１２２1乃至１２２nのうちの、復号を行っていないものの１つを選択し、その選択した解凍部に、グループ単位の符号化データを供給して復号させる。
解凍部１２２1乃至１２２nそれぞれは、図１９の解凍部１２２と同様に、入出力インタフェース１２１から供給される符号化データを、DCT係数まで復号し、その結果得られるDCT係数をバッファ(図２０のバッファ１３４に対応するバッファ)に一旦保存する。さらに、それぞれの解凍部１２２1乃至１２２nは、適切な時期に、バッファに保存された各ピクチャのDCT係数を、そのピクチャの表示タイミングの直前に、ピクチャに復号し、モニタ１６に出力する。
図２２は、図１の記録制御部１３の他の構成例を示すブロック図である。
なお、図中、図２の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２２の記録制御部１３は、圧縮部１６１、解凍部１６２、縮小画像作成部１６３、イントラ圧縮部１６４、およびイントラ解凍部１６５が新たに設けられているほかは、図２の場合と同様に構成されている。
圧縮部１６１は、HDTVカメラ１２から、入出力インタフェース２１を介して供給されるHD動画像を、例えば、可逆の符号化方式(圧縮方式)で符号化する。即ち、図２では、HDTVカメラ１２からのHD動画像を符号化せずに、HDD１４に記録させるようにしたが、図２２では、HDTVカメラ１２からのHD動画像を、圧縮部１６１で符号化し、データ量を少なくしてから、HDD１４に記録させることができるようになっている。
解凍部１６２は、HDD１４に記録されている、圧縮部１６１により符号化された符号化データを、入出力インタフェース２１を介してHDD１４から読み出し、圧縮部１６１による符号化方式に従った復号方式により復号して、その結果得られるHD動画像を、入出力インタフェース２１に供給する。
縮小画像作成部１６３は、HDTVカメラ１２から入出力インタフェース２１を介して供給されるHD動画像の各ピクチャの画素数を間引くことにより縮小画像を作成し、入出力インタフェース２１に供給する。
イントラ圧縮部１６４は、入出力インタフェース２１から供給される縮小画像を、イントラ符号化し、HDD１４に供給して、記録させる。
イントラ解凍部１６５は、入出力インタフェース２１から供給される、各ピクチャの縮小画像をイントラ符号化したイントラ符号化データを復号して、その結果得られる縮小画像を、入出力インタフェース２１に供給する。
以上のように構成される記録制御部１３では、HDTVカメラ１２から供給されるHD動画像が、入出力インタフェース２１に供給され、入出力インタフェース２１は、HDTVカメラ１２からのHD動画像を、圧縮部１６１と縮小画像作成部１６３とに供給する。圧縮部１６１は、入出力インタフェース２１からのHD動画像を符号化し、その結果得られる符号化データを、入出力インタフェース２１に供給する。入出力インタフェース２１は、圧縮部１６１からの符号化データを、HDD１４に供給し、これにより、HD動画像の符号化データは、HDD１４により記録される。
また、縮小画像作成部１６３は、入出力インタフェース２１からのHD動画像の各ピクチャの縮小画像を作成し、入出力インタフェース２１を介して、イントラ圧縮部１６４に供給する。イントラ圧縮部１６４は、入出力インタフェース２１を介して供給される縮小画像をイントラ符号化し、その結果得られるイントラ符号化データを、入出力インタフェース２１に供給する。入出力インタフェース２１は、イントラ圧縮部１６４からのイントラ符号化データをHDD１４に供給し、これにより、縮小画像のイントラ符号化データは、HDD１４により記録される。
その後、入出力インタフェース２１は、HDD１４から、HD動画像の符号化データと、縮小画像のイントラ符号化データとを読み出し、HD動画像の符号化データを解凍部１６２に供給するとともに、縮小画像のイントラ符号化データをイントラ解凍部１６５に供給する。
解凍部１６２は、入出力インタフェース２１からの符号化データを、元のHD動画像の各ピクチャに復号し、入出力インタフェース２１を介して、並び替え圧縮部２２に供給する。また、イントラ解凍部１６５は、入出力インタフェース２１からのイントラ符号化データを、元の縮小画像に復号し、入出力インタフェース２１を介して、並び替え圧縮部２２に供給する。
並び替え圧縮部２２は、入出力インタフェース２１を介して供給される縮小画像を対象に処理を行うことにより、画像情報を取得し、その画像情報に基づき、入出力インタフェース２１を介して供給されるHD動画像の各ピクチャのグループ分けを行う。そして、並び替え圧縮部２２は、そのグループ分けによって得られるグループ単位で、HD動画像のピクチャの予測符号化を行い、その結果得られる符号化データを、入出力インタフェース２１を介して、HDD１４に供給して記録させる。
なお、HDD１４に記録された、圧縮部１６１で得られた符号化データは、並び替え圧縮部２２で得られた符号化データがHDD１４に記録された後に、必要に応じて削除される。
図２３は、図２２の縮小画像作成部１６３の構成例を示すブロック図である。
縮小画像作成部１６３は、LPF(Low-Pass Filter)１７１およびダウンサンプリング部１７２により構成される。縮小画像作成部１６３は、LPF１７１において、HDTVカメラ１２から入出力インタフェース２１を介して供給されるHD動画像の高周波数帯域成分を除去し、さらに、ダウンサンプリング部１７２において、HD動画像の各ピクチャの画素を間引くことにより、各ピクチャを縮小した縮小画像を、入出力インタフェース２１に供給する。
図２４は、図２の並び替え圧縮部２２の他の構成例を示すブロック図である。
なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２４の並び替え圧縮部２２は、エンコーダ選択部１８１、および圧縮部１８２が新たに設けられているほかは、図３の場合と同様に構成されている。但し、図３では、画像情報作成部３２は、HD動画像を構成するピクチャと、シーンの画像情報(ヒストグラム)を出力するようになっていたが、図２４では、画像情報作成部３２は、HD動画像を構成するピクチャと、シーンの画像情報の他、各ピクチャのピクチャ間差値も出力するようになっている。
エンコーダ選択部１８１には、画像情報作成部３２が出力する、HD動画像を構成する各ピクチャ、HD動画像を構成する各ピクチャのピクチャ間差値、および画像情報が供給されるようになっている。エンコーダ選択部１８１は、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャのピクチャ間差値を用いて、同じく、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャの符号化方式を、シーンごとに選択し、そのシーンに含まれる各ピクチャに、選択された符号化方式に関する情報を付加して、その符号化方式に従って、ピクチャを、シーンごとにグルーピング部３３、または、圧縮部１８２に供給する。
即ち、エンコーダ選択部１８１は、HD動画像を構成する各シーンについて、例えば、そのシーンを構成するピクチャのピクチャ間差値がある値以上のピクチャが所定数以上存在するかどうかを判断し、ピクチャ間差値がある値以上のピクチャが所定数以上存在すると判断されたシーンを、動きの激しいシーン(類似しないピクチャが多いシーン)に分類する。さらに、エンコーダ選択部１８１は、動きの激しいシーンに分類されたシーンについては、後段の圧縮部１８２での符号化を行うことを選択し、動きの激しいシーンに分類されなかったシーン、つまり、動きの(ほとんど)ないシーン(類似しないピクチャがほとんどないシーン)については、圧縮部３４(図３)での予測符号化を行うことを選択する。そして、エンコーダ選択部１８１は、圧縮部３４での符号化を選択したシーンを構成するピクチャには、例えば、MPEG符号化方式で予測符号化するという情報を付加し、そのシーンの画像情報と共に、グルーピング部３３に供給する。また、エンコーダ選択部１８１は、圧縮部１８２での符号化を選択したシーンを構成するピクチャには、例えば、ウェーブレット変換により符号化するという情報を付加し、そのシーン(を構成するピクチャ)を、圧縮部１８２に供給する。
圧縮部１８２は、エンコーダ選択部１８１から供給されるシーンのピクチャ、即ち、ある程度以上の動きがあるシーンのピクチャを、ウェーブレット変換し、その結果得られる符号化データを、入出力インタフェース２１に供給する。
なお、図２４の並び替え圧縮部２２では、エンコーダ選択部１８１の処理の前に、グルーピング部３３の処理をする構成を適用することができる。
即ち、図２４では、エンコーダ選択部１８１と圧縮部３４との間に、グルーピング部３３が設けられているが、グルーピング部３３は、エンコーダ選択部１８１と圧縮部３４との間ではなく、画像情報作成部３２とエンコーダ選択部１８１との間に設けることができる。この場合、エンコーダ選択部１８１では、シーン単位ではなく、グループ単位で、ピクチャを、圧縮部３４と圧縮部１８２とのうちのいずれで符号化するかが選択される。
また、圧縮部１８２では、圧縮部３４が行う予測符号化と異なる符号化の１つであるウェーブレット変換を行うようにしたが、圧縮部１８２で行う符号化は、ウェーブレット変換に限定されるものではない。即ち、圧縮部１８２では、ピクチャをイントラ符号化する符号化であれば、どのような符号化でも採用することができる。但し、特に、画質の劣化が低く、かつ高圧縮率のイントラ符号化であることが望ましい。
なお、圧縮部３４と圧縮部１８２において、HDD１４に既に記録されているHD動画像を対象に符号化を行う場合、HDTVカメラ１２からリアルタイムで供給されるHD動画像を対象に符号化を行う場合と異なり、圧縮部３４と圧縮部１８２とのうちの一方の符号化処理の終了後に、他方の符号化処理を行うこともできるし、両方の符号化処理を並列して行うこともできる。
次に、図２５を参照して、図２４のグルーピング部３３、圧縮部３４、エンコーダ選択部１８１、および圧縮部１８２における処理をさらに説明する。
いま、例えば、HD動画像が、図２５の上から１番目に示すように、第１シーン乃至第７シーンから構成され、第１シーン、第３シーン、第５シーン、および第７シーンは互いに類似するが、第２シーン、第４シーン、および第６シーンは、いずれも、他のシーンと類似していないとする。さらに、第４シーンは、動きの激しいシーンであるが、他のシーン、即ち、第１シーン乃至第３シーンおよび第５シーン乃至第７シーンは、いずれも、動きの(ほとんど)ない類似しているシーンであるとする。
この場合、エンコーダ選択部１８１では、動きの激しいシーンである第４シーンについては、圧縮部１８２での符号化が選択され、第４シーンは、エンコーダ選択部１８１から圧縮部１８２に供給される。また、エンコーダ選択部１８１では、動きのないシーンである第１シーン乃至第３シーンおよび第５シーン乃至第７シーンについては、圧縮部３４での符号化が選択され、第１シーン乃至第３シーンおよび第５シーン乃至第７シーンは、エンコーダ選択部１８１からグルーピング部３３に供給される。
そして、グルーピング部３３では、図２５の上から２番目に示すように、エンコーダ選択部１８１からの第１シーン乃至第３シーンおよび第５シーン乃至第７シーンが、互いに類似している第１シーン、第３シーン、第５シーン、および第７シーンからなるグループG１、第２シーンのみからなるグループG２、第６シーンのみからなるグループG３にグループ分けされ、グループ単位で、圧縮部３４に供給される。
圧縮部３４は、グループG１、グループG２、グループG３のそれぞれを１GOPとみなして、MPEG方式による予測符号化を行う。
一方、圧縮部１８２では、図２５の上から３番目に示す第４のシーンの各ピクチャがウェーブレット変換される。
ここで、動きが激しいシーンのピクチャについては、ウェーブレット変換を行うことにより、MPEG方式等の予測符号化を行う場合と比較して、画質の劣化を低減し、或いは、圧縮率の向上を図ることができる。
図２６は、図２４の圧縮部３４、または圧縮部１８２が出力する、ピクチャの符号化データのフォーマットを示している。
ピクチャの符号化データのフォーマットは、そのピクチャを予測符号化することにより得られるピクチャの符号化データまたはウェーブレット変換することにより得られるウェーブレット変換により符号化されたピクチャデータ、そのピクチャの表示順を表すピクチャ表示番号、およびそのピクチャの符号化方式を表す情報が付加されて構成される。
次に、図２７のフローチャートを参照して、図２４の並び替え圧縮部２２における処理を説明する。
並び替え圧縮部２２は、例えば、ユーザが図示せぬ操作部を操作した場合に、あるいは、特に行うべき処理が(ほとんど)ない場合に、図２７のフローチャートにしたがった処理を行う。
即ち、入出力インタフェース２１は、HDD１４からHD動画像を読み出し、ピクチャ表示番号付加部３１に供給する。ステップS９１において、ピクチャ表示番号付加部３１は、入出力インタフェース２１から供給されたHD動画像の各ピクチャに、そのピクチャの表示順を表すピクチャ表示番号を付加し、画像情報作成部３２に供給して、ステップS９２に進む。
ステップS９２において、画像情報作成部３２は、図１１のステップS１２と同様に、ピクチャ表示番号付加部３１から供給されるHD動画像の各ピクチャのピクチャ間差値を求め、そのピクチャ間差値に基づき、HD動画像のシーンを検出する。さらに、画像情報作成部３２は、各シーンについて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成する。そして、画像情報作成部３２は、HD動画像を構成する各ピクチャ、シーンの画像情報、およびピクチャ間差値を、エンコーダ選択部１８１に供給し、ステップS９２からステップS９３に進む。
ステップS９３において、エンコーダ選択部１８１は、画像情報作成部３２から供給されるピクチャ間差値を用いて、同じく、画像情報作成部３２から供給されるHD動画像を構成する各ピクチャの符号化方式をシーンごとに選択し、そのシーンに含まれるピクチャに、選択された符号化方式に関する情報を付加する。エンコーダ選択部１８１は、圧縮部３４での符号化を選択されたシーン(を構成するピクチャ)を、画像情報作成部３２から供給されたシーンの画像情報と共に、グルーピング部３３に供給し、圧縮部１８２での符号化を選択されたシーン(を構成するピクチャ)を、圧縮部１８２に供給して、ステップS９４に進む。
ステップS９４では、エンコーダ選択部１８１から供給されたシーンを構成するピクチャを対象とした処理が行われる。即ち、ステップS９４では、グルーピング部３３が、ステップS９５において、図１１のステップS１３と同様に、エンコーダ選択部１８１から供給されるシーンの画像情報を用いて、同じく、エンコーダ選択部１８１から供給されるシーンを構成する各ピクチャを、シーン単位で、グループ分けをし、その結果得られるグループ分けされたシーン(を構成するピクチャ)を、グループ単位で圧縮部３４に供給して、ステップS９６に進む。
ステップS９６において、圧縮部３４は、グルーピング部３３から供給されるピクチャを、グループ単位で、MPEG方式により予測符号化し、その結果得られる符号化データを、入出力インタフェース２１に供給する。
一方、圧縮部１８２は、ステップS９７において、エンコーダ選択部１８１から供給されたシーンを構成する各ピクチャを、ウェーブレット変換し、その結果得られる符号化データを、入出力インタフェース２１に供給する。
ステップS９４の処理後、ステップS９８に進み、入出力インタフェース２１は、圧縮部３４、または圧縮部１８２から供給される符号化データを、HDD１４に供給し記録させて、処理を終了する。
なお、ステップS９２において、画像情報作成部３２は、縮小画像作成部１６３(図２２)で作成されるHD動画像の縮小画像を用いて、HD動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするのに用いる画像情報を作成してもよい。
図２８は、図１の記録制御部１３が図２４に示したように構成される場合の、図１の再生制御部１５の構成例を示すブロック図である。
なお、図中、図１５の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図２８の再生制御部１５は、図１５の入出力インタフェース１１１に代えて、入出力インタフェース２０１が設けられており、さらに、解凍部２０２が新たに設けられているほかは、図１５の場合と同様に構成されている。
入出力インタフェース２０１は、HDD１４からピクチャ(を含むシーン)の符号化データを、復号すべき順に読み出し、その符号化データに付与された符号化方式に関する情報に基づいて、解凍部１１２または解凍部２０２に供給する。即ち、入出力インタフェース２０１は、MPEG符号化によって得られた符号化データを解凍部１１２に供給し、ウェーブレット変換によって得られた符号化データを解凍部２０２に供給する。なお、入出力インタフェース２０１は、ピクチャ表示番号がより小さいピクチャを含む符号化データを、より先に復号すべき符号化データとして、HDD１４から読み出す。
解凍部２０２は、入出力インタフェース２０１から供給されるウェーブレット変換された符号化データを逆変換することにより復号し、その結果得られるHD動画像を構成する各ピクチャを、バッファ１１３に供給する。
図２９は、図２８の入出力インタフェース２０１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。
なお、図２９において、横軸は、時間軸を表す。また、HD動画像は、例えば、図２５で説明したように、第１シーン乃至第７シーンから構成され、第１シーン、第３シーン、第５シーン、および第７シーンは互いに類似するが、第２シーン、第４シーン、および第６シーンは、いずれも、他のシーンと類似していないとする。さらに、第４シーンは、動きの激しいシーンであるが、他のシーン、即ち、第１シーン乃至第３シーンおよび第５シーン乃至第７シーンは、いずれも、動きの(ほとんど)ないシーンであるとする。また、第１シーン乃至第３シーン、第５シーン、および第７シーンが、互いに類似している第１シーン、第３シーン、第５シーン、および第７シーンからなるグループG１、第２シーンのみからなるグループG２、第６シーンのみからなるグループG３にグループ分けされているとする。
また、グループG１、グループG２、グループG３それぞれは、それぞれのグループを1GOPとみなして、MPEG方式による予測符号化がされており、その結果得られる符号化データが、HDD１４に記録されていることとする。さらに、第４シーンの各ピクチャは、ウェーブレット変換されており、その結果得られる符号化データも、HDD１４に記録されていることとする。
ここで、符号化データの復号は、表示順がより先(時間的に前)のピクチャほど、先に行う必要がある。そこで、入出力インタフェース２０１は、上述したように、ピクチャ表示番号がより小さいピクチャの(符号化データ)を含むシーンまたはグループを、先に、HDD１４から読み出し、符号化方式に関する情報に基づいて、解凍部１１２または解凍部２０２に供給する。
具体的には、まず、グループG１、グループG２、グループG３、および第４シーンについては、グループG１に属する第１シーンに含まれるピクチャのピクチャ表示番号が最も小さく、グループG２に属する第２シーンに含まれるピクチャのピクチャ表示番号が次に小さく、第４シーンに含まれるピクチャのピクチャ表示番号がその次に小さく、グループG３に属する第６シーンに含まれるピクチャのピクチャ表示番号が最も大きいため、入出力インタフェース２０１は、グループG１、グループG２、第４シーン、グループG３の順番で、HDD１４から読み出し、図２９の上から１番目および２番目に示すように、グループG１、グループG１、およびグループG１については解凍部１１２に、第４シーンについては解凍部２０２に、それぞれ供給する。
解凍部１１２は、入出力インタフェース２０１から供給される符号化データを、グループ単位で、順次、復号して、バッファ１１３に供給して保存させる。また、解凍部２０２は、入出力インタフェース２０１から供給される符号化データを、復号して、バッファ１１３に供給して保存させる。
そして、出力制御部１１４は、バッファ１１３に保存されたピクチャを、図２９の上から３番目(下から１番目)に示すように、ピクチャ表示番号が小さい順、即ち、表示順に読み出し、モニタ１６に供給する。
次に、図３０のフローチャートを参照して、図２８の再生制御部１５における処理について説明する。
例えば、ユーザが図示せぬ操作部を操作することにより、画像の再生が、入出力インタフェース２０１に指令されると、ステップS１１１において、入出力インタフェース２０１は、HDD１４からピクチャ(を含むシーン)の符号化データを、グループ単位またはシーン単位で復号すべき順に読み出し、解凍部１１２または解凍部２０２に供給して、ステップS１１２に進む。
ステップS１１２において、解凍部１１２または解凍部２０２は、入出力インタフェース２０１から供給される符号化データを復号する。即ち、ステップS１１２では、解凍部１１２が、ステップS１１３において、入出力インタフェース２０１から、グループ単位で供給された符号化データを、MPEG方式により復号し、その結果得られるHD動画像を構成する各ピクチャを、バッファ１１３に供給する。
また、解凍部２０２は、ステップS１１４において、入出力インタフェース２０１から、シーン単位で供給された符号化データを、ウェーブレット逆変換することにより復号し、その結果得られるHD動画像を構成する各ピクチャを、バッファ１１３に供給する。
その後、ステップS１１２からステップS１１５に進み、バッファ１１３は、解凍部１１２、および解凍部２０２から供給されるHD動画像を構成する各ピクチャを一旦保存し、ステップS１１６に進む。
ステップS１１６において、出力制御部１１４は、バッファ１１３に保存されたピクチャを、ピクチャ表示番号の小さい順に読み出すことにより、ピクチャの並びを表示順に並び替え、モニタ１６に出力し、表示させて、処理を終了する。
図３１は、図１の再生制御部１５のさらに他の構成例を示すブロック図である。
なお、図中、図２１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図３１の再生制御部１５は、図２１の入出力インタフェース１２１に代えて、入出力インタフェース２１１が設けられており、さらに、解凍部２０２、バッファ２１３、および出力制御部２１４が新たに設けられているほかは、図２１の場合と同様に構成されている。
入出力インタフェース２１１は、グループ単位または(グループ分けされていない)シーン単位の符号化データをHDD１４から読み出す。そして、入出力インタフェース２１１は、符号化データに付加された符号化方式に基づいて、符号化データを、解凍部１２２1乃至１２２n、または解凍部２０２に供給する。即ち、入出力インタフェース２１１は、複数の解凍部１２２1乃至１２２nのうちの、復号を行っていないものの１つを選択し、その選択した解凍部に、グループ単位の符号化データを供給して復号させる。また、入出力インタフェース２１１は、解凍部２０２に、シーン単位の(グループ分けされていない)符号化データを供給して復号させる。
解凍部２０２は、図２８の解凍部２０２と同様に、入出力インタフェース２１１から供給されるウェーブレット変換された符号化データを、逆変換することにより復号し、その結果得られるピクチャを、バッファ２１３に供給する。
バッファ２１３は、解凍部２０２から供給されたピクチャを、一旦保存する。
出力制御部２１４は、バッファ２１３に保存されているピクチャを、適当な時期に、モニタ１６に出力して表示させる。
なお、図３１では、１つの解凍部２０２しか設けていないが、再生制御部１５は、解凍部２０２と同様に構成される解凍部を複数設けて構成することが可能となる。
図３２は、本発明を適用した記録再生システムの他の一実施の形態の構成例を示す図である。なお、図中、図１の場合と対応する部分については、同一の符号を付してある。
記録再生システムは、HDTVカメラ１２、モニタ１６、記録装置２２１、および再生装置２３１により構成されている。
記録装置２２１は、記録制御部２２３、HDD２２４、および送信制御部２２５から構成されている。記録制御部２２３は、図１の記録制御部１３と同様に構成されている。
ＨＤＤ２２４は、図１のHDD１４と同様に、記録制御部２２３から供給される符号化データの記録等を行う。
送信制御部２２５は、ＨＤＤ２２４から読み出された符号化データを、例えば、インターネットやLAN(Local Area Network)、IEEE(Institute of Electrical and Electronic Engineers)１３９４やUSB(Universal Serial Bus)の規格に準拠したネットワーク等を介して、再生装置２３１に送信することを制御する。
再生装置２３１は、受信制御部２３２、HDD２３３、および再生制御部２３４から構成される。
受信制御部２３２は、例えば、記録装置２２１から送信される符号化データを受信することを制御し、その符号化データを、ＨＤＤ２３３に供給し、記録させる。
ＨＤＤ２３３は、受信制御部２３２から供給される符号化データを記録する。
再生制御部２３４は、図１の再生制御部１５と同様に構成され、ＨＤＤ２３３に記録されている符号化データを、ＨＤＤ２３３から読み出して復号し、その結果得られるHD動画像を、モニタ１６に供給する。
以上のように構成される図３２の記録再生システムでは、例えば、記録装置２２１の記録制御部２２３に、HDTVカメラ１２からHD動画像が供給される。記録制御部２２３は、HDTVカメラ１２からのHD動画像を対象に、図１の記録制御部１３と同様の処理を行い、その結果得られた符号化データを、HDD２２４に供給し記録させる。送信制御部２２５は、HDD２２４に記録されている符号化データを読み出し、ネットワーク等を介して、再生装置２３１の受信制御部２３２に送信する。
再生装置２３１の受信制御部２３２は、記録装置２２１からの符号化データを受信してHDD２３３に供給し、記録させる。再生制御部２３４は、必要に応じてHDD２３３に記録されている符号化データを読み出し、図１の再生制御部１５と同様の処理を行い、その結果得られるHD動画像をモニタ１６に供給する。
図３３は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
CPU（Central Processing Unit）２５１は、ROM（Read Only Memory）２５２、または記憶部２５８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２５３には、CPU２５１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２５１、ROM２５２、およびRAM２５３は、バス２５４により相互に接続されている。
なお、CPU２５１として、”Ｃｅｌｌ誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているＣｅｌｌを採用することができる。
CPU２５１にはまた、バス２５４を介して入出力インタフェース２５５が接続されている。入出力インタフェース２５５には、キーボード、マウス、マイクロホンなどよりなる入力部２５６、ディスプレイ、スピーカなどよりなる出力部２５７が接続されている。CPU２５１は、入力部２５６から入力される指令に対応して各種の処理を実行する。そして、CPU２５１は、処理の結果を出力部２５７に出力する。
入出力インタフェース２５５に接続されている記憶部２５８は、例えばハードディスクからなり、CPU２５１が実行するプログラムや各種のデータを記憶する。通信部２５９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部２５９を介してプログラムを取得し、記憶部２５８に記憶してもよい。
入出力インタフェース２５５に接続されているドライブ２６０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２６１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２５８に転送され、記憶される。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２６１、または、プログラムが一時的もしくは永続的に格納されるROM２５２や、記憶部２５８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２５９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
ここで、本発明の実施の形態では、グループ分けの対象を、シーンとしたが、グループ分けは、ピクチャを対象として行うこともできる。即ち、例えば、上述したHD動画像を構成する各ピクチャのヒストグラム(例えば、図７のヒストグラム６２1乃至６２n)を用いて、ピクチャ同士が類似している度合いを表す類似値を、シーンのヒストグラムから求められる類似値と同様にして求め、その類似値がある閾値以下のピクチャ同士を１つのグループにグループ分けし、或いは、類似値がある閾値以下のピクチャ同士であり、かつ、ピクチャ全体の動きベクトルの総和のベクトルの大きさが、他の閾値以下のピクチャを１つのグループにグループ分けすること等が可能である。また、例えば、ピクチャを対象としたグループ分けは、ヒストグラムの代わりに、ピクチャ間差値を用いることもできる。
ピクチャを対象にグループ分けをすることにより、周期的な動きをしている物体が写っているシーンを構成するピクチャや、カメラのフラッシュ等によって輝度が大きく変化しているシーンを構成するピクチャを、より類似するピクチャ同士のグループにグループ分けすることが可能となる。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した記録再生システムの一実施の形態の構成例を示すブロック図である。 図１の記録制御部１３の構成例を示すブロック図である。 図２の並び替え圧縮部２２の構成例を示すブロック図である。 図３の画像情報作成部３２の構成例を示すブロック図である。 図４のシーン検出部４１の構成例を示すブロック図である。 図５のシーン分割部５２の処理を説明する図である。 図４のヒストグラム作成部４２における処理を説明する図である。 図３のグルーピング部３３における処理の一例を説明する図である。 図３のグルーピング部３３および圧縮部３４における処理を説明する図である。 図３の圧縮部３４が出力する、ピクチャの符号化データのフォーマットを示す図である。 図３の並び替え圧縮部２２における処理を示すフローチャートである。 図１１のステップS１２における画像情報作成処理の詳細を示すフローチャートである。 図１２のステップS２１のシーン検出処理の詳細を示すフローチャートである。 図１１のステップS１３のグルーピング処理の詳細を示すフローチャートである。 図１の再生制御部１５の構成例を示すブロック図である。 入出力インタフェース１１１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。 図１５の再生制御部１５における処理を示すフローチャートである。 複数の解凍部を用いて構成された再生制御部１５の構成例を示すブロック図である。 図１の再生制御部１５の他の構成例を示すブロック図である。 図１９の解凍部１２２の構成を示すブロック図である。 複数の解凍部を用いて構成された再生制御部１５の他の構成例を示すブロック図である 図１の記録制御部１３の他の構成例を示すブロック図である。 図２２の縮小画像作成部１６３の構成例を示すブロック図である。 図２の並び替え圧縮部２２の他の構成例を示すブロック図である。 図２４のグルーピング部３３、圧縮部３４、エンコーダ選択部１８１、および圧縮部１８２における処理を説明する図である。 図２４の圧縮部３４、または圧縮部１８２が出力する、ピクチャの符号化データのフォーマットを示す図である。 図２４の並び替え圧縮部２２における処理を示すフローチャートである。 図１の再生制御部１５の他の構成例を示すブロック図である。 入出力インタフェース２０１によるHDD１４からのシーン(を構成するピクチャ)の符号化データの読み出しの順番と、出力制御部１１４によるバッファ１１３からのピクチャの読み出しの順番を説明する図である。 図２８の再生制御部１５における処理を示すフローチャートである。 図１の再生制御部１５のさらに他の構成例を示すブロック図である。 本発明を適用した記録再生システムの他の一実施の形態の構成例を示すブロック図である。 本発明を適用したプログラムを実行するコンピュータの構成例を示すブロック図である。
符号の説明
１１ 記録再生装置， １２ HDTVカメラ， １３ 記録制御部， １４ HDD， １５ 再生制御部， １６ モニタ， ２１ 入出力インタフェース， ２２ 並び替え圧縮部， ３１ ピクチャ表示番号付加部， ３２ 画像情報作成部， ３３ グルーピング部， ３４ 圧縮部， ４１ シーン検出部， ４２ ヒストグラム作成部， ５１ ピクチャ間差部， ５２ シーン分割部， ６１1乃至６１n ピクチャ， ６２1乃至６２n ヒストグラム， ６３m ヒストグラム， １１１ 入出力インタフェース， １１２ 解凍部， １１２1乃至１１２n 解凍部， １１３ バッファ， １１４ 出力制御部， １２１ 入出力インタフェース， １２２ 解凍部， １２２1乃至１２２n 解凍部， １３１ バッファ， １３２ 可変長復号部， １３３ 逆量子化部， １３４ バッファ， １３５ 出力制御部， １３６ 逆DCT部， １３７ 演算部， １３８ バッファ， １３９ 動き補償部， １６１ 圧縮部， １６２ 解凍部， １６３ 縮小画像作成部， １６４ イントラ圧縮部， １６５ イントラ解凍部， １７１ LPF， １７２ ダウンサンプリング部， １８１ エンコーダ選択部， １８２ 圧縮部， ２０１ 入出力インタフェース， ２０２ 解凍部， ２１１ 入出力インタフェース， ２１３ バッファ， ２１４ 出力制御部， ２２１ 記録装置， ２２３ 記録制御部， ２２４ HDD， ２２５ 送信制御部， ２３１ 再生装置， ２３２ 受信制御部，２３３ HDD， ２３４ 再生制御部， ２５１ CPU， ２５２ ROM， ２５３ RAM， ２５４ バス， ２５５ 入出力インタフェース， ２５６ 入力部， ２５７ 出力部， ２５８ 記録部， ２５９ 通信部， ２６０ ドライブ， ２６１ リムーバブルメディア

Claims (26)

  1. 動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置において、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得する取得手段と、
    前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするグループ分け手段と、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力する符号化手段と、
    前記符号化データを、前記記録媒体に記録する記録制御手段と、
    前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出す読み出し制御手段と、
    前記記録媒体から読み出された符号化データを、前記グループ毎に復号する復号手段と、
    前記グループ毎の復号によって得られるピクチャを表示順に出力させる出力制御手段と
    を備える記録再生装置。
  2. 前記ピクチャを縮小した縮小画像を作成する作成手段をさらに備え、
    前記取得手段は、前記縮小画像を用いて、前記画像情報を取得する
    請求項１に記載の記録再生装置。
  3. 複数の前記復号手段を備える
    請求項１に記載の記録再生装置。
  4. 前記符号化手段は、MPEG(Moving Picture Expert Group)方式の符号化を行い、
    前記復号手段は、
    MPEG方式の復号を行い、
    前記復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、
    前記出力制御手段は、前記記録手段に記録されたDCT係数を、表示順に、前記ピクチャに復号させて出力させる
    請求項１に記載の記録再生装置。
  5. 類似する一連のピクチャの集合であるシーンを検出する検出手段をさらに備え、
    前記取得手段は、前記シーンをピクチャの類似するグループにグループ分けをするのに用いる画像情報を取得し、
    前記グループ分け手段は、前記画像情報に基づいて、類似する１以上のシーンを１のグループとする
    請求項１に記載の記録再生装置。
  6. 前記取得手段は、画素値のヒストグラムを、前記画像情報として取得する
    請求項１に記載の記録再生装置。
  7. 前記取得手段は、動きベクトルを、前記画像情報として取得する
    請求項１に記載の記録再生装置。
  8. 前記符号化手段と異なる方式でピクチャの符号化を行い、符号化データを出力する他の符号化手段と、
    前記ピクチャの符号化を、前記符号化手段または前記他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択する選択手段と、
    前記他の符号化手段による符号化により得られた符号化データを復号する他の復号手段と
    をさらに備え、
    前記グループ分け手段は、前記符号化手段での符号化を選択された前記シーンを対象にグループ分けを行う
    請求項５に記載の記録再生装置。
  9. 動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生装置の記録再生方法において、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し、
    前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し、
    前記符号化データを、前記記録媒体に記録し、
    前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出し、
    前記記録媒体から読み出された符号化データを、前記グループ毎に復号し、
    前記グループ毎の復号によって得られるピクチャを表示順に出力させる
    ステップを含む記録再生方法。
  10. 動画像データを記録媒体に記録し、前記記録媒体から前記動画像データを再生する記録再生処理をコンピュータに実行させるプログラムにおいて、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し、
    前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し、
    前記符号化データを、前記記録媒体に記録し、
    前記符号化データを復号する復号順に、前記記録媒体から前記符号化データを読み出し、
    前記記録媒体から読み出された符号化データを、前記グループ毎に復号し、
    前記グループ毎の復号によって得られるピクチャを表示順に出力させる
    ステップを含む記録再生処理をコンピュータに実行させるプログラム。
  11. 動画像データを記録媒体に記録する記録装置において、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得する取得手段と、
    前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをするグループ分け手段と、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力する符号化手段と、
    前記符号化データを前記記録媒体に記録する記録制御手段と
    を備える記録装置。
  12. 前記記録媒体に記録された前記符号化データを、動画像データを再生する他の装置に送信する送信制御手段をさらに備える
    請求項１１に記載の記録装置。
  13. 前記ピクチャを縮小した縮小画像を作成する作成手段をさらに備え、
    前記取得手段は、前記縮小画像を用いて、前記画像情報を取得する
    請求項１１に記載の記録装置。
  14. 類似する一連のピクチャの集合であるシーンを検出する検出手段をさらに備え、
    前記取得手段は、前記シーンをピクチャの類似するグループにグループ分けをするのに用いる画像情報を取得し、
    前記グループ分け手段は、前記画像情報に基づいて、類似する１以上のシーンを１のグループとする
    請求項１１に記載の記録装置。
  15. 前記取得手段は、画素値のヒストグラムを、前記画像情報として取得する
    請求項１１に記載の記録装置。
  16. 前記取得手段は、動きベクトルを、前記画像情報として取得する
    請求項１１に記載の記録装置。
  17. 前記符号化手段と異なる方式でピクチャの符号化を行い、符号化データを出力する他の符号化手段と、
    前記ピクチャの符号化を、前記符号化手段または前記他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択する選択手段と、
    をさらに備え、
    前記グループ分け手段は、前記符号化手段による符号化を選択された前記シーンを対象にグループ分けを行う
    請求項１４に記載の記録装置。
  18. 動画像データを記録媒体に記録する記録装置の記録方法において、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し、
    前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し、
    前記符号化データを、前記記録媒体に記録する
    ステップを含む記録方法。
  19. 動画像データを記録媒体に記録する記録処理をコンピュータに実行させるプログラムにおいて、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報を取得し、
    前記画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行い、符号化データを出力し、
    前記符号化データを、前記記録媒体に記録する
    ステップを含む記録処理をコンピュータに実行させるプログラム。
  20. 動画像データを再生する再生装置において、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行う
    ことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出す読み出し制御手段と、
    前記記録媒体から読み出された符号化データを、前記グループ毎に復号する復号手段と、
    前記グループ毎の復号によって得られるピクチャを表示順に出力させる出力制御手段と
    を備える再生装置。
  21. 他の装置から送信されてくる前記符号化データを受信する受信制御手段をさらに備え、
    前記記録媒体には、前記受信制御手段で受信された前記符号化データが記録されている
    請求項２０に記載の再生装置。
  22. 複数の前記復号手段を備える
    請求項２０に記載の再生装置。
  23. 前記復号手段は、
    MPEG(Moving Picture Expert Group)方式の復号を行い、
    前記復号の途中で得られるDCT(Discrete Cosine Transform)係数を記録する記録手段を有し、
    前記出力制御手段は、前記記録手段に記録されたDCT係数を、表示順に、前記ピクチャに復号させて出力させる
    請求項２０に記載の再生装置。
  24. 前記記録媒体には、
    類似する一連のピクチャの集合であるシーンを検出し、
    前記ピクチャの符号化を、前記予測符号化を行う符号化手段、または前記符号化手段と異なる方式で符号化を行う他の符号化手段のうちのいずれで行うかを、前記シーン単位で選択し、
    前記符号化手段での符号化を選択されたシーンを対象に、前記画像情報に基づき、類似する１以上のシーンを１のグループとするグループ分けを行い、
    前記符号化手段において、前記符号化手段での符号化を選択されたシーンのピクチャの予測符号化を、前記グループ毎に行う
    ことにより得られた符号化データと、
    前記他の符号化手段において、前記他の符号化手段での符号化を選択されたシーンのピクチャの符号化を行う
    ことにより得られた他の符号化データと
    が記録されており、
    前記他の符号化データを復号する他の復号手段をさらに備える
    請求項２０に記載の再生装置。
  25. 動画像データを再生する再生装置の再生方法において、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行う
    ことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出し、
    前記記録媒体から読み出された符号化データを前記グループ毎に復号し、
    前記グループ毎の復号によって得られるピクチャを表示順に出力させる
    ステップを含む再生方法。
  26. 動画像データを再生する再生処理をコンピュータに実行させるプログラムにおいて、
    動画像を構成するピクチャを類似するグループにグループ分けをするのに用いる画像情報に基づいて、前記動画像を構成するピクチャを類似するピクチャのグループにグループ分けをし、
    前記グループ毎に、前記グループを構成するピクチャの予測符号化を行う
    ことにより得られた符号化データが記録されている記録媒体から、前記符号化データを復号する復号順に前記符号化データを読み出し、
    前記記録媒体から読み出された符号化データを前記グループ毎に復号し、
    前記グループ毎の復号によって得られるピクチャを表示順に出力させる
    ステップを含む再生処理をコンピュータに実行させるプログラム。
JP2005352204A 2005-12-06 2005-12-06 記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法 Expired - Fee Related JP4674535B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005352204A JP4674535B2 (ja) 2005-12-06 2005-12-06 記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005352204A JP4674535B2 (ja) 2005-12-06 2005-12-06 記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法

Publications (3)

Publication Number Publication Date
JP2007158807A true JP2007158807A (ja) 2007-06-21
JP2007158807A5 JP2007158807A5 (ja) 2009-01-29
JP4674535B2 JP4674535B2 (ja) 2011-04-20

Family

ID=38242578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005352204A Expired - Fee Related JP4674535B2 (ja) 2005-12-06 2005-12-06 記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法

Country Status (1)

Country Link
JP (1) JP4674535B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080572A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動物体検出装置及び動物体検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759108A (ja) * 1993-08-10 1995-03-03 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット画面検出方法
JPH1023408A (ja) * 1996-06-28 1998-01-23 Nippon Telegr & Teleph Corp <Ntt> 画像信号符号化方法
JP2000092493A (ja) * 1998-09-11 2000-03-31 Matsushita Electric Ind Co Ltd 映像復号装置及び映像復号方法
JP2004147112A (ja) * 2002-10-24 2004-05-20 Victor Co Of Japan Ltd 映像符号化装置及び映像符号化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759108A (ja) * 1993-08-10 1995-03-03 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像のカット画面検出方法
JPH1023408A (ja) * 1996-06-28 1998-01-23 Nippon Telegr & Teleph Corp <Ntt> 画像信号符号化方法
JP2000092493A (ja) * 1998-09-11 2000-03-31 Matsushita Electric Ind Co Ltd 映像復号装置及び映像復号方法
JP2004147112A (ja) * 2002-10-24 2004-05-20 Victor Co Of Japan Ltd 映像符号化装置及び映像符号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080572A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 動物体検出装置及び動物体検出方法

Also Published As

Publication number Publication date
JP4674535B2 (ja) 2011-04-20

Similar Documents

Publication Publication Date Title
US7280708B2 (en) Method for adaptively encoding motion image based on temporal and spatial complexity and apparatus therefor
EP2733703B1 (en) Video editing and reformatting for digital video recorder
US20070263722A1 (en) Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP4656912B2 (ja) 画像符号化装置
JPH05292463A (ja) 可変長符号化による映像圧縮方法と伸張方法及びその装置
US20060104350A1 (en) Multimedia encoder
US8165217B2 (en) Image decoding apparatus and method for decoding prediction encoded image data
KR20040094441A (ko) 인코딩된 오디오/비디오 시퀀스의 편집
JP5256496B2 (ja) 画像処理システム、画像処理方法、およびプログラム
WO2006046550A1 (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
US20040264790A1 (en) Method of and apparatus for adaptively encoding motion image according to characteristics of input image
US20080181314A1 (en) Image coding apparatus and image coding method
JP4674535B2 (ja) 記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法
JP2004056761A (ja) 画像再生装置及び方法
JP4749508B2 (ja) 画像復号方法
JP4573511B2 (ja) トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置
JP4667423B2 (ja) 画像復号装置
JP4667424B2 (ja) 画像復号装置
JP4293151B2 (ja) 映像符号化方法及び映像記録装置
JP2004208076A (ja) 映像検出信号生成装置、映像検出信号記録装置ならびに映像信号再生装置、および映像検出信号生成方法、映像検出信号記録方法ならびに映像信号再生方法
JP2009017062A (ja) 高精細動画像記録再生方法および高精細動画像記録再生装置
JP2008154071A (ja) 撮像記録装置及び撮像記録方法
JPH11187353A (ja) 記録方法および装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140204

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees