JP2004072728A

JP2004072728A - 画像記録方法、画像記録装置、画像記録再生装置、画像処理装置およびテレビジョン受像機

Info

Publication number: JP2004072728A
Application number: JP2003160352A
Authority: JP
Inventors: Shinichiro Okada; 岡田　伸一郎; Shigeyuki Okada; 岡田　茂之; Noriaki Kojima; 児島　則章
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-06-11
Filing date: 2003-06-05
Publication date: 2004-03-04

Abstract

【課題】動画像を記録する際に、サムネイル画像も記録すると大きな記録容量が必要となることがある。
【解決手段】ＭＰＥＧエンコーダ３６は、画像選定部３８において選定され、データ量低減部４０においてデータ量が低減されたサムネイル画像に対してＭＰＥＧ２規格に準じて画像内符号化による圧縮を行う。圧縮されたサムネイル画像は、その原画像が復号される前に符号化データとし符号化画像データ領域４４に記録されている記録アドレスとともにサムネイル画像データ領域４６に記録される。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像記録再生技術に関し、特にユーザが動画像中の所望のシーンの検索に使用する画像を記録する技術に関する。
【０００２】
【従来の技術】
近年、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）やハードディスク磁気記録媒体（以下、単に「ハードディスク」とも言う）など、記録されているデータへのランダムアクセスが容易な記録媒体を利用した動画像の記録が普及し始めている。特に、ハードディスクの大容量化と低価格化が進んだことにより、ハードディスクを用いた画像記録再生装置であるハードディスクレコーダが製品化され、更にはテレビジョン受信装置に内蔵されるケースも見られる（例えば、特許文献１参照）。
【０００３】
現在比較的容易に入手可能な記録容量８０ＧＢ程度のハードディスクを用いた場合、一般的なＶＴＲ（Ｖｉｄｅｏ　Ｔａｐｅ　Ｒｅｃｏｒｄｅｒ）並の画質で、３０時間程度の記録が可能で、記録時間を優先した画質では１００時間近く記録が可能である。
【０００４】
【特許文献１】
特開２００１−１７７８０４号公報（全文）
【０００５】
【発明が解決しようとする課題】
上述のような、記録データへのランダムアクセスが容易な記録媒体を使用した画像記録再生装置において、記録されている動画像の所望のシーンを検索する技術として、サムネイル画像を用いる方法がある。これは、動画像からあらかじめ時間間隔で画像を選定し所定サイズに縮小しておき、ユーザの要請に応じてインデックス表示させる。
【０００６】
サムネイル画像を利用することはシーン検索の際に非常に有効であるが、サムネイル画像が多い場合、時として、動画像を記録する領域が少なくなる恐れがある。
【０００７】
本発明は、このような状況に鑑みなされたものであり、その目的は、ユーザが動画像を記録する際に、その記録領域を有効に利用する技術を提供することにある。特に、シーン検索に使用する画像のデータ量を低減する技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様は、画像記録方法に関する。この方法は、動画像中の所望のシーンの検索に利用する縮小画像を画像内符号化をすることでそのデータ量を圧縮するステップと、画像内符号化がなされた縮小画像の原画像と関連づけて記録するステップと、を有する。
【０００９】
ここで縮小画像の生成方法、および縮小形態は問わない。例えば、画像の縦および横の長さを同比率で縮小してもよいし、さらに画像の一部のみを使用してもよい。動画像の視聴者（「ユーザ」とも言う）は、この縮小画像を手がかりに動画像中の所望のシーンを検索することができる。この縮小画像は、「インデックス画像」や「サムネイル画像」とも呼ばれる。
【００１０】
本発明の別の態様は、画像記録装置に関する。この装置は、動画像中の所望のシーンの検索に利用する縮小画像を画像内符号化をすることでそのデータ量を圧縮する縮小画像符号化部と、画像内符号化がなされた縮小画像の原画像と関連づけて記録する画像記録部と、を有する。
【００１１】
本発明の別の態様は、画像記録再生装置に関する。この装置は、符号化データを取得し動画像を構成する単位画像を復号する第一のデコード部と、符号化データを保持する第一のデータ記録部と、動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を第一のデコード部で復号された単位画像から選定する画像選定部と、選定された原画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、インデックス画像を画像内符号化しインデックス画像のデータ量を圧縮するエンコード部と、符号化されたインデックス画像を原画像と関連づけて保持する第二のデータ記録部と、第二のデータ記録部に符号化され記録されているインデックス画像から所定のインデックス画像を選定し復号する第二のデコード部と、を有する。
【００１２】
第一および第二のデコード部は、共通化され単一構成で実現されてもよい。また、第一および第二のデータ記録部として、ＤＶＤなどの光ディスク記録媒体や、ハードディスクなどがある。
【００１３】
インデックス画像の生成のタイミングとして、（１）所定の時間間隔、（２）ユーザからの指示に基づいて、（３）動画像のシーンチェンジ、（４）コマーシャルから本番組への切替わり、（５）表示フォーマットの切替わり、（６）動画像の作成者が示したインデックス画像取得ポイント、（７）動画像が複数のチャプターで構成されている場合であれば、チャプターの先頭画像や、チャプターのインデックス画像に連動して、（８）音量の変化点、具体的には、音量が大きく変化する点、などがある。上述の（１）から（３）のタイミングの場合、コマーシャルのシーンを除外して、インデックス画像を生成してもよい。表示フォーマットの切替わりとして、有効画素数７２０×４８０かつインタレス方式である４８０ｉから、有効画素数１２８０×７２０かつプログレッシブ方式である７２０ｐのフォーマットへ替わるときなどがある。所定の時間間隔は、画像選定部がインデックス画像を選定開始する前の状況に応じて設定されてもよい。インデックス画像を選定開始する前の状況とは、例えば、１回の録画時間や、録画する番組の種類、記憶媒体の残容量、視聴者が録画予約する際の指示などである。
【００１４】
ここで、インデックス画像は、記録済みの動画像を再生しつつ生成されてもよいし、動画像を新たに記録する際に、その記録とともに生成されてもよい。
【００１５】
動画像の符号化手法として、ＭｏｔｉｏｎＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２、ＭＰＥＧ４が挙げられるがこれに限る趣旨ではない。また、インデックス画像の圧縮手法として、ＭＰＥＧやＪＰＥＧ、ＧＩＦ（Ｇｒａｐｈｉｃｓ　Ｉｎｔｅｒｃｈａｎｇｅ　Ｆｏｒｍａｔ）などがある。
【００１６】
動画像を画像記録再生装置に記録する際や、画像記録再生装置に記録された動画像を再生する際に、任意の間隔や、シーンチェンジ、あるいは視聴者の好みのタイミングで、インデックス画像を生成し符号化した上で第二のデータ記録部に記録する。その記録されたインデックス画像は、ユーザの要望があった際に、所定のインデックス画像が選定され復号される。ここで、所定のインデックス画像とは、現在表示されている画像を基準に、前後１０画像ずつや、時間的に古い順に表示可能な画像全てなどが例示される。また、第一および第二のデコード部が共通化される場合、動画像の復号処理の空き時間を利用してインデックス画像が復号される。
【００１７】
インデックス画像はその原画像である画像の復号前の符号化画像データが記録されている記録媒体の記録アドレスと関連づけて記録され、ユーザが選択したインデックス画像に関連づけられている記録アドレスから表示すべき画像を選定し動画像の表示場面をその画像に移動するシーン決定部を有してもよい。つまり、選択されたインデックス画像に対応するシーンから符号化画像データが復号され動画像が表示される。
【００１８】
本発明のさらに別の態様も画像記録再生装置に関する。この装置は、ＭＰＥＧに準拠して符号化された動画像信号である符号化データを取得し、動画像を構成する単位画像を復号する第一のＭＰＥＧデコーダと、符号化データを保持する第一のデータ記録部と、動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を第一のＭＰＥＧデコーダで復号された単位画像から選定する画像選定部と、選定された単位画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、インデックス画像を画像内符号化するＭＰＥＧエンコーダと、符号化されたインデックス画像をその原画像と関連づけて保持する第二のデータ記録部と、所定のインデックス画像を復号する第二のＭＰＥＧデコーダと、を有する。
【００１９】
また、当該装置は、復号されたインデックス画像を用いて構成されるインデックス領域を生成するインデックス領域生成部と、を有してもよい。
【００２０】
本発明の更に別の態様は、テレビジョン受信装置に関する。この装置は、ＭＰＥＧに準拠して符号化された動画像信号を含むトランスポートストリームに多重化され所定の変調が施されたテレビジョン放送の信号波を受信し、その信号波をトランスポートストリームに復調するチューナ部と、トランスポートストリームから符号化データである動画像信号を分離するＴＳ分離部と、符号化データを取得し、動画像を構成する単位画像を復号する第一のＭＰＥＧデコーダと、符号化データを保持する第一のデータ記録部と、動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を第一のＭＰＥＧデコーダで復号された単位画像から選定する画像選定部と、選定された単位画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、インデックス画像を画像内符号化するＭＰＥＧエンコーダと、符号化されたインデックス画像をその原画像と関連づけて保持する第二のデータ記録部と、所定のインデックス画像を復号する第二のＭＰＥＧデコーダと、インデックス画像を表示する表示制御部と、を有する。
【００２１】
ここでＭＰＥＧ形式として、ＭＰＥＧ２やＭＰＥＧ４が想定されるがこれに限る趣旨ではない。また、インデックス画像を符号化する形式として、ＭＰＥＧ２規格Ｉピクチャが挙げられる。
【００２２】
本発明の更に別の態様も、テレビジョン受信装置に関する。この装置は、ＭＰＥＧに準拠して符号化された動画像信号を含むトランスポートストリームに多重化され所定の変調が施されたテレビジョン放送の信号波を受信し、その信号波をトランスポートストリームに復調するチューナ部と、トランスポートストリームから動画像信号である符号化データを分離するＴＳ分離部と、符号化データを取得し、動画像を構成する単位画像を復号する第一のＭＰＥＧデコーダと、トランスポートストリームを保持する第一のデータ記録部と、動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を第一のＭＰＥＧデコーダで復号された単位画像から選定する画像選定部と、選定された単位画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、インデックス画像を画像内符号化するＭＰＥＧエンコーダと、符号化されたインデックス画像をその原画像と関連づけて保持する第二のデータ記録部と、所定のインデックス画像を復号する第二のＭＰＥＧデコーダと、インデックス画像を表示する表示制御部と、を有する。
【００２３】
本出願人は、特開２００１−２３８１６７号公報で提案した逆順再生技術を１チップのＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）回路として製品化している。このＬＳＩは２チャンネルのＭＰＥＧ２ストリームを復号する能力を有するＭＰＥＧ２デコーダとＭＰＥＧエンコーダを備えている。このＬＳＩを利用することで、本発明は低コストで実現される。
【００２４】
本発明の更に別の態様は、画像処理装置に関する。この画像処理装置は、動画中の所望のシーンの検索に利用する縮小画像のデータ量を圧縮し、圧縮した縮小画像データを、原画像と関連づけて記録し、この記録された縮小画像データを復号して表示させるよう制御する手段を有する。
【００２５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２６】
【発明の実施の形態】
以下、本発明に好適な実施の形態１〜５をもとに説明する。これら実施の形態において、デジタルテレビジョン放送の番組を記録する際に、動画像のシーンの検索に利用するインデックス画像（以下、単に「サムネイル画像」と言う）を作成し、その画像を画像内符号化をすることでサムネイル画像の記録に必要とされる容量を抑える。
【００２７】
一般的なテレビジョン放送の方式であるＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）方式の画面サイズは、７２０×４８０画素である。輝度（Ｙ）および色度（Ｕ、Ｖ）に着目した規格の一つでＹＵＶ４：２：０、精度８ビットとすると、一画面のデータ量は７２０×４８０×８×（３×６／１２）＝約４メガビット（５００キロバイト）となる。
【００２８】
例えば、１時間の番組を録画し、５分間隔でサムネイル画像を生成すると仮定する。表示画面を６分割したサイズがサムネイル画像のサイズとした場合、必要とされる記録容量は１メガバイト、１分間隔で生成すると５メガバイトとなる。
【００２９】
また、デジタルテレビジョン放送の規格には、１０８０ｉと呼ばれ、サイズが１９２０×１０８０画素のフォーマットが存在する。上述の画面サイズの画素数と比べて、６倍となる。従って、サムネイル画像の記録に必要とされる記録容量は、上述の条件で、それぞれ６メガバイトおよび３０メガバイトとなる。
【００３０】
今後、ハードディスクの記憶容量が増加すると想定しても、サムネイル画像のためだけに、大きな記憶容量を準備するとハードディスクのコストが高くなる恐れがある。そこで、できる限り動画像の記録のために容量を確保し、記録時間を長くすることで製品価値を高めることができる。
【００３１】
本実施の形態では、サムネイル画像を空間周波数に着目した手法、具体的にはＭＰＥＧ２規格Ｉピクチャに準じ符号化しデータ量の圧縮を行う。ＭＰＥＧ２規格Ｉピクチャに準じて圧縮することで、必要とされる記憶容量を１／１０〜１／１００程度に低減できる。
【００３２】
以下、実施の形態１〜５を用いて、上述のシーン検索を実現する構成を説明する。ここでは、デジタルテレビジョン放送の受信装置およびハードディスクによる画像録画装置を備えるテレビジョン受信装置を想定する。
【００３３】
（実施の形態１）
図１は、本実施の形態１に係るテレビジョン受信装置１０の構成を示すブロック図である。テレビジョン受信装置１０は表示装置１２、チューナ部１４、画像記録再生部１６、およびリモコン受光部６０を備える。リモコン受光部６０は、ユーザのリモートコントローラ（以下、単に「ＲＣ」と略す）６２の操作によるテレビジョン受信装置１０への指示を受け付ける。受け付けた指示は、後述の制御コア回路５０によりテレビジョン受信装置１０の各構成要素に対して制御信号として送られる。
【００３４】
チューナ部１４は更に、アンテナ１８において受信したＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）信号をベースバンド信号に変換するＲＦ部２２、得られたベースバンド信号を復調する復調部２４、およびエラー訂正部２６を備える。チューナ部１４から出力される信号は、トランスポートストリーム（以下、単に「ＴＳ」と略す）と称し、このＴＳにはデジタルテレビジョン放送の規格に準じ動画像信号や音声信号、データ放送で使用する全てのデータが多重化されている。
【００３５】
画像記録再生部１６は、ＴＳ分離部２８、ハードディスク３０、第１ＭＰＥＧデコーダ３２、第２ＭＰＥＧデコーダ３４、ＭＰＥＧエンコーダ３６、画像選定部３８、データ量低減部４０、サムネイル領域生成部４２を備える。なお、画像記録再生部１６は、テレビジョン受信装置１０に含まれる構成に限らず、単体で製造および販売されてもよい。
【００３６】
ＴＳ分離部２８は、多重化されている信号を動画像信号、音声信号などＴＳ内に含まれている各種情報に対応する信号に分離する。本実施の形態に特徴的であるのは、動画像信号であるので、以降動画像信号についてのみ記述し、音声信号など動画像信号以外の信号に関する記述は省略する。ＴＳ分離部２８において、分離された動画像信号はＭＰＥＧ２形式で符号化された符号化画像データである。ＴＳ分離部２８において分離された符号化画像データは、ハードディスク３０と第１スイッチ回路ＳＷ１に伝達される。
【００３７】
ハードディスク３０は、符号化画像データを保持する符号化画像データ領域４４およびサムネイル画像として利用される縮小画像がさらに画像内符号化されたのち保持されるサムネイル画像データ領域４６を備える。第１ＭＰＥＧデコーダ３２および第２ＭＰＥＧデコーダ３４は、ＭＰＥＧ２形式で符号化された画像データを復号する。
【００３８】
画像選定部３８は、復号された動画像からサムネイル画像として利用する画像を選定する。選定のタイミングは、所定の時間間隔やシーンチェンジが存在する際に行われる。
【００３９】
選定のタイミングが所定の時間間隔である場合、その時間間隔は、録画前の状況や、サムネイル画像の選定開始前の状況に応じて設定される。例えば、以下の（１）から（４）いずれかの条件から選択される。
（１）１回の録画時間に応じて設定する。例えば、録画時間が３０分であれば、時間間隔を５分とし、録画時間が１２０分であれば時間間隔を１５分とする。これによって、録画時間に応じて、過不足なくサーチポイントとしてサムネイル画像に利用する画像を選定することができる。
（２）録画する番組の種類に応じて設定する。例えば、録画する番組がスポーツ番組であれば、時間間隔を１５分とし、ドラマの番組であれば、時間間隔を５分とする。番組の種類によっては、展開が遅いケースもあり、そのような場合、サムネイル画像の時間間隔を短くしても、サーチポイントとしてそれほど有効でないポイントがサムネイル画像として選定されてしまい、その処理が無駄になりかねない。そこで番組の種類に応じて時間間隔を設定することで、録画する番組の種類に最適な時間間隔でサムネイル画像として利用する画像を選定することができる。
（３）ハードディスク３０の残りの記憶容量に応じて設定する。例えば、ハードディスク３０の記憶容量に余裕がある場合は、時間間隔を１分とし、記憶容量が少なくなるに応じて、２分、５分、１０分とする。これによって、録画中にハードディスク３０の記録容量が不足することを防止できる。
（４）視聴者が録画予約する際に設定する。これによって、視聴者の意志に従ってサムネイル画像を取得する時間間隔を決定することができる。
【００４０】
画像選定部３８は、第１ＭＰＥＧデコーダ３２において復号された動画像からサムネイル画像に利用する画像の選定のタイミングとして、番組送信側、つまりコンテンツ作成側が示したサムネイル画像取得ポイントを利用してもよい。サムネイル画像取得ポイントは、例えば、番組の各コーナーの開始点やタイトルバックが挿入されているタイミング等である。番組送信側が意図して選択したサーチポイントを収集することで、より適切なシーンサーチを実現できる。
【００４１】
画像選定部３８は、番組が複数のチャプターから構成されていれば、各チャプターの先頭画像をサムネイル画像として利用したり、各チャプターにインデックス画像が用意されていれば、そのインデックス画像をサムネイル画像として利用してもよい。これによって、視聴者は、隣接するチャプター画像を見ながら所望のシーンを検索することができる。また、チャプター画面で検索してから見たいシーンを検索するという２ステップの操作が同時に実現できる。
【００４２】
画像選定部３８がどのようなタイミングでサムネイル画像を生成するかは、視聴者が、上述の条件から選択してテレビジョン受信装置１０に設定する構成とする。ユーザが設定した条件に基づいて画像選定部３８は、サムネイル画像を選定する。
【００４３】
データ量低減部４０は、画像選定部３８において選定された画像のサイズをサムネイル画像として十分な画像サイズに変換することにより、そのデータ量を低減しサムネイル画像を生成する。この際に、サイズのみでなく使用される色数を、例えば３２ビットから１６ビットや８ビットなどに低減してもよい。
【００４４】
ＭＰＥＧエンコーダ３６は、画像選定部３８において選定され、データ量低減部４０でデータ量が低減されたサムネイル画像に対して画像内符号化による圧縮を行う。圧縮されたサムネイル画像は、その原画像が復号される前に符号化データとし符号化画像データ領域４４に記録されている記録アドレスとともにサムネイル画像データ領域４６に記録される。ここでは、空間周波数に着目した圧縮手法、具体的にはＭＰＥＧ２規格Ｉピクチャに準じて画像が符号化圧縮される。サムネイル領域生成部４２は、第２ＭＰＥＧデコーダ３４にて復号されたサムネイル画像で構成されるサムネイルフレームを生成する。
【００４５】
画像記録再生部１６は更に、第１スイッチ回路ＳＷ１、第２スイッチ回路ＳＷ２、制御コア回路５０および表示制御部５２を備える。表示制御部５２は、サムネイル領域生成部４２で生成されたサムネイルフレームを表示する。この際、サムネイルフレームのみが表示されてもよいし、主画面とともに表示されてもよい。主画面とともに表示される場合、表示画面においてサムネイルフレームを表示するための領域を確保するために、主画面は適当なサイズに変換される。
【００４６】
制御コア回路５０は、第１ＭＰＥＧデコーダ３２、第２ＭＰＥＧデコーダ３４、ＭＰＥＧエンコーダ３６、サムネイル領域生成部４２および表示制御部５２をはじめとして画像記録再生部１６の各構成要素の動作を制御する。制御コア回路５０として、一般には、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）が例示される。各種制御指示プログラムは、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）（図示せず）等にあらかじめ記述されている。
【００４７】
第１スイッチ回路ＳＷ１は、制御コア回路５０の制御に従って第１ＭＰＥＧデコーダ３２の入力切り替えを行い、現在放送中の画像データを表示するか、ハードディスク３０に記録されている画像データを表示するかによりその回路が切り替わる。第１ノードＮ１側の接続が確立されると、その時点でチューナ部１４において受信されＴＳストリームから分離された符号化データが第１ＭＰＥＧデコーダ３２に送られる。一方、第２ノードＮ２側に接続が確立されると、ハードディスク３０から符号化データが読み出され第１ＭＰＥＧデコーダ３２に送られる。
【００４８】
第２スイッチ回路ＳＷ２は、同様に制御コア回路５０の制御に従って第１ＭＰＥＧデコーダ３２にて復号された動画像およびサムネイル領域生成部４２で生成されたサムネイルフレームを選択的に表示制御部５２に送る。第３ノードＮ３の接続が確立されると、第１ＭＰＥＧデコーダ３２で復号された動画像が表示制御部５２に送られ、一方、第４ノードＮ４側の接続が確立されると、サムネイルフレームが表示制御部５２に送られる。サムネイルフレームを表示しない場合は、第３ノードＮ３側の接続が常時確立される。サムネイルフレームの表示がユーザより要求される度に、また別のサムネイル画像が含まれるサムネイルフレームへの更新がユーザより要求された場合、第４ノードＮ４の接続が確立される。さらに、本図では図示しないが当該装置は各構成要素の処理におけるワークエリアとして機能するメモリを有する。
【００４９】
以上、実施の形態１によれば、サムネイル画像を圧縮することで、その記録に必要とされるハードディスクにおける記録容量を低減できる。これにより、必要以上に大容量なハードディスクを用いることを避け、ハードディスクを用いた画像記録再生装置を低コストで実現できる。さらに、コストを抑えつつテレビジョン受信装置などに画像記録再生装置を内蔵できる。
【００５０】
（実施の形態２）
実施の形態１では、サムネイル画像の生成は、所定の時間間隔や、シーンチェンジが存在する際に行われた。実施の形態２では、サムネイル画像生成はユーザからの指示に基づき行われる。
【００５１】
図２は、実施の形態２に係るテレビジョン受信装置１０の構成を示すブロック図である。この構成は、図１で示した画像記録再生部１６の構成と類似しているので、実施の形態２に特徴的な点のみを説明する。
【００５２】
本実施の形態２では、第１ＭＰＥＧデコーダ３２と画像選定部３８の信号経路途上に第３スイッチ回路ＳＷ３が設けられた。ユーザは、主画像を確認しながらＲＣ６２を用いてサムネイル画像を生成するタイミングを指示する。
【００５３】
指示を受けると、第３スイッチ回路ＳＷ３はオンとなり画像選定部３８がサムネイル画像の原画像を選定し抽出する。以降の処理は実施の形態１と同様である。
【００５４】
実施の形態２によると、実施の形態１の効果が得られるとともに、ユーザの希望とするシーンをサムネイル画像として記録できる。
【００５５】
（実施の形態３）
実施の形態１および２では、サムネイル画像の復号のときに、第２ＭＰＥＧデコーダ３４を用いた。実施の形態３では、第１ＭＰＥＧデコーダ３２と第２ＭＰＥＧデコーダ３４を共通化し、一つのＭＰＥＧデコーダとする。
【００５６】
図３は、実施の形態３に係る画像記録再生部１６の構成を示すブロック図である。本実施の形態に特徴的な構成は、図２に示した画像記録再生部１６における第２ＭＰＥＧデコーダ３４を省き、上述のように、第２ＭＰＥＧデコーダ３４の機能を第１ＭＰＥＧデコーダ３２が行う。特に、動画像とサムネイル画像の復号が行われる場合、つまり、動画像の表示とサムネイルフレームが同一画面で同時に表示される場合、時分割でそれら符号化データの復号が行われる。
【００５７】
また、第１スイッチ回路ＳＷ１は第５ノードＮ５を更に有する。ハードディスク３０の符号化画像データ領域４４に記録されている符号化画像データを復号して動画像を表示する際、制御コア回路５０の制御に従い、第１スイッチ回路ＳＷ１の第２ノードＮ２側および第２スイッチ回路ＳＷ２の第３ノードＮ３側の接続が確立される。また、サムネイル画像が復号される場合、第１スイッチ回路ＳＷ１の第５ノードＮ５側および第２スイッチ回路ＳＷ２の第４ノードＮ４側の接続が同時に確立される。
【００５８】
実施の形態３によると、実施の形態１および２と同様の効果が得られるとともに、２チャンネルのＭＰＥＧ２ストリームを復号可能なＭＰＥＧ２デコーダを既に有している場合、低コストで本発明を実現できる。
【００５９】
（実施の形態４）
実施の形態１から３では、ハードディスク３０に記録されるデータは、一旦ＴＳ分離部２８でＴＳから分離された符号化データであった。実施の形態４では、ＴＳがそのままハードディスク３０に記録される。ハードディスク３０の領域中で、ＴＳが記録される領域をＴＳデータ領域６６と呼び、これは実施の形態１から３の符号化画像データ領域４４に相当する。
【００６０】
図４は、実施の形態４に係るテレビジョン受信装置１０の構成を示すブロック図である。この構成は実施の形態２に示したテレビジョン受信装置１０と類似しているので、特に本実施の形態４に特徴的な点を説明する。
【００６１】
ハードディスク３０は、ＴＳより分離された符号化データが記録される符号化画像データ領域４４の代わりに、ＴＳが記録されるＴＳデータ領域６６を備える。また、第１スイッチ回路ＳＷ１をＴＳ分離部２８の前、つまりチューナ部１４側に設けた。この第１スイッチ回路ＳＷ１により、チューナ部１４で受信中のＴＳもしくはＴＳデータ領域６６に記録されているＴＳのいずれかが選択されＴＳ分離部２８に送られる。
【００６２】
本実施の形態４では、実施の形態２の構成を変更することでＴＳをハードディスク３０のＴＳデータ領域６６に記録した。当然、実施の形態１および３の構成を同様に変更しＴＳをハードディスク３０のＴＳデータ領域６６に記録する構成にしてもよい。
【００６３】
（実施の形態５）
実施の形態１では、サムネイル画像の生成タイミングは、例えば第１ＭＰＥＧデコーダ３２により復号された画像を参照することでシーンチェンジを検出することで求められた。本実施の形態では、音声データが大きく変化する点をサムネイル画像の生成タイミングとする。
【００６４】
図６は、実施の形態５に係るテレビジョン受信装置１０の構成を示すブロック図である。この構成は実施の形態１に示したテレビジョン受信装置１０と類似しているので、特に本実施の形態に特徴的な点を説明する。
【００６５】
テレビジョン受信装置１０は、ＴＳ分離部２８において分離された符号化音声データを復号する音声デコーダ５４と、復号された音声データを外部に出力する音声出力部５６を備える。音声データがＭＰＥＧ２規格に準じて符号化されており第１ＭＰＥＧデコーダ３２の処理能力が高い場合、第１ＭＰＥＧデコーダ３２が音声デコーダ５４の機能を果たしてもよい。なお、音声デコーダ５４および音声出力部５６は、本来、実施の形態１から４に示したテレビジョン受信装置１０にも備わるが、説明を容易にするために省略した構成要素である。
【００６６】
音声デコーダ５４で復号された音声データは、画像選定部３８および音声出力部５６に伝達される。画像選定部３８は、音声データを参照し、音声データが大きく変化するポイントをサムネイル画像を選定するタイミングとして決定し、そのタイミングに基づいて、第１ＭＰＥＧデコーダ３２において復号された動画像からサムネイル画像として利用する画像を選定する。本実施の形態の構成を実施の形態４と同様に変更しＴＳをハードディスク３０のＴＳデータ領域６６に記録する構成にしてもよい。
【００６７】
上述の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００６８】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
実施の形態では、サムネイル画像は画像内符号化されたが、さらに生成されたサムネイルフレームが符号化され保持されてもよい。この場合、記録容量の確保のためにサムネイル画像は記録しない。また、サムネイル画像の圧縮手法としてＭＰＥＧを用いたが、これに限る趣旨ではなく、例えば、ＪＰＥＧやＧＩＦ、ＬＺＷ（Ｌｅｍｐｅｌ−Ｚｉｖ−Ｗｅｉｃｈ）圧縮手法などがある。
【００７０】
図５に、本発明を別の観点から着目した画像記録再生装置７０の機能ブロックの構成を示す。画像記録再生装置７０は、入力インタフェイスブロック７２、データブロック７４、動画像ブロック７６、インデックス画像生成ブロック７８、フレーム生成ブロック８０、および表示制御ブロック８４を備える。
【００７１】
以下に、上述の実施の形態１〜５で示した画像記録再生部１６と図５に示す画像記録再生装置７０の各構成要素の主な対応を示す。動画像ブロック７６には第１ＭＰＥＧデコーダ３２が、データブロック７４にはハードディスク３０が対応する。インデックス画像生成ブロック７８には画像選定部３８、データ量低減部４０、およびＭＰＥＧエンコーダ３６が対応する。また、フレーム生成ブロック８０には第２ＭＰＥＧデコーダ３４とサムネイル領域生成部４２が、表示制御ブロック８４には表示制御部５２と第２スイッチ回路ＳＷ２が対応する。ただし、本図では図示しないが、各構成ブロックは制御コア回路５０に相当するＣＰＵ等の所定の制御回路と共動により、それらの機能が実行される。また、同様に各構成ブロックはそれぞれ共動により機能が実行される。
【００７２】
入力インタフェイスブロック７２は、伝達メディア９０から符号化データを受け付ける。その符号化データは、動画像ブロック７６に送られるか、データブロック７４に記録される。インデックス画像生成ブロック７８は、動画像ブロック７６で復号された動画像よりサムネイル画像として使用する画像を選定し、サムネイル画像を生成し、符号化してデータブロック７４に記録する。
【００７３】
フレーム生成ブロック８０は、所定のサムネイル画像を復号し、それらサムネイル画像が動画像との時間関係が認識可能にサムネイルフレームを生成する。生成されたサムネイルフレームは、表示制御ブロック８４により単独もしくは動画像とともに表示装置１２において表示される。また、フレーム生成部８０は、所定の更新タイミングでサムネイルフレームを更新する。ここで、伝達メディア９０には、ＤＶＤ等の蓄積メディア、地上波放送や衛星放送、ＣＡＴＶなどの放送メディアがある。
【００７４】
【発明の効果】
本発明によると、ユーザが動画像を視聴する際に、サムネイル画像を生成する際、その記録容量を抑えることができる。また、別の観点では、新たに大きな記録容量を必要とすることがないため、コストを抑えつつサムネイル画像を使用したシーン検索が実現される。
【図面の簡単な説明】
【図１】実施の形態１に係るテレビジョン受信装置の構成を示すブロック図である。
【図２】実施の形態２に係るテレビジョン受信装置の構成を示すブロック図である。
【図３】実施の形態３に係るテレビジョン受信装置の構成を示すブロック図である。
【図４】実施の形態４に係るテレビジョン受信装置の構成を示すブロック図である。
【図５】変形例として別観点から着目した画像記録再生装置の機能ブロックの構成を示す図である。
【図６】実施の形態５に係るテレビジョン受信装置の構成を示すブロック図である。
【符号の説明】
１０　テレビジョン受信装置、　１２　表示装置、　１４　チューナ部、　１６　画像記録再生部、　１８　アンテナ、　２２　ＲＦ部、　２４　復調部、　２６　エラー訂正部、　２８　ＴＳ分離部、　３０　ハードディスク、　３２　第１ＭＰＥＧデコーダ、　３４　第２ＭＰＥＧデコーダ、　３６　ＭＰＥＧエンコーダ、　３８　画像選定部、　４０　データ量低減部、　４２　サムネイル領域生成部、　４４　符号化画像データ領域、　４６　サムネイル画像データ領域、　５０　制御コア回路、　５２　表示制御部、　５４　音声デコーダ、　５６音声出力部、　６０　リモコン受光部、　６２　ＲＣ、　６６　ＴＳデータ領域、　７０　画像記録再生装置、　７２　入力インタフェイスブロック、　７４データブロック、　７６　動画像ブロック、　７８　インデックス画像生成ブロック、　８０　フレーム生成ブロック、　８４　表示制御ブロック、　９０　伝達メディア。

Claims

動画像中の所望のシーンの検索に利用する縮小画像を画像内符号化をすることでそのデータ量を圧縮するステップと、
前記画像内符号化がなされた縮小画像の原画像と関連づけて記録するステップと、
を有することを特徴とする画像記録方法。
動画像中の所望のシーンの検索に利用する縮小画像を画像内符号化することでそのデータ量を圧縮する縮小画像符号化部と、
前記画像内符号化がなされた縮小画像の原画像と関連づけて記録する画像記録部と、
を有することを特徴とする画像記録装置。
符号化データを取得し動画像を構成する単位画像を復号する第一のデコード部と、
前記符号化データを保持する第一のデータ記録部と、
前記動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を前記第一のデコード部で復号された単位画像から選定する画像選定部と、
前記選定された原画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、
前記インデックス画像を画像内符号化し前記インデックス画像のデータ量を圧縮するエンコード部と、
前記符号化されたインデックス画像を前記原画像と関連づけて保持する第二のデータ記録部と、
前記第二のデータ記録部に符号化され保持されているインデックス画像から所定のインデックス画像を選定し復号する第二のデコード部と、
を有することを特徴とする画像記録再生装置。
前記第一および前記第二のデコード部は、共通化され単一の構成で実現されることを特徴とする請求項３に記載の画像記録再生装置。
ＭＰＥＧに準拠して符号化された動画像信号である符号化データを取得し、動画像を構成する単位画像を復号する第一のＭＰＥＧデコーダと、
前記符号化データを保持する第一のデータ記録部と、
前記動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を前記第一のＭＰＥＧデコーダで復号された単位画像から選定する画像選定部と、
前記選定された単位画像のサイズを縮小することでインデックス画像を生成する画像生成部と、
前記インデックス画像を画像内符号化するＭＰＥＧエンコーダと、
前記符号化されたインデックス画像をその原画像と関連づけて保持する第二のデータ記録部と、
所定のインデックス画像を復号する第二のＭＰＥＧデコーダと、
を有することを特徴とする画像記録再生装置。
前記第一および前記第二のＭＰＥＧデコーダは、共通化され単一の構成で実現されることを特徴とする請求項５に記載の画像記録再生装置。
ＭＰＥＧに準拠して符号化された動画像信号を含むトランスポートストリームに多重化され所定の変調が施されたテレビジョン放送の信号波を受信し、その信号波をトランスポートストリームに復調するチューナ部と、
前記トランスポートストリームから符号化データである前記動画像信号を分離するＴＳ分離部と、
前記符号化データを取得し、動画像を構成する単位画像を復号する第一のＭＰＥＧデコーダと、
前記符号化データを保持する第一のデータ記録部と、
前記動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を前記第一のＭＰＥＧデコーダで復号された単位画像から選定する画像選定部と、
前記選定された単位画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、
前記インデックス画像を画像内符号化するＭＰＥＧエンコーダと、
前記符号化されたインデックス画像をその原画像と関連づけて保持する第二のデータ記録部と、
所定のインデックス画像を復号する第二のＭＰＥＧデコーダと、
前記インデックス画像を表示する表示制御部と、
を有することを特徴とするテレビジョン受像機。
ＭＰＥＧに準拠して符号化された動画像信号を含むトランスポートストリームに多重化され所定の変調が施されたテレビジョン放送の信号波を受信し、その信号波をトランスポートストリームに復調するチューナ部と、
前記トランスポートストリームから前記動画像信号である符号化データを分離するＴＳ分離部と、
前記符号化データを取得し、動画像を構成する単位画像を復号する第一のＭＰＥＧデコーダと、
前記トランスポートストリームを保持する第一のデータ記録部と、
前記動画像の所望のシーンを検索する際に利用するインデックス画像の原画像を前記第一のＭＰＥＧデコーダで復号された単位画像から選定する画像選定部と、
前記選定された単位画像のサイズを縮小することでインデックス画像を生成するインデックス画像生成部と、
前記インデックス画像を画像内符号化するＭＰＥＧエンコーダと、
前記符号化されたインデックス画像をその原画像と関連づけて保持する第二のデータ記録部と、
所定のインデックス画像を復号する第二のＭＰＥＧデコーダと、
前記インデックス画像を表示する表示制御部と、
を有することを特徴とするテレビジョン受像機。
前記第一および前記第二のＭＰＥＧデコーダは、共通化され単一の構成で実現されることを特徴とする請求項７または８に記載のテレビジョン受像機。
前記画像選定部は、所定の時間間隔で前記インデックス画像の原画像を選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記画像選定部は、ユーザからの指示に基づいて前記インデックス画像の原画像を選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記画像選定部は、前記動画像のシーンが大きく変化するタイミングで前記インデックス画像の原画像を選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記画像選定部は、前記動画像の作成者が前記動画像に設けたタイミングで、前記インデックス画像の原画像を選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記動画像が複数のチャプターで構成されている場合、前記画像選定部は、前記チャプターの先頭の画像を、前記インデックス画像の原画像として選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記動画像が複数のチャプターで構成されておりチャプターに検索用画像が設けられている場合、前記画像選定部は、前記検索用画像を前記インデックス画像の原画像として選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記符号化データに含まれる音声データを復号する第三のデコーダを更に有し、
前記画像選定部は、前記第三のデコーダで復号された音声データを参照し、音量が大きく変わるタイミングで前記インデックス画像の原画像を選定することを特徴とする請求項３から６のいずれかに記載の画像記録再生装置。
前記画像選定部は、前記インデックス画像の原画像の抽出前の状況に応じて、前記所定の時間間隔を設定することを特徴とする請求項１０に記載の画像記録再生装置。
動画中の所望のシーンの検索に利用する縮小画像のデータ量を圧縮し、圧縮した縮小画像データを、原画像と関連づけて記録し、この記録された縮小画像データを復号して表示させるよう制御する手段を有することを特徴とする画像処理装置。