JP2007089012A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】
ユーザが所望のチャプターを容易に選択して当該チャプターへ移動でき、またチャプター移動後も所望のチャプターであったか否かの確認を容易に行なうことが可能な画像処理装置、画像処理方法及びプログラムを提供すること。
【解決手段】
タイトル再生中に、ユーザからチャプター選択画面を表示するための操作を入力された場合には、各チャプターの先頭フレームのサムネイル画像を縦軸に、各チャプターの先頭フレームの前後フレームの各サムネイル画像を横軸に時系列順に並べて移動先のチャプターを選択可能なチャプター選択画面を表示する。またユーザから一つ前または後のチャプターへ移動するためのチャプター送り操作が入力された場合には、チャプター移動後に移動先のチャプターのＭＰＥＧストリームを先頭フレームから再生するとともに、移動先のチャプターの先頭フレーム及びその前後のフレームの各サムネイル画像を時系列順に並べて表示する。
【選択図】 図２

Description

本発明は、例えばＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disk）等の記録媒体等に記録され再生される動画像を処理することが可能な画像処理装置、画像処理方法及びそのプログラム関する。

従来から、ＨＤＤやＤＶＤ等の記録媒体に動画像を記録し、当該記録された動画像を再生可能な記録再生装置等においては、各動画像にチャプターと呼ばれる区切りを付けて、当該チャプター単位で所望のシーンを検索して動画像の再生を行う技術が存在する。このような技術に関連して、例えば、下記特許文献１には、動画像から所定の条件でサムネイル画像を生成し、表示装置に現在再生中の主画像を表示するとともに複数のサムネイル画像を同一画面に表示し、ユーザが主画像の再生中に何れかのサムネイル画像を選択した場合に、当該サムネイル画像に対応したシーンへジャンプすることが可能な記録再生装置が開示されている。
特開２００４−７２７２７号公報（段落[００３０]、図１等）

しかしながら、上記特許文献１に記載の技術においては、ユーザは上記サムネイル画像を確認するのみではそのサムネイル画像から始まるシーン（チャプター）が所望のシーンであるかどうかを把握することは難しく、また、サムネイル画像を選択してジャンプした後も、当該ジャンプ後のシーンがユーザにとって本当に所望のシーンであるかどうかをすぐに把握することも困難である。したがって、ジャンプ後のシーン内容をしばらく確認してからそのシーンが所望の位置であったか否かが分かることとなり、所望のシーンでなかった場合にはその後に違うシーンへジャンプするための煩雑な操作が必要となり、ユーザの利便性を害する結果となる。

以上のような事情に鑑み、本発明の目的は、ユーザが所望のチャプターを容易に選択して当該チャプターへ移動でき、またチャプター移動後も所望のチャプターであったか否かの確認を容易に行うことが可能な画像処理装置、画像処理方法及びそのプログラムを提供することにある。

上述の課題を解決するため、本発明の主たる観点に係る画像処理装置は、複数のフレームで構成され、所定の条件により複数の区間に区切るための区切り位置情報が所定のフレームに付加された動画像を再生する再生手段と、前記区切られた動画像中の第１の区間の動画像の再生中に、当該第１の区間の動画像から当該第１の区間とは異なる第２の区間の動画像へ移動して再生するためのユーザ操作を入力する入力手段と、前記ユーザ操作が入力されたときに、前記第１の区間の動画像の再生を停止するとともに、前記区切り位置情報に基づいて、少なくとも前記第２の区間の先頭フレーム及び当該先頭フレームの前のフレームの各縮小画像を表示するように制御する表示制御手段とを具備する。

ここで上記動画像とは例えばデジタル放送またはアナログ放送によるテレビ番組が例えばＭＰＥＧ（Moving Picture Experts Group）等の方式で記録されたものである。画像処理装置とは、例えばＨＤＤ／ＤＶＤレコーダ等の記録再生装置や記録再生機能を有するテレビジョン受像機、ＤＶＤプレーヤー等の再生装置、ＰＣ（Personal Computer）等である。好ましくは、上記動画像に所定の条件により上記区切り位置情報を付加する手段を有する装置である。所定の条件とは、例えば動画像中における音声信号の種類（ステレオ／モノラル）（ＣＭの有無）、音量、登場人物等の違いやシーンチェンジ等の条件であり、上記区間とはいわゆるチャプターと称されるものである。

なお、ここで上記先頭フレーム及びその前のフレームとは、連続したフレームのみを指すものではなく、例えば上記動画像がＭＰＥＧ方式の動画像である場合には、Ｉピクチャのみを抽出したものであってもよい。またＩピクチャに加えてＰピクチャを抽出するようにしても構わない。第２の区間の先頭フレームの前のフレームとは、すなわち第１の区間の最終フレーム（最終Ｉピクチャ）のことである。

この構成により、上記第２の区間へ移動するためのユーザ操作が入力されたときに、第２の区間の先頭フレームのみならず、その前の第１の区間の最終フレームの縮小画像も表示されるため、ユーザは当該両縮小画像により、所望のフレームであるか否かの確認を容易に行うことができ、動画像の再生中にユーザがいわゆるチャプターの移動を所望した際の利便性が向上する。

本発明の一の形態によれば、上記画像処理装置において、前記第２の区間は前記第１の区間の一つ前または一つ後の区間であり、前記表示制御手段は、前記ユーザ操作が入力されたときに、前記第２の区間の動画像を前記先頭フレームから再生するとともに、当該先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像を前記再生される第２の区間の動画像上に時系列順に並べて表示するように制御するようにしてもよい。

上記前後の各フレームは、それぞれ少なくとも１枚のフレーム、好ましくは複数枚のフレーム（例えば２、３枚のフレーム）である。また上記先頭フレーム及びその前後のフレームは例えばＭＰＥＧのＩピクチャである。これによりユーザは、第２の区間に移動後に上記先頭フレーム及びその前後のフレームの縮小画像を確認することで、移動後の第２の区間が所望の区間であるか否かを容易に確認することができる。

本発明の一の形態によれば、上記画像処理装置において、前記表示制御手段は、前記表示された各縮小画像を所定時間経過後に消去するように制御するようにしてもよい。

これによりユーザは、移動後の区間が所望の区間であるか否かの確認が終了した後は、上記各縮小画像に邪魔されることなく動画像を快適に視聴することができる。

本発明の一の形態によれば、上記画像処理装置において、前記表示制御手段は、前記各縮小画像が消去されたときに、前記再生されている第２の区間の動画像の前記消去位置におけるタイムコードを当該第２の区間の動画像上に所定時間表示するように制御するようにしても構わない。

上記各縮小画像とタイムコードとによって、ユーザは移動先の第２の区間が所望の位置であったかをより確実に把握することができる。

本発明の一の形態によれば、上記画像処理装置において、前記表示制御手段は、前記各種縮小画像が消去されたときに、前記再生を停止された第１の区間の動画像の当該停止位置におけるタイムコードと前記再生されている前記第２の区間の動画像の前記消去位置におけるタイムコードとの時間間隔情報を表示するように制御するようにしても構わない。

上記各縮小画像と時間間隔情報とにより、ユーザは移動先の第２の区間が移動前の第１の区間からどのくらいの時間分移動した位置であるかを把握できるため、所望の位置であったか否かを確実に把握することができる。

本発明の一の形態によれば、上記画像処理装置は、前記表示制御手段により前記第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像が表示されている状態で、ユーザの操作により当該前後の各フレームの何れかに前記区切り位置情報を付加し直す手段を更に具備していてもよい。

これにより、上記区切り位置情報によって決められた区間の区切りをユーザの好みに応じて変更したり、区切り位置がずれていた場合に当該ずれを修正したりすることができる。区切り位置情報を付加し直した後は、次回からはその付加し直した区切り位置から第２の区間を再生させることができ、ユーザの利便性が向上する。

本発明の一の形態によれば、上記画像処理装置において、前記第２の区間は複数存在し、前記表示制御手段は、前記ユーザ操作が入力されたときに、前記第１の区間の前記再生停止位置における停止フレーム及び当該停止フレームの前後の各フレームの各縮小画像を第１の方向に時系列順に並べて表示させるとともに、前記移動すべき第２の区間をユーザに選択させるために、前記各第２の区間の各先頭フレームの縮小画像を前記停止フレームの縮小画像を挟むように前記第１の方向とは異なる第２の方向に時系列順に並べて表示させるように制御する第１の表示制御手段と、前記表示された各第２の区間の各先頭フレームの縮小画像のうち何れかを選択する第１のユーザ選択操作が入力されたときに、前記表示された停止フレーム及び当該停止フレームの前後の各フレームの各縮小画像を消去するとともに、前記選択された第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像を前記第１の方向に時系列順に並べて表示するように制御する第２の表示制御手段とを有していてもよい。

上記第１の制御手段により、上記停止位置のフレーム及びその前後のフレームの縮小画像で停止位置周辺のシーン内容を確認しながら移動先の第２の区間を選択することができ、また上記第２の制御手段により、各第２の区間の先頭フレーム及びその前後のフレームの縮小画像で第１のユーザ選択操作により選択した当該第２の区間が所望の区間であることを確実に確認することができる。すなわち、ユーザは区間移動前に移動先の区間の内容を確実に把握することができる。

本発明の一の形態によれば、上記画像処理装置において、前記再生手段は、前記第１のユーザ選択操作後に前記第２の区間の動画像の再生を選択する第２のユーザ選択操作が入力されたときに、当該第２の区間の前記先頭フレームから動画像を再生するようにしてもよい。

これにより、ユーザは上記第１の制御手段により表示された上記第２の区間の先頭フレーム及びその前後のフレームの縮小画像により、移動先の第２の区間の内容を確実に把握したうえで移動して、当該第２の区間の動画像を再生させることが可能となる。

本発明の一の形態によれば、上記画像処理装置において、前記再生手段は、前記第１のユーザ選択操作後に前記第２の制御手段により表示された第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像のうち何れかを選択する第３のユーザ選択操作が入力されたときに、当該選択された縮小画像に対応するフレームから前記動画像を再生するようにしてもよい。

これにより、移動先の第２の区間の先頭フレームは勿論、その前後のフレームからも動画像を再生させることができる。したがって、上記区切り位置のフレームの周辺のフレームから再生可能となるため、例えばユーザが視聴を所望しないフレームを飛ばして再生させることもでき、また例えばシーンチェンジ等の条件による上記区切り位置の付加の仕方が不十分で、実際には第２の区間の一つ前の区間に属するべきフレームがずれて第２の区間に属していたような場合にでも、当該ずれを補正してユーザが真に所望するシーンから動画像を再生することができる。

本発明の一の形態によれば、上記画像処理装置において、前記第１の制御手段及び第２の制御手段は、前記第１の方向と第２の方向とが略直交するように各縮小画像が表示されるように制御するようにしても構わない。

例えば上記第１の方向は水平方向、第２の方向は垂直方向である。これにより区間に関する情報は第２の方向に表示され、各区間の先頭及びその周辺のフレームに関する情報が第１の方向に略直交する第２の方向に表示されることにより、ユーザは同一画面上において第２の区間を選択しながら当該第２の区間の先頭フレーム及びその周辺のフレームを確認することで、所望の移動位置を容易に選択することができ、ユーザにとってより分かりやすいインターフェースを提供することができる。

本発明の一の形態によれば、上記画像処理装置において、前記第２の制御手段により前記第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像が表示されている状態で、ユーザの操作により当該前後の各フレームの何れかに前記区切り位置情報を付加し直す手段を更に具備していてもよい。

これにより、上記区切り位置情報によって決められた区間の区切り位置をユーザの好みに応じて変更したり、区切り位置がずれていた場合に当該ずれを修正したりすることができ、ユーザの利便性が向上する。

本発明の一の形態によれば、上記画像処理装置において、前記第２の区間は前記第１の区間の一つ後の区間であり、前記表示制御手段は、前記ユーザ操作が入力されたときに、前記第２の区間の動画像を前記先頭フレームから再生するとともに、前記第１の区間の再生停止位置におけるフレームから前記先頭フレームまでの縮小動画像を前記再生される第２の区間の動画像上に表示するよう制御するようにしても構わない。

これによりユーザは、第２の区間に移動することによって再生されなかった（飛ばされた）第１の区間の動画像の内容を確認しながら、すなわち同一画面上で第１の区間と第２の区間との関係を把握しながら、移動先の第２の区間の動画像を視聴することができ、ユーザの利便性が向上する。

本発明の他の観点に係る画像処理方法は、複数のフレームで構成され、所定の条件により複数の区間に区切るための区切り位置情報が所定のフレームに付加された動画像を再生するステップと、前記区切られた動画像中の第１の区間の動画像の再生中に、当該第１の区間の動画像から当該第１の区間とは異なる第２の区間の動画像へ移動して再生するためのユーザ操作を入力するステップと、前記ユーザ操作が入力されたときに、前記第１の区間の動画像の再生を停止するとともに、前記区切り位置情報に基づいて、少なくとも前記第２の区間の先頭フレーム及び当該先頭フレームの前のフレームの各縮小画像を表示するように制御するステップとを具備する。

本発明のまた別の観点に係るプログラムは、画像処理装置に、複数のフレームで構成され、所定の条件により複数の区間に区切るための区切り位置情報が所定のフレームに付加された動画像を再生するステップと、前記区切られた動画像中の第１の区間の動画像の再生中に、当該第１の区間の動画像から当該第１の区間とは異なる第２の区間の動画像へ移動して再生するためのユーザ操作を入力するステップと、前記ユーザ操作が入力されたときに、前記第１の区間の動画像の再生を停止するとともに、前記区切り位置情報に基づいて、少なくとも前記第２の区間の先頭フレーム及び当該先頭フレームの前のフレームの各縮小画像を表示するように制御するステップとを実行させるためのものである。

本発明によれば、ユーザが所望のチャプターを容易に選択して当該チャプターへ移動でき、またチャプター移動後も所望のチャプターであったか否かの確認を容易に行うことができる。

以下、本発明の実施の形態を図面に基づき説明する。

図１は、本発明の一実施形態に係る記録再生装置１００の構成を示した図である。同図に示すように、記録再生装置１００は、デジタルチューナ１、アナログチューナ２、Ａ／Ｄ（Analog / Digital）コンバータ３、ＭＰＥＧエンコーダ４、バッファコントローラ５、特徴点抽出部６、ＨＤＤ７、光ディスクドライブ８、ＣＰＵ（Central Processing Unit）９、ＲＯＭ（Read Only Memory）１０、ＲＡＭ（Random Access Memory）１１、ＭＰＥＧデコーダ１２、グラフィックコントローラ１３、Ｄ／Ａ（Digital / Analog）コンバータ１４、１５及び操作入力部１６等を備えており、各部はシステムバス１７により接続されている。

デジタルチューナ１は、図示しないアンテナを通じてデジタル放送の特定のチャンネルを選局してデジタルビデオ信号及びデジタルオーディオ信号を例えばＭＰＥＧストリームとして受信し、当該各信号を復調してバッファコントローラ５へ出力する。

アナログチューナ２は、上記アンテナを通じてアナログ放送の特定のチャンネルを選局してアナログビデオ信号及びアナログオーディオ信号を受信し、各信号をＡ／Ｄコンバータ３へ出力する。

Ａ／Ｄコンバータ３は、アナログチューナ２から入力したアナログビデオ信号及びアナログオーディオ信号をそれぞれデジタル信号に変換し、ＭＰＥＧエンコーダ４に出力する。

ＭＰＥＧエンコーダ４は、上記Ａ／Ｄコンバータ３から入力したデジタルビデオ信号及びデジタルオーディオ信号をＭＰＥＧストリームへ符号化処理し、バッファコントローラ５へ出力する。

バッファコントローラ５は、上記デジタルチューナ１又はＭＰＥＧエンコーダ４から連続的に供給されるデジタルビデオ信号及びデジタルオーディオ信号の、ＨＤＤ７または光ディスクドライブ８への書き込みのタイミングやデータ量を制御し、各信号をＨＤＤ７または光ディスクドライブ８へ断続的に書き込む。また、バッファコントローラ５は、ＨＤＤ７または光ディスクドライブ８に記録されたデジタル信号の読み出しのタイミングやデータ量を制御し、ＨＤＤ７または光ディスクドライブ８から断続的に読み出されるＭＰＥＧストリームを、ＭＰＥＧデコーダ１２へ連続的に供給する。

すなわち、ＨＤＤ７や光ディスクドライブ８がシーク動作を行っている間は読み書きを行うことができない一方、ＭＰＥＧエンコーダ４やＭＰＥＧデコーダ１２は連続的なＭＰＥＧストリームの入出力を期待するため、上記バッファコントローラ５によってＭＰＥＧストリームをバッファリングし、ＨＤＤ７及び光ディスクドライブ８の特性に合わせた読み出し及び書き込みのタイミング制御を行っている。

またバッファコントローラ５は、ＨＤＤ７及び光ディスクドライブ８とのデータ授受だけでなく、システムバス１７を介してＣＰＵ９からの読み書きも受け付け、ＣＰＵ９からＨＤＤ７及び光ディスクドライブ８に対する読み出し及び書き込みも行うことが可能である。

ＨＤＤ７は、上記各タイトルのＭＰＥＧストリームの他、各種プログラムやデータ等を内蔵のハードディスクに記録し、またそれらを当該ハードディスクから読み出す。

光ディスクドライブ８は、上記ＭＰＥＧストリーム等のデータをＤＶＤディスク（例えばＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等の着脱自在な光ディスク２０に記録したり、当該光ディスク２０から上記データを再生時に読み出したりする。

特徴点抽出部６は、上記ＨＤＤ７または光ディスクドライブ８に記録後または記録前のＭＰＥＧストリームから、例えばシーンチェンジ、ＣＭ（コマーシャル）と番組本編との切り替わり、ハイライトシーン等の特徴的なシーンを抽出して、当該切り替わり位置をチャプターの区切り位置として、ＭＰＥＧストリームとして記録される（記録された）番組（以下、タイトルと称する）毎にチャプター分けを行う。特徴点抽出の具体的手法としては、例えば上記シーンチェンジの場合には、ＭＰＥＧストリームを構成する各フレーム毎の輝度成分や音量情報を基に１フレーム毎に特徴点を検出し、各フレームの特徴点の変化や大小を比較する等して特徴的なシーンを抽出し、当該シーンをチャプターの区切り位置として抽出する方法や、ＣＭと番組本編との切り替わりの場合には音声信号のステレオ／モノラルの切り替わり位置を検出する方法等がある。抽出された特徴点データは、タイトル毎のチャプター情報として例えばＲＯＭ１０またはＨＤＤ７にデータベース化され記憶される。

ＣＰＵ９は、例えばＲＯＭ１０に記憶されたＯＳ（Operating System）やファームウェア等に基づいて各ブロックを統括的に制御したり、各種の演算処理を実行したりする装置である。

ＲＯＭ１０は、ＣＰＵ９に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。

ＲＡＭ１１は、ＣＰＵ９の作業用領域等として用いられ、例えばＲＯＭ１０に記憶されたＯＳやプログラム、処理データ等を一時的に保持するメモリである。

ＭＰＥＧデコーダ１２は、上記ＨＤＤ７または光ディスクドライブ８からバッファコントローラ５を介して読み込まれたＭＰＥＧストリームを復号処理によりデジタルビデオ信号及びデジタルオーディオ信号に変換し、デジタルビデオ信号をグラフィックコントローラ１３へ、デジタルオーディオ信号をＤ／Ａコンバータ１５へ出力する。

グラフィックコントローラ１３は、上記ＭＰＥＧデコーダ１２から入力した各タイトルのデジタルビデオ信号と、当該各タイトルに対応する上記チャプター情報等をＯＳＤ（On Screen Display）として合成したり、当該チャプター情報を切り替えたりするグラフィック処理を行い、Ｄ／Ａコンバータ１４に出力する。

Ｄ／Ａコンバータ１４はグラフィックコントローラ１３でグラフィック処理を施されたデジタルビデオ信号をアナログビデオ信号（ＮＴＳＣ（National Television Standards Committee）信号）に変換し、ディスプレイ１８に出力して表示させる。

Ｄ／Ａコンバータ１５は上記ＭＰＥＧデコーダ１２から入力されたデジタルオーディオ信号をアナログオーディオ信号に変換してスピーカ１９に出力して再生させる。

操作入力部１６は、ボタン、スイッチ、キー、操作確認用の表示器や、リモートコントローラ２１（以下、リモコン２１と称する）から送信される赤外線信号の受光部等で構成され、ユーザの操作による各種設定値や指令を入力してＣＰＵ９へ出力する。

なお、本実施形態においてはデジタルストリームの圧縮方式としてＭＰＥＧを用いているが、その他の圧縮方式でも勿論構わない。

次に、本実施形態における記録再生装置１００の動作について説明する。

図２は、本実施形態において、タイトル中のあるチャプターを再生中にユーザの操作によりチャプターを移動する場合の記録再生装置１００の動作の流れを示したフローチャートである。

同図に示すように、記録再生装置１００は、ユーザからタイトルの再生操作があると、上記ＨＤＤ７または光ディスクドライブ８に記録され、かつ、特徴点抽出部６によりチャプター情報が付加されたタイトルのＭＰＥＧストリームを、上記ＭＰＥＧデコーダ１２等の処理により上記ディスプレイ１８及びスピーカ１９により再生する（ステップ３１）。

続いて、ユーザからリモコンやボタン等の操作によるキー入力の待ち状態に入る（ステップ３２）。タイトル再生中に、ユーザからキー入力があった場合、当該キー入力の種類を判別する（ステップ３３）。キー入力が、複数のチャプターから移動先のチャプターを選択する画面（以下、チャプター選択画面と称する）の表示を要求する操作の場合（ステップ３３のＫ１）、記録再生装置１００は、再生中のタイトルの再生を停止するとともに、ＲＯＭ１０またはＨＤＤ７に記憶されたチャプター情報と、上記再生を停止したタイトルのＭＰＥＧストリームを読み出し、グラフィックコントローラ１３等の処理により、図３に示すようなチャプター選択画面を表示する（ステップ３４）。

図３（ａ）に示すように、当該チャプター選択画面５１では、例えば上記再生中のチャプターがチャプター３であるとすると、上記再生を停止した位置の停止フレームを縮小したサムネイル画像６０ｂを中心として、横軸にその前後（例えば前に１つ、後に２つ）のフレームの各サムネイル画像６０ａ、６０ｃ、６０ｄを生成して表示させ、縦軸に当該停止フレームのサムネイル画像６０ｂを挟むように、当該チャプター３の周辺の各チャプター（チャプター１、チャプター２、チャプター４、チャプター５）の各先頭フレームの各サムネイル画像５０ａ、５０ｂ、５０ｃ、５０ｄを生成して時系列順に（例えば上から下へ）各軸に並べて表示させる。

そして、当該チャプター選択画面５１上で、ユーザ操作（例えば十字キーによるカーソル上下移動操作）により何れかのチャプターが選択された場合（ステップ３５のＹｅｓ）には、当該選択されたチャプターの先頭フレームのサムネイル画像を、上記停止フレームのサムネイル画像６０ｂが表示されていた位置に表示させ、また当該先頭フレームの前後のフレームの各サムネイル画像を、上記停止フレームの前後のフレームの各サムネイル画像（６０ａ、６０ｃ、６０ｄ）が表示されていた位置にスクロールするようにして表示させる（ステップ３６）。例えば、同図（ｂ）に示すように、ユーザ操作によりチャプター５が選択された場合には、当該チャプター５の先頭フレームのサムネイル画像５０ｄと、その前後のフレームのサムネイル画像６１ａ、６１ｃ、６１ｄを横軸に表示させる。

そして、チャプター選択画面５１上で、ユーザ操作（例えばカーソル左右移動及び決定ボタン）により当該各サムネイル画像が表示されたチャプターの何れかのサムネイル画像が選択された場合（ステップ３７のＹｅｓ）には、当該選択されたチャプターの当該選択されたサムネイル画像のフレームからタイトルを再生する（ステップ３８）。例えば、同図（ｂ）に示すように、チャプター５の先頭から２つ進んだフレーム（＋２）のサムネイル画像６１ｄが選択された場合には、同図（ｃ）に示すように当該サムネイル画像６１ｄのフレームからタイトルを再生する。

すなわち、上記チャプター選択画面５１においては、選択されたチャプターを先頭フレームから再生させるだけでなく、上記表示されたその前後フレームからも再生させることができる。したがって、ユーザは、チャプターを選択する際に、上記先頭フレームのみならずその前後フレームを参照することによって所望のチャプターの内容を容易に把握した上で、移動先のチャプターを容易に決定することができるとともに、当該所望のチャプターの、先頭フレーム周辺の所望のフレームからタイトルを再生することが可能となる。これにより、例えばチャプターの区切りがずれていた場合（例えば、シーンチェンジ前の最終フレームが次のフレームの先頭フレームとなっていたような場合）に、当該ずれを補正して、真にチャプターの区切りとなるべき位置のフレームからタイトルを再生させることができる。

なお、上記図３において、チャプター選択画面５１の上端のタブ（５２ａ、５２ｂ・・・）は、当該チャプターがどのような条件で区切られているのかを示すものであり、各タブはユーザにより選択可能となっている。例えば、タブ５２ａはＣＭとタイトル本編との切り替わりによるチャプター区切り、タブ５２ｂはＣＭと本編との切り替わりに加えてシーンチェンジの要素も加味したチャプター区切り、といったように、ユーザの好みに応じて上記特徴点抽出部６の処理により各条件でチャプターを作成させて、当該作成された各条件のチャプター区切りに応じたチャプター毎の再生を行わせることができる。

次に、上記ステップ３３において、ユーザの操作が、現在再生中のチャプターからその前後のチャプターへ移動すること（以下、この動作を「チャプター送り」と称する）を要求する操作であった場合（ステップ３３のＫ２）には、再生中のタイトルの再生を停止するとともに、当該一つ前または後のチャプターへ移動し（ステップ３９）、当該移動後のチャプターの先頭フレームからタイトルを再生する（ステップ４０）。例えば、図４（ａ）に示すように、チャプターＡのＭＰＥＧストリームを再生中にチャプターを一つ先へ送るユーザ操作（例えばチャプター送りボタンや十字キーの右キーの押下操作）があった場合には、同図（ｂ）に示すように、チャプターＡに続くチャプターＢへ移動して当該チャプターＢのＭＰＥＧストリームを先頭フレームから再生する。

そして、図４（ｂ）に示すように、当該移動先のチャプターＢのＭＰＥＧストリームの再生と同時に、当該再生されたチャプターＢのＭＰＥＧストリーム上に、当該移動先のチャプターＢの先頭フレーム及びその前後（例えば各２枚）のフレームの各サムネイル画像７０ａ〜７０ｅを例えば画面下方に時系列順に水平方向へ並べて表示させる（図２のステップ４１）。すなわち、上記サムネイル画像のうち、サムネイル画像７０ａ及び７０ｂは、移動元のチャプターＡの最後から２枚目までのフレームのサムネイル画像であり、サムネイル画像７０ｄ及び７０ｅは、移動先のチャプターＢの先頭から２枚目及び３枚目のフレームのサムネイル画像である。なお同図の場合とは逆に一つ前のチャプターへ移動した場合には、二つ前のチャプターの最後の２フレームのサムネイル画像と、移動先のチャプターの先頭から３枚目までのフレームのサムネイル画像が表示されることとなる。

続いて、図４（ｃ）に示すように、所定時間（例えば３〜５秒）経過後に上記各サムネイル画像を消去し、当該消去時におけるタイトルのタイムコード７１を表示させる（ステップ４２）。

そして、図４（ｄ）に示すように、所定時間（例えば１〜２秒）経過後、上記タイムコード７１を消去して（ステップ４３）、通常通り移動先のチャプターＢのＭＰＥＧストリームを再生する。

当該ステップ３９〜ステップ４３のチャプター送り動作によれば、上記各サムネイル画像により、ユーザはチャプター移動後にすぐに当該チャプターの内容及び移動元のチャプターとの関係を把握することができ、当該移動先のチャプターが自分の所望のチャプターであったか否かを容易に確認することができる。更に、上記タイムコードにより、移動後のチャプターのタイトル全体における位置も把握することができる。

また、上記ステップ３３において、ユーザ操作が上記Ｋ１及びＫ２の何れでもなかった場合（ステップ３３のＫ３）には、ステップ３１において再生中のタイトルの再生処理を続行する。以上の処理を、ユーザから操作入力を受け付ける度に繰り返す。

なお、上記チャプター選択動作及びチャプター送り動作において表示されるサムネイル画像は、例えばＭＰＥＧストリーム中のＩピクチャフレームを抽出したサムネイル画像である。したがって、この場合上記各チャプターの先頭フレーム及びその前後のフレーム、または停止フレーム及びその前後のフレームの各サムネイル画像は、Ｉピクチャのみを見た場合の連続したＩピクチャフレームのサムネイル画像である。

以上説明したように、本実施形態においては、チャプターの移動前には、上記チャプター選択画面５１におけるサムネイル画像６１により、ユーザが所望のチャプターを容易に選択して当該チャプターへ移動でき、またチャプター移動後も、上記サムネイル画像７０により、所望のチャプターであったか否かの確認を容易に行うことができる。

なお、本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

上述の実施形態においては、上記図４に示したようにユーザからチャプター送り操作が入力された場合には、移動先のチャプターの先頭フレーム及びその前後のフレームの各サムネイル画像を表示させるようにしていたが、一つ先のチャプターに移動する場合には、当該各サムネイル画像を表示させる代わりに、移動先のチャプターのＭＰＥＧストリームを再生するのと同時に、当該再生されたＭＰＥＧストリーム上に、チャプター移動によって表示されなかったシーンのＭＰＥＧストリームをサムネイルストリームとしていわゆるピクチャー・イン・ピクチャー形式で再生するようにしても構わない。

図５は、当該ピクチャー・イン・ピクチャー形式で表示させる場合の画面の様子を示した図である。同図（ａ）に示すように、例えばチャプターＡのＭＰＥＧストリームを再生中に、ユーザから次のチャプターＢへの送り操作があった場合には、当該チャプターＡのＭＰＥＧストリームの再生を停止して、同図（ｂ）に示すように、主画面において移動先のチャプターＢのＭＰＥＧストリームをその先頭フレームから再生するのと同時に、例えば画面右隅に、上記チャプターＡの再生停止位置におけるフレーム以降のフレームをサムネイルストリーム８０としてピクチャー・イン・ピクチャー形式で表示する。また、このとき当該先頭フレームのタイムコード７１も表示するようにしても構わない。

そして、同図（ｃ）に示すように、上記サムネイルストリーム８０は、移動先のチャプターＢの先頭フレームまで再生される。この時、主画面においてはチャプターＢのフレームＢ’まで再生が進んでいる。その後は同図（ｄ）に示すようにフレームＢ’以降のチャプターＢのＭＰＥＧストリームを通常通り再生する。

図６は、この場合の主画面（チャプターＢのＭＰＥＧストリーム）と上記サムネイルストリーム８０の各シーケンスを示した図である。同図に示すように、ユーザのチャプター送り動作によりチャプターＡからチャプターＢに送られた場合、主画面において、チャプターＢの先頭フレームからフレームＢ’までのフレームが再生される間に、サムネイルストリーム８０において、主画面では再生されなかった、チャプターＡにおける停止位置のフレームから移動先のチャプターＢの先頭フレームＢまでのフレームが再生されることになる。

図７は、上記サムネイルストリーム８０を再生する場合の動作の流れを示したフローチャートである。同図において、上述の実施形態における図２と同様の動作となる箇所については同一の符号を付し、説明を省略または簡略化する。

同図に示すように、ユーザから一つ先のチャプターへの送り操作が入力された場合（ステップ３３のＫ２）、例えばチャプターＡからその次のチャプターＢへチャプター送り操作がされた場合には、当該一つ先のチャプターへ移動して（ステップ９１）、上記図５（ｂ）及び（ｃ）に示したように、移動後のチャプターＢのＭＰＥＧストリームを先頭フレームから再生するとともに（ステップ９２）、主画面右隅に、上記移動前のチャプターＡの再生停止時点におけるフレームからサムネイルストリーム８０を再生する（ステップ９３）。そして、当該サムネイルストリーム８０を、移動先のチャプターＢの先頭フレームまで再生した場合（ステップ９４のＹｅｓ）、サムネイルストリーム８０を消去して（ステップ９５）、チャプターＢのＭＰＥＧストリーム（図５（ｄ）のフレームＢ’から後のフレーム）を通常通り再生する。

なお、記録再生装置１００は、上記主画面用のデコード処理を行う上記ＭＰＥＧデコーダ１２の他に、当該サムネイルストリーム８０のデコード用に、ＭＰＥＧデコーダをもう一つ設けるようにしてもよい。また、当該サムネイルストリーム８０は、等倍速ではなく、例えば２倍速、３倍速等、再生速度を変更して再生するようにしても構わない。これにより、チャプター送りによって再生されなかったシーンも表示されるため、ユーザは移動元のチャプターと移動先のチャプターの両方のシーンを視聴して両チャプターの関係を同一画面上で把握しながらタイトルを再生させることが可能となる。

上述の実施形態において、上記チャプター選択画面５１で各チャプターの先頭フレーム及びその前後のフレームの各サムネイル画像が表示された場合や、チャプター送りの際に移動先のチャプターの先頭フレーム及びその前後のフレームの各サムネイル画像が表示された場合に、当該表示画面上において、上記チャプターを区切るための区切り位置情報を付加し直すことができるようにしても構わない。すなわち、例えば上記特徴点抽出部６がチャプター区切りのために当初付加した区切り位置情報にずれや漏れがあった場合や、ユーザの嗜好に合わない場合等に、上記画面上において、先頭フレームの前後のフレームを選択することで、上記先頭フレームに付加されている各チャプターの区切り位置情報をその前後フレームに打ち直すことができるように特徴点抽出部６に処理させる。この場合、具体的には例えば各前後フレームのサムネイル画像にカーソルが合わされたときに、チャプター打ち直しのためのサブメニュー画面を表示させるようにしてもよい。これにより、ユーザは所望の位置にチャプターを打ち直すことができ、次回からは当該打ち直した位置を先頭フレームとしてチャプターを再生させることができる。

上記実施形態においては、サムネイル画像の表示とともにタイトルのタイムコード７１を表示していたが、時間情報として、当該タイムコードに代えて、例えばチャプター送りの場合に、移動前のチャプターの停止時点から移動先の先頭フレームまでの、タイムコード上の時間間隔（すなわち、どのくらいの時間分移動したか）を表示させるようにしても構わない。

また、チャプター送りの場合には、上述の実施形態のようなサムネイル画像の表示、または上記ピクチャー・イン・ピクチャー形式のサムネイルストリームの表示、上記タイムコードの表示、時間間隔の表示、といった表示の何れを行うか、または何れも行わないかをユーザの嗜好に応じて自由にカスタマイズできるようにしても構わない。

上述の実施形態においては、いわゆるＨＤＤ／ＤＶＤレコーダとしての記録再生装置１００に本発明を適用したが、例えば記録再生機能を有するテレビジョン受像機やＰＣ等、他の機器に適用することも勿論可能である。

本発明の一実施形態に係る記録再生装置１００の構成を示した図である。 本発明の一実施形態において、タイトルを再生中にユーザの操作によりチャプターを移動する場合の記録再生装置１００の動作の流れを示したフローチャートである。 本発明の一実施形態におけるチャプター選択画面の例を示した図である。 本発明の一実施形態においてチャプター送りがされた場合に表示される画面の例を示した図である。 本発明の他の実施形態においてチャプター送りがされた場合に表示される画面の例を示した図である。 図５において表示される主画面とサムネイルストリームの各シーケンスを示した図である。 図５におけるサムネイルストリームを表示する際の動作の流れを示したフローチャートである。

符号の説明

６…特徴点抽出部
７…ＨＤＤ
８…光ディスクドライブ
９…ＣＰＵ
１２…ＭＰＥＧデコーダ
１３…グラフィックコントローラ
１６…操作入力部
１８…ディスプレイ
２０…光ディスク
２１…リモートコントローラ
５１…チャプター選択画面
５０…各チャプター先頭フレームのサムネイル画像
６０…停止フレームの前後フレームのサムネイル画像
６１…移動先チャプター先頭フレームの前後フレームのサムネイル画像
７０…送り先のチャプター先頭フレーム及びその前後フレームのサムネイル画像
７１…タイムコード
８０…サムネイルストリーム
１００…記録再生装置

Claims (14)

1. 複数のフレームで構成され、所定の条件により複数の区間に区切るための区切り位置情報が所定のフレームに付加された動画像を再生する再生手段と、
   前記区切られた動画像中の第１の区間の動画像の再生中に、当該第１の区間の動画像から当該第１の区間とは異なる第２の区間の動画像へ移動して再生するためのユーザ操作を入力する入力手段と、
   前記ユーザ操作が入力されたときに、前記第１の区間の動画像の再生を停止するとともに、前記区切り位置情報に基づいて、少なくとも前記第２の区間の先頭フレーム及び当該先頭フレームの前のフレームの各縮小画像を表示するように制御する表示制御手段と
   を具備することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第２の区間は前記第１の区間の一つ前または一つ後の区間であり、
   前記表示制御手段は、前記ユーザ操作が入力されたときに、前記第２の区間の動画像を前記先頭フレームから再生するとともに、当該先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像を前記再生される第２の区間の動画像上に時系列順に並べて表示するように制御することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記表示制御手段は、前記表示された各縮小画像を所定時間経過後に消去するように制御することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記表示制御手段は、前記各縮小画像が消去されたときに、前記再生されている第２の区間の動画像の前記消去位置におけるタイムコードを当該第２の区間の動画像上に所定時間表示するように制御することを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記表示制御手段は、前記各種縮小画像が消去されたときに、前記再生を停止された第１の区間の動画像の当該停止位置におけるタイムコードと前記再生されている前記第２の区間の動画像の前記消去位置におけるタイムコードとの時間間隔情報を表示するように制御することを特徴とする画像処理装置。
6. 請求項２に記載の画像処理装置において、
   前記表示制御手段により前記第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像が表示されている状態で、ユーザの操作により当該前後の各フレームの何れかに前記区切り位置情報を付加し直す手段を更に具備することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記第２の区間は複数存在し、
   前記表示制御手段は、
   前記ユーザ操作が入力されたときに、前記第１の区間の前記再生停止位置における停止フレーム及び当該停止フレームの前後の各フレームの各縮小画像を第１の方向に時系列順に並べて表示させるとともに、前記移動すべき第２の区間をユーザに選択させるために、前記各第２の区間の各先頭フレームの縮小画像を前記停止フレームの縮小画像を挟むように前記第１の方向とは異なる第２の方向に時系列順に並べて表示させるように制御する第１の表示制御手段と、
   前記表示された各第２の区間の各先頭フレームの縮小画像のうち何れかを選択する第１のユーザ選択操作が入力されたときに、前記表示された停止フレーム及び当該停止フレームの前後の各フレームの各縮小画像を消去するとともに、前記選択された第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像を前記第１の方向に時系列順に並べて表示するように制御する第２の表示制御手段と
   を有することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記再生手段は、前記第１のユーザ選択操作後に前記第２の区間の動画像の再生を選択する第２のユーザ選択操作が入力されたときに、当該第２の区間の前記先頭フレームから動画像を再生することを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置において、
   前記再生手段は、前記第１のユーザ選択操作後に前記第２の表示制御手段により表示された第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像のうち何れかを選択する第３のユーザ選択操作が入力されたときに、当該選択された縮小画像に対応するフレームから前記動画像を再生することを特徴とする画像処理装置。
10. 請求項７に記載の画像処理装置において、
    前記第１の制御手段及び第２の制御手段は、前記第１の方向と第２の方向とが略直交するように各縮小画像が表示されるように制御することを特徴とする画像処理装置。
11. 請求項７に記載の画像処理装置において、
    前記第２の制御手段により前記第２の区間の先頭フレーム及び当該先頭フレームの前後の各フレームの各縮小画像が表示されている状態で、ユーザの操作により当該前後の各フレームの何れかに前記区切り位置情報を付加し直す手段を更に具備することを特徴とする画像処理装置。
12. 請求項１に記載の画像処理装置において、
    前記第２の区間は前記第１の区間の一つ後の区間であり、
    前記表示制御手段は、前記ユーザ操作が入力されたときに、前記第２の区間の動画像を前記先頭フレームから再生するとともに、前記第１の区間の再生停止位置におけるフレームから前記先頭フレームまでの縮小動画像を前記再生される第２の区間の動画像上に表示するよう制御することを特徴とする画像処理装置。
13. 複数のフレームで構成され、所定の条件により複数の区間に区切るための区切り位置情報が所定のフレームに付加された動画像を再生するステップと、
    前記区切られた動画像中の第１の区間の動画像の再生中に、当該第１の区間の動画像から当該第１の区間とは異なる第２の区間の動画像へ移動して再生するためのユーザ操作を入力するステップと、
    前記ユーザ操作が入力されたときに、前記第１の区間の動画像の再生を停止するとともに、前記区切り位置情報に基づいて、少なくとも前記第２の区間の先頭フレーム及び当該先頭フレームの前のフレームの各縮小画像を表示するように制御するステップと
    を具備することを特徴とする画像処理方法。
14. 画像処理装置に、
    複数のフレームで構成され、所定の条件により複数の区間に区切るための区切り位置情報が所定のフレームに付加された動画像を再生するステップと、
    前記区切られた動画像中の第１の区間の動画像の再生中に、当該第１の区間の動画像から当該第１の区間とは異なる第２の区間の動画像へ移動して再生するためのユーザ操作を入力するステップと、
    前記ユーザ操作が入力されたときに、前記第１の区間の動画像の再生を停止するとともに、前記区切り位置情報に基づいて、少なくとも前記第２の区間の先頭フレーム及び当該先頭フレームの前のフレームの各縮小画像を表示するように制御するステップと
    を実行させるためのプログラム。

Images