JP2011024076A - Video recording and playback apparatus, and video recording and playback method - Google Patents
Video recording and playback apparatus, and video recording and playback method Download PDFInfo
- Publication number
- JP2011024076A JP2011024076A JP2009168600A JP2009168600A JP2011024076A JP 2011024076 A JP2011024076 A JP 2011024076A JP 2009168600 A JP2009168600 A JP 2009168600A JP 2009168600 A JP2009168600 A JP 2009168600A JP 2011024076 A JP2011024076 A JP 2011024076A
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- thumbnail image
- recording
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、映像音声ストリーム情報(以下、「ストリーム情報」または「番組」という)のファイルを所望の位置から素早く再生するための映像検索が行えるハードディスクドライブ（ＨＤＤ）内蔵のＤＶＤレコーダーや液晶テレビなどの映像記録再生装置および映像記録再生方法に関するものである。 The present invention provides a DVD recorder or a liquid crystal television with a built-in hard disk drive (HDD) that can perform video search for quickly reproducing a file of video / audio stream information (hereinafter referred to as “stream information” or “program”) from a desired position. The present invention relates to a video recording / reproducing apparatus and a video recording / reproducing method.
映像検索の方式として、記録されたストリーム情報ファイルを映像シーン単位に分割し、各映像シーンを代表する複数の縮小画像（以下、「サムネイル画像」という）を表示装置に一覧表示し、ユーザーがこれらのサムネイル画像の１つを選択することによって、所望の映像シーンを検索する方式が知られている（例えば、特許文献１参照）。 As a video search method, the recorded stream information file is divided into video scene units, and a plurality of reduced images (hereinafter referred to as “thumbnail images”) representing each video scene are displayed in a list on the display device. A method of searching for a desired video scene by selecting one of the thumbnail images is known (see, for example, Patent Document 1).
また他の映像検索手法として、サムネイル画像一覧とは別に、映像コンテンツデータの属性一覧情報を表示することにより、所望の映像シーンを簡単に検索する方法が知られている（例えば、特許文献２参照）。この属性一覧情報の一例として、コマーシャル映像（ＣＭ映像）の区間の開始点と時間長を表示することが開示されている。 As another video search method, a method of easily searching for a desired video scene by displaying attribute list information of video content data separately from a thumbnail image list is known (see, for example, Patent Document 2). ). As an example of this attribute list information, it is disclosed to display the start point and time length of a commercial video (CM video) section.
これまでの映像記録再生装置においては、所望の映像シーンを検索する際に、サムネイル映像からＣＭ映像か否かを判別することが難しい場合はユーザーが映像内容を十分に吟味することを強いられるため、映像検索が煩雑で時間がかかるという問題があった。一方、前記の判別を不要にするために、ＣＭ映像区間中のサムネイル画像を削除すると、ＣＭ映像区間だけ再生したい場合にサムネイル画像を表示できないという問題があった。また、ＣＭ映像区間の境界位置にサムネイル画像を表示させたい場合、番組録画終了後にサムネイル画像を生成することに時間を要するため、番組録画の終了処理を短時間で行うことが困難であった。 In conventional video recording / playback devices, when searching for a desired video scene, if it is difficult to determine whether a thumbnail video is a CM video or not, the user is forced to examine the video content thoroughly. The video search is complicated and takes time. On the other hand, if the thumbnail image in the CM video section is deleted in order to make the above determination unnecessary, there is a problem that the thumbnail image cannot be displayed when it is desired to reproduce only the CM video section. Also, when it is desired to display a thumbnail image at the boundary position of the CM video section, it takes time to generate the thumbnail image after the program recording is completed, and thus it is difficult to perform the program recording end process in a short time.
本発明は、上記の問題を解決するためになされたもので、サムネイル映像からそれに対応する映像シーンがＣＭ映像か否かを判別して、所望の映像シーンを容易かつ迅速に検索することができる映像記録再生装置を提供することを目的とする。 The present invention has been made to solve the above-described problem, and can determine whether or not a corresponding video scene is a CM video from a thumbnail video and easily and quickly search for a desired video scene. An object is to provide a video recording / reproducing apparatus.
さらに、本発明は、ストリーム情報の記録終了後に生成するサムネイル画像を少なくすることによって短時間で番組録画終了処理を行い、その後直ちに当該番組を再生してサムネイル画像一覧が表示できように、録画終了後の操作の応答性に優れた映像記録再生装置を提供することを目的とする。 Further, the present invention performs the program recording end process in a short time by reducing the number of thumbnail images generated after the end of recording the stream information, and then immediately ends the recording so that the program can be reproduced and the thumbnail image list can be displayed immediately. An object of the present invention is to provide a video recording / reproducing apparatus with excellent responsiveness to subsequent operations.
本発明に係る映像記録再生装置は、映像検索用のサムネイル画像一覧を表示する映像記録再生装置であって、ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、ＣＭ区間に存在するサムネイル画像を、当該映像記録再生装置があらかじめ保持しているＣＭ識別画像に差し換えて表示装置の画面に表示するものである。 A video recording / playback apparatus according to the present invention is a video recording / playback apparatus that displays a list of thumbnail images for video search, and determines a video scene delimiter position based on video / audio information during recording of stream information. Generating a thumbnail image representative of the video scene, a feature scene extraction unit for generating link information of the thumbnail image file and start time information of the video scene, and obtaining section information of the CM video from the stream information being recorded Video type information indicating whether or not each video scene is a CM section from the section information of the CM video acquired by the video type specification unit, and the thumbnail generated by the feature scene extraction unit A metadata that records the image, the link information, the start time information of the video scene, and the video type information as metadata information. A metadata recording control unit and metadata for reading the thumbnail image file to be displayed with reference to the metadata information and displaying a thumbnail image menu for selecting the video scene from the thumbnail image on a screen of a display device A display control unit that replaces a thumbnail image existing in the CM section with a CM identification image held in advance by the video recording / playback apparatus and displays the thumbnail image on the screen of the display apparatus.
また、本発明に係る映像記録再生装置は、映像検索用のサムネイル画像一覧を表示する映像記録再生装置であって、ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、ストリーム情報の記録終了時に、ＣＭ境界よりも後の時刻に位置する直後の映像シーンのメタデータ情報の開始時間と映像種別判定情報を変更するものである。 The video recording / playback apparatus according to the present invention is a video recording / playback apparatus that displays a list of thumbnail images for video search, and determines a video scene break position based on video / audio information during recording of stream information. And generating a thumbnail image representative of the video scene, a feature scene extraction unit for generating link information of the thumbnail image file and start time information of the video scene, and section information of the CM video from the stream information being recorded. Generated from the feature scene extraction unit, and from the section information of the CM video acquired by the video type specification unit, video type information indicating whether each video scene is a CM section is generated. Recording the thumbnail image, the link information, the start time information of the video scene, and the video type information as metadata information A metadata recording control unit and metadata for reading the thumbnail image file to be displayed with reference to the metadata information and displaying a thumbnail image menu for selecting the video scene from the thumbnail images on a screen of a display device And a display control unit for changing the start time of the metadata information of the video scene immediately after the CM boundary and the video type determination information at the end of recording the stream information.
本発明は、上記のようにＣＭ映像のサムネイル画像とそれ以外の映像（本編映像）のサムネイル画像を区別することが可能であり、ＣＭ映像区間については視認性の高い画像と差し換える。そのため、サムネイル画像から所望の映像シーンを容易かつ迅速に検索することができるという効果がある。 As described above, according to the present invention, a thumbnail image of a CM video and a thumbnail image of another video (main video) can be distinguished, and the CM video section is replaced with an image with high visibility. Therefore, there is an effect that a desired video scene can be easily and quickly searched from the thumbnail images.
また本発明の別の効果として、ストリーム情報の記録中にサムネイル画像を生成するよう構成する際に、記録終了時に実施される処理にて新規で生成しなければならないサムネイル画像を少なくすることによって番組録画が終了してから短時間でサムネイル画像を表示させることできるため、録画終了後の操作の応答性が向上するという効果がある。 Further, as another effect of the present invention, when a thumbnail image is generated during recording of stream information, the program can be reduced by reducing the number of thumbnail images that must be newly generated in the process performed at the end of recording. Since the thumbnail image can be displayed in a short time after the recording is finished, there is an effect that the responsiveness of the operation after the recording is finished is improved.
図１は、この発明を実施するための実施の形態１における映像記録再生装置１００のシステム構成図を示すものである。同図において、システム制御部１０１は、映像記録再生装置１００全体を統合制御している。システム制御部１０１は、本発明に係るメタデータ情報を構成して記録制御するメタデータ記録制御部１４１と、サムネイル画像３０２の一覧表示に係るメタデータの読み出しおよび表示制御を行うメタデータ表示制御部１４２を含んでいる。以下では、メタデータ記録制御部１４１およびメタデータ表示制御部１４２は、システム制御部１０１内のファームウェアとして構成したものであるとして説明するが、これらは前記ファームウェアと同等の機能を持つハードウェアであってもよい。映像記録再生装置１００には、情報記録の読み出しと書込みができるハードディスク装置等の記録再生ドライブ部１０２を具備する。以下では、記録再生ドライブ部１０２がハードディスクである場合について説明するが、光ディスクドライブ装置や半導体メモリなど他の記録再生手段であってもよい。
FIG. 1 is a system configuration diagram of a video recording / reproducing
記録再生ドライブ部１０２には、符号化された映像が多重化された後述のストリーム情報ファイル２１２、ストリーム情報の再生と制御を行う再生制御情報ファイル２１１、およびメタデータ管理ファイル２１３、サムネイル画像ファイル２１４が記録される。
The recording /
再生制御情報ファイル２１１は、記録再生ドライブ部１０２に記録されているストリーム情報に関する映像や音声の属性情報や、ストリーム情報のアクセス単位毎に再生開始時間情報と再生開始位置情報の対応関係を示す情報を保持している。再生開始時間情報と再生開始位置情報は、タイムサーチや特殊再生（早送りや巻き戻し）等のランダムアクセスを行うために用いられる。
The playback control information file 211 includes video and audio attribute information related to stream information recorded in the recording /
メタデータ管理ファイル２１３は、映像シーン毎に対応づけられたサムネイル画像ファイル２１４のファイル名と、映像シーンの開始時間、映像シーンの属性情報が含まれたファイルである。その他にも映像ジャンル、およびピクチャの物理特性（解像度、色深度）を示す情報などが含まれていても構わない。
The
サムネイル画像ファイル２１４は、映像検索用のサムネイル画像メニューを構成するために使用される映像シーンのサムネイル画像３０２を記録したファイルである。ここで、サムネイル画像メニューとはサムネイル画像３０２から映像シーンを選択するためのメニュー画面である。映像シーンはチャプターとも呼ばれ、ひとかたまりの映像区間であり、ユーザーは映像シーンを指定することによりその映像シーンの開始点から再生することができる。なおサムネイル画像３０２は映像シーンの代表画であればよく、映像シーンの開始点の画像である必要はない。しかしながら、映像検索を行う上では、サムネイル画像３０２は映像シーンの開始点近くの映像であることが好ましい。なお、サムネイル画像ファイル２１４のデータ形式は、ビットマップファイルやＲＡＷデータのような非圧縮ファイルであっても、ＰＮＧやＪＰＥＧ等の圧縮データ形式のサムネイル画像３０２を生成する画像情報であってもよい。
The
放送受信部１０５は、あらかじめＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（以下、ＭＰＥＧ−２ ＴＳ）で符号化圧縮したデジタル放送波を受信する。デジタル放送波は複数番組の映像音声が多重化されていてもよい。その場合、当該放送受信部１０５において、特定番組のＭＰＥＧ−２ ＴＳのみが抽出される。ストリーム制御部１１０は、システム全体のストリームの流れを統括制御する。
The
ここで、本実施の形態における記録の処理について説明する。デジタル放送波を記録する場合、放送受信部１０５から出力されたＭＰＥＧ−２ ＴＳはストリーム制御部１１０に供給され、システム制御部１０１からの指示に基づいて、記録再生ドライブ部１０２であるハードディスクに記録される。
Here, the recording process in the present embodiment will be described. When recording a digital broadcast wave, the MPEG-2 TS output from the
ストリーム制御部１１０は、ストリーム情報を記録再生ドライブ部１０２に記録するとともに、システム制御部１０１に対して符号化圧縮単位（ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）毎に、ランダムアクセスするための情報として、再生開始時間、再生開始位置等を通知する。その後、システム制御部１０１では、この情報を再生制御情報として、記録再生ドライブ部１０２に記録する。
The
ストリーム情報の記録中、特徴シーン抽出部１０３がこのストリーム情報に対して映像シーンの区切り位置を判定し、その映像シーンを代表するサムネイル画像３０２を生成するとともに、サムネイル画像ファイル２１４のファイル名、映像シーンの区切り位置情報、映像シーンの開始時刻の情報を生成する。以下では、映像のシーンチェンジ点を映像シーンの区切りであるとして説明するが、一定の時間毎（例えば５分単位）に自動的に生成されるよう構成しても構わない。
During the recording of the stream information, the feature
以下、さらに詳しく説明する。まず、ストリーム情報がストリーム制御部１１０から特徴シーン抽出部１０３に入力される。特徴シーン抽出部１０３では、ストリーム情報のアクセス単位であるＧＯＰ毎に、符号化圧縮単位のIピクチャの映像情報を特定する。なお、Iピクチャとは、符号化圧縮単位の中の基本ピクチャとなるもので、映像信号を直接符号化したフレーム映像である。さらに、特徴シーン抽出部１０３は、符号化圧縮されたIピクチャを復号化（デコード）し、画像情報を保持する。そして直前に読込んだIピクチャの画像情報との物理変化量を算出し、物理変化量があらかじめ設定されている閾値を越えるか否かでシーンチェンジ点であるかを判定する。なお物理変化量とは、ピクチャの画像情報から得られるカラーヒストグラム、ＤＣ成分、エッジ情報、テクスチャ情報、動きベクトル等の物理情報、またはそれらの組み合わせた情報の変化量である。
This will be described in more detail below. First, stream information is input from the
メタデータ記録制御部１４１は、特徴シーン抽出部１０３によって生成された映像シーンのサムネイル画像３０２をサムネイル画像ファイル２１４として記録再生ドライブ部１０２内に記録する。次いで、サムネイル画像ファイル２１４のファイル名、映像シーンの区切り位置情報、映像シーンの開始時刻をメタデータ情報として記録再生ドライブ部１０２のメタデータ管理ファイル２１３に記録する。
The metadata
前記のファイル名に区切り位置情報を含める場合には、サムネイル画像ファイル２１４のファイル名と映像シーンの開始時刻を記録再生ドライブ部１０２のメタデータ管理ファイル２１３に記録する。サムネイル画像ファイル２１４のファイル名は、サムネイル画像ファイル２１４へのリンク情報として利用することができる。
When the position information is included in the file name, the file name of the
このようなメタデータ管理ファイル２１３を生成する処理、およびサムネイル画像ファイル２１４を生成する処理は、サムネイル画像メニューを表示する前に行われていればよく、記録中に行ってもよいし、再生開始後に行ってもよい。また、当該装置が記録していない他の番組に対して実施してもよい。
Such a process for generating the
また、上記ではＩピクチャに対して物理変化量の比較を行っていたが、システム処理性能が高ければ全ての映像フレームを対象に物理変化量の比較を行ってもよい。 In the above description, the physical change amount is compared for the I picture. However, if the system processing performance is high, the physical change amount may be compared for all video frames.
映像種別特定部１０４は、記録中のストリーム情報からＣＭ映像の区間情報を取得する。ここで、区間情報は、区間の総数、区間判定情報（ＣＭ区間毎の開始点と終了点の情報）である。ストリーム制御部１１０から映像種別特定部１０４にストリーム情報が入力されると、映像種別特定部１０４はストリーム情報をデコードし、音声情報から無音部分の時刻情報を抽出する。そして無音情報がＣＭ映像に特有の周期性（１５秒、３０秒、４５秒、1分）を持っているか否かでＣＭ映像区間を特定する。なお番組の本編映像（ＣＭ映像以外の映像）からＣＭ映像に切り替わる場合、映像シーンのシーンチェンジも行われる可能性が高いので、特徴シーン抽出部１０３で得られたシーンチェンジ点の情報とも組み合わせて判定することで、より正確にＣＭ映像区間を特定することもできる。
The video
メタデータ記録制御部１４１は、映像種別特定部１０４のＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、映像シーン毎の開始時間とサムネイル画像３０２のリンク情報と映像種別判定情報とをメタデータ情報として記録する。
The metadata
次に、本実施の形態における再生の処理について説明する。録画の番組の再生を行う場合、システム制御部１０１は、記録再生ドライブ部１０２に記録された再生制御情報を読込む。この再生制御情報から、当該番組を示すストリーム情報を特定することができる。なお、読み出した再生制御情報は、いつでも即座に読み出せるようにメモリ部１２０に保持しておいても構わない。
Next, playback processing in the present embodiment will be described. When playing back a recorded program, the
その後、記録再生ドライブ部１０２に記録されたストリーム情報を読み出し、ストリーム制御部１１０を経由して、映像音声デコーダ部１１１に供給する。映像音声デコーダ部１１１は、符号化圧縮されたストリーム情報を逐次取り込んだ後に、映像ストリームと音声ストリームに分離する。その後、ＭＰＥＧ−２などで符号化された映像ストリームをデコード処理して映像信号に復号する。一方、ＡＣ−３などで符号化された音声ストリームも、同様にデコード処理を行い出力音声信号に復号する。
Thereafter, the stream information recorded in the recording /
ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）生成部１１４は、システム制御部１０１内のメタデータ表示制御部１４２の指示によって、後述するサムネイル画像３０２を利用した映像検索画面を生成する。そして、映像重畳部１４３にて映像音声デコーダ部１１１からの出力映像信号に重畳して表示する。このようにして出力した映像音声信号は、表示装置１１３に入力され、録画番組を視聴することができる。
An OSD (On Screen Display) generation unit 114 generates a video search screen using a
なお図１に破線で示す１１５は、映像音声ストリームの記録再生機能の総称であるデコーダブロックと呼ばれる。デコーダブロック１１５は、システム制御部１０１からの指示にもとづいて、ストリーム情報の記録再生処理を行っている。
Note that
操作部１３０はユーザーなどから映像記録再生装置１００に対する要求をシステム制御部１０１に出力する。一般的に操作部１３０は、映像記録再生装置１００のフロントパネルに配置されている操作パネルやリモコンである。操作パネルやリモコンには、番組や映像シーンが選択できるよう、少なくとも後述するサムネイル画像メニューの表示指示キー、上下左右キー、決定キー、またはこれらと同等の機能が具備されているものとする。システム制御部１０１は、操作部１３０から要求された命令の内容を解釈し、デコーダブロック１１５を制御することで任意のストリーム情報の再生、およびサムネイル画像メニューの生成を行う。
The
なお図１では、特徴シーン抽出部１０３および映像種別特定部１０４はデコーダブロック１１５内のハードウェアにて構成される例を示しているが、デコーダブロック１１５の外部に存在してもよいし、同等の機能を有するファームウェアであってもよい。
1 shows an example in which the feature
図２は、本実施の形態における記録再生ドライブ部１０２内の論理ファイル構造を示したものである。論理的に階層構造を成すファイル構造の最上位階層のディレクトリ構造であるルートディレクトリ２００、ルートディレクトリ２００の下位階層に配置されるディレクトリ構造であるマルチメディアディレクトリ２０１、マルチメディアディレクトリ２０１の下位階層に配置されるディレクトリ構造であるストリーム管理ディレクトリ２０２とメタデータ管理ディレクトリ２０３等で構成される。なお、メタデータ管理ディレクトリ２０３内のファイル情報を総称して、メタデータ記録領域と呼ぶ。ルートディレクトリ２００の直下には、後述するＣＭ映像であることを認知しやすい映像である識別画像ファイル２２１も記録される。識別画像ファイル２２１は、映像記録再生装置１００内に記録されていればよく、図１のメモリ部１２０に記録していてもよいし、システム制御部１０１内のプログラム領域に記録されていてもよい。
FIG. 2 shows a logical file structure in the recording / reproducing
録画番組毎のサムネイル画像ファイル２１４を保持するための静止画ディレクトリ２０４は、ストリーム情報ファイル毎に生成されるものであり、ディレクトリ名とストリーム情報ファイル名によりサムネイル画像ファイル２１４の管理を行っている。図２では、２つの静止画ディレクトリ２０４がある。静止画ディレクトリ２０４には、ストリーム情報ファイルに対する１つ以上のサムネイル画像ファイル２１４が記録される。ここで、ストリーム情報ファイルとは、例えばＭＰＥＧ−２方式などで符号化圧縮された映像情報と、ＡＣ−３方式などで符号化圧縮された音声情報を多重化した単一のマルチメディアファイルである。また、映像検索とは、ユーザーが特定の映像シーンや特定の人物が記録されている部分を視聴したい場合などに、映像が記録されたストリーム情報ファイルから当該映像シーンが記録されている位置を特定して再生する動作である。
The
図２において、２１１は映像記録再生装置１００内の録画番組の管理情報を記述した再生制御情報ファイル、２１２は録画番組の映像信号または音声信号の少なくとも一方を符号化圧縮し、再生時間情報と共に多重化したストリーム情報ファイル、２１３は本発明に掛かる映像シーン毎の管理情報を記述したメタデータ管理ファイル、２１４は録画番組の映像シーンの縮小画像を記録したサムネイル画像ファイルを示す。本実施の形態では、サムネイル画像ファイル２１４のファイル名は、番組先頭からの再生時間（秒）を示すものとしている。
In FIG. 2, reference numeral 211 denotes a playback control information file describing management information of a recorded program in the video recording /
ストリーム情報ファイル２１２は、録画番組単位で１つのファイルが割り当てられており、番組を特定するためにユニークなファイル名が付与される。本実施の形態では、ファイル名として、図２に示された例のように５桁の数字が付与される。 In the stream information file 212, one file is allocated for each recorded program, and a unique file name is assigned to identify the program. In the present embodiment, a 5-digit number is given as the file name as in the example shown in FIG.
サムネイル画像ファイル２１４は、ストリーム情報ファイル名と対応づけられた静止画ディレクトリ２０４毎にまとめて記録され、映像シーン毎に１つのファイルが割り当てられる。本実施の形態ではファイル名の命名規則として、ファイル名は８桁の数字で構成され、拡張子はｐｎｇで記録される。８桁の数字はストリーム情報ファイル２１２の先頭から起算した秒数が記録される。例えば、静止画ディレクトリ名が「01000」であり、ファイル名が「00000295.png」のサムネイル画像ファイル２１４は、名前が01000.mtsのストリーム情報ファイル２１２の先頭から２９５秒目のサムネイル画像３０２であることを示している。このように、上記の静止画ディレクトリ名やサムネイル画像３０２のファイル名は、サムネイル画像ファイル２１４へのリンク情報として利用できる。
The
ストリーム情報ファイル２１２とサムネイル画像ファイル２１４は、個別のディレクトリ内に配置する例を示したが、同一のディレクトリ内に配置されていてもよいし、メタデータ管理ファイル２１３およびサムネイル画像ファイル２１４がルートディレクトリ２００に直接配置されていてもよい。図２では、メタデータ管理ファイル２１３を複数のファイルに分割して記録しているが、全録画番組のメタデータ情報を単一のファイルとしてまとめて記録してもよい。また、サムネイル画像ファイル２１４は、映像シーン毎に分割してファイルを形成しているが、単一のファイルとしてまとめて管理してもよい。
Although the stream information file 212 and the
本実施の形態に示すメタデータ管理ディレクトリ２０３は、記録再生ドライブ部１０２の所定の物理アドレス空間にまとめて記録してもよい。このように構成すれば、特徴シーンの情報をまとめて消去する場合に、ディスクシークを抑えることができ、高速にデータへのアクセスが行うことができる。
The
本実施の形態におけるメタデータ管理ファイル２１３のデータ形式は、テキスト形式であってもバイナリ形式であってもよい。また第三者による改ざんや情報の流出を阻止するため、メタデータ管理ファイル２１３に暗号化処理を施してもよい。
The data format of the
また、本実施の形態におけるサムネイル画像ファイル２１４は、ストリーム情報ファイル２１２中の映像データを示す画像情報を復号できればよく、非可逆圧縮映像でも可逆圧縮映像であってもよい。また、メタデータ管理ファイル２１３と同様に第三者による改ざんや情報の流出を阻止するため、サムネイル画像ファイル２１４に暗号化処理を施してもよい。
Further, the
メタデータ管理ディレクトリ２０３またはメタデータ管理ファイル２１３が存在しているか否か、メタデータ管理ファイル２１３またはサムネイル画像ファイル２１４が存在している場合にそれらが有効なファイルであるか否か、という情報を再生制御情報ファイル２１１に記述しておく方法もある。このように構成すれば、システム制御部１０１はメタデータ記録領域の情報を参照することなく、メタデータ管理ファイル２１３またはサムネイル画像ファイル２１４の有無もしくは有効であるか否かを素早く判断することができる。
Information indicating whether or not the
図３は、映像シーンとサムネイル画像３０２の関係図である。本実施の形態で説明する記録処理を行うことにより、録画開始点およびシーンチェンジ点にエントリーポイント３０１が付加される。エントリーポイント３０１は、チャプターのジャンプ等の処理で当該箇所にランダムアクセスされる位置を示し、映像シーンの先頭に付加される。具体的には、同図でエントリーポイント３０１は、＃ＥＮＴ＿Ａ、＃ＥＮＴ＿Ｂ、＃ＥＮＴ＿Ｃ、＃ＥＮＴ＿Ｄとして示されている。以下では、エントリーポイント３０１＃ＥＮＴ＿Ａと＃ＥＮＴ＿Ｂの間の区間が映像シーン＃Ａであるとして説明する。
FIG. 3 is a relationship diagram between the video scene and the
本実施の形態で示すサムネイル画像３０２は、映像シーンに対応して記録されるので、エントリーポイント３０１の位置から遅延した位置に設定されても良い。エントリーポイント３０１はシーンチェンジ点を示すため、画像切替え中（フェードインやワイプ等の効果）であることが多く、ユーザーに表示する画像として適していないことが多い。そのため通常、例えば同図の＃ＴＨＭ＿Ｂのように、エントリーポイント３０１から所定の時間以内の時間を経過した位置をサムネイル画像３０２の位置とすることが好ましい。
Since the
ユーザーはエントリーポイント３０１へアクセスしたい場合に、サムネイル画像３０２を選択することでエントリーポイント３０１へのサーチ処理を行うが、エントリーポイント３０１とサムネイル画像３０２が時間的に離れ過ぎると、ユーザーが映像検索に不自然さを感じる。そのため、上記の所定の時間は１０秒以内が好ましい。
When the user wants to access the
図４は、再生制御情報ファイル２１１のシンタックスを示す図である。ディスク一般情報４００にはディスクの属性情報を記録する情報が保持され、ディスク名を示すdisc_name４０１が記録される。
FIG. 4 is a diagram showing the syntax of the playback control information file 211. Disc
また、再生制御情報ファイル２１１には、記録再生ドライブ部１０２内に記録されている録画番組の管理情報を記録した録画番組情報４１０が保持されている。録画番組情報４１０には、録画番組の総数を示すnum_of_title４１１が記録され、次の「ｆｏｒ」以降のループ文は、num_of_title４１１の数だけ繰り返される。ストリーム情報ファイル名４１２は、録画番組が対応付けられているストリーム情報ファイル２１２の名前を示す５桁の数字情報である。
The playback control information file 211 holds recorded
開始時間情報４１３および終了時間情報４１４には、録画番組の開始時刻と終了時刻が記録される。ストリーム情報ファイル名４１２、開始時間情報４１３、および終了時間情報４１４は、ストリーム情報ファイル２１２を特定し、ストリーム情報ファイル２１２からの読み出し位置を決定する情報であるため、同図に示しているように再生区間情報と呼ぶ。
In the start time information 413 and the
meta_title_valid_flag４１５は、メタデータ記録領域内に当該録画番組が動画検索用のメタデータを保持しているか否かを示すフラグ情報である。ユーザーによって録画番組の再生が指示された際には、本フラグ情報を確認することにより、サムネイル画像ファイル２１４やメタデータ管理ファイル２１３を読込む必要があるかを判断することができる。
The
属性情報管理テーブル４２０は、ストリーム情報ファイル２１２中に多重化されている映像情報や音声情報などの属性情報が記録されている。また、ストリームを構成している映像情報や音声情報毎にパケットＩＤなどを格納しており、映像音声デコード部１１１はこのパケットＩＤを用いて、ストリームを映像データ・音声データ・ストリーム管理データ等に分離することができる。
The attribute information management table 420 records attribute information such as video information and audio information multiplexed in the
アクセスポイント管理テーブル４３０は、アクセス単位毎のストリーム読み出し位置と再生開始時間を記録したリスト情報であり、この情報を用いてサーチや特殊再生などのランダムアクセス再生を行うことができる。例えば、映像データがＭＰＥＧ−２ビデオストリームでエンコードされている場合、ＧＯＰ（Group of Picture）の先頭がアクセス単位に相当するものであり、そのＧＯＰ毎に再生開始時間と再生開始アドレス（ストリームファイル先頭から起算とした位置）の情報が記述されている。映像記録再生装置１００は、再生開始時間情報からストリーム情報ファイル２１２の再生開始アドレスを割り出し、ランダムアクセス再生を行う。
The access point management table 430 is list information in which a stream read position and a reproduction start time for each access unit are recorded, and random access reproduction such as search and special reproduction can be performed using this information. For example, when the video data is encoded with an MPEG-2 video stream, the head of the GOP (Group of Picture) corresponds to the access unit, and the playback start time and playback start address (stream file head) for each GOP. (Position from the beginning) is described. The video recording / reproducing
図５は、メタデータ管理ファイル２１３のシンタックスを示す図である。まず、録画番組の映像シーン総数を示すnum_of_entries５０１が記録される。次の「ｆｏｒ」以降のループ文は、num_of_entries５０１の数だけ繰り返され、同図に示すエントリー情報５１０がその数だけ記録される。エントリー情報５１０は、file_no５１１、timecode５１２、type５１３で構成される。
FIG. 5 is a diagram illustrating the syntax of the
file_no５１１は、エントリー情報５１０に対応するサムネイル画像３０２のファイル名を示す。なお、file_no５１１に、例えば０ｘＦＦＦＦ等の特定値が設定されていれば、当該映像シーンに関連したサムネイル画像３０２が存在しないことを示す。Timecode５１２はサムネイル画像３０２が示すエントリーポイント３０１のタイムコードを示す。また、エントリー情報には、記録番組のＣＭ区間か否かを示す映像種別情報であるtype５１３が記録される。Type５１３は、番組中の本編映像を示す“ＰＲＧ”、ＣＭ開始点を示す“ＣＭ＿ＩＮ”、ＣＭ区間中を示す“ＣＭ”、ＣＭ区間終了点を示す“ＣＭ＿ＯＵＴ”のいずれかを示す値が設定される。ＣＭ区間中であるという映像種別（“ＣＭ”）については必ずしも必要ではない。
offset５１４は、当該映像シーンのエントリーポイント３０１とサムネイル画像３０２が何秒間離れているかを示す情報である。
The offset 514 is information indicating how many seconds the
図６は、メタデータ管理ファイル２１３に記録されているエントリー情報５１０の具体例を示したものである。同図に示すように、メタデータ管理ファイル２１３は、１つ以上のエントリー情報５１０から構成されており、num_of_entries５０１の数だけ格納される。これらは、「０」から始まるＩＤ６０１が順番に割り振られている。
FIG. 6 shows a specific example of
例えば、ＩＤ６０１が３であるエントリー情報５１０は、０００００８５８.ｐｎｇという名前のサムネイル画像３０２が関連づけされており、エントリーポイント３０１として００時１４分１８秒の位置を示している。さらに、映像種別を表すＴｙｐｅ５１３が“ＰＲＧ”であることから、このサムネイル画像３０２は、番組中の本編映像であることを示している。また、ＩＤ６０１が６であるエントリー情報５１０は、００００１６７７．ｐｎｇというサムネイル画像３０２が関連付けられており、エントリーポイント３０１として００時２７分５７秒の位置を示す。さらに、Ｔｙｐｅ５１３が“ＣＭ＿ＯＵＴ”であるため、サムネイル画像３０２はＣＭ区間の終端直後に存在する番組映像であることを意味する。
For example, the
また、エントリー情報５１０のＴｙｐｅ５１３の情報から、ＣＭ区間を判別することができる。例えば、Ｔｙｐｅ５１３が“ＣＭ＿ＩＮ”から“ＣＭ＿ＯＵＴ”までがＣＭ映像の１区間であることから、００時２１分４５秒から００時２７分５７秒までが１つのＣＭ区間であり、００時３７分２１秒から００時３８分５０秒までが、次のＣＭ区間であることが分かる。
Also, the CM section can be determined from the
図７は、本実施の形態に係るエントリー情報５１０の生成についての説明図である。まず、映像記録再生装置１００は、記録中にはシーンチェンジ点であるエントリー情報５１０、および当該エントリーに関連したサムネイル画像３０２を生成する。記録中に生成される情報は、記録番組のＣＭ区間か否かに関わりなく生成される。
FIG. 7 is an explanatory diagram regarding generation of
ＣＭ区間は映像音声の無音の周期性から判断しているため、リアルタイムに区間判定することはできず、記録終了時に番組中のＣＭ区間が確定される。そのため本発明に係る映像シーン情報とＣＭ区間情報のマージ処理は、記録終了時に行われることになる。 Since the CM section is determined from the periodicity of silent audio and video, the section cannot be determined in real time, and the CM section in the program is determined at the end of recording. Therefore, the merge processing of the video scene information and the CM section information according to the present invention is performed at the end of recording.
以下、記録中に作成されるサムネイル画像３２０とＣＭ区間のマージ処理について説明する。同図には、記録中にリアルタイムで生成するエントリー情報５１０のエントリーポイント３０１を＃ＥＮＴ_Ａ〜＃ＥＮＴ_Ｆで示している。また、それらのエントリーポイント３０１に対応して記録されるサムネイル画像３０２を＃ＴＨＭ＿Ａ〜＃ＴＨＭ＿Ｆで示している。記録終了時に、メタデータ記録制御部１４１は映像種別特定部１０４からＣＭ区間判定情報７０１を取得する。ＣＭ区間判定情報７０１で示すＣＭ区間は、ＣＭ開始点７０２（ＣＭ＿ＩＮ＿ＰＯＳ）からＣＭ終了点７０３（ＣＭ＿ＯＵＴ＿ＰＯＳ）である。すなわち同図では、エントリーポイント３０１の＃ＥＮＴ＿Ｄと＃ＥＮＴ＿ＥがＣＭ区間中に含まれ、＃ＥＮＴ＿ＦがＣＭ区間直後のエントリーポイント３０１である。
Hereinafter, the merge process between the thumbnail image 320 created during recording and the CM section will be described. In the figure, entry points 301 of
エントリー情報５１０とＣＭ区間とのマージ処理前では、エントリーポイント３０１はシーンチェンジ点に基づいて決定されているため、ＣＭ区間の境界（以下、「ＣＭ境界」ともいう）に一致しているわけではない。しかしながら、ユーザーにとってＣＭ境界位置は、映像検索を行う上で有用性が非常に高い。そこでＣＭ区間判定情報７０１からＣＭ開始点７０２とＣＭ終了点７０３に、新たにエントリーポイント３０１を付加する必要がある。
Before the merge processing of the
上記の場合、新たなエントリーポイント３０１に対するサムネイル画像３０２を作る必要があるが、サムネイル画像３０２の生成処理を組込み機器で行うと非常に時間がかかるとう問題がある（ＡＶＣ記録の場合、２０秒〜３０秒）。これは、記録中にサムネイル画像３０２を生成する場合には、シーンチェンジ判定処理にて符号化映像のデコード処理まで完了しているので静止画へのエンコード処理のみを実施すればよいが、記録終了時にサムネイル画像３０２を生成する場合には、記録されているストリーム情報から当該アクセスポイントへのシーク、著作権保護情報の解除、符号化映像のデコード、静止画へのエンコードという工程と時間が必要になるためである。
In the above case, it is necessary to create a
記録終了時に新たなサムネイル画像３０２を生成することは技術的には可能であるが、記録終了後にユーザーを長時間待たせることになり、利便性が悪くなる。そこで、記録終了時になるべくサムネイル画像３０２を作成しないように工夫が必要となる。これに関し、本発明は、録画終了後にはＣＭ区間判定情報７０１に基づいて、ＣＭ境界よりも後の時刻に位置する直後のエントリー情報５１０に対して、メタデータ管理ファイル２１３を書き換えることを特徴としている。この結果、ユーザーが検索用に用いるサムネイル画像３０２は新規で生成するのではなく、生成済みのサムネイル画像３０２を流用する、そのため、録画終了処理に要する処理時間が少なく、サムネイル画像３０２の表示などのユーザーの操作に対する応答が速いという利点がある。
Although it is technically possible to generate a
同図にて、記録終了時のマージ処理の具体例を説明する。ＣＭ開始点７０２（ＣＭ＿ＩＮ＿ＰＯＳ）境界位置直後のエントリーポイント３０１として、＃ＥＮＴ＿Ｄが識別される。まず、メタデータ管理ファイル２１３に記録されているＴｉｍｅＣｏｄｅ５１２を、ＣＭ境界位置である＃ＥＮＴ＿Ｄ２の位置に修正する。そして映像種別情報であるＴｙｐｅ５１３を“ＰＲＧ”から“ＣＭ＿ＩＮ”に変更する。同様にＣＭ終了点７０３（ＣＭ＿ＯＵＴ＿ＰＯＳ）境界位置直後のエントリーポイント３０１として、＃ＥＮＴ＿Ｆが識別される。本エントリーに関するＴｉｍｅＣｏｄｅ５１２は同様の処理で更新される。映像種別情報５１３については“ＰＲＧ”から“ＣＭ＿ＯＵＴ”に変更する。なおＣＭ区間中のエントリーポイント３０１については、ＴｉｍｅＣｏｄｅ５１２は変更せずに、映像種別情報５１３のみを“ＰＲＧ”から“ＣＭ”に変更する。
A specific example of merge processing at the end of recording will be described with reference to FIG. #ENT_D is identified as the
このような方法でエントリー情報５１０だけを更新することによって、新たにサムネイル画像３０２を作成する必要がなく、ＣＭ映像境界点へのアクセスを容易にできる。しかしＣＭ境界点とエントリーポイント３０１の時間的ずれが大きい場合、すなわちＴ１１やＴ２１が閾値αより大きい場合（αは所定の時間）、ユーザーはランダムアクセスのシーク先とサムネイル画像３０２が一致していないと感じる可能性がある。その場合に限っては、既存のエントリー情報５１０のＴｉｍｅＣｏｄｅ５１２とＴｙｐｅ５１３の更新処理ではなく、新規でエントリー情報５１０とそのエントリーポイント３０１に対応したサムネイル画像３０２を生成するほうがよい。
By updating only the
しかしながら、本実施の形態では、記録中にはシーンチェンジ点に基づいてエントリー情報５１０を付加しているため、本編映像とＣＭ映像の境界点でシーンチェンジが発生する確率が非常に高い。そのため、本発明によれば、記録終了時にサムネイル画像３０２を生成する確率が低い。
However, in this embodiment, since the
ＣＭ開始点７０２直後のエントリーポイント３０１においては、後述のサムネイル画像メニューにおいて、識別しやすい画像のファイル、すなわち視認性の高い画像のファイルと差し換える。そのためＣＭ開始点においては、閾値αを越えていた場合はメタデータ管理ファイル２１３上のｆｉｌｅ_ｎｏ５１１を０ｘＦＦＦＦに設定し、Ｔｙｐｅ５１３を“ＣＭ＿ＩＮ”に変更しても良い。そうすれば当該エントリーに関して、サムネイル画像ファイル２１４を生成する必要がなく、記録終了処理に係る応答性を高く維持できる。
At the
前記の閾値αのような判定基準は、映像記録再生装置１００の初期設定画面等によってユーザーが選択してもよい。また、Ｔ１１およびＴ２１の時間に応じて閾値αを決定するように構成してもよい。
The determination criterion such as the threshold value α may be selected by the user on the initial setting screen of the video recording / reproducing
図８は、本実施の形態に係る映像検索画面の一例を示したものである。この映像検索画面は、録画番組を再生中に映像シーン検索を行った際に、表示装置１１３に出力される画面イメージを示している。例えば、録画番組の再生中に操作部１３０から映像シーン検索の表示指示が行われることによって、映像検索画面が録画番組の再生画面に重畳されて表示される。
FIG. 8 shows an example of a video search screen according to the present embodiment. This video search screen shows a screen image output to the
映像検索の画面はサムネイル画像メニュー８００と呼び、再生時間表示領域８０１とサムネイル画像情報領域８０２から構成される。同図では、録画番組の再生映像に重畳されるサムネイル画像メニュー８００が不透過な状態である例を示しているが、録画番組映像の視認性を高める目的としてある一定の透過率が設定されていてもよい。
The video search screen is called a
同図では、サムネイル画像情報領域８０２と再生時間表示領域８０１を関連付けて表示しているが、映像検索中に視線がなるべく移動しないよう、サムネイル画像情報領域８０２のみを使用して映像検索が行えることが望ましい。そのために、サムネイル画像３０２は本編の静止画のみを表示すること、また、ＣＭ区間中に関しては複数のサムネイル画像が登録されていたとしても、１枚の視認性の高い画像に変更することによって、限られた枚数あるいは表示領域のサムネイル画像でより広い範囲の再生時間について画像検索が行えるので、番組映像の検索性の高いサムネイル画像一覧を構成できる。そのように構成することで、ユーザーの視線の移動が減少するため、映像検索におけるストレスを軽減することができる。
In the figure, the thumbnail
再生時間表示領域８０１は、再生中の番組全体に対するチャプター区間が示され、開始時刻から終了時刻までを棒状の図形で示している。棒状の図形の左端は開始点を示し、右端は終了点を示す。この例では、チャプター区間は映像シーン毎に黒色の境界線で区切られて表示され、その映像シーンがＣＭ区間である場合は下半分に黒色が描画されることにより、本編映像区間と区別がつきやすいようにしている。また、現在選択されている映像シーンが示す区間は、選択区分領域８１０として、再生時間表示領域の色とは別色で描画する。このように、再生時間表示領域８０１により、ユーザーは現在選択されている映像シーンの録画番組全体における開始位置および時間長を容易に知ることができる。
A playback
次に、サムネイル画像情報領域８０２には、サムネイル画像３０２の一覧が表示される。この例では合計７枚のサムネイル画像３０２が表示されている。サムネイル画像３０２は時間の経過順に左から右に配置される。すなわち、時間的に前のサムネイル画像３０２は左に配置し、時間的に後のサムネイル画像３０２は右に配置する。なお７枚のサムネイル画像３０２の内１枚には選択画像枠８２０が表示され、ユーザーが所望のサムネイル画像３０２を選ぶために選択画像枠８２０を左右方向に移動することができる。なお選択画像枠８２０の上部には、現在選択しているサムネイル画像３０２が属する映像シーンにおけるエントリーポイント３０１のタイムコード（同図の例では、「00：15：13」）が表示される。
Next, a list of
長時間の録画番組中に存在するサムネイル画像３０２は７枚以上であることもある。その場合選択画像枠８２０が両端に到達し、現在表示されていない方向のサムネイル画像３０２を読込もうとした場合、新たなサムネイル画像３０２が読込んでサムネイル画像情報領域８０２に表示するとともに、現在表示中のサムネイル画像３０２群が全体的にずれることで移動したように表示する。
There may be seven or
サムネイル画像３０２の内、ＣＭ区間に存在する１つ以上のサムネイル画像３０２群は、ＣＭ区間であることを容易に識別できる１枚のＣＭ識別画像８３０に差し換えて表示装置１１３の画面に表示する。
Among the
また、選択画像枠８２０と選択区分領域８１０を同色で描画することで対応づけを行うことができるが、人間の眼の特性を勘案してなるべく同色であると認識されるようにすることもできる。人間の眼は同色であっても描画面積が大きいほど色が薄く感じる特性がある。選択画像枠８２０は一定の面積であるが、選択区分領域８１０は対象となる映像シーンの長さによって可変する。その結果、選択画像枠８２０と選択区分領域８１０の色が異なるように見える可能性があるため、選択画像枠８２０と選択区分領域８１０の面積の比率に応じて表示色を両者の色の濃度を調整することにより、人間の眼の特性を勘案して両者の色が同色に知覚されるように、色の認識性を改善することが可能である。この色の調整や決定はメタデータ表示制御部１４２が行う。
In addition, the selected
図８の例では、選択区分領域８１０は、選択画像枠８２０がある映像シーンの開始点および時間長を再生時間表示領域８０１にその位置と長さで表示しているが、サムネイル画像情報領域８０２に存在する７枚のサムネイル画像３０２群が示す映像シーン群の録画番組全体における開始点および時間長を表示してもよい。同図中では、映像シーン群の録画番組全体との対応づけが行えるように、サムネイル画像情報領域８０２の背景色を、サムネイル画像情報領域８０２と再生時間表示領域８０１の間に描画することによって実現している。このように構成すれば、ユーザーは現在表示されているサムネイル画像３０２群が示す映像シーンの位置と長さを容易に知ることができる。
In the example of FIG. 8, the
サムネイル画像情報領域８０２では、操作部１３０から左右キー押下などの操作によって現在選択している選択画像枠８２０を左右に移動できる。例えば、選択画像枠８２０が最右端に位置していない場合に右キーを押下すると、サムネイル画像３０２一覧の位置は変更されず、選択画像枠８２０のみが右方向へ移動する。一方、選択画像枠８２０が最右端に位置する場合に右キーを押下すると、次に読込むべきサムネイル画像３０２が存在すれば、当該画像を読み出し最右端に表示する。そして現在表示中の７枚のサムネイル画像３０２全体が左にシフトされて表示される。そのため、サムネイル画像情報領域８０２にそれまで表示されていた最左端に表示されているサムネイル画像３０２は表示されないようになる。上記では右キーについて説明したが、左キーについても左右逆向きに同様の処理が行われる。
In the thumbnail
左右キー押下によって、サムネイル画像情報領域８０２内の選択画像枠８２０およびサムネイル画像３０２は逐次更新されるが、それに連動して再生時間表示領域８０１の表示内容も更新される。再生時間表示領域８０１は、選択区分領域８１０および上述したサムネイル画像情報領域８０２に示す映像シーンの区間情報表示を更新する。
By pressing the left / right key, the selected
操作部１３０の決定キーを押下すると、選択したサムネイル画像３０２が示す映像シーンのエントリーポイント３０１をサーチし、このエントリーポイント３０１から再生を行う。
When the enter key of the
図９は、本実施の形態の記録処理におけるエントリー情報５１０を生成する手順についての説明図である。番組の記録動作が開始されると（Ｓ１０１）、システム制御部１０１からの命令に基づいて、放送受信部１０５にて得られたデジタル放送のストリーム情報がストリーム制御部１１０を経由して記録再生ドライブ部１０２に記録される。ストリーム制御部１１０は、録画が完了し、ストリーム情報が流れてこない状態になるまで（Ｓ１０２）、ストリーム情報の転送を行うとともに、ＧＯＰのヘッダ検出を行う。ここでは、映像中に含まれるすべてのピクチャについて解析するのではなく、キーフレームと呼ばれるＩピクチャのみを解析するものとする。ストリーム制御部１１０において、キーフレームが抽出されると（Ｓ１０３）、このピクチャのデコードが実行され（Ｓ１０４）、シーンチェンジ判定処理が行われる（Ｓ１０５）。その結果、シーンチェンジが発生しない場合は、Ｓ１０２に移動し、次のピクチャの処理に戻る（Ｓ１０６）。
FIG. 9 is an explanatory diagram of a procedure for generating the
ステップＳ１０６にて、シーンチェンジが検出されると（Ｓ１０６）、シーンチェンジが発生した箇所を映像シーンの境界とし、この位置のエントリー情報５１０を生成（ステップＳ１０７）し、このエントリー情報５１０を記録再生ドライブ部１０２のメタデータ管理ファイル２１３に記録する（Ｓ１０８）。このように生成されたエントリー情報５１０が映像シーン（チャプター）を形成する情報になる。上記動作は、番組の録画処理が完了し、ストリーム制御部１１０でストリーム情報の終了を検知するまで実行される。ストリーム制御部１１０でストリーム情報中からストリーム情報の終端を示すフラグが検出されると、録画ストリームが終了したと判定され（Ｓ１０２）、ステップＳ１１０の処理に移行する。
When a scene change is detected in step S106 (S106), the position where the scene change occurred is set as the boundary of the video scene,
ステップＳ１１０では、映像種別特定部１０４からＣＭ区間情報を取得する。ＣＭ区間情報とは、記録番組におけるＣＭ区間の総数、ＣＭ区間判定情報７０１（ＣＭ区間毎の開始点・終了点の情報）を指す。なお、ＣＭ区間であるか否かは映像音声変化点の周期性に基づいて判定している。そのため、ＣＭ区間は番組の録画終了時点に確定する。
In step S110, CM section information is acquired from the video
ステップＳ１１０以降の処理は、全ＣＭ区間を対象として処理され（Ｓ１１１）、全ＣＭ区間の処理が終了すると番組の録画終了処理が完了することになる。未処理のＣＭ区間が存在した場合、順次Ｓ１１２以降の処理が行われる。 The processing after step S110 is processed for all CM sections (S111), and when the processing for all CM sections is completed, the program recording end processing is completed. When there is an unprocessed CM section, the processes in and after S112 are sequentially performed.
ステップＳ１１２以降では、図７にて説明を行ったように、ＣＭ境界位置と当該ＣＭ境界位置より後であって時間的に当該ＣＭ境界位置に一番近いエントリー情報５１０の開始位置であるＴｉｍｅｃｏｄｅ５１２とを比較し、その差がある閾値時間αよりも長いか否かを判定する（Ｓ１１２）。もし閾値時間αよりも短い時間であった場合、当該エントリー情報５１０のＴｉｍｅｃｏｄｅ５１２とＴｙｐｅ５１３の変更を行い、ステップＳ１１１に移動する。その際に当該エントリー情報５１０のoffset５１４についても情報を更新する。一方比較結果が、閾値時間αよりも長い時間であった場合、新規でエントリー情報５１０の追加処理を行う（Ｓ１１４）。その後、当該エントリー情報５１０に関連するサムネイル画像３０２の生成処理を行い（Ｓ１１５）、ステップＳ１１１に遷移する。
In step S112 and subsequent steps, as described in FIG. 7, the CM boundary position and the
図１０は、本実施の形態の再生処理フロー図である。本図では、ユーザーが録画を行った番組を再生し、この番組に係るサムネイル画像メニュー８００を画面１１３上に表示し、ユーザーが所望のサムネイル画像３０２を選択することで、サムネイル画像３０２に対応する映像シーンから再生を行う。
FIG. 10 is a reproduction processing flowchart of the present embodiment. In this figure, a program recorded by the user is played back, a
まず、映像記録再生装置１００の記録番組から再生対象番組が選択される（Ｓ２０１）。システム制御部１０１は、再生対象番組であるストリーム情報ファイル２１２を読み出す。またメタデータ表示制御部１４２はメタデータ管理ファイル２１３を読み出す（Ｓ２０２）。メタデータ管理ファイル２１３は、以後、迅速にサムネイル画像３０２を読込めるようにデータベース化して、メモリ部１２０に記録しておく。
First, a reproduction target program is selected from the recorded programs of the video recording / reproducing apparatus 100 (S201). The
その後、当該番組への再生指示が行われ（Ｓ２０３）、再生開始準備の完了を待つ（Ｓ２０４）。なお上述したデータベース化処理と再生開始指示処理は非同期命令で同時に行われる。このように同時処理を行うことで、後でメタデータのデータベースを構築するような無駄な時間を削減することができる。その後、システム制御部１０１からの指令に基づいて、記録再生ドライブ部１０２からストリーム情報の読み出しが開始され、ストリーム制御部１１０を経由して映像音声デコーダ部１１１に供給され、映像と音声の復号化が行われる（Ｓ２０５）。
Thereafter, a reproduction instruction for the program is issued (S203), and the completion of preparation for starting reproduction is awaited (S204). Note that the database processing and the reproduction start instruction processing described above are performed simultaneously by asynchronous commands. By performing the simultaneous processing in this way, it is possible to reduce a wasteful time for constructing a metadata database later. Thereafter, reading of stream information from the recording /
ユーザーは操作部１３０から希望の処理を映像記録再生装置１００に対して要求する。操作部１３０からの処理内容はコード化されたコマンドとして処理され、システム制御部１０１はコマンドに応じて処理を分岐する（Ｓ２０６）。コマンドが再生終了指示であれば、再生処理を終了する（Ｓ２０７）。
The user requests the video recording / reproducing
操作部１３０に設けられた映像検索用のサムネイル画像メニュー８００に対する表示指示キーを押下（Ｓ２０８）すると、メタデータ表示制御部１４２はメモリ部１２０に展開されているデータベース化されたメタデータ管理ファイル２１３を参照し、表示すべきサムネイル画像ファイル２１４を読み出し、画面上にサムネイル画像メニュー８００を描画する（Ｓ２０９）。
When the display instruction key for the
また、ユーザーがリモコンの左右キーを押下（Ｓ２１０）すると、選択画像枠８２０の移動が指示され、サムネイル画像メニュー８００の再描画が行われる（Ｓ２１１）。さらにユーザーは希望する映像シーンを見つけると、「決定」キーを押下する（Ｓ２１２）。そうするとメタデータ表示制御部１４２は指定された映像シーンへのシークおよび再生処理を行う。
When the user presses the left / right key on the remote controller (S210), the user is instructed to move the selected
指定された映像シーンを再生するには、選択画像枠８２０が表示しているサムネイル画像３０２に対応する映像シーンのエントリー情報５１０から、エントリーポイント３０１の開始時刻情報であるＴｉｍｅＣｏｄｅ５１２を取得する。次に、メタデータ表示制御部１４２はエントリー情報５１０から抽出した時間情報にシークするように指示が行われる。
In order to reproduce the designated video scene, the
メタデータ表示制御部１４２は、記録再生ドライブ部１０２から再生制御情報ファイル２１１を読み出し、指示された時間位置のアドレス位置を求め、その位置から再生するようにシーク処理を行う(Ｓ２１３)。この動作を行うことによって、ユーザーはサムネイル画像３０２を画面上で指定すれば、対応する映像シーンのエントリーポイント３０１からの再生が可能になる。
The metadata
図１１は、本実施の形態のサムネイル画像メニュー８００の描画処理フロー図である。同図は、図１０におけるステップＳ２０９の処理を詳細に説明したものである。
FIG. 11 is a drawing process flow diagram of the
サムネイル画像メニュー８００の表示が指示されると、まず、再生中番組の現在再生時刻を取得する（Ｓ３０１）。そしてメタデータ表示制御部１４２は、メモリ部１２０に保持しているメタデータ管理ファイル２１３のデータベースを取得する（Ｓ３０２）。その後、サムネイル画像メニュー８００を表示するために、この画像を構成する７枚のサムネイル画像３０２に対応するサムネイル画像ファイル２１４の読込みを行う（Ｓ３０３）。なお、７枚分のサムネイル画像ファイル２１４は、現在時刻が属する映像シーンとその前後各３枚の合計７枚の映像シーンのサムネイル画像３０２に対応する。
When the display of the
例えば、現在時刻が００時３０分００秒であり、図６のようなデータベース情報を得ていた場合、現在時刻が属する映像シーンはＩＤ６０１が７である。そのためＩＤ６０１が７のサムネイル画像ファイル２１４（００００１７５４．ｐｎｇ）に加え、前後３枚分のサムネイル画像ファイル２１４が読込まれることになる。
For example, if the current time is 00:30:30 and the database information as shown in FIG. 6 is obtained, the video scene to which the current time belongs has
同図では、現在時刻よりも後においては、ＩＤ６０１が８、９、１０のサムネイル画像ファイル２１４が読み込まれる。なおＩＤ６０１が９のサムネイル画像３０２は、Ｆｉｌｅ＿ｎｏ５１１が０ｘＦＦＦＦであるので、映像記録再生装置１００があらかじめ保持している代替画像（例えば、画像なし状態を明示する画像）が読み込まれる。
In the figure, after the current time, thumbnail image files 214 with
現在時刻よりも前においては、時間経過に対応してＩＤ６０１が４、５、６のサムネイル画像ファイル２１４が読み込まれるべきであるが、ＩＤ６０１が５のサムネイル画像３０２はＣＭ区間中であるためスキップされる。すなわちＩＤ６０１が３、４、６のサムネイル画像ファイル２１４が読み込まれる。
Prior to the current time, the
上記で読込まれるべきサムネイル画像ファイル２１４が決定されると、映像シーンのＴｙｐｅ５１３が“ＣＭ＿ＩＮ”か否かを順次判定する（Ｓ３０４）。映像シーンのＴｙｐｅ５１３が“ＣＭ＿ＩＮ”である場合、映像記録再生装置１００があらかじめ保持しているＣＭ識別画像８３０に差し換え（Ｓ３０５）、その画像ファイルの読み出しを行い、映像記録再生装置１００内のメモリ部１２０に格納する（Ｓ３０６）。もし、Ｓ３０４の判定処理にて“ＣＭ＿ＩＮ”ではない場合、当該エントリー情報５１０のＦｉｌｅ_ｎｏ５１１に示すサムネイル画像ファイル２１４の読み出しを行い、同様に映像記録再生装置１００内のメモリ部１２０に格納する（Ｓ３０６）。
When the
全ての画像ファイルの読込みが終了する（Ｓ３０３）と、メモリ部１２０に展開されている７枚のサムネイル画像３０２をビデオバッファ上で、時間の経過順に左から右に並べる（Ｓ３０７）。また選択画像枠８２０は、現在時刻が属する映像シーンを示す中央位置に表示される（Ｓ３０８）。このような配置をとることで、映像検索開始指示があった際には、時間的に後のサムネイル画像３０２だけではなく、時間的に前のサムネイル画像３０２も確認することができる。
When reading of all the image files is completed (S303), the seven
次に再生時間表示領域８０１の表示を行う（Ｓ３０９）。図８で説明したように、再生時間表示領域８０１は、録画番組全体の時間を棒状の図形で示し、映像シーンの区切り位置も表している。
Next, the reproduction
その後、再生時間表示領域８０１に選択区分領域８１０を表示するための、色条件情報を取得する（Ｓ３１０）。通常、選択画像枠８２０と選択区分領域８１０を同色とすると対応付けがしやすい。しかしながら人間の眼は、同色であっても表示面積が大きいほど薄い色と感じ、小さいほど濃い色と感じる特性がある。
Thereafter, the color condition information for displaying the
そこで、選択画像枠８２０の面積は一定であることに対して、選択区分領域８１０は選択されている映像シーンの長さに応じて変化することに着目し、選択区分領域８１０の表示面積に応じて一定の割合で選択区分領域８１０の色の濃度を変更（例えば、輝度を変更）して選択区分領域８１０を表示することとした（Ｓ３１０、Ｓ３１１）。このように構成することで、ユーザーが選択画像枠８２０とそれに対応する選択区分領域８１０の色を同色として捉えることが容易になるため、対応関係が把握しやすいユーザーインターフェースを提供できる。
Therefore, focusing on the fact that the selected
また、再生時間表示領域８０１には、映像シーン毎の区切り境界を黒色で表示している。しかし、映像シーン区間が非常に小さい場合（幅が１ピクセル以内）である場合、表示装置１１３の画面上の映像シーン区間に境界線を付加することができない。しかし、人間の目の特性として、隣接する領域の色の濃度差が大きい場合には領域の境界が強調されて感じる特性がある。したがって、上述のように境界線が付加できない場合、選択区分領域８１０の表示色を周囲の色よりも濃くして、境界を分かりやすくすることもできる。
In the playback
最後に、図８で示したようにサムネイル画像情報領域８０２に存在する７枚のサムネイル画像３０２群が示す映像シーン群の録画番組全体における開始点と時間長を明示する。
Finally, as shown in FIG. 8, the start point and time length of the entire recorded program of the video scene group indicated by the seven
図１２は、本実施の形態のサムネイル画像メニュー８００の表示中に、選択枠を操作する時の描画処理のフロー図である。同図では、図１０におけるステップＳ２１１の処理を詳細に説明したものである。なお、図１１にて説明した事項と同じ事項については、同じ番号を付記する。
FIG. 12 is a flowchart of a drawing process when the selection frame is operated while the
サムネイル画像メニュー８００が表示されている状態で左右キーが押下されると、選択画像枠８２０の位置が移動する。サムネイル画像３０２の再読み込みが必要ではない場合、例えば右キー押下時に選択画像枠の位置が７枚の画像中で最右端でない場合（Ｓ４０１）、右キーを押下することによって選択画像枠８２０の位置だけが右方向に１つ移動する（Ｓ４０２）。その後は、Ｓ３０９〜Ｓ３１１で説明した処理にて、再生時間表示領域８０１への描画が行われる。
When the left / right key is pressed while the
一方、Ｓ４０１にてサムネイル画像３０２の再読み込みが必要な場合、例えば右キー押下時に選択画像枠８２０が７枚の画像中で最右端の場合、最右端にあるエントリー情報５１０が指すサムネイル画像３０２の直後のエントリー情報５１０を読込む。その後は、Ｓ３０４〜Ｓ３０６で説明した手順でサムネイル画像ファイル２１４の読込みを行う。この場合、Ｓ４０２にて選択画像枠８２０の位置を更新しないが、サムネイル画像３０２が全体的に左側に１枚ずつ移動することになり、最右端には新たなサムネイル画像３０２が表示される。
On the other hand, if it is necessary to re-read the
本実施の形態では、サムネイル画像情報領域８０２に表示するサムネイル画像３０２において、ＣＭ映像区間に属する１枚以上のサムネイル画像３０２を1枚のＣＭ識別画像８３０に差し換えて表示することにより、映像検索を行う上でサムネイル画像情報領域８０２にのみに注意を払えばよくなるので、ユーザーの心理的負担を軽減することができる。
In the present embodiment, in the
また、番組録画中に作成されたエントリー情報５１０の代表画であるサムネイル画像３０２がＣＭ区間に含まれている場合、サムネイル画像メニュー８００を表示する際にＣＭ区間内の映像シーンをユーザーに提示することがないため、検索性を向上させることができる。
In addition, when the
また、ＣＭ区間内のサムネイル画像３０２を視認性の良いＣＭ識別画像８３０に差し換えるので、たとえＣＭ映像と番組映像の区別が困難なものであっても、ＣＭ識別画像８３０によってＣＭ映像か否かが容易に判断できる。また、ＣＭ映像区間中に複数のサムネイル画像３０２が存在したとしても、１枚のＣＭ識別画像８３０に差し換えるので、番組中の映像検索においてＣＭ映像区間のサムネイル画像３０２を少なく表示することができるため、映像の検索性が向上する。
In addition, since the
さらに、再生時間表示領域８０１の選択区分領域８１０の設定色を、選択区分領域８１０の領域面積に基づいて決定しているので、関連付けを行う対象の選択画像枠８２０と知覚的に感じる見え方を近づけられる。そのためユーザーが選択画像枠８２０とそれに対応する選択区分領域８１０との関係を認知しやすくなり、視認性を向上できる。
Furthermore, since the setting color of the selected
サムネイル画像３０２の生成に関しては、番組録画終了後に新たにサムネイル画像３０２を生成する必要がないため、番組録画終了後に短時間でサムネイル画像メニュー８００を表示でき、高い応答性を持った映像記録再生装置１００を提供することができる。
Regarding the generation of the
本実施の形態では、サムネイル画像メニュー８００には、番組の本編の映像区間のサムネイル画像３０２とＣＭ識別画像８３０を混在させて一覧表示していたが、録画番組を再生する際に番組本編だけを対象として再生した場合は、再生映像にはＣＭ映像は表示する必要がないため、サムネイル画像メニュー８００上にＣＭ識別画像８３０を除いて表示することも可能である。そのように構成すれば、サムネイル画像メニュー８００にはより多くの番組区間のサムネイル画像３０２が表示されるため、検索性を高くすることができる。
In the present embodiment, the
また、本編部分だけを再生することも、ＣＭ部分だけを再生することも可能である。後者の場合、メタデータ管理ファイル２１４に記載されているエントリー情報５１０のＴｙｐｅ５１３が“ＣＭ＿ＩＮ”に設定されている画像情報は、ＣＭ識別画像８３０に差し換える必要はなく、当該エントリー情報５１０に関連付けられたサムネイル画像３０２を表示する。またＣＭ区間中のサムネイル画像３０２も表示するよう構成してもよい。
Further, it is possible to reproduce only the main part or only the CM part. In the latter case, the image information in which the
また、映像と音声の物理変化量、例えばカラーヒストグラム、ＤＣ成分、動きベクトル、エッジ情報、テクスチャ情報などの変化量から映像シーンを区分してサムネイル画像メニュー８００として表示できるため、ユーザーはより少ない操作で所望の映像シーンを特定することができる。さらに、選択されたサムネイル画像３０２は映像シーンの開始点であるため、この位置へジャンプした後に巻戻し等の操作による微調整を行う必要がない。そのため、映像検索においてユーザーの操作負荷が少ない映像記録再生装置１００を提供することができる。
In addition, since the video scene can be divided and displayed as a
映像記録再生装置１００内に保持するサムネイル画像は、シーンチェンジ点を示す画像情報およびＣＭ映像境界位置の画像情報のみを保持していればよく、全ての符号化圧縮単位のサムネイル画像を保持する必要はない。そのため映像記録再生装置が取り扱う画像情報量は少なくてもよいため、本実施の形態の映像記録再生装置１００のハードウェア／ソフトウェアには高い情報処理能力が要求されることはなく、製品コストの上昇を抑えつつ、所望の映像シーンを効率的に検索することができる。
The thumbnail images held in the video recording / reproducing
１００ 映像記録再生装置
１０３ 特徴シーン抽出部
１０４ 映像種別特定部
１４１ メタデータ記録制御部
１４２ メタデータ表示制御部
２１４ サムネイル画像ファイル
３０２ サムネイル画像
４１３ 開始時間情報
８０１ 再生時間表示領域
８１０ 選択区分領域
８２０ 選択画像枠
８３０ ＣＭ識別画像
DESCRIPTION OF
Claims (10)
ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、
記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、
前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、
前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、
ＣＭ区間に存在するサムネイル画像を、当該映像記録再生装置があらかじめ保持しているＣＭ識別画像に差し換えて表示装置の画面に表示することを特徴とする映像記録再生装置。 A video recording / playback apparatus for displaying a thumbnail image list for video search,
During the recording of the stream information, the position of the video scene is determined based on the video / audio information, a thumbnail image representing the video scene is generated, and the link information of the thumbnail image file and the start time information of the video scene A feature scene extraction unit for generating
A video type identification unit for obtaining CM video section information from the stream information being recorded;
Video type information indicating whether each video scene is a CM zone is generated from the section information of the CM video acquired by the video type identification unit, and the thumbnail image, the link information, and the link information generated by the feature scene extraction unit are generated. A metadata recording control unit for recording video scene start time information and the video type information as metadata information;
A metadata display control unit that reads out the thumbnail image file to be displayed with reference to the metadata information and displays a thumbnail image menu for selecting the video scene from the thumbnail image on a screen of a display device; ,
A video recording / reproducing apparatus, wherein a thumbnail image existing in a CM section is displayed on a screen of a display device in place of a CM identification image held in advance by the video recording / reproducing apparatus.
再生時間表示領域上に現在選択中の映像シーンを示す選択区分領域の色とサムネイル画像一覧において現在選択中であることを示す選択画像枠の色とが同色に知覚されるように、両者の色の濃度を調整することを特徴とする請求項１に記載の映像記録再生装置。 Display the playback time display area that can identify the start position and time length of the entire recorded program of the video scene selected when displaying the thumbnail image list for video search,
The color of the selected segment area indicating the currently selected video scene on the playback time display area and the color of the selected image frame indicating the currently selected video image in the thumbnail image list are perceived as the same color. The video recording / reproducing apparatus according to claim 1, wherein the density of the video is adjusted.
ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、
記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、
前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、
前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、
ストリーム情報の記録終了時に、ＣＭ境界よりも後の時刻に位置する直後の映像シーンのメタデータ情報の開始時間と映像種別判定情報を変更することを特徴とした映像記録再生装置。 A video recording / playback apparatus for displaying a thumbnail image list for video search,
During the recording of the stream information, the position of the video scene is determined based on the video / audio information, a thumbnail image representing the video scene is generated, and the link information of the thumbnail image file and the start time information of the video scene A feature scene extraction unit for generating
A video type identification unit for obtaining CM video section information from the stream information being recorded;
Video type information indicating whether each video scene is a CM zone is generated from the section information of the CM video acquired by the video type identification unit, and the thumbnail image, the link information, and the link information generated by the feature scene extraction unit are generated. A metadata recording control unit for recording video scene start time information and the video type information as metadata information;
A metadata display control unit that reads out the thumbnail image file to be displayed with reference to the metadata information and displays a thumbnail image menu for selecting the video scene from the thumbnail image on a screen of a display device; ,
A video recording / reproducing apparatus characterized in that, at the end of recording of stream information, the start time of the metadata information of the video scene located immediately after the CM boundary and the video type determination information are changed.
ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成するステップと、
記録中のストリーム情報からＣＭ映像の区間情報を取得するステップと、
前記ＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するステップと、
前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるステップとを備え、
ＣＭ区間に存在するサムネイル画像を、当該映像記録再生装置があらかじめ保持しているＣＭ識別画像に差し換えて表示装置の画面に表示することを特徴とする映像記録再生方法。 A video recording / playback method for displaying a list of thumbnail images for video search,
During the recording of the stream information, the position of the video scene is determined based on the video / audio information, a thumbnail image representing the video scene is generated, and the link information of the thumbnail image file and the start time information of the video scene A step of generating
Obtaining CM video section information from the stream information being recorded;
Video type information indicating whether each video scene is a CM zone is generated from the CM video section information, and the thumbnail image, the link information, the start time information of the video scene, and the video type information are metadata information. As a step to record as
Reading the thumbnail image file to be displayed with reference to the metadata information, and displaying a thumbnail image menu for selecting the video scene from the thumbnail image on the screen of a display device,
A video recording / reproducing method, wherein a thumbnail image existing in a CM section is displayed on a screen of a display device in place of a CM identification image held in advance by the video recording / reproducing device.
再生時間表示領域上に現在選択中の映像シーンを示す選択区分領域の色とサムネイル画像一覧において現在選択中であることを示す選択画像枠の色とが同色に知覚されるように、両者の色の濃度を調整することを特徴とする請求項６に記載の映像記録再生方法。 Display the playback time display area that can identify the start position and time length of the entire recorded program of the video scene selected when displaying the thumbnail image list for video search,
The color of the selected segment area indicating the currently selected video scene on the playback time display area and the color of the selected image frame indicating the currently selected video image in the thumbnail image list are perceived as the same color. The video recording / reproducing method according to claim 6, wherein the density of the video is adjusted.
ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成するステップと、
記録中のストリーム情報からＣＭ映像の区間情報を取得するステップと、
前記ＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するステップと、
前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるステップとを備え、
ストリーム情報の記録終了時に、ＣＭ境界よりも後の時刻に位置する直後の映像シーンのメタデータ情報の開始時間と映像種別判定情報を変更することを特徴とした映像記録再生方法。 A video recording / playback method for displaying a list of thumbnail images for video search,
During the recording of the stream information, the position of the video scene is determined based on the video / audio information, a thumbnail image representing the video scene is generated, and the link information of the thumbnail image file and the start time information of the video scene A step of generating
Obtaining CM video section information from the stream information being recorded;
Video type information indicating whether each video scene is a CM zone is generated from the CM video section information, and the thumbnail image, the link information, the start time information of the video scene, and the video type information are metadata information. As a step to record as
Reading the thumbnail image file to be displayed with reference to the metadata information, and displaying a thumbnail image menu for selecting the video scene from the thumbnail image on the screen of a display device,
A video recording / reproducing method characterized in that, at the end of recording of stream information, the start time and video type determination information of metadata information of a video scene immediately after the CM boundary is changed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009168600A JP5423199B2 (en) | 2009-07-17 | 2009-07-17 | Video recording / reproducing apparatus and video recording / reproducing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009168600A JP5423199B2 (en) | 2009-07-17 | 2009-07-17 | Video recording / reproducing apparatus and video recording / reproducing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011024076A true JP2011024076A (en) | 2011-02-03 |
| JP5423199B2 JP5423199B2 (en) | 2014-02-19 |
Family
ID=43633726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009168600A Expired - Fee Related JP5423199B2 (en) | 2009-07-17 | 2009-07-17 | Video recording / reproducing apparatus and video recording / reproducing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5423199B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015135575A (en) * | 2014-01-16 | 2015-07-27 | Ｎｅｃパーソナルコンピュータ株式会社 | Information processing apparatus, control method, and program |
| JP2019145989A (en) * | 2018-02-20 | 2019-08-29 | ヤフー株式会社 | Information processing device, information processing method, and program |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1079916A (en) * | 1996-09-04 | 1998-03-24 | Hitachi Ltd | Video recording device |
| JP2000175133A (en) * | 1998-12-04 | 2000-06-23 | Sony Corp | Information recording and reproducing device, method therefor and provision medium |
| JP2001005838A (en) * | 1997-11-10 | 2001-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Electronic video document preparing method and recording medium storing electronic video document preparing program |
| JP2005142853A (en) * | 2003-11-06 | 2005-06-02 | Toshiba Corp | Picture editor and picture editiong method |
| WO2005124782A1 (en) * | 2004-06-18 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | Av content processing device, av content processing method, av content processing program, and integrated circuit used in av content processing device |
| JP2006101270A (en) * | 2004-09-30 | 2006-04-13 | Sony Corp | Edition device for dynamic-image data and method for editing dynamic-image data |
| WO2006070601A1 (en) * | 2004-12-27 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | Data processing device |
| JP2007142785A (en) * | 2005-11-18 | 2007-06-07 | Hitachi Ltd | Recording and reproducing device |
| JP2007164298A (en) * | 2005-12-09 | 2007-06-28 | Sony Corp | Data display device, data display method, data display program, and graphical user interface |
| JP2009088689A (en) * | 2007-09-27 | 2009-04-23 | Toshiba Corp | Electronic equipment, and display method |
-
2009
- 2009-07-17 JP JP2009168600A patent/JP5423199B2/en not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1079916A (en) * | 1996-09-04 | 1998-03-24 | Hitachi Ltd | Video recording device |
| JP2001005838A (en) * | 1997-11-10 | 2001-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Electronic video document preparing method and recording medium storing electronic video document preparing program |
| JP2000175133A (en) * | 1998-12-04 | 2000-06-23 | Sony Corp | Information recording and reproducing device, method therefor and provision medium |
| JP2005142853A (en) * | 2003-11-06 | 2005-06-02 | Toshiba Corp | Picture editor and picture editiong method |
| WO2005124782A1 (en) * | 2004-06-18 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | Av content processing device, av content processing method, av content processing program, and integrated circuit used in av content processing device |
| JP2006101270A (en) * | 2004-09-30 | 2006-04-13 | Sony Corp | Edition device for dynamic-image data and method for editing dynamic-image data |
| WO2006070601A1 (en) * | 2004-12-27 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | Data processing device |
| JP2007142785A (en) * | 2005-11-18 | 2007-06-07 | Hitachi Ltd | Recording and reproducing device |
| JP2007164298A (en) * | 2005-12-09 | 2007-06-28 | Sony Corp | Data display device, data display method, data display program, and graphical user interface |
| JP2009088689A (en) * | 2007-09-27 | 2009-04-23 | Toshiba Corp | Electronic equipment, and display method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015135575A (en) * | 2014-01-16 | 2015-07-27 | Ｎｅｃパーソナルコンピュータ株式会社 | Information processing apparatus, control method, and program |
| JP2019145989A (en) * | 2018-02-20 | 2019-08-29 | ヤフー株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5423199B2 (en) | 2014-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101189861B1 (en) | Apparatus, method, and computer program for processing information | |
| JP5142453B2 (en) | Playback device | |
| CA2680696C (en) | Recording medium on which 3d video is recorded, recording medium for recording 3d video, and reproducing device and method for reproducing 3d video | |
| JP4556752B2 (en) | Recording / playback apparatus having commercial viewing control function | |
| JP2007142785A (en) | Recording and reproducing device | |
| JP2009124298A (en) | Device and method for reproducing coded video image | |
| WO2009139302A1 (en) | Recording/playback device | |
| EP1351501A2 (en) | Method and system for accessing video data | |
| JP5423199B2 (en) | Video recording / reproducing apparatus and video recording / reproducing method | |
| JP4330968B2 (en) | REPRODUCTION DEVICE, RECORDING DEVICE, REPRODUCTION PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE REPRODUCTION PROGRAM | |
| JP7435704B2 (en) | Playback device, playback method, program, information processing system | |
| KR100854814B1 (en) | Method and apparatus for editing a saving image of an image display device | |
| JP2006101076A (en) | Method and device for moving picture editing and program | |
| JP2008283708A (en) | Playback apparatus | |
| JP2007110467A (en) | Image recording reproducing device, display method of image data, and image data displaying method of thumbnail image | |
| JP6410483B2 (en) | Image processing device | |
| JP2008097727A (en) | Animation-reproducing device | |
| JP6976219B2 (en) | Video recording / playback device and video recording / playback method | |
| JP6071399B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP7251480B2 (en) | Playback device, playback method, program | |
| JP2005020351A (en) | Video reproducing device with thumb nail picture creation function and thumb nail picture recording medium | |
| JP4654161B2 (en) | Recording apparatus and recording method | |
| JP6049369B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP4697273B2 (en) | Recording apparatus, recording method, reproducing apparatus, reproducing method, and recording medium | |
| JP2021166363A (en) | Video reproduction device and video reproduction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131111 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5423199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |