JP2009124298A - Device and method for reproducing coded video image - Google Patents
Device and method for reproducing coded video image Download PDFInfo
- Publication number
- JP2009124298A JP2009124298A JP2007294133A JP2007294133A JP2009124298A JP 2009124298 A JP2009124298 A JP 2009124298A JP 2007294133 A JP2007294133 A JP 2007294133A JP 2007294133 A JP2007294133 A JP 2007294133A JP 2009124298 A JP2009124298 A JP 2009124298A
- Authority
- JP
- Japan
- Prior art keywords
- video
- segment
- information
- scene
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、ストリーム情報ファイルから視聴したい映像シーンを検索し、再生することができる符号化映像再生装置及び符号化映像再生方法に関するものである。 The present invention relates to an encoded video reproduction apparatus and an encoded video reproduction method capable of searching and reproducing a video scene desired to be viewed from a stream information file.
ハードディスクレコーダ又は光ディスクレコーダのような符号化映像記録再生装置においては、早送り再生や巻戻し再生などの特殊再生によって、視聴したい映像シーンを見つけることができる。例えば、ユーザーは、番組を早送り再生し、視聴したい映像シーンが表示されたと判断したときに、操作入力部を手動操作して、通常再生に移行させる。しかし、ユーザーが早送り再生中の視聴したい映像シーンを確認してから通常再生の手動操作を行うまでの間に、映像が時間的に進んでしまうので、ユーザーは、進み過ぎた時間だけ巻戻すための追加の操作を行う必要があった。この追加の操作を無くするために、早送り再生中に通常再生の手動操作が行われた場合には、早送り再生の速度に応じたオフセット分だけ、通常再生の手動操作の時点よりも時間的に過去の映像から、通常再生を開始させる提案がある（例えば、特許文献１参照）。 In an encoded video recording / playback apparatus such as a hard disk recorder or an optical disk recorder, a video scene desired to be viewed can be found by special playback such as fast forward playback and rewind playback. For example, when the user fast-plays a program and determines that a video scene desired to be viewed is displayed, the user manually operates the operation input unit to shift to normal playback. However, since the video progresses in time from the time the user confirms the video scene that he / she wants to watch during fast-forward playback to the time when manual operation for normal playback is performed, the user rewinds only the time that has been advanced too much. Needed to do additional operations. In order to eliminate this additional operation, when a normal playback manual operation is performed during fast-forward playback, the offset corresponding to the fast-forward playback speed is offset in time from the time of normal playback manual operation. There is a proposal to start normal reproduction from a past video (for example, see Patent Document 1).
また、記録された番組中に散在する複数の映像シーンを、複数のサムネイル画像（縮小画像）として表示装置の画面に一覧表示させ、ユーザーが視聴したい映像シーンを複数のサムネイル画像の中から選択することで、選択されたサムネイル画像に対応する映像位置から通常再生を開始させる方法も提案されている（例えば、特許文献２参照）。 In addition, a plurality of video scenes scattered in the recorded program are displayed as a list of thumbnail images (reduced images) on the display device screen, and a video scene that the user wants to view is selected from the plurality of thumbnail images. Thus, a method of starting normal playback from the video position corresponding to the selected thumbnail image has also been proposed (see, for example, Patent Document 2).
さらに、操作入力部で所定の操作がなされた場合に、再生画像に重ねて、再生画像に時間的に近い複数枚のサムネイル画像を表示する方法も提案されている（例えば、特許文献３参照）。 Furthermore, there has been proposed a method of displaying a plurality of thumbnail images that are temporally close to the reproduced image and superimposed on the reproduced image when a predetermined operation is performed on the operation input unit (see, for example, Patent Document 3). .
しかしながら、特許文献１の映像検索方法においては、ユーザーは、早送り再生又は巻戻し再生を行いながら視聴したい映像シーンを見つける必要があるので、例えば、番組後半にある映像シーンを、早送り再生を用いて検索する場合に、多くの時間を要するという問題がある。また、早送り再生の速度を上げた場合には、早送り再生中における単位時間あたりの表示可能枚数は一定（早送り再生速度とは無関係）であるため、表示される映像シーンの時間間隔が広くなり、視聴したい映像シーンが表示されず、見つけることができない場合が増える。また、表示される映像シーンの時間間隔が広がることによって、映像内容の連続性を把握し難くなるので、ユーザーは、視聴したい映像シーンを探すことが困難になる。
However, in the video search method of
特許文献２の映像検索方法においては、多数のサムネイル画像を画面に一覧表示するが、縦横方向に並ぶ多数のサムネイル画像から視聴したい映像シーンを探す作業は、ユーザーに、視線の移動及び多数のサムネイル画像についての判断を強要するので、ユーザーの負担は大きく、また、視聴したい映像シーンを見落とす可能性が増大するという問題がある。
In the video search method of
また、特許文献２の映像検索方法においては、所定の時間間隔で取得した映像シーンのサムネイル画像を表示している。このため、所定の時間間隔を長く設定すれば、視聴したい映像シーンが表示されない可能性が増大し、所定の時間間隔を短く設定すれば、ユーザーは、多数のサムネイル画像から視聴したい映像シーンを見つけなければならず、検索時間が長くなり、ユーザーの負担も増大するという問題がある。また、特許文献２におけるサムネイル画像の映像シーンは、番組内容に関係しない（一定時間ごとの）映像シーンであるので、サムネイル画像を選択した後に、視聴したい映像シーンから再生を開始させるためのユーザーによる手動操作が必要になる。
In addition, in the video search method of
特許文献３の映像検索方法においては、特許文献１の場合と同様に、始めにユーザーが早送り再生などの手動操作によって、おおよその再生開始位置（視聴したい映像シーンに時間的に近い位置）を見つけなければならないという問題がある。また、特許文献３の映像検索方法においては、おおよその再生開始位置を特定した後、再生開始位置の近傍の画像として、符号化圧縮単位（ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）である０．５秒単位でサムネイル画像を表示するので、符号化圧縮単位毎の多数のサムネイル画像を保持する必要があった。この場合、符号化映像再生装置には、膨大な情報量を処理できる非常に高い情報処理能力が要求され、回路規模及び画像制御アルゴリズムが複雑になるという問題がある。
In the video search method of
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、視聴したい映像シーンを迅速、簡単、且つ確実に検索することができる符号化映像再生装置及び符号化映像再生方法を提供することにある。 Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide an encoded video reproduction apparatus and code that can quickly, easily, and reliably search for a video scene to be viewed. It is to provide a video playback method.
本発明の符号化映像再生装置は、符号化圧縮された映像信号及び音声信号を多重化した動画像データの記録再生を行う記録再生手段と、前記映像信号の物理変化量から、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出する特徴シーン抽出手段と、前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成する検索画面生成手段と、ユーザーによる操作入力を受け付ける操作入力手段と、前記操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させる制御手段とを有することを特徴としている。 The encoded video reproduction apparatus of the present invention includes a recording / reproduction means for recording / reproducing moving image data obtained by multiplexing an encoded and compressed video signal and audio signal, and a plurality of determination criteria based on the physical change amount of the video signal. Based on the feature information, feature scene extraction means for detecting video sections of a plurality of hierarchies corresponding to the plurality of determination criteria, respectively, and extracting feature information representing each video section of each hierarchy, A search screen generating means for generating a video search menu including thumbnail images representative of each video section of each hierarchy, an operation input means for accepting an operation input by a user, and the operation input unit in the video search menu Selecting one of the thumbnail images causes the recording / playback unit to start playback from a video scene associated with the selected thumbnail image. It is characterized by having a control means.
また、本発明の符号化映像再生方法は、記録再生手段によって記録された、符号化圧縮された映像信号及び音声信号を多重化した動画像データの前記映像信号の物理変化量から、特徴シーン抽出手段によって、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出するステップと、検索画面生成手段によって、前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成するステップと、ユーザーによる操作入力を受け付ける操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させるステップとを有することを特徴としている。 The encoded video reproduction method of the present invention also extracts a feature scene from the physical change amount of the video signal of the moving image data multiplexed with the encoded and compressed video signal and audio signal recorded by the recording / reproducing means. Means for detecting video sections of a plurality of hierarchies corresponding to the plurality of judgment standards by using a plurality of judgment criteria, extracting feature information representative of each video section of each hierarchy, and generating a search screen And a step of generating a video search menu including thumbnail images representing each video section of each layer based on the feature information, and an operation input unit for receiving an operation input by a user. By selecting one of the thumbnail images, the recording / playback unit causes the video scene associated with the selected thumbnail image to be recorded. It is characterized by a step for starting the reproduction from the emissions.
本発明によれば、視聴したい映像シーンを迅速、簡単、且つ確実に検索し、視聴したい映像シーンから再生を開始させることができるという効果がある。 According to the present invention, there is an effect that a video scene desired to be viewed can be searched quickly, easily and reliably, and reproduction can be started from the desired video scene.
図１は、本発明の実施の形態に係る符号化映像再生装置１００（すなわち、本発明の実施の形態に係る符号化映像再生方法を実施する装置）を含むシステムの構成を概略的に示すブロック図である。図１に示されるシステムは、ストリーム情報ファイルを再生することができる符号化映像再生装置１００と、ユーザー指示を入力するリモコンなどの操作入力部１１０と、符号化映像再生装置１００から出力される映像信号に基づく映像を表示し及び音声信号に基づく音声を出力する液晶モニタなどの表示装置１４０とを有する。図１に示されるように、符号化映像再生装置１００は、この符号化映像再生装置１００全体を制御するシステム制御部１２０と、メモリ部１２１と、デコーダブロック１３０とを有する。デコーダブロック１３０は、デジタル放送信号などを受け取る放送受信部１３１と、ストリーム制御部１３２と、着脱可能な又は固定された情報記録媒体１３３ａを備えた記録再生ドライブ部１３３と、映像音声デコーダ部１３４と、バッファメモリ１３５ａ，１３５ｂを備えた特徴シーン抽出部１３５と、不要シーン特定部１３６と、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）生成部１３７と、加算回路１３８とを有する。デコーダブロック１３０は、映像音声ストリームの記録再生機能を持つ部分であり、システム制御部１２０からの指示にしたがって、ストリーム情報の記録再生を行う。なお、操作入力部１１０は、符号化映像再生装置１００の本体に備えたれた操作入力部であってもよい。また、表示装置１４０は、符号化映像再生装置１００の本体に備えられた表示部であってもよい。
FIG. 1 is a block diagram schematically showing the configuration of a system including an encoded
符号化映像再生装置１００は、例えば、ハードディスクレコーダ又は光ディスクレコーダなどの映像記録再生装置である。また、符号化映像再生装置１００は、映像の記録再生機能を持つハードディスク内蔵型テレビ又はパーソナルコンピュータであってもよい。さらに、情報記録媒体１３３ａが着脱可能な場合には、符号化映像再生装置１００は、映像再生装置であってもよい。
The encoded
符号化映像再生装置１００が記録するストリーム情報ファイルは、例えば、ＭＰＥＧ−２方式などで符号化圧縮された映像情報と、ＡＣ−３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）方式などで符号化圧縮された音声情報とを多重化した単一のマルチメディアファイルである。また、符号化映像再生装置１００における映像検索とは、ユーザーが特定シーンや特定人物が記録されている部分のみを視聴したい場合に、ストリーム情報ファイルから視聴したい映像シーンが記録されている位置を特定し、視聴したい映像シーンから再生を開始することである。
The stream information file recorded by the encoded
本実施の形態においては、記録再生ドライブ部１３３は、符号化圧縮された映像信号及び音声信号を多重化した動画像データの記録再生を行い、特徴シーン抽出部１３５は、映像信号の物理変化量から、複数の判断基準を用いて、複数の判断基準に対応する複数の階層の映像区間を検出し、各階層の各映像区間を代表する特徴情報を抽出する。また、ＯＳＤ生成部１３７は、特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成する。本実施の形態においては、複数の判断基準は、第１の閾値αと、第１の閾値αより小さい第２の閾値βを含み、第１の閾値αに対応する階層の各映像区間は、セグメントであり、第２の閾値βに対応する階層の各映像区間は、セグメントに一致する区間又はセグメントを分割した区間であるショットである。また、映像検索メニューは、各セグメントを代表するサムネイル画像を複数含むセグメント画像情報領域と、各ショットを代表するサムネイル画像を複数含むショット画像情報領域とを含む（後述する図８の符号７０２，８０１）。ショット画像情報領域に含まれるサムネイル画像は、セグメント画像情報領域に含まれるサムネイル画像の一つに対して、時間的に近い順に選ばれた複数のショットのサムネイル画像を含む。ユーザーが操作入力部１１０を用いて、映像検索メニューの中のサムネイル画像の一つを選択すると、システム制御部１２０からの指示にしたがって、記録再生ドライブ部１３３は、選択されたサムネイル画像に関連付けられた映像シーンから再生を開始する。なお、本実施の形態においては、複数のサムネイル画像から成る画像情報領域の階層数が２の場合を説明するが、この階層数は３以上であってもよい。
In the present embodiment, the recording / reproducing
本実施の形態においては、不要シーン特定部１３６は、映像信号及び音声信号の両方の物理変化量から、不要シーンを特定し、ＯＳＤ生成部１３７は、不必要な映像シーン（不要シーン）を除いた映像区間について、映像検索メニューを生成することもできる。この処理は、映像検索に際して、ユーザーが番組内容を把握しやすくするために、意味的重要性が低い不要シーン（例えば、コマーシャル映像や、コマーシャルの前後に存在する映像重複シーン）を除いた区間を対象に、サムネイル画像メニューを生成する処理である。
In the present embodiment, the unnecessary
一般に、番組内容の意味的な連続性は、映像の連続性に近似する。このため、本実施の形態においては、番組内容の意味的な連続性は、映像の連続性に等しいということを前提としている。映像の連続性とは、映像の物理量の連続性であり、映像の物理量の変化（物理変化量）が所定の閾値以下の場合には連続性があり、所定の閾値を超える場合には連続性が無いと判断することができる。本実施の形態においては、第２の閾値βを用いて、ある再生位置における映像の連続性が無いと判断された点を、シーンチェンジ（ショットの境界でもある。）と言い、あるシーンチェンジと次のシーンチェンジとの間の映像区間をショット（Ｓｈｏｔ）と言う。さらに、本実施の形態においては、第１の閾値α（α＞β）を用いて、あるショットとその次のショットとの間の映像の連続性が無いと判断された点をセグメントの境界（セグメントの境界は、シーンチェンジでもある。）と呼び、あるセグメントの境界と次のセグメントの境界との間の映像区間をセグメント（Ｓｅｇｍｅｎｔ）と定義する。本実施の形態においては、映像検索をする場合には、まずセグメントを検出し、セグメント単位による映像シーンの検索を行い、次に、検索された映像シーンのセグメント内をショット単位で検索する。 In general, the semantic continuity of program content approximates the continuity of video. For this reason, in this embodiment, it is assumed that the semantic continuity of the program content is equal to the continuity of the video. Video continuity is the continuity of the physical quantity of the video, and there is continuity when the change in the physical quantity of the video (physical change amount) is less than or equal to a predetermined threshold, and continuity when the video exceeds a predetermined threshold It can be determined that there is no. In the present embodiment, the point at which it is determined that there is no video continuity at a certain playback position using the second threshold value β is called a scene change (also a shot boundary). A video section between the next scene change is called a shot. Furthermore, in the present embodiment, the first threshold value α (α> β) is used to determine a point determined that there is no video continuity between a certain shot and the next shot as a segment boundary ( A segment boundary is also a scene change.) A video section between a certain segment boundary and the next segment boundary is defined as a segment. In this embodiment, when searching for a video, first, a segment is detected, and a video scene is searched for in units of segments. Next, the searched video scene is searched in units of shots.
既に概略を説明したように、映像の連続性は、映像の物理変化量（例えば、カラーヒストグラム、ＤＣ成分、動きベクトル、エッジ情報、テクスチャ情報など）と、所定の閾値から求めることができる。例えば、セグメントの境界の判断に際しては、物理変化量が所定の第１の閾値αより大きい場合に、セグメントの境界であると判断する。また、シーンチェンジ（ショットの境界）の判断に際しては、物理変化量が、所定の第２の閾値β（β＜α）より大きい場合に、シーンチェンジであると判断する。番組内容の意味的な連続性は、映像の連続性に近似するので、セグメントは、映像シーンの意味的（内容的）な連続性が確保されている大きな単位の映像区間であり、ショットは、映像シーンの意味的（内容的）な連続性が確保されている小さな単位の映像区間である。 As already outlined, video continuity can be obtained from a physical change amount of video (for example, color histogram, DC component, motion vector, edge information, texture information, etc.) and a predetermined threshold. For example, when determining the segment boundary, if the physical change amount is larger than a predetermined first threshold value α, the segment boundary is determined to be a segment boundary. When determining a scene change (shot boundary), it is determined that the scene change is made when the physical change amount is larger than a predetermined second threshold value β (β <α). Since the semantic continuity of the program content approximates the continuity of the video, the segment is a video unit of a large unit in which the semantic (content) continuity of the video scene is secured, It is a video unit of a small unit in which semantic (content) continuity of the video scene is secured.
図１に示される、記録再生ドライブ部１３３は、情報記録媒体１３３ａからの情報の読出し及び情報記録媒体１３３ａへの情報の書込みができる情報記録再生手段である。本実施の形態においては、記録再生ドライブ部１３３は、情報記録媒体１３３ａであるハードディスクを内蔵した、ハードディスクドライブである。なお、記録再生ドライブ部１３３は、光ディスクドライブ又やＳＤメディアドライブ（フラッシュメモリドライブ）などのような他の情報記録媒体を用いた情報記録再生手段であってもよい。
The recording / reproducing
記録再生ドライブ部１３３には、符号化映像が多重化されたストリーム情報、ストリーム情報の再生制御情報、メタデータ制御ファイル、及びサムネイル画像ファイルが記録される。ストリーム情報の再生制御情報には、記録再生ドライブ部１３３に記録されているストリーム情報から分離した符号化映像音声ストリームに関する映像や音声の属性情報と、ストリーム情報のアクセス単位（通常、ＧＯＰ単位）毎に再生開始時間情報及び再生開始位置情報の対応関係を示す情報などが含まれる。なお、再生開始時間情報及び再生開始位置情報は、タイムサーチや特殊再生（早送り再生や巻き戻し再生）などのランダムアクセスを行うために用いられる。
The recording /
サムネイル画像ファイルは、主にサムネイル画像メニューを生成するために使用される、ある映像シーンの代表画の縮小画像を記録したファイルである。映像シーンの代表画とは、セグメントの先頭ピクチャの画像ファイル又はショットの先頭ピクチャの画像ファイルである。ただし、映像シーンの代表画は、セグメント内の先頭ピクチャ以外のピクチャ、例えば、セグメント内において任意の時間経過した後のピクチャ、又は、ショットの先頭ピクチャ以外のピクチャ、例えば、ショット内において任意の時間経過した後のピクチャであってもよい。なお、サムネイル画像ファイルのデータ形式は、ビットマップファイルやＲＡＷデータのような非圧縮データ形式であってもよく、ＪＰＥＧなどの圧縮データ形式であってもよい。また、サムネイル画像ファイルは、ＤＣ成分のようなサムネイル画像を生成するための情報を含んでもよい。 The thumbnail image file is a file in which a reduced image of a representative image of a certain video scene, which is mainly used for generating a thumbnail image menu, is recorded. The representative picture of the video scene is an image file of the first picture of the segment or an image file of the first picture of the shot. However, the representative picture of the video scene is a picture other than the first picture in the segment, for example, a picture after an arbitrary time has elapsed in the segment, or a picture other than the first picture in the shot, for example, an arbitrary time in the shot. It may be a picture after elapse. The data format of the thumbnail image file may be an uncompressed data format such as a bitmap file or RAW data, or a compressed data format such as JPEG. The thumbnail image file may include information for generating a thumbnail image such as a DC component.
メタデータ制御ファイルは、ストリーム情報ファイル中から、サムネイル画像ファイルが関連付けられているセグメントやショットを特定するための情報を記録するファイルである。また、メタデータ制御ファイルは、このような関連情報以外にも、セグメントやショットを補足説明する情報である、再生時間、再生開始位置、代表画のピクチャサイズ、映像ジャンル、及びピクチャの物理特性を示す情報などを含むことができる。 The metadata control file is a file that records information for specifying a segment or shot associated with a thumbnail image file from the stream information file. Further, in addition to such related information, the metadata control file is information that supplementally explains segments and shots, such as playback time, playback start position, picture size of representative picture, video genre, and physical characteristics of pictures. It can include information to show.
図１に示される、放送受信部１３１は、ＭＰＥＧ−２ ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ（ＭＰＥＧ−２ ＴＳ）形式で符号化圧縮されたデジタル放送波を受信する。デジタル放送波は、複数の番組の映像音声情報が多重化された信号であってもよい。この場合には、放送受信部１３１は、特定の番組のＭＰＥＧ−２ ＴＳのみを抽出する機能を持つ必要がある。また、ストリーム制御部１３２は、デコーダブロック１３０におけるストリームの流れを統括制御する。
A
次に、本実施の形態における記録処理を説明する。放送受信部１３１は、デジタル放送波として受信されたＭＰＥＧ−２ ＴＳを、ストリーム制御部１３２に供給する。システム制御部１２０からの指示にしたがって、記録再生ドライブ部１３３は、ストリーム制御部１３２に供給されたＭＰＥＧ−２ ＴＳのストリーム情報を記録する。
Next, recording processing in the present embodiment will be described. The
ストリーム制御部１３２は、ストリーム情報を記録再生ドライブ部１３３に記録させる制御を行うとともに、符号化圧縮単位としてのＧＯＰ毎に、システム制御部１２０に対して、ランダムアクセスするための情報として、再生開始時間、再生開始位置などを通知する。その後、システム制御部１２０は、ランダムアクセスするための情報である再生開始時間、再生開始位置などを再生制御情報として、記録再生ドライブ部１３３に記録させる。
The
特徴シーン抽出部１３５は、記録再生ドライブ部１３３に対するストリーム情報の記録中に、ストリーム情報からセグメント及びショットに関連する情報を抽出する。具体的には、ストリーム制御部１３２から特徴シーン抽出部１３５にストリーム情報が入力され、その後、特徴シーン抽出部１３５は、入力されたストリーム情報のアクセス単位毎に、符号化圧縮単位の先頭に位置するＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）の映像情報を特定する。なお、Ｉピクチャは、符号化圧縮単位の基本ピクチャであり、動き予測を用いずに映像信号を直接符号化したフレーム映像である。
The feature
特徴シーン抽出部１３５は、アクセス単位毎にＩピクチャの物理変化量を算出し、特徴シーン抽出部１３５内に備えられたバッファメモリに格納する。なお、物理変化量とは、ピクチャの画像情報から得られるカラーヒストグラム、ＤＣ成分、エッジ情報、テクスチャ情報、動きベクトルなどの物理情報、又はそれらの組み合わせた情報である。本実施の形態においては、ピクチャの特徴を示すＤＣ成分をバッファメモリ１３５ａ又は１３５ｂに蓄積する場合を説明する。その後、順次アクセス単位毎に物理変化量の蓄積処理を行うとともに、過去に蓄えた物理変化量との比較を行う。画像比較を行う際には、物理変化量を元にその特徴（空間的、時間的）によって、セグメントであるかショットであるかの分類を行うことができる。このように取得した比較結果から、予め設定している閾値（第１の閾値α又は第２の閾値β）を越えるか否かによって、セグメントの境界又はショットの境界（シーンチェンジ）の判定を行う。
The feature
システム制御部１２０からの指示にしたがって、セグメント又はショットと判定された映像区間の代表画のサムネイル画像は、記録再生ドライブ部１３３内のサムネイル画像ファイルに記録される。同時に、記録されたサムネイル画像ファイルのファイル名、開始時刻、終了時刻、Ｉピクチャ位置、Ｉピクチャサイズは、記録再生ドライブ部１３３内のメタデータ制御ファイルに記録される。なお、上述したサムネイル画像は、Ｉピクチャから再エンコードして生成してもよいし、画像比較で用いたＤＣ成分をそのまま利用してもよい。
In accordance with an instruction from the
また、セグメントとショットを特定する処理は、後述するサムネイル画像メニューの表示前に行われていればよく、記録再生ドライブ部１３３による記録中に行ってもよく、再生開始後に適宜行ってもよく、オフライン中に選択された番組に対して行ってもよい。
In addition, the process of specifying the segment and shot may be performed before the thumbnail image menu described later is displayed, may be performed during recording by the recording / reproducing
また、本実施の形態においては、セグメント及びショットの抽出処理と、システム処理の負荷をバランスよく構成できる例として、アクセス単位の代表画であるＩピクチャに対して物理変化量の比較を行うが、システム処理性能が高ければ全てのフレームを対象に物理変化量の比較を行ってもよい。 In this embodiment, as an example in which the load of segment and shot extraction processing and system processing can be configured in a balanced manner, physical change amounts are compared with respect to an I picture that is a representative image of an access unit. If the system processing performance is high, the physical change amounts may be compared for all frames.
次に、本実施の形態における不要シーン特定処理を説明する。不要シーン特定部１３６は、ストリーム情報の記録中にコマーシャル映像、及びコマーシャル映像の前後に位置する映像重複シーンに関連する区間情報を抽出する。具体的には、まずストリーム制御部１３２から不要シーン特定部１３６にストリーム情報が入力される。その後、不要シーン特定部１３６は、入力されたストリーム情報をデコードし、音声情報から無音部分の時刻情報を特定する。そして、不要シーン特定部１３６は、特定された無音部分の時刻情報と、特徴シーン抽出部１３５で特定したシーンチェンジ点の時刻情報とを比較し、コマーシャル映像に特有の映像と音声の変化点が周期性を持って存在するかを判定する。システム制御部１２０からの指示にしたがって、コマーシャル映像と判定された区間を示す情報は、記録再生ドライブ部１３３内に、メタデータ制御ファイルとして記録される。ここで、無音部分とは、テレビジョン放送のＣＭの前後（すなわち、番組本編とＣＭ期間の間、及び、ＣＭ期間内に含まれる複数のＣＭ部分の境界）に存在する。また、このため、ＣＭ境界を検出する際に、テレビジョン放送の無音部分を検出する。また、コマーシャル映像に特有の映像と音声の変化点の周期性とは、例えば、１つのＣＭ部分の境界は一定の周期（例えば、日本のＴＶ放送においては、１５秒又は３０秒など）で現れるように決められていることであり、これを「ＣＭルール」とも言う。
Next, the unnecessary scene specifying process in the present embodiment will be described. The unnecessary
不要シーン特定部１３６は、コマーシャル映像の区間が特定された後、コマーシャル映像の区間の前後にショットが存在するか否かを、システム制御部１２０に問い合わせてもよい。システム制御部１２０は、記録再生ドライブ部１３３内のメタデータ制御ファイル及びサムネイル画像ファイルを読み込み、コマーシャル映像と判定された区間の前後に画像相関性の高い区間があるかを判定する。もしもコマーシャル映像と判定された区間の前後に画像相関性の高い区間が存在すれば、コマーシャル映像区間を挟んで表示された映像重複シーンと判定してもよい。このように判定された一方の映像重複シーンとコマーシャル映像シーンを、メタデータ制御ファイル中の不要シーンと判定してもよい。このように構成することで、コマーシャル映像付近に存在する同じショットを複数提示しないサムネイル画像メニューを生成することができる。
The unnecessary
次に、本実施の形態における再生処理を説明する。記録再生ドライブ部１３３に記録されたストリーム情報を再生させる場合には、システム制御部１２０は、再生対象のストリーム情報に関連する再生制御情報を記録再生ドライブ部１３３から予め読み出し、これをメモリ部１２１に保持する。その後、記録再生ドライブ１３３は、記録されているストリーム情報を読み出し、ストリーム制御部１３２を経由して、映像音声デコーダ部１３４に供給する。映像音声デコーダ部１３４は、ストリーム情報を逐次取り込んだ後に、符号化圧縮された映像ストリーム又は音声ストリームに分離する。その後、映像音声デコーダ部１３４は、ＭＰＥＧ−２方式などで符号化された映像ストリームをデコード処理して映像信号に復号する。一方、映像音声デコーダ部１３４は、ＡＣ−３方式などで符号化された音声ストリームをデコード処理して、音声信号に復号する。
Next, the reproduction process in the present embodiment will be described. When the stream information recorded on the recording /
ＯＳＤ生成部１３７は、システム制御部１２０からの指示にしたがって、サムネイル画像を利用した映像検索画面（後述する図７及び図８に示す）を生成する。生成した映像検索画面信号は、加算回路１３８によって、映像音声デコーダ部１３４から出力される映像信号に重畳される。このようにして出力された映像信号及び音声信号は、表示装置１４０に入力され、表示装置１４０は、映像検索画面が重畳された映像を表示する。
The
操作入力部１１０は、符号化映像再生装置１００のフロントパネルに配置されている操作パネルやリモコンなどを指す。操作入力部１１０には、番組や映像シーンを選択するためのキー、例えば、上下左右キー、決定キー、が具備されている。システム制御部１２０は、操作入力部１１０によって要求された命令の内容を解釈し、デコーダブロック１３０を制御することで、任意のストリーム情報を再生する。
The
なお、本実施の形態においては、特徴シーン抽出部１３５及び不要シーン特定部１３６が、デコーダブロック１３０内のハードウェアとして構成されている場合を説明しているが、これらは、デコーダブロック１３０の外部に存在してもよく、また、同様の機能を有するファームウェアであってもよい。
In the present embodiment, the case where the feature
図２は、記録再生ドライブ部１３３の情報記録媒体１３３ａ内の論理ファイル構造を示す図である。図２に示されるように、この論理ファイルには、論理的に階層構造を成すファイル構造の最上位階層に、ディレクトリ構造であるルートディレクトリ２００が配置され、ルートディレクトリ２００の下位階層に、ディレクトリ構造であるマルチメディアディレクトリ２０１が配置され、マルチメディアディレクトリ２０１の下位階層に、ディレクトリ構造であるストリーム管理ディレクトリ２０２と、メタデータ管理ディレクトリ２０３とが配置されている。なお、メタデータ管理ディレクトリ２０３（及びメタデータ管理ディレクトリ２０３の中のファイル）を総称して、メタデータ記録領域と呼ぶ。本実施の形態においては、メタデータ記録領域内の情報が、番組記録時に生成される場合を説明するが、本発明における検索画面を表示する前に生成すればよく、例えば、再生開始前や再生開始中に生成してもよい。
FIG. 2 is a diagram showing a logical file structure in the information recording medium 133a of the recording / reproducing
また、図２に示される論理ファイルには、マルチメディアディレクトリ２０１の下位階層に、再生制御情報ファイル２１１が配置されている。再生制御情報ファイル２１１には、記録再生ドライブ部１３３内の録画番組の管理情報が記述されている。また、ストリーム情報ファイル２１２は、録画番組の映像信号又は音声信号の少なくとも一方を符号化圧縮し、再生時間情報と共に多重化したファイルであり、メタデータ管理ファイル２１３は、特徴シーンデータの管理情報を記述したファイルであり、サムネイル画像ファイル２１４は、録画番組の特徴シーンの代表画を記録したファイルである。
In the logical file shown in FIG. 2, a playback control information file 211 is arranged in the lower hierarchy of the
ストリーム情報ファイル２１２は、録画番組単位で１つのファイルが割り当てられており、番組を特定するためにユニークなファイル名が割り振られる。図２には、ファイル名として、５桁の数字が割り当てられている場合を示しているが、他のファイル名を採用することもできる。 In the stream information file 212, one file is allocated for each recorded program, and a unique file name is assigned to identify the program. Although FIG. 2 shows a case where a five-digit number is assigned as the file name, other file names may be employed.
また、サムネイル画像ファイル２１４においては、特徴シーン毎に１つのファイルが割り当てられる。図２には、サムネイル画像ファイル２１４として、アンダースコアによって区切られた前半５桁の数字と、後半６桁の数字から構成されファイル名が例示されている。前半５桁には、特徴シーンが含まれるストリーム情報ファイル２１２の名前が格納される。後半６桁には、当該ストリーム情報ファイル２１２の先頭から起算したフレーム番号が記録される。例えば、サムネイル画像ファイル「００００２＿０００１３５．ｄａｔ」は、名前が０２０００．ｍｔｓのストリーム情報ファイル２１２に関連付けて記録されており、先頭から１３５枚目のフレームのサムネイル画像が記録されているファイルである。
In the
ストリーム情報ファイル２１２とサムネイル画像ファイル２１４は、個別のディレクトリ内に配置する例を示したが、同一のディレクトリ内に配置されていてもよいし、メタデータ管理ファイル２１３及びサムネイル画像ファイル２１４がルートディレクトリ２００に直接配置されてもよい。また、メタデータ管理ファイル２１３に、単一のファイルに全ての録画番組の特徴情報がまとめて記録されている例を示しているが、録画番組の特徴情報を、複数のファイルに分割して記録してもよい。また、サムネイル画像ファイル２１４は、特徴シーン毎に分割してファイルを形成しているが、単一のファイルにまとめて管理してもよい。
Although the stream information file 212 and the
本実施の形態におけるメタデータ管理ディレクトリ２０３は、記録再生ドライブ部１３３の所定物理アドレス区間に記録されていてもよい。このように構成すれば、特徴シーンの情報をまとめて記録や消去する場合に、ディスクシークの発生を抑えることができ、データの読み取り及び書き込みを高速にすることができる。
The
また、メタデータ管理ファイル２１３のデータ形式は、テキスト形式であってもバイナリ形式であってもよく、これら以外の形式であってもよい。なお、第三者による改ざんや情報の流出を阻むために、メタデータ管理ファイル２１３に暗号化処理を施すこともできる。
The data format of the
また、サムネイル画像ファイル２１４は、ストリーム情報ファイル２１２中の映像データを示す画像情報を復号できればよく、非可逆圧縮映像でも可逆圧縮映像であってもよい。また、メタデータ管理ファイル２１３と同様に、第三者による改ざんや情報の流出を阻むために、サムネイル画像ファイル２１４に暗号化処理を施すこともできる。
The
再生制御情報ファイル２１１に、メタデータ管理ディレクトリ２０３又はメタデータ管理ファイル２１３が存在しているか否か、又はメタデータ管理ファイル２１３又はサムネイル画像ファイル２１４が記述されていても、有効な値であるか否かの情報を記述しておくこともできる。このように構成すれば、システム制御部１２０は、メタデータ記録領域の情報を参照することなく、素早くメタデータ管理ファイル２１３又はサムネイル画像ファイル２１４の有無又は有効であるか否かを判断することができる。
Whether or not the
図３は、図２に示されるストリーム情報ファイル２１２の４階層から成るデータ管理構造を示す図である。図３に示されるように、ストリーム情報ファイル２１２は、４階層から成るデータ管理構造を持つ。最下層のフレーム層においては、ストリーム情報ファイル２１２は、映像フレーム単位に細分化されており、所定数の映像フレームは符号化圧縮単位毎にＧＯＰ３００というアクセス単位を形成する。なお、ＧＯＰ３００の先頭フレームは、Ｉピクチャである。フレーム層の上位層であるショット層においては、ストリーム情報ファイル２１２は、シーンチェンジ間の区間を示す複数のショット（図３には、Ｓｈｏｔ＃１〜＃７を示す。）３０１から構成されており、各ショットは、１つ以上のＧＯＰ３００から構成されている。また、ショット層の上位層であるセグメント層においては、ストリーム情報ファイル２１２は、意味的な連続区間を示す複数のセグメント（図３には、Ｓｅｇｍｅｎｔ＃１〜＃４を示す。）３０２から構成されており、各セグメントは、１つ以上のショット３０１から構成されている。
FIG. 3 is a diagram showing a data management structure including four layers of the stream information file 212 shown in FIG. As shown in FIG. 3, the stream information file 212 has a data management structure consisting of four layers. In the lowermost frame layer, the stream information file 212 is subdivided into video frame units, and a predetermined number of video frames form an access unit called
図４は、図２に示される再生制御情報ファイル２１１のシンタックスを示す図である。再生制御情報ファイル２１１は、ディスク一般情報４００と、録画番組情報４１０とを有する。図４に示されるように、ディスク一般情報４００には、ディスクの属性情報が含まれる。ディスク一般情報４００には、“ｍｅｔａ＿ｄｉｓｃ＿ｖａｌｉｄ＿ｆｌａｇ”４０１と、“ｄｉｓｃ＿ｎａｍｅ”４０２とが含まれる。“ｍｅｔａ＿ｄｉｓｃ＿ｖａｌｉｄ＿ｆｌａｇ”４０１は、記録されたメタデータ記録領域の情報が有効か無効かを示すフラグ情報である。“ｄｉｓｃ＿ｎａｍｅ”４０２は、ディスク名を示す情報である。
FIG. 4 is a diagram showing the syntax of the playback control information file 211 shown in FIG. The reproduction control information file 211 includes disc general information 400 and recorded
また、図４に示されるように、録画番組情報４１０には、光ディスク内に記録されている録画番組の管理情報が含まれる。録画番組情報４１０には、録画番組の総数を示す“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”４１１が含まれ、次のループ文「ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ；ｉ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”４１１が示す数だけ繰り返される。
As shown in FIG. 4, the recorded
ストリーム情報ファイル名４１２は、録画番組が対応付けられているストリーム情報ファイル２１２の名前を示す５桁の数字情報である。また、開始時間情報４１３及び終了時間情報４１４は、録画番組に関連付けられたストリーム情報ファイル２１２に多重化されるシステム時刻を基準とした開始時刻と終了時刻である。なお、本実施の形態においては、システム時刻を記録した例を示しているが、単純に開始時間情報４１３として番組先頭を示す００時間００分００秒と設定し、終了時間情報４１４を番組終了までの時刻を設定してもよい。また、図４に示されるように、ストリーム情報ファイル名４１２、開始時間情報４１３、及び終了時間情報４１４は、ストリーム情報ファイル２１２を特定し、当該ストリーム情報ファイル２１２からの読出し位置を決定する情報であり、再生区間情報と呼ぶ。
The stream information file name 412 is 5-digit numerical information indicating the name of the stream information file 212 associated with the recorded program. The
また、“ｍｅｔａ＿ｔｉｔｌｅ＿ｖａｌｉｄ＿ｆｌａｇ”４１５は、メタデータ記録領域内に、録画番組が動画検索用のメタデータを保持しているか否かを示すフラグ情報である。ユーザーによって録画番組の再生が指示された際には、“ｍｅｔａ＿ｔｉｔｌｅ＿ｖａｌｉｄ＿ｆｌａｇ”４１５に基づいて、メタデータを作成する必要があるか否かを判断することができる。 Also, “meta_title_valid_flag” 415 is flag information indicating whether or not the recorded program holds metadata for moving image search in the metadata recording area. When the user instructs the reproduction of the recorded program, it can be determined whether or not the metadata needs to be created based on “meta_title_valid_flag” 415.
また、属性情報管理テーブル４２０には、ストリーム情報ファイル２１２中に多重化されている映像情報や音声情報などの属性情報が記録されている。また、属性情報管理テーブル４２０には、ストリームを構成している映像情報や音声情報毎にパケットＩＤなどを格納しており、当該パケットＩＤを用いて映像音声デコード部１３４は、映像データ、音声データ、ストリーム管理データなどに分離することができる。
In the attribute information management table 420, attribute information such as video information and audio information multiplexed in the stream information file 212 is recorded. The attribute information management table 420 stores packet IDs for each video information and audio information constituting the stream, and the video /
また、アクセスポイント管理テーブル４３０には、アクセス単位毎のストリーム読み出し位置と再生開始時間を記録したリスト情報が記録されており、このリスト情報を用いてサーチや特殊再生などのランダムアクセス再生を行うことができる。例えば、映像データがＭＰＥＧ−２ビデオストリームでエンコードされている場合、ＧＯＰの先頭がアクセス単位に相当するものであり、当該ＧＯＰ毎に再生開始時間と再生開始アドレス（ストリームファイル先頭を起算とした位置）の情報が記述されている。符号化映像再生装置１００は、再生開始時間情報からストリーム情報ファイル２１２の再生開始アドレスを割り出し、ランダムアクセス再生を行う。
The access point management table 430 stores list information that records the stream read position and playback start time for each access unit. Random access playback such as search and special playback is performed using this list information. Can do. For example, when video data is encoded with an MPEG-2 video stream, the head of the GOP corresponds to the access unit, and the playback start time and playback start address (position starting from the stream file head are counted for each GOP. ) Information is described. The encoded
図５は、図２に示されるメタデータ管理ファイル２１３のシンタックスを示す図である。まず、録画番組の総数を示す“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”５０１が記録され、次のループ文「ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｏｆ＿Ｔｉｔｌｅ；ｉ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｔｉｔｌｅ”５０１の数だけ繰り返される。このループ文「ｆｏｒ（ｉ＝０；ｉ＜ｎｕｍ＿ｏｆ＿Ｔｉｔｌｅ；ｉ＋＋）以下」には、サムネイル情報５１０と不要シーン情報５４０とが含まれる。
FIG. 5 is a diagram showing the syntax of the
図５に示されるように、サムネイル情報５１０には、“ｎｕｍ＿ｏｆ＿ｓｅｇｍｅｎｔ”５１１と、“ｎｕｍ＿ｏｆ＿ｓｈｏｔ”５１２が含まれ、それぞれには、録画番組タイトルが持つセグメント数とショット数が記録される。
As shown in FIG. 5, the
図５に示されるループ文「ｆｏｒ（ｊ＝０；ｊ＜ｎｕｍ＿ｏｆ＿ｓｅｇｍｅｎｔ；ｊ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｓｅｇｍｅｎｔ”５１１の数だけ繰り返され、当該ループ文中の情報は、セグメント情報５２０と呼ばれる。セグメント情報５２０には、“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１と、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３と、“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４と、“Ｅｎｄ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２５とが含まれる。“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１は、当該セグメントと関連したショットを特定するためのＩＤ番号であり、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３は、当該セグメントを示すサムネイル画像ファイル２１４のファイル名であり、“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４は当該セグメントの開始時間を示す時刻情報であり、“Ｅｎｄ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２５は、当該セグメントの終了時間を示す時刻情報である。なお、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３に、例えば、０ｘＦＦＦＦなどの特定値が設定されている場合には、当該セグメントに関連したサムネイル画像ファイル２１４が存在しないことを示す。その場合、ストリーム情報ファイル２１２から再読込みを行うことで、当該セグメントに関連したサムネイル画像ファイルを、別途生成するように構成してもよい。
The loop sentence “for (j = 0; j <num_of_segment; j ++) or less” shown in FIG. 5 is repeated by the number of “num_of_segment” 511, and the information in the loop sentence is called
また、図５に示されるループ文「ｆｏｒ（ｋ＝０；ｋ＜ｎｕｍ＿ｏｆ＿ｓｈｏｔ；ｋ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｓｈｏｔ”５１２の数だけ繰り返され、当該ループ文中の情報は、ショット情報５３０と呼ばれる。ショット情報５３０には、“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１と、“Ｓｔａｒｔ＿ｓｈｏｔ＿ｔｉｍｅ”５３２と、“Ｅｎｄ＿ｓｈｏｔ＿ｔｉｍｅ”５３３と、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４と、“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５とが含まれる。“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１は、当該セグメントを示すサムネイル画像ファイル２１４のファイル名であり、“Ｓｔａｒｔ＿ｓｈｏｔ＿ｔｉｍｅ”５３２は、当該ショットの開始時間を示す時刻情報であり、“Ｅｎｄ＿ｓｈｏｔ＿ｔｉｍｅ”５３３は、当該ショットの終了時間を示す時刻情報であり、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４は、当該ショット内の先頭Ｉピクチャの開始位置情報であり、“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５は、当該ショット内の先頭Ｉピクチャのサイズである。なお、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４は、ストリーム映像ファイル２１２の先頭から起算したバイト数を示している。“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５は、当該Ｉピクチャ先頭から起算したバイト数を示す。また、“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４と“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５は、位置を特定できる情報であればよく、バイト数でもセクタ数でもパケット数などの計測単位で記録されていてもよい。なお、“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１に、例えば、０ｘＦＦＦＦなどの特定値が設定されている場合には、当該ショットに関連したサムネイル画像ファイル２１４が存在しないことを示す。その場合、ストリーム情報ファイル２１２から再読込みを行うことで、当該ショットに関連したサムネイル画像ファイルを、別途生成するように構成してもよい。
Also, the loop sentence “for (k = 0; k <num_of_shot; k ++) or less” shown in FIG. 5 is repeated by the number of “num_of_shot” 512, and the information in the loop sentence is called
また、図５に示されるように、不要シーン情報５４０は、“ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ”５４１情報を含む。“ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ”５４１は、当該録画番組に含まれるコマーシャル映像などの不要区間数を示す情報である。図５に示されるループ文「ｆｏｒ（ｌ＝０；ｌ＜ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ；ｌ＋＋）以下」は、“ｎｕｍ＿ｏｆ＿ｓｃｅｎｅ”５４１の数だけ繰り返され、当該ループ文中の情報は、不要シーン情報５５０と呼ばれる。不要シーン情報５５０には、“Ｓｔａｒｔ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５１と、“Ｅｎｄ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５２とが含まれる。“Ｓｔａｒｔ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５１は、コマーシャル映像などの番組把握には不要な映像シーンの開始時間の時刻情報を示し、“Ｅｎｄ＿ｓｃｅｎｅ＿ｔｉｍｅ”５５２は、当該区間の終了時間の時刻情報を示す。
Further, as shown in FIG. 5, the
なお、メタデータ管理ファイル２１３に含まれる情報は、１つのファイルで構成する例を示したが、情報の特性に合わせて複数のファイルに分割してもよい。
Note that the information included in the
図６は、図５に示されるメタデータ管理ファイル２１３のデータ構造におけるセグメントとショットの関連図である。図６に示されるように、セグメントは、セグメント情報５２０毎にリスト化されたテーブルとして記述されている。また、セグメント情報５２０毎に、「０」から起算した“Ｓｅｇｍｅｎｔ＿ＩＤ”６０１が割り振られている。同様に、ショットは、ショット情報５３０毎にリスト化されたテーブルとして記述されている。また、ショット情報５３０毎に、「０」から起算した“Ｓｈｏｔ＿ＩＤ”６０２が割り振られている。図６には、Ｎｓｅｇｍｅｎｔ個の“Ｓｅｇｍｅｎｔ＿ＩＤ”６０１と、Ｎｓｈｏｔ個の“Ｓｈｏｔ＿ＩＤ”６０２とが記録されている場合が示されている。
FIG. 6 is a diagram showing the relationship between segments and shots in the data structure of the
“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１の設定値としては、当該セグメントが開始されるショットを特定するＩＤ番号が記録される。例えば、図６においては、“Ｓｅｇｍｅｎｔ＿ＩＤ”６０１が「３」（“Ｓｅｇｍｅｎｔ＿ＩＤ”＝３）であるセグメント情報５２０においては、“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１に「７」の値が設定されている。すなわち、当該セグメント情報５２０が開始されるショットは、ＳｈｏｔＩＤ６０２が「７」（“Ｓｈｏｔ＿ＩＤ”＝７）で設定されたショット情報５３０である。
As a setting value of “ref_to_shotID” 521, an ID number that identifies a shot where the segment starts is recorded. For example, in FIG. 6, in the
こうすれば、セグメント情報５２０に関連づけられたショット情報５３０を特定できることに加え、セグメント情報５２０の代表画であるＩピクチャの記録位置とサイズ情報は、当該セグメント情報５２０に関連付けられたショット情報５３０に記録される“Ｉ＿ｐｉｃｔｕｒｅ＿ｐｏｓｉｔｉｏｎ”５３４と“Ｉ＿ｐｉｃｔｕｒｅ＿ｓｉｚｅ”５３５から識別できる。このようにセグメントとショット間の制御情報を構成することで、セグメントからショットをすぐに特定することができる。このため、セグメントを指定すれば、ショットに関連付けられたサムネイル情報などを瞬時に読み出すことができる。セグメント及びショットにサムネイル画像が関連付けて記録されていない場合であっても、素早くＩピクチャの記録位置とサイズが特定できるので、短時間でサムネイル画像ファイルが生成できる。
In this way, in addition to specifying the
なお、セグメントとショットのサムネイル画像のファイル名に関する情報を共用させる場合、“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３は保持しなくてもよい。例えば、図６においては、セグメント情報５２０（“Ｓｅｇｍｅｎｔ＿ＩＤ”＝３）のサムネイル画像のファイル名は、ショット情報５３０（“Ｓｈｏｔ＿ＩＤ”＝７）の“ｔｈｕｍｂｎａｉｌ＿ｓｈｏｔ＿ｎａｍｅ”５３１の設定値である“０００３０＿００１８００”と特定できる。こうすればセグメントとショット間で無駄な情報を持たず、より少ないデータ量でサムネイル情報を制御することができる。 Note that “thumbnail_segment_name” 523 does not have to be held when information regarding the file names of the segment and shot thumbnail images is shared. For example, in FIG. 6, the file name of the thumbnail image of the segment information 520 (“Segment_ID” = 3) is specified as “00030_001800” which is the setting value of “thumbnail_shot_name” 531 of the shot information 530 (“Shot_ID” = 7). it can. In this way, it is possible to control thumbnail information with a smaller amount of data without having unnecessary information between segments and shots.
図７は、本実施の形態において表示装置１４０に表示される映像検索画面（基本）の一例を示す図である。図４に示されるように、映像検索画面（基本）は、録画番組を再生中に映像シーン検索を行った際に、表示装置１４０に出力される画面イメージを示している。例えば、録画番組の再生中に、操作入力部１１０の一時停止キー、又は映像検索用の専用キーなどを押下することにより、映像検索画面（基本）が表示される。なお、映像検索画面（基本）の表示は、録画番組の選択が行われていればよく、番組再生中に限らない。
FIG. 7 is a diagram showing an example of a video search screen (basic) displayed on the
図７に示されるように、映像検索画面（基本）は、録画番組映像（一時停止中）上に、再生時間バー領域７０１と、セグメント画像情報領域７０２と、セグメント属性情報領域７０３とを表示することで構成される。なお、図７において、録画番組映像に重畳されるこれらの領域が不透過な状態である例を示しているが、録画番組映像の視認性を高めるために、一定の透過率を設定してもよい。
As shown in FIG. 7, the video search screen (basic) displays a playback
再生時間バー領域７０１には、現在選択されている録画番組における開始時刻、終了時刻、及び現在時刻などの情報が表示される。図７においては、開始時刻として「００：００：００」、すなわち、「００時００分００秒」を示し、終了時刻として「００：３０：００」、すなわち、「００時３０分００秒」を示し、現在時刻として「００：２２：１５」、すなわち、「００時２２分１５秒」を示している。
The reproduction
再生時間バー領域７０１は、開始時刻から終了時刻までを棒状の時間バーで示しており、時間バーの内の区間７０１ａ，７０１ｂ，７０１ｃはコマーシャル映像や重複シーンなどの不要シーンを示す。また、棒状の時間バーの内の区間７０１ｄは、現在選択されているセグメントの再生区間を示す。なお、一般的な録画番組はコマーシャル映像直後に視聴価値の高い映像シーンを配置することが多い。そこで、コマーシャル映像を示す区間をあえてユーザーに提示することで、コマーシャル映像を視聴しないように検索性を向上させることができ、加えて、視聴価値の高い見所となる映像シーンを素早く特定することもできる。
The playback
次に、セグメント画像情報領域７０２には、現在選択されているセグメントを示すサムネイル画像を中央に配置し、現在選択されているセグメントの直前の２個分のセグメントを示すサムネイル画像と現在選択されているセグメントの直後の２個分のセグメントを示すサムネイル画像を表示する。図７の例においては、時間的に未来方向のセグメントを、現在選択されているセグメントより右側に配置し、時間的に過去方向のセグメントを、現在選択されているセグメントより左側に配置している。すなわち、図７の例においては、セグメント画像情報領域７０２は、時間軸の順番に、サムネイル画像が左から右に配列される。なお、中央に配置される現在選択されるセグメントは、他のセグメントよりも目立つようにするため、枠を付けたり、画面の彩度を変更したり、画像サイズを一回り大きくするなどの強調処置を採用してもよい。
Next, in the segment
なお、セグメント画像情報領域７０２に表示するサムネイル画像は、サムネイル画像ファイル２１４で記録された画像解像度を変更させないほうが望ましい。なぜならば、サムネイル画像ファイル２１４をスケーリング表示させると、符号化映像再生装置１００は画像拡大縮小処理を行う必要があり、システムへの負荷をかけるとともに応答性が悪くなる可能性があるからである。また、セグメント画像情報領域７０２に配置するサムネイル画像の個数は奇数であることが望ましい。なぜならば、ユーザーの認知性を向上させるために、現在選択されている画像を中央に表示させるためである。現状、サムネイル画像ファイルは、ＭＰＥＧ圧縮時のＤＣ成分を利用しているため、画像サイズは１／８である。サムネイル画像ファイルをスケーリングせずに表示する場合、セグメント画像情報領域７０２には８個分のサムネイル画像を格納可能である。一方、この値は偶数であることに加え、サムネイル画像間に隙間なく配置されるため、視認性が極端に悪くなる。そのためこのような条件下においては７個分又は５個分のサムネイル画像を配置するのが最適と考えられる。
Note that it is desirable that the thumbnail image displayed in the segment
セグメント画像情報領域７０２においては、操作入力部１１０の左右キー押下によって現在選択されているセグメントを移動することができる。例えば、操作入力部１１０の右キーを押下すると、セグメント画像情報領域７０２に表示されているサムネイル画像が全体的に左にシフトする。図７上のＤに示す図（ビルと人間が表示）が中央の位置に移動し、当該サムネイル画像が選択されることとなる。全体的にサムネイル画像が左にシフトするため、図７上のＡに示す図（太陽とビル）が表示されなくなり、図７上のＥの後方に存在するセグメントを示すサムネイル画像が新たに読み込まれて、最右端の位置に表示される。
In the segment
また、操作入力部１１０の決定キーを押下することにより、当該セグメントが示す映像シーンにサーチし、当該再生位置から通常再生を行うことができる。
In addition, by pressing the enter key of the
セグメント属性情報領域７０２には、現在選択されているセグメントの順番を示す番号とセグメント総数、及び現在選択されているセグメント開始時刻と番組総再生時間、セグメントの時間長などが表示される。
In the segment
なお、操作入力部１１０の左右キー押下によって、セグメント画像情報領域７０２内のサムネイル画像は逐次更新されるが、それに連動して再生時間バー領域７０１、及びセグメント属性情報領域７０３の表示内容も更新される。再生時間バー領域７０１においては、現在時刻及び現在時刻が属するセグメント表示色の位置が更新される。同様にセグメント属性情報領域７０３においては、次セグメントの情報に更新される。なお、現在一時停止中のバックグラウンドに表示されている再生画像については、次セグメントの映像を表示してもよいし、当該映像検索時に一時停止した際の映像を表示し続けていてもよい。
Note that the thumbnail images in the segment
図８は、本実施の形態における表示装置１４０に表示される映像検索画面（詳細）の一例を示す図である。図８に示されるように、映像検索画面（詳細）は、映像検索画面（基本）から、さらに細分化した映像シーン検索を行った際に、表示装置１４０に出力される画面イメージを示している。この映像検索画面（詳細）は、図７に示される映像検索画面（基本）に表示されるセグメントを示す第１段階のサムネイル画像を選択した際に表示される第２段階のサムネイル画像メニューである。映像検索画面（詳細）は、映像検索画面（基本）のセグメントを選択した状態で、操作入力部１１０の上キー、又は映像検索用の専用キーなどを押下することにより、映像検索画面（詳細）が表示される。
FIG. 8 is a diagram illustrating an example of a video search screen (details) displayed on the
図８に示されるように、映像検索画面（詳細）は、映像検索画面（基本）の情報に加え、ショット画像情報領域８０１が表示される。また、セグメント属性情報領域７０３は、ショット属性情報領域８０２に表示が変更される。なお、図８に示されるように、選択されたセグメントのサムネイル画像以外については、選択されていないことを明示するようサムネイル画像の彩度を変えて、区別しやすいように表示してもよい。また、図７と同様に、ショット画像情報領域８０１について、再生映像の視認性を高めるために、ある一定の透過率を設定してもよい。
As shown in FIG. 8, the video search screen (details) displays a shot
ショット画像情報領域８０１には、現在選択されているショット（図８においては、現在選択されているセグメントのサムネイル画像（領域７０２内のＣ）と同じ画像）を示すサムネイル画像を中央に配置し、現在選択されているショットを示すサムネイル画像の直前の３個分のショットを示すサムネイル画像と、現在選択されているショットを示すサムネイル画像の直後の３個分のショットを示すサムネイル画像とを表示する。ショット画像情報領域８０１におけるサムネイル画像の配置ルールは、セグメント画像情報領域７０２におけるサムネイル画像の配置ルールと同様である。なお、ショット画像情報領域８０１には、選択されているセグメント内のショットのみを表示することも可能であるが、図８に示される例においては、配置可能な個数が許す限り、前後のセグメント内に存在するショットを示すサムネイル画像を配置している。
In the shot
ショット画像情報領域８０１において、現在選択されているショットは、操作入力部１１０の左右キー押下によって、移動させることができる。この移動ルールは、セグメント画像情報領域７０２において、現在選択されているセグメントに適用される移動ルールと同様である。
In the shot
また、操作入力部１１０の決定キーを押下することによって、ショット画像情報領域８０１において、現在選択されているショットが示す映像シーンをサーチし、現在選択されているショットが示す映像シーンの位置から通常再生を行うことができる。
In addition, by pressing the enter key of the
ショット属性情報領域８０２には、現在選択されているショットの順番を示すショット番号及びショット総数、現在選択されているショットの開始時刻及び番組総時間、並びに、現在選択されているショットの時間長が表示される。
The shot attribute
なお、操作入力部１１０の左右キー押下によって、ショット画像情報領域８０１が更新されるが、それに連動して、再生時間バー領域７０１、セグメント画像情報領域７０２、及びショット属性情報領域８０２の表示内容も更新される。再生時間バー領域７０１においては、現在時刻及び現在時刻が属するショット表示色の位置も更新される。同様に、セグメント画像情報領域７０２においては、変更後のショットが属するセグメントが中央に配置されるよう情報内容が更新される。また、ショット属性情報領域８０１においては、次ショットの情報内容に更新される。なお、現在一時停止中のバックグラウンドに表示されている再生画像については、次ショットの映像を表示してもよいし、当該映像検索時に一時停止した際の映像を表示し続けていてもよい。
Note that the shot
図９（Ａ）乃至（Ｅ）は、本実施の形態における不要シーン特定部１３６によって特定された不要シーンを除いて、サムネイル画面を生成する処理の説明図である。図９（Ａ）乃至（Ｃ）は、メタデータ管理ファイル２１３に記録されているセグメント及びショットのデータ構造の一例であり、図９（Ｄ）及び（Ｅ）は、メタデータ管理ファイル２１３中の不要シーン情報に基づいたデータモデルである。図７及び図８に示される映像検索画面は、不要シーン情報である図９（Ｃ）を加味したサムネイル画像の選出が行われることが望ましい。なぜならば、コマーシャル映像における映像の物理変化量は大きく、上記セグメントやショットを数多く検出する可能性が高く、加えて、コマーシャル映像は、ユーザーにとって視聴価値が低く、コマーシャル映像のシーンをサムネイル画像で表示することは、映像検索性という観点からも非常に効率が悪いからである。
FIGS. 9A to 9E are explanatory diagrams of processing for generating a thumbnail screen excluding unnecessary scenes specified by the unnecessary
図９（Ｄ）及び（Ｅ）に示されるように、補正後のセグメント及び補正後のショットの代表画であるサムネイル画像選出に補正処理を施すことによって、ユーザーにとって視聴価値の高い映像シーンに限定して映像検索が行うことができる。具体的には、図９（Ｄ）及び（Ｅ）に示されるように不要シーンで示される映像が一部でも含まれるショットは、映像検索には無効なショットとして認識する。図９（Ａ）乃至（Ｅ）に示されるように、不要シーンを考慮に入れたサムネイル画像を選出する場合、Ｓｅｇｍｅｎｔ＃２の代表画は、Ｓｈｏｔ＃４のサムネイル画像からＳｈｏｔ＃６のサムネイル画像に変更されることになる。このように，セグメントの代表画であるサムネイル画像が、不要シーンの間に含まれている場合でも、映像検索画面におけるサムネイル画像を表示する際に、番組映像検索には無意味な映像シーンをユーザーに提示することないため検索性を向上させることができる。
As shown in FIGS. 9D and 9E, by performing a correction process on selection of thumbnail images that are representative images of the corrected segment and the corrected shot, the video scene is limited to a video scene having high viewing value for the user. Video search can be performed. Specifically, as shown in FIGS. 9D and 9E, a shot including at least a part of the video indicated by the unnecessary scene is recognized as an invalid shot for video search. As shown in FIGS. 9A to 9E, when selecting a thumbnail image in consideration of unnecessary scenes, the representative image of
図９（Ａ）乃至（Ｅ）においては、不要シーンが一部でも存在するショットを無効なショットと判定し、３つのショット（Ｓｈｏｔ＃３，＃４，＃５）が無効なショットと判定される場合を説明したが、無効なショットの判定方法として他の方法を採用することもできる。
In FIGS. 9A to 9E, a shot having some unnecessary scenes is determined as an invalid shot, and three shots (
図１０（Ａ）乃至（Ｅ）に示されるように、不要シーンがショット全体を包含する場合についてのみ、無効なショットと判定する方法を採用してもよい。この場合には、図１０（Ａ）乃至（Ｅ）に示されるように、１つのショット（Ｓｈｏｔ＃４）が無効なショットと判定される。 As shown in FIGS. 10A to 10E, a method of determining an invalid shot may be adopted only when the unnecessary scene includes the entire shot. In this case, as shown in FIGS. 10A to 10E, one shot (Shot # 4) is determined as an invalid shot.
また、図１１（Ａ）乃至（Ｅ）に示されるように、不要シーンがショットの一部だけに存在し且つ一定の基準時間Ｔ０以上の不要シーンが含まれる場合に、無効なショットと判定する方法を採用してもよい。図１１（Ｂ）及び（Ｃ）に示されるように、不要シーンの期間Ｔ３は基準時間Ｔ０より短いので、Ｓｈｏｔ＃３は無効なショットと判定されず、不要シーンの期間Ｔ５は基準時間Ｔ０より長いので、Ｓｈｏｔ＃５は無効なショットと判定される。したがって、２つのショット（Ｓｈｏｔ＃４，＃５）が無効なショットと判定される。
Further, as shown in FIGS. 11A to 11E, when an unnecessary scene exists only in a part of the shot and an unnecessary scene having a certain reference time T0 or more is included, it is determined as an invalid shot. A method may be adopted. As shown in FIGS. 11B and 11C, since the unnecessary scene period T3 is shorter than the reference time T0,
図１２は、符号化映像再生装置１００におけるセグメント情報及びショット情報の取得処理を示すフローチャートである。図１２を用いて、特徴シーン抽出部１３５におけるセグメントとショットの取得動作を詳細に説明する。特徴シーン抽出部１３５内には２つのバッファメモリ（図１における１３５ａ，１３５ｂ）が存在しており、一方（例えば、バッファメモリ１３５ａ）に基準映像フレームのＩピクチャ画像の物理変化量を示す情報を格納し、他方（例えば、バッファメモリ１３５ｂ）に順次読込んだ映像フレームのＩピクチャ画像の物理変化量を格納する。このように２つのバッファメモリ１３５ａ，１３５ｂに読込んだ画像情報を比較し、画像類似性を算出することにより、セグメント及びショットであるか否かを判定する。
FIG. 12 is a flowchart showing segment information and shot information acquisition processing in the encoded
図１２に示されるように、番組の記録動作が開始されると、システム制御部１２０は、常時、ストリーム制御部１３２を監視し、録画中のストリーム情報中の符号化圧縮映像がＧＯＰ開始点か否かを判定する（ステップＳ１０１）。ＧＯＰを検出した場合、システム制御部１２０は、当該ＧＯＰの先頭画像であるＩピクチャ画像を、特徴シーン抽出部１３５に転送させる。特徴シーン抽出部１３５は、２つのバッファメモリ１３５ａ，１３５ｂを内蔵しており、基準フレーム画像の物理変化量を記録する１つ目のバッファメモリ（以下「第１のバッファメモリ」と言う。）１３５ａが使用されているか否かを判定する（ステップＳ１０２）。もし第１のバッファメモリ１３５ａが空いていれば、Ｉピクチャの物理変化量であるＭＰＥＧのＤＣ成分を第１のバッファメモリ１３５ａに格納し（ステップＳ１０３）、次のＧＯＰ検出を待つ。本実施の形態においては、映像の物理変化量としてＤＣ成分を記録しているが、画像のカラーヒストグラムや動きベクトルなどでもよいし、それらの組み合わせであってもよい。
As shown in FIG. 12, when the program recording operation is started, the
ステップＳ１０２において、第１のバッファメモリ１３５ａが使用されていると判断された場合、他方のバッファメモリ（以下「第２のバッファメモリ」と言う。）１３５ｂに、当該映像情報の物理変化量であるＤＣ成分を格納する（ステップＳ１０４）。その後、第１のバッファメモリ１３５ａと第２のバッファメモリ１３５ｂに記録されているＤＣ成分について、画素毎の差分を算出することで、画像類似性を算出する。そして、この算出された値が、予め決められた第１の閾値α以上か否かを判定する（ステップＳ１０５）。
If it is determined in step S102 that the
映像情報の物理変化量が第１の閾値αよりも高い場合、当該Ｉピクチャはセグメントであると判定され（ステップＳ１０６）、当該Ｉピクチャの物理変化量であるＤＣ成分からサムネイル画像を生成し、当該サムネイル画像をサムネイル画像ファイル２１４として記録する。同時に、このセグメントの開始時間情報、サムネイル画像ファイル名をメタデータ管理ファイル２１３中に記録する。なお、この検出されたセグメントより１つ前のセグメントがあった場合、当該セグメントの終了時間情報を記録する。
When the physical change amount of the video information is higher than the first threshold value α, it is determined that the I picture is a segment (step S106), a thumbnail image is generated from the DC component that is the physical change amount of the I picture, The thumbnail image is recorded as a
セグメントはショットを集約したものであるため、セグメントが検出されるとそれに対応するショットの情報も生成される（ステップＳ１０７）。ショットが生成されると、同様にサムネイル画像ファイル２１４を生成し、ショット開始時刻、Ｉピクチャ位置情報、Ｉピクチャサイズ、サムネイル画像ファイル名などをメタデータ管理ファイル２１３中に記録する。なお、この検出されたショットより１つ前のショットがある場合、当該ショットの終了時間情報を記録する。
Since a segment is an aggregate of shots, when a segment is detected, information about the corresponding shot is also generated (step S107). When a shot is generated, a
その後、基準フレームの情報を更新するため、第２のバッファメモリ１３５ｂの内容が第１のバッファメモリ１３５ａの内容になるようデータ更新し（ステップＳ１０８）、処理をステップＳ１１０に進める。
Thereafter, in order to update the information of the reference frame, the data is updated so that the content of the
一方、セグメント判定処理ステップであるステップＳ１０５において、物理変化量が第１の閾値α以下の場合、ショット判定ステップであるステップＳ１０９が実施される。ここでは、物理変化量を、第１の閾値αよりも低い閾値である第２の閾値βと比較する。物理変化量が第２の閾値βよりも高い場合、ショット情報取得フローであるステップＳ１０７以降の処理が行われ、処理をステップＳ１１０に進める。ステップＳ１０８において、物理変化量が第２の閾値β以下の場合、処理をステップＳ１１０に進める。ステップＳ１１０においては、記録終了になるまで、次のＧＯＰについてステップＳ１０１〜Ｓ１０９を繰り返す。 On the other hand, if the physical change amount is equal to or smaller than the first threshold value α in step S105, which is a segment determination processing step, step S109, which is a shot determination step, is performed. Here, the physical change amount is compared with a second threshold value β that is a threshold value lower than the first threshold value α. If the physical change amount is higher than the second threshold value β, the process after step S107, which is a shot information acquisition flow, is performed, and the process proceeds to step S110. If the physical change amount is equal to or smaller than the second threshold value β in step S108, the process proceeds to step S110. In step S110, steps S101 to S109 are repeated for the next GOP until the end of recording.
なお、本実施の形態においては、単純に前後に配置された２枚のＩピクチャの画像類似性のみでセグメントか否かを判定しているが、一定時間内の物理変化量をバッファメモリに格納しておき、この一定時間内の物理変化量の連続性に基づいてセグメントか否かを判断してもよい。このように構成することで、ある連続した映像シーンに一瞬シーンチェンジが入ったとしても、セグメントの連続性が保たれていることを判別できるため、より意味的な不連続点をより適切に判断することができる。 In this embodiment, whether or not a segment is determined based on the image similarity of two I pictures arranged in front and back is simply stored in the buffer memory. In addition, it may be determined whether the segment is based on the continuity of the physical change amount within the predetermined time. By configuring in this way, even if a scene change occurs for a certain continuous video scene, it can be determined that the continuity of the segment is maintained, so more meaningful discontinuities can be determined more appropriately. can do.
図１３は、符号化映像再生装置１００における不要シーン情報の取得処理を示すフローチャートである。図１３を用いて、不要シーン特定部１３６におけるコマーシャル映像である不要区間の特定動作を詳細に説明する。ここでは、一般に、テレビ放送におけるコマーシャルは、番組本編とコマーシャルの間、及び、コマーシャルと次のコマーシャルとの間に無音部分を有し、この無音部分は、固定の周期性を持って現れる（すなわち、無音部分の間隔は所定時間間隔である）ことを利用して、コマーシャル部分か否かを判定する。
FIG. 13 is a flowchart showing an unnecessary scene information acquisition process in the encoded
記録動作が開始されると、システム制御部１２０からの指示にしたがって、ストリーム制御部１３２は、ストリーム情報を不要シーン特定部１３６に転送する。不要シーン特定部１３６は、受け取ったストリーム情報から音声情報を抽出し（ステップＳ２０１）、抽出された音声情報から、音声出力レベルを検出する（ステップＳ２０２）。その後、不要シーン特定部１３６は、音声出力レベルが閾値ε以下である場合に、この部分を無音部分であると判定して、処理をステップＳ２０４に進める。無音部分でない場合は、音声情報が無音部分を検出するまでステップＳ２０１以降の処理を行う。
When the recording operation is started, the
ステップＳ２０４においては、無音と判断された時点の時刻情報と、特徴シーン抽出部１３５で得られたシーンチェンジ点を示すショットの時刻情報を比較し、シーンチェンジ点の近傍に無音部分があるか否かを比較する（ステップＳ２０４）。そして、ステップＳ２０４で得られた結果と、無音部分の長さ、無音部分の周期性から、コマーシャル映像（ＣＭ映像）のルールに合致するか否かを判定する（ステップＳ２０５）。コマーシャルと次のコマーシャルとの間には、無音部分が存在する特徴があるため、非常に短い時間の無音部分が一定の周期で検出されるとコマーシャル映像と判定できる。
In step S204, the time information at the time when it is determined that there is no sound is compared with the time information of the shot indicating the scene change point obtained by the feature
判定の結果、コマーシャル映像と判定された場合、当該区間を不要シーン特定部１３６内のバッファメモリに保持する（ステップＳ２０６）とともに、メタデータ管理ファイル２１３に記録する。そして、記録終了になるまで（ステップＳ２０７）、ステップＳ２０１以降の処理を続ける。
If it is determined as a commercial video as a result of the determination, the section is stored in the buffer memory in the unnecessary scene specifying unit 136 (step S206) and recorded in the
なお、コマーシャル映像区間が判定された後、コマーシャル映像区間前後のショットを示すサムネイル画像ファイル２１４を比較し、重複した映像であると判断された場合、いずれかの映像区間を不要シーンに含めるよう構成してもよい。
In addition, after the commercial video section is determined, the
図１４は、符号化映像再生装置１００における映像検索処理を示すフローチャートである。図１４においては、録画番組再生中に、ユーザーが視聴したい映像シーンを検索する際に図７、図８に示される映像検索画面を表示する処理を説明している。
FIG. 14 is a flowchart showing video search processing in the encoded
まず、録画番組再生中に、操作入力部１１０の一時停止キーが押下されると、システム制御部１２０は、再生制御情報ファイル２１１に記録されている、再生中の番組の開始時間と終了時間を取得する。そして、システム制御部１２０が保持する現在再生している時刻情報を取得する（ステップＳ３０１）。
First, when the pause key of the
その後、システム制御部１２０は、図７に示される映像検索画面（基本）を生成するようＯＳＤ生成部１３７に指示する。ＯＳＤ生成部１３７においては、現在再生している番組の開始時刻、終了時刻、現在再生時刻情報から、図７に示される再生時間バー領域７０１を生成する。そして、ＯＳＤ生成部１３７においては、メタデータ管理ファイル２１３内の不要シーン情報５４０から、番組中の不要シーンの位置を割り出し、再生時間バー領域７０１の黒色で示される領域を記述する（ステップＳ３０２）。
Thereafter, the
その後、システム制御部１２０は、メタデータ管理ファイル２１３から現在の再生時刻が属するセグメントを特定する。セグメントの特定は、セグメント情報５２０に記録されている“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４から“Ｅｎｄ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２５までの区間に含まれるか否かを、全てのセグメントに対して実施することによって行われる。
Thereafter, the
セグメントが特定されると、当該セグメント情報５２０から“ｔｈｕｍｂｎａｉｌ＿ｓｅｇｍｅｎｔ＿ｎａｍｅ”５２３を取得し、サムネイル画像ファイル２１４から同名の画像データを取得し、映像検索画面（基本）の中央のセグメント画像として配置する。同様の手順で、現在セグメントの前後各２個のセグメントについても同様の処理を行うことで、セグメント画像情報領域７０２を表示及び更新する（ステップＳ３０３）。なお、サムネイル画像ファイル２１４の抽出時に、図９（Ａ）乃至（Ｅ）、図１０（Ａ）乃至（Ｅ））、図１１（Ａ）乃至（Ｅ）で示される不要シーンを除いた区間に対して、画像ファイルの選出を行ってもよい。
When the segment is specified, “thumbnail_segment_name” 523 is acquired from the
そして、操作入力部１１０の左右キーが押下されると、選択されているセグメントの位置を更新する（ステップＳ３０４）。同様に、操作入力部１１０の上キーが押下されると、ステップＳ３０７で示される映像検索画面（詳細）の表示ステップに進む（ステップＳ３０５）。操作入力部１１０の決定キーが押下される（ステップＳ３０６）と、ステップＳ３１１に示される映像検索実行の前処理を行う。なお、操作入力部１１０からの入力があるまで、ステップＳ３０３以降の処理を繰り返す。
When the left / right key of the
ステップＳ３０７においては映像検索画面（詳細）を表示する処理であるが、システム制御部１２０は、まず現在選択されているセグメント情報５２０の“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１を取得する。その後、システム制御部１２０は、当該“ｒｅｆ＿ｔｏ＿ｓｈｏｔＩＤ”５２１と同じ“Ｓｈｏｔ＿ＩＤ”６０２を持つショット情報５３０を取得し、映像検索画面（詳細）中の中央のショット画像として配置する。それ以降は、セグメント画像情報領域７０２中のサムネイル配置ルールと同様の手順で、ショット画像情報領域８０１内のサムネイル画像ファイル２１４の配置が行われる。なお、サムネイル画像ファイル２１４の抽出時に、図９（Ａ）乃至（Ｅ）、図１０（Ａ）乃至（Ｅ））、図１１（Ａ）乃至（Ｅ）で示される不要シーンを除いた区間に対して、画像ファイルの選出を行ってもよい。
In step S307, the video search screen (details) is displayed. First, the
そして、操作入力部１１０の左右キーが押下されると、選択されているショットの位置を更新する（ステップＳ３０８）。同様に、操作入力部１１０の下キーが押下されると、ステップＳ３０３で示される映像検索画面（基本）の表示ステップに進む（ステップＳ３０９）。操作入力部１１０の決定キーが押下される（ステップＳ３１０）と、ステップＳ３１１に示される映像検索実行の前処理を行う。なお、操作入力部１１０からの入力があるまで、ステップＳ３０７以降の処理を繰り返す。
When the left / right key of the
ステップＳ３１１においては、操作入力部１１０の決定キーが押下されたセグメント又はショットに関連付けられた開始時間情報を、メタデータ管理ファイル２１３中に記録されている“Ｓｔａｒｔ＿ｓｅｇｍｅｎｔ＿ｔｉｍｅ”５２４又は“Ｓｔａｒｔ＿ｓｈｏｔ＿ｔｉｍｅ”５３２から取得する（ステップＳ３１１）。そして、システム制御部１２０からの指示により、当該開始時間情報の位置にタイムサーチを行い、当該地点から通常再生を行うことで視聴したい映像シーンの検索処理を実行する（ステップＳ３１０）。なお、タイムサーチ後は、通常再生に移行しても、一時停止を継続してもよい。
In step S311, the start time information associated with the segment or shot for which the enter key of the
本実施の形態の装置及び方法によれば、番組把握のために意味的重要性が低いシーン、例えば、コマーシャル映像、又は、コマーシャル前後に位置する重複シーン、を除いた区間を対象に、意味的重要性に基づいて階層化されたサムネイル画像を表示及び選択することができる。このため、本実施の形態の装置及び方法によれば、ユーザーは、階層化されたサムネイル画像を選択することによって、視聴したい映像シーンを迅速、簡単、且つ確実に検索することが可能になる。 According to the apparatus and method of the present embodiment, semantics are targeted for a section excluding a scene having low semantic importance for grasping a program, for example, a commercial video or overlapping scenes positioned before and after the commercial. A thumbnail image hierarchized based on importance can be displayed and selected. For this reason, according to the apparatus and method of the present embodiment, the user can quickly, easily and reliably search for a video scene desired to be viewed by selecting a hierarchical thumbnail image.
また、本実施の形態の装置及び方法によれば、符号化映像像再生装置１００内に保持するサムネイル画像は、ショットとセグメントを示す画像情報のみであればよく、全ての符号化圧縮単位のサムネイル画像を保持する必要はない。また、本実施の形態の装置及び方法によれば、サムネイル画像としては、ＭＰＥＧで利用される画像全体の平均値を表す成分であるＤＣ成分から生成することで、画像間の比較を容易にするとともに、画像圧縮効率に優れたサムネイル画像の情報を記録することができる。このため、符号化映像再生装置１００が取り扱う画像情報量は少なくなり、符号化映像再生装置１００のハードウェア及び／又はソフトウェアには高い情報処理能力が要求されることはなく、回路規模が小さくても、視聴したい映像シーンを効率的に検索することが可能となる。
Further, according to the apparatus and method of the present embodiment, the thumbnail image held in the encoded video
１００ 符号化映像再生装置、 １１０ 操作入力部、 １２０ システム制御部、 １２１ メモリ部、 １３０ デコーダブロック、 １３１ 放送受信部、 １３２ ストリーム制御部、 １３３ 記録再生ドライブ部、 １３４ 映像音声デコーダ部、 １３５ 特徴シーン抽出部、 １３６ 不要シーン特定部、 １４０ 表示装置、 ２００ ルートディレクトリ、 ２０１ マルチメディアディレクトリ、 ２０２ ストリーム管理ディレクトリ、 ２０３ メタデータ管理ディレクトリ、 ２１１ 再生制御情報ファイル、 ２１２ ストリーム情報ファイル、 ２１３ メタデータ管理ファイル、 ２１４ サムネイル画像ファイル、 ３００ ＧＯＰ、 ３０１ ショット、 ３０２ セグメント、 ７０１ 再生時間バー領域、 ７０２ セグメント画像情報領域、 ７０３ セグメント属性情報領域、 ８０１ ショット画像情報領域、 ８０２ ショット属性情報領域。
100 encoded video playback device, 110 operation input unit, 120 system control unit, 121 memory unit, 130 decoder block, 131 broadcast reception unit, 132 stream control unit, 133 recording / playback drive unit, 134 video / audio decoder unit, 135 feature scene Extraction unit, 136 Unnecessary scene identification unit, 140 display device, 200 root directory, 201 multimedia directory, 202 stream management directory, 203 metadata management directory, 211 playback control information file, 212 stream information file, 213 metadata management file, 214 thumbnail image file, 300 GOP, 301 shots, 302 segments, 701 playback time bar area, 702 segment image information area, 703 segment attribute Distribution region, 801 shot
Claims (10)
前記映像信号の物理変化量から、複数の判断基準を用いて、前記複数の判断基準に対応する複数の階層の映像区間をそれぞれ検出し、各階層の各映像区間を代表する特徴情報を抽出する特徴シーン抽出手段と、
前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成する検索画面生成手段と、
ユーザーによる操作入力を受け付ける操作入力手段と、
前記操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させる制御手段と
を有することを特徴とする符号化映像再生装置。 Recording / reproducing means for recording / reproducing moving image data obtained by multiplexing the encoded and compressed video signal and audio signal;
From a physical change amount of the video signal, using a plurality of determination criteria, detect video sections of a plurality of layers corresponding to the plurality of determination criteria, respectively, and extract feature information representing each video section of each layer. A feature scene extraction means;
Search screen generating means for generating a video search menu including thumbnail images representing each video section of each layer based on the feature information;
An operation input means for receiving an operation input by a user;
Control means for causing the recording / playback means to start playback from the video scene associated with the selected thumbnail image by selecting one of the thumbnail images in the video search menu at the operation input unit. An encoded video reproduction apparatus characterized by comprising:
前記検索画面生成手段は、前記不要シーンを除いた映像区間について、前記映像検索メニューを生成する
ことを特徴とする請求項１に記載の符号化映像再生装置。 From an amount of physical change in both the video signal and the audio signal, an unnecessary scene specifying unit for specifying an unnecessary scene is provided,
The encoded video reproduction apparatus according to claim 1, wherein the search screen generation unit generates the video search menu for a video section excluding the unnecessary scene.
前記第１の閾値に対応する階層の映像区間は、セグメントであり、
前記第２の閾値に対応する階層の映像区間は、前記セグメントに一致する区間又は前記セグメントを分割した区間であるショットである
ことを特徴とする請求項１又は２に記載の符号化映像再生装置。 The plurality of determination criteria include a first threshold value and a second threshold value smaller than the first threshold value,
The video section of the hierarchy corresponding to the first threshold is a segment,
The encoded video reproduction device according to claim 1, wherein the video section of the hierarchy corresponding to the second threshold is a shot that is a section that matches the segment or a section obtained by dividing the segment. .
前記ショット画像情報領域に含まれるサムネイル画像は、前記セグメント画像情報領域に含まれるサムネイル画像の一つに対して、時間的に近い順に選ばれた複数のショットのサムネイル画像を含む
ことを特徴とする請求項３に記載の符号化映像再生装置。 The video search menu includes a segment image information area including a plurality of thumbnail images representing each segment, and a shot image information area including a plurality of thumbnail images representing each shot,
The thumbnail image included in the shot image information area includes thumbnail images of a plurality of shots selected in order of time relative to one of the thumbnail images included in the segment image information area. The encoded video reproduction apparatus according to claim 3.
検索画面生成手段によって、前記特徴情報に基づいて、各階層の各映像区間を代表するサムネイル画像を含む、映像検索メニューを生成するステップと、
ユーザーによる操作入力を受け付ける操作入力部で、前記映像検索メニューの中の前記サムネイル画像の一つを選択することによって、前記記録再生手段に、選択された前記サムネイル画像に関連付けられた映像シーンから再生を開始させるステップと
を有することを特徴とする符号化映像再生方法。 From the physical change amount of the video signal of the video data multiplexed by the encoded and compressed video signal and audio signal recorded by the recording / reproducing means, the feature scene extracting means uses a plurality of judgment criteria, and Detecting video sections of a plurality of hierarchies corresponding to a plurality of criteria, respectively, and extracting feature information representing each video section of each hierarchy;
Generating a video search menu including a thumbnail image representing each video section of each layer based on the feature information by a search screen generating means;
An operation input unit that receives an operation input by a user selects one of the thumbnail images in the video search menu, and plays back the video scene associated with the selected thumbnail image on the recording / playback unit. And a method for reproducing the encoded video.
前記映像検索メニューを生成するステップにおいて、前記不要シーンを除いた映像区間について、前記映像検索メニューを生成する
ことを特徴とする請求項６に記載の符号化映像再生方法。 A step of specifying an unnecessary scene from the physical change amount of both the video signal and the audio signal by an unnecessary scene specifying unit;
The encoded video reproduction method according to claim 6, wherein, in the step of generating the video search menu, the video search menu is generated for a video section excluding the unnecessary scene.
前記第１の閾値に対応する階層の映像区間は、セグメントであり、
前記第２の閾値に対応する階層の映像区間は、前記セグメントに一致する区間又は前記セグメントを分割した区間であるショットである
ことを特徴とする請求項６又は７に記載の符号化映像再生方法。 The plurality of determination criteria include a first threshold value and a second threshold value smaller than the first threshold value,
The video section of the hierarchy corresponding to the first threshold is a segment,
The encoded video reproduction method according to claim 6 or 7, wherein the video section of the hierarchy corresponding to the second threshold is a shot that is a section that matches the segment or a section obtained by dividing the segment. .
前記ショット画像情報領域に含まれるサムネイル画像は、前記セグメント画像情報領域に含まれるサムネイル画像の一つに対して、時間的に近い順に選ばれた複数のショットのサムネイル画像を含む
ことを特徴とする請求項８に記載の符号化映像再生方法。 The video search menu includes a segment image information area including a plurality of thumbnail images representing each segment, and a shot image information area including a plurality of thumbnail images representing each shot,
The thumbnail images included in the shot image information area include thumbnail images of a plurality of shots selected in order of time relative to one of the thumbnail images included in the segment image information area. The encoded video reproduction method according to claim 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007294133A JP2009124298A (en) | 2007-11-13 | 2007-11-13 | Device and method for reproducing coded video image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007294133A JP2009124298A (en) | 2007-11-13 | 2007-11-13 | Device and method for reproducing coded video image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009124298A true JP2009124298A (en) | 2009-06-04 |
Family
ID=40816006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007294133A Withdrawn JP2009124298A (en) | 2007-11-13 | 2007-11-13 | Device and method for reproducing coded video image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009124298A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110083914A (en) * | 2010-01-15 | 2011-07-21 | 엘지전자 주식회사 | Image display device with 3d-thumbnail and operation controlling method for the same |
| JP2011172028A (en) * | 2010-02-18 | 2011-09-01 | Canon Inc | Video processing apparatus and method |
| JP2012160869A (en) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | Image processing apparatus |
| JP2012169856A (en) * | 2011-02-14 | 2012-09-06 | Kayaba Ind Co Ltd | Image recording device and drive recorder system |
| CN102823268A (en) * | 2010-03-31 | 2012-12-12 | 汤姆森特许公司 | Trick playback of video data |
| WO2013146657A1 (en) * | 2012-03-30 | 2013-10-03 | 住友電工ネットワークス株式会社 | Video recording device, thumbnail management information creation device, video recording method and video recording program |
| JP2015149759A (en) * | 2015-04-02 | 2015-08-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Trick playback of video data |
| US9438876B2 (en) | 2010-09-17 | 2016-09-06 | Thomson Licensing | Method for semantics based trick mode play in video system |
| US10887542B1 (en) * | 2018-12-27 | 2021-01-05 | Snap Inc. | Video reformatting system |
| US11665312B1 (en) | 2018-12-27 | 2023-05-30 | Snap Inc. | Video reformatting recommendation |
-
2007
- 2007-11-13 JP JP2007294133A patent/JP2009124298A/en not_active Withdrawn
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110083914A (en) * | 2010-01-15 | 2011-07-21 | 엘지전자 주식회사 | Image display device with 3d-thumbnail and operation controlling method for the same |
| KR101655804B1 (en) * | 2010-01-15 | 2016-09-08 | 엘지전자 주식회사 | Image Display Device with 3D-Thumbnail and Operation Controlling Method for the Same |
| JP2011172028A (en) * | 2010-02-18 | 2011-09-01 | Canon Inc | Video processing apparatus and method |
| US11418853B2 (en) | 2010-03-31 | 2022-08-16 | Interdigital Madison Patent Holdings, Sas | Trick playback of video data |
| CN102823268A (en) * | 2010-03-31 | 2012-12-12 | 汤姆森特许公司 | Trick playback of video data |
| JP2013524577A (en) * | 2010-03-31 | 2013-06-17 | トムソン ライセンシング | Trick playback of video data |
| US9866922B2 (en) | 2010-03-31 | 2018-01-09 | Thomson Licensing | Trick playback of video data |
| US9438876B2 (en) | 2010-09-17 | 2016-09-06 | Thomson Licensing | Method for semantics based trick mode play in video system |
| JP2012160869A (en) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | Image processing apparatus |
| JP2012169856A (en) * | 2011-02-14 | 2012-09-06 | Kayaba Ind Co Ltd | Image recording device and drive recorder system |
| WO2013146657A1 (en) * | 2012-03-30 | 2013-10-03 | 住友電工ネットワークス株式会社 | Video recording device, thumbnail management information creation device, video recording method and video recording program |
| JP2013211761A (en) * | 2012-03-30 | 2013-10-10 | Sumitomo Electric Networks Inc | Video recording apparatus, thumbnail management information generating apparatus, video recording method and program |
| JP2015149759A (en) * | 2015-04-02 | 2015-08-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Trick playback of video data |
| US10887542B1 (en) * | 2018-12-27 | 2021-01-05 | Snap Inc. | Video reformatting system |
| US11606532B2 (en) * | 2018-12-27 | 2023-03-14 | Snap Inc. | Video reformatting system |
| US11665312B1 (en) | 2018-12-27 | 2023-05-30 | Snap Inc. | Video reformatting recommendation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009124298A (en) | Device and method for reproducing coded video image | |
| US7941031B2 (en) | Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program | |
| JP3667262B2 (en) | Video skimming method and apparatus | |
| JP4998026B2 (en) | Image processing apparatus, imaging apparatus, image display control method, and computer program | |
| JP2007281856A (en) | Recording and reproducing device and recording and reproducing method | |
| KR100846770B1 (en) | Method for encoding a moving picture and apparatus therefor | |
| US20080320046A1 (en) | Video data management apparatus | |
| WO2010125757A1 (en) | Video/audio reproduction device, video/audio recording/ reproduction device, video/audio reproduction method, and video/audio recording/reproduction method | |
| WO2009139302A1 (en) | Recording/playback device | |
| JP2002281433A (en) | Device for retrieving and reading editing moving image and recording medium | |
| JP2012065087A (en) | Video recording and reproducing apparatus, recording and reproducing method of the same, program of the same, and memory storing program | |
| JP2010004434A (en) | Moving image recorder, moving image reproducer, moving image erasure device, moving image recording method, moving image reproducing method, moving image erasing method and program for performing their methods | |
| JP2007066409A (en) | Recording and reproducing apparatus, and recording and reproducing method | |
| JP2010263374A (en) | Recording and reproducing device and recording and reproducing method | |
| JP2001119661A (en) | Dynamic image editing system and recording medium | |
| JP2008153920A (en) | Motion picture list displaying apparatus | |
| KR101396964B1 (en) | Video playing method and player | |
| JP2007288300A (en) | Video audio reproducing apparatus | |
| KR20060102639A (en) | System and method for playing mutimedia data | |
| JP5423199B2 (en) | Video recording / reproducing apparatus and video recording / reproducing method | |
| KR100370249B1 (en) | A system for video skimming using shot segmentation information | |
| JP2008141383A (en) | Video editing device, system, and method | |
| US20110150413A1 (en) | Moving picture recording/reproducing apparatus and method | |
| JP4539884B2 (en) | Reproducing apparatus, program, and method for constructing electronic screen | |
| JP2005294904A (en) | Thumbnail picture extraction method, apparatus, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110201 |