JP2003283966A - Moving picture data digest information preparing device, method therefor, moving picture data recording/ reproducing device, and moving picture data recording/ reproducing method - Google Patents
Moving picture data digest information preparing device, method therefor, moving picture data recording/ reproducing device, and moving picture data recording/ reproducing methodInfo
- Publication number
- JP2003283966A JP2003283966A JP2002082857A JP2002082857A JP2003283966A JP 2003283966 A JP2003283966 A JP 2003283966A JP 2002082857 A JP2002082857 A JP 2002082857A JP 2002082857 A JP2002082857 A JP 2002082857A JP 2003283966 A JP2003283966 A JP 2003283966A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- moving image
- image data
- feature amount
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management Or Editing Of Information On Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、映像記録再生装置
に関するものであり、特に、映像コンテンツの概要を自
動生成して閲覧するための装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video recording / reproducing device, and more particularly to a device for automatically generating and browsing an outline of video content.
【0002】[0002]
【従来の技術】従来より、映像コンテンツを記録して再
生する装置において、映像コンテンツの視聴に先立ち、
コンテンツの概要(サマリー)を視聴し、その内容に基
づいて、ユーザーが視聴する映像コンテンツを選択する
ことができるものが知られている。2. Description of the Related Art Conventionally, in a device for recording and reproducing video content, prior to viewing the video content,
It is known that a user can select a video content to be viewed based on the content by viewing a summary of the content.
【0003】ここで、映像コンテンツの概要の生成に際
しては、例えば、一定の時間単位において、単一のフレ
ーム又はフレーム群を抜き出してシーンとし、各シーン
を集成して概要とする方法がある。また、特開平6−2
53255号に記載のインデックス表示装置において
は、複数のシーンを含む映像中から1シーン当たり1つ
以上のインデックス画像を抽出し、該インデックス画像
を各シーンごとにシーン中に含まれるインデックス間の
関係を表現する形態によって表示するようにしている。Here, in generating the outline of the video contents, for example, there is a method in which a single frame or a group of frames is extracted as a scene in a certain time unit, and each scene is assembled into an outline. In addition, JP-A-6-2
In the index display device described in Japanese Patent No. 53255, one or more index images per scene are extracted from a video including a plurality of scenes, and the index images are used to show the relationship between indexes included in the scenes. It is displayed according to the form of expression.
【0004】[0004]
【発明が解決しようとする課題】しかし、上記のように
生成された概要は、それぞれのシーンの重要度の判定が
なされていないために、ユーザーが短時間でコンテンツ
における重要な内容を把握することができない。また、
上記特開平6−253255号に記載のインデックス表
示装置の場合には、インデックス画像を表示するのみで
あるので、ユーザは、映像コンテンツの中で特に重要な
内容を知るのが困難である。つまり、各シーンごとにイ
ンデックス画像が表示されるので、重要度の高い内容を
特に知ることは困難である。また、この特開平6−25
3255号に記載のインデックス表示装置の場合には、
動画像コンテンツについて複雑な内容解析を行わなけれ
ばならない。However, in the summary generated as described above, since the importance of each scene is not judged, the user can grasp the important contents in the contents in a short time. I can't. Also,
In the case of the index display device described in JP-A-6-253255, since the index image is only displayed, it is difficult for the user to know what is particularly important among the video contents. That is, since the index image is displayed for each scene, it is difficult to know the contents of high importance. Further, this Japanese Patent Laid-Open No. 6-25
In the case of the index display device described in No. 3255,
Complex content analysis must be performed on moving image content.
【0005】そこで、本発明は、映像コンテンツの中
で、特に重要な内容を短時間で把握することができる要
約画像を作成するとともに、該要約画像の作成を簡便に
行うことができる装置と方法を提供することを目的とす
るものである。Therefore, the present invention is to provide a device and a method capable of creating a summary image capable of grasping particularly important contents in a video content in a short time and easily creating the summary image. It is intended to provide.
【0006】[0006]
【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第1には、動画
像データの要約情報を作成する動画像データ要約情報作
成装置であって、動画像データを構成する各フレームご
とに順次特徴量を検出する特徴量検出手段と、該特徴量
検出手段により検出された特徴量に基づき、動画像デー
タを複数のシーンに分割するシーン分割手段と、あるシ
ーンにおける特徴量と、該シーンよりも前の位置にある
1又は複数のシーンにおける特徴量とを比較することに
より、同一シーンを検出する同一シーン検出手段と、を
有することを特徴とする。The present invention was created to solve the above problems. First, a moving image data summary information creating apparatus for creating summary information of moving image data. Therefore, a feature amount detecting means for sequentially detecting feature amounts for each frame forming the moving image data, and a scene for dividing the moving image data into a plurality of scenes based on the feature amounts detected by the feature amount detecting means And a dividing unit, and an identical scene detecting unit that detects the identical scene by comparing the characteristic amount of a certain scene with the characteristic amount of one or a plurality of scenes located at a position before the scene. Characterize.
【0007】この第1の構成の動画像データ要約情報作
成装置においては、特徴量検出手段が、動画像データを
構成する各フレームごとに順次特徴量を検出する。そし
て、シーン分割手段が、該特徴量検出手段により検出さ
れた特徴量に基づき、動画像データを複数のシーンに分
割し、同一シーン検出手段が、あるシーンにおける特徴
量と、該シーンよりも前の位置にある1又は複数のシー
ンにおける特徴量とを比較することにより、同一シーン
を検出する。よって、検出された同一シーンを要約画像
として閲覧することにより、動画像データの内容を知る
ことができる。特に、同一シーンの内容が要約画像とし
て閲覧できるので、動画像データにおける重要な内容を
把握することができる。また、特に、同一シーンの検出
に際して、各シーンにおける特徴量に基づいて検出する
ので、適切に同一シーンを検出することが可能となり、
また、簡便に同一シーンを検出することが可能となる。In the moving image data summary information creating apparatus having the first structure, the characteristic amount detecting means sequentially detects the characteristic amount for each frame constituting the moving image data. Then, the scene dividing unit divides the moving image data into a plurality of scenes based on the characteristic amount detected by the characteristic amount detecting unit, and the same scene detecting unit divides the moving image data into the characteristic amount in a certain scene and the scene before the scene. The same scene is detected by comparing with the feature amount in one or a plurality of scenes at the position. Therefore, the content of the moving image data can be known by browsing the detected same scene as a summary image. In particular, since the contents of the same scene can be viewed as a summary image, it is possible to grasp the important contents in the moving image data. In addition, in particular, when detecting the same scene, since the detection is performed based on the feature amount in each scene, it is possible to appropriately detect the same scene,
Also, the same scene can be easily detected.
【0008】また、第2には、上記第1の構成におい
て、上記特徴量検出手段により検出される特徴量が、色
特徴量と、動き特徴量と、形状特徴量のいずれか又はそ
れらの任意の組み合わせであることを特徴とする。Secondly, in the first configuration, the feature amount detected by the feature amount detecting means is any one of a color feature amount, a motion feature amount, and a shape feature amount, or any one of them. It is a combination of
【0009】また、第3には、動画像データを記録・再
生する動画像データ記録再生装置であって、動画像デー
タを符号化する符号化手段と、該符号化手段により符号
化されたデータを記憶する符号化データ記憶手段と、該
符号化手段において演算されるデータに基づいて、動画
像データを構成する各フレームごとに順次特徴量を検出
する特徴量検出手段と、該特徴量検出手段により検出さ
れた特徴量に基づき、動画像データを複数のシーンに分
割するシーン分割手段と、あるシーンにおける特徴量
と、該シーンよりも前の位置にある1又は複数のシーン
における特徴量とを比較することにより、同一シーンを
検出し、検出した同一シーンのうちの少なくとも1つの
シーンを特定する情報である特定情報を出力する同一シ
ーン検出手段と、該同一シーン検出手段から出力された
特定情報を記憶する特定情報記憶手段と、該特定情報記
憶手段に記憶されている特定情報に基づき、該動画像デ
ータ記憶手段に記憶された動画像データから所定の動画
像データを読み出して、該所定の動画像データからなる
要約画像を再生する要約画像再生手段と、を有すること
を特徴とする。Thirdly, there is provided a moving picture data recording / reproducing apparatus for recording / reproducing moving picture data, which comprises coding means for coding the moving picture data, and data coded by the coding means. And a feature amount detecting unit for sequentially detecting a feature amount for each frame forming the moving image data based on the data calculated by the encoding unit, and the feature amount detecting unit. A scene dividing unit that divides the moving image data into a plurality of scenes based on the detected feature amount, a feature amount in a certain scene, and a feature amount in one or a plurality of scenes at positions before the scene. An identical scene detection unit that detects the identical scene by comparison and outputs identification information that is information that identifies at least one of the detected identical scenes; Based on the specific information storage unit that stores the specific information output from the one scene detection unit and the specific information stored in the specific information storage unit, a predetermined image is stored in the moving image data stored in the moving image data storage unit. And a summary image reproducing means for reproducing the summary image composed of the predetermined moving image data by reading the moving image data.
【0010】この第3の構成においては、符号化手段が
動画像データを符号化し、符号化されたデータが符号化
データ記憶手段に記憶される。また、特徴量検出手段
は、符号化手段において演算されるデータに基づいて、
動画像データを構成する各フレームごとに順次特徴量を
検出する。そして、シーン分割手段が、特徴量検出手段
により検出された特徴量に基づき、動画像データを複数
のシーンに分割し、同一シーン検出手段が、あるシーン
における特徴量と、該シーンよりも前の位置にある1又
は複数のシーンにおける特徴量とを比較することによ
り、同一シーンを検出し、検出した同一シーンのうちの
少なくとも1つのシーンを特定する情報である特定情報
を出力して、該特定情報が特定情報記憶手段に記憶され
る。そして、要約画像再生手段は、特定情報記憶手段に
記憶されている特定情報に基づき、該動画像データ記憶
手段に記憶された動画像データから所定の動画像データ
を読み出して、該所定の動画像データからなる要約画像
を再生する。In the third structure, the encoding means encodes the moving image data, and the encoded data is stored in the encoded data storage means. Further, the feature amount detecting means, based on the data calculated by the encoding means,
The feature amount is sequentially detected for each frame forming the moving image data. Then, the scene dividing unit divides the moving image data into a plurality of scenes based on the characteristic amount detected by the characteristic amount detecting unit, and the same scene detecting unit divides the moving image data into a characteristic amount in a certain scene and a scene before the scene. The same scene is detected by comparing with the feature amount of one or a plurality of scenes at the position, and specific information that is information for specifying at least one of the detected same scenes is output, and the specified scene is output. The information is stored in the specific information storage means. Then, the summary image reproduction means reads out predetermined moving image data from the moving image data stored in the moving image data storage means on the basis of the specific information stored in the specific information storage means, and outputs the predetermined moving image. Play a summary image of data.
【0011】よって、検出された同一シーンを要約画像
として閲覧できるので、動画像データにおける重要な内
容を把握することができる。また、特に、同一シーンの
検出に際して、各シーンにおける特徴量に基づいて検出
するので、適切に同一シーンを検出することが可能とな
り、また、簡便に同一シーンを検出することが可能とな
る。Therefore, since the detected same scene can be viewed as a summary image, important contents in the moving image data can be grasped. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0012】また、第4には、上記第3の構成におい
て、上記特徴量検出手段により検出される特徴量が、色
特徴量と、動き特徴量と、形状特徴量のいずれか又はそ
れらの任意の組み合わせであることを特徴とする。Fourthly, in the third configuration, the feature quantity detected by the feature quantity detecting means is any one of a color feature quantity, a motion feature quantity, and a shape feature quantity, or any one of them. It is a combination of
【0013】また、第5には、上記第3又は第4の構成
において、上記符号化手段が、動画像データを構成する
フレームのデータに対してDCT変換を行って出力する
DCT部と、該DCT部から出力されたデータに対して
量子化を行って出力する量子化部と、該量子化部から出
力されたデータを可変長符号化する可変長符号化部と、
該量子化部から出力されたデータに対してローカルデコ
ード処理を行うローカルデコード部と、該ローカルデコ
ード部から出力されるデータと符号化手段に入力される
フレームのデータとに基づいて動きベクトルを検出し、
検出した動きベクトルに基づいて該フレームのデータに
対して動き補償を行って該DCT部に対して出力する動
き補償部と、を有し、上記特徴量検出手段は、該ローカ
ルデコード部からの出力に基づいて、色特徴量と、形状
特徴量とを検出し、該動き補償部は、該動き補償部にお
いて検出された動きベクトルに基づいて動き特徴量を検
出することを特徴とする。Fifthly, in the third or fourth configuration, the encoding means performs a DCT conversion on the data of the frame forming the moving image data and outputs the DCT portion. A quantizer that quantizes and outputs the data output from the DCT unit; and a variable-length encoder that variable-length-encodes the data output from the quantizer,
A local decoding unit that performs a local decoding process on the data output from the quantizing unit, and a motion vector is detected based on the data output from the local decoding unit and the frame data input to the encoding unit. Then
A motion compensation unit that performs motion compensation on the data of the frame based on the detected motion vector and outputs the motion compensation data to the DCT unit, and the feature amount detection unit outputs the output from the local decoding unit. The color feature quantity and the shape feature quantity are detected based on the above, and the motion compensation section detects the motion feature quantity based on the motion vector detected by the motion compensation section.
【0014】また、第6には、動画像データを記録・再
生する動画像データ記録再生装置であって、動画像デー
タを符号化する符号化手段と、該符号化手段により符号
化された動画像データを記憶する符号化データ記憶手段
と、該符号化データ記憶手段に記憶されたデータを復号
する復号手段と、該復号手段により復号されたデータを
記憶する復号データ記憶手段と、該復号手段において演
算されるデータに基づいて、動画像データを構成する各
フレームごとに順次特徴量を検出する特徴量検出手段
と、該特徴量検出手段により検出された特徴量に基づ
き、動画像データを複数のシーンに分割するシーン分割
手段と、あるシーンにおける特徴量と、該シーンよりも
前の位置にある1又は複数のシーンにおける特徴量とを
比較することにより、同一シーンを検出し、検出した同
一シーンのうちの少なくとも1つのシーンを特定する情
報である特定情報を出力する同一シーン検出手段と、該
同一シーン検出手段から出力された特定情報を記憶する
特定情報記憶手段と、該特定情報記憶手段に記憶された
特定情報に基づいて、該復号データ記憶手段に記憶され
たデータから所定のデータを再生する要約画像再生手段
と、を有することを特徴とする。A sixth aspect is a moving image data recording / reproducing apparatus for recording / reproducing moving image data, wherein an encoding means for encoding the moving image data and a moving image encoded by the encoding means. Encoded data storage means for storing image data, decoding means for decoding data stored in the encoded data storage means, decoded data storage means for storing data decoded by the decoding means, and decoding means A plurality of moving image data based on the feature amount detected by the feature amount detecting means for sequentially detecting the feature amount for each frame forming the moving image data based on the data calculated in By comparing the scene dividing means for dividing the scene into a scene, a feature amount in a certain scene, and a feature amount in one or a plurality of scenes at positions before the scene, Identical scene detecting means for detecting one scene and outputting specific information which is information for identifying at least one of the detected identical scenes, and specific information for storing the specific information output from the identical scene detecting means It is characterized by comprising a storage means and a summary image reproduction means for reproducing predetermined data from the data stored in the decoded data storage means based on the specific information stored in the specific information storage means.
【0015】この第6の構成においては、符号化手段が
動画像データを符号化し、符号化されたデータが符号化
データ記憶手段に記憶される。また、復号手段が、符号
化データ記憶手段に記憶されたデータを復号し、復号デ
ータ記憶手段に記憶する。また、特徴量検出手段は、復
号手段において演算されるデータに基づいて、動画像デ
ータを構成する各フレームごとに順次特徴量を検出す
る。そして、シーン分割手段が、特徴量検出手段により
検出された特徴量に基づき、動画像データを複数のシー
ンに分割し、同一シーン検出手段が、あるシーンにおけ
る特徴量と、該シーンよりも前の位置にある1又は複数
のシーンにおける特徴量とを比較することにより、同一
シーンを検出し、検出した同一シーンのうちの少なくと
も1つのシーンを特定する情報である特定情報を出力し
て、該特定情報が特定情報記憶手段に記憶される。そし
て、要約画像再生手段は、特定情報記憶手段に記憶され
ている特定情報に基づき、該復号データ記憶手段に記憶
された動画像データから所定のデータを再生する。In the sixth configuration, the encoding means encodes the moving image data, and the encoded data is stored in the encoded data storage means. Further, the decoding means decodes the data stored in the encoded data storage means and stores it in the decoded data storage means. Further, the feature amount detecting means sequentially detects the feature amount for each frame forming the moving image data based on the data calculated by the decoding means. Then, the scene dividing unit divides the moving image data into a plurality of scenes based on the characteristic amount detected by the characteristic amount detecting unit, and the same scene detecting unit divides the moving image data into a characteristic amount in a certain scene and a scene before the scene. The same scene is detected by comparing with the feature amount of one or a plurality of scenes at the position, and specific information that is information for specifying at least one of the detected same scenes is output, and the specified scene is output. The information is stored in the specific information storage means. Then, the summary image reproduction means reproduces predetermined data from the moving image data stored in the decoded data storage means based on the specific information stored in the specific information storage means.
【0016】よって、検出された同一シーンを要約画像
として閲覧できるので、動画像データにおける重要な内
容を把握することができる。また、特に、同一シーンの
検出に際して、各シーンにおける特徴量に基づいて検出
するので、適切に同一シーンを検出することが可能とな
り、また、簡便に同一シーンを検出することが可能とな
る。Therefore, since the detected same scene can be viewed as a summary image, important contents in the moving image data can be grasped. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0017】また、第7には、上記第6の構成におい
て、上記特徴量検出手段により検出される特徴量が、色
特徴量と、動き特徴量と、形状特徴量のいずれか又はそ
れらの任意の組み合わせであることを特徴とする。Seventhly, in the sixth configuration, the feature quantity detected by the feature quantity detecting means is any one of a color feature quantity, a motion feature quantity, and a shape feature quantity, or any one of them. It is a combination of
【0018】また、第8には、上記第6又は第7の構成
において、上記復号手段が、符号化データを可変長復号
して復号データを出力するとともに、復号対象のフレー
ムについての動きベクトルのデータを出力する可変長復
号部と、該可変長復号部から出力された復号データに対
して逆量子化を行って出力する逆子化部と、該逆量子化
部から出力されたデータに対してDCT逆変換を行って
出力するDCT逆変換部と、を有し、上記特徴量検出手
段は、DCT逆変換部から出力されたデータに基づい
て、色特徴量と形状特徴量とを検出するとともに、該特
徴量検出手段は、DCT逆変換部から出力されたデータ
又は該可変長復号部から出力される動きベクトルのデー
タから動き特徴量を検出することを特徴とする。Eighthly, in the sixth or seventh configuration, the decoding means performs variable length decoding of the encoded data to output the decoded data, and the motion vector of the frame to be decoded is A variable-length decoding unit that outputs data, an inverse quantization unit that inversely quantizes and outputs the decoded data output from the variable-length decoding unit, and a data output from the inverse quantization unit A DCT inverse transform unit for performing DCT inverse transform, and outputting the result. The feature amount detecting means detects a color feature amount and a shape feature amount based on the data output from the DCT inverse transform unit. The feature amount detecting means is characterized by detecting a motion feature amount from the data output from the DCT inverse transform unit or the motion vector data output from the variable length decoding unit.
【0019】また、第9には、上記第3から第8までの
いずれかの構成において、上記シーン分割手段が、特徴
量検出の対象となるフレームである対象フレームにおけ
る特徴量と、該対象フレームの前に位置する1又は複数
のフレームにおける特徴量とを比較することにより、前
のシーンとの境界位置を検出しながら、シーンごとに分
割することを特徴とする。Ninthly, in any one of the third to eighth constructions, the scene dividing means has a feature amount in a target frame which is a target of feature amount detection, and the target frame. It is characterized by dividing each scene while detecting the boundary position with the previous scene by comparing with the feature quantity in one or a plurality of frames located before the scene.
【0020】また、第10には、上記第3から第9まで
のいずれかの構成において、上記シーン分割手段によ
り、上記対象フレームの前にシーンが検出された場合に
は、上記同一シーン検出手段は、該検出されたシーンに
おける特徴量のヒストグラムと、該シーンの前にある1
又は複数のシーンにおける各シーンにおける特徴量のヒ
ストグラムとを比較して、同一シーンであるか否かを判
定することを特徴とする。よって、同一シーンを適切に
検出することが可能となる。Tenth, in any one of the third to ninth configurations, when the scene dividing means detects a scene before the target frame, the same scene detecting means is provided. Is a histogram of the feature amount in the detected scene and 1 in front of the scene.
Alternatively, it is characterized in that whether or not the scenes are the same is determined by comparing with a histogram of the feature amount in each scene in a plurality of scenes. Therefore, it is possible to appropriately detect the same scene.
【0021】また、第11には、上記第3から第10ま
でのいずれかの構成において、上記要約画像再生手段
が、上記特定情報により特定されるシーンのみを再生す
ることを特徴とする。Eleventh, in any one of the third to tenth configurations, the summary image reproduction means reproduces only the scene specified by the specification information.
【0022】また、第12には、上記第3から第11ま
でのいずれかの構成において、上記動画像データ記録再
生装置が、さらに、動画像データのジャンルに応じて設
けられた再生開始位置情報であって、該動画像データに
おける再生開始位置についての情報である再生開始位置
情報で、少なくとも1つの再生開始位置情報が上記特定
情報と関連付けて規定された再生開始位置情報を記憶す
る再生開始位置記憶手段と、上記符号化データ記憶手段
又は復号データ記憶手段に記憶された動画像データを再
生する動画像データ再生手段であって、該再生開始位置
情報に記憶された再生開始位置情報で、再生対象の動画
像データのジャンルに対応した再生開始位置情報が示す
再生開始位置から、該動画像データを再生する動画像デ
ータ再生手段と、を有することを特徴とする。Twelfthly, in any one of the third to eleventh configurations, the moving image data recording / reproducing apparatus is further provided with reproduction start position information provided in accordance with the genre of the moving image data. A reproduction start position information, which is information about a reproduction start position in the moving image data, in which at least one reproduction start position information stores reproduction start position information defined in association with the specific information. Storage means and moving image data reproducing means for reproducing the moving image data stored in the encoded data storage means or the decoded data storage means, wherein the reproduction start position information stored in the reproduction start position information is reproduced. Moving image data reproducing means for reproducing the moving image data from the reproduction start position indicated by the reproduction start position information corresponding to the genre of the target moving image data, Characterized in that it has.
【0023】これにより、動画像データのジャンルによ
り、再生開始位置を異ならせることができるので、ジャ
ンルに応じて適切な視聴をすることができる。As a result, the reproduction start position can be changed depending on the genre of the moving image data, so that proper viewing can be performed according to the genre.
【0024】また、第13には、上記第3から第12ま
でのいずれかの構成において、上記同一シーン検出手段
が、検出した同一シーンにおける各シーンを特定する情
報である特定情報を上記特定情報記憶手段に記憶し、上
記動画像データ記録再生装置が、さらに、上記符号化デ
ータ記憶手段又は復号データ記憶手段に記憶された動画
像データを再生する動画像データ再生手段であって、該
特定情報記憶手段に記憶された特定情報に基づき、同一
シーンについては1つのシーンのみを再生することを特
徴とする。よって、同一シーンについて1つのシーンの
み再生するので、全てのシーンを短い時間で視聴を行う
ことができる。Thirteenth, in any one of the third to twelfth configurations, the same scene detecting means specifies the specific information which is information for specifying each scene in the detected same scene. A moving image data recording / reproducing device for reproducing the moving image data stored in the encoded data storage unit or the decoded data storage unit, the specific information being stored in a storage unit; It is characterized in that only one scene is reproduced for the same scene based on the specific information stored in the storage means. Therefore, since only one scene is reproduced for the same scene, all the scenes can be viewed in a short time.
【0025】また、第14には、動画像データの要約情
報を作成する動画像データ要約情報作成方法であって、
動画像データを構成する各フレームごとに順次特徴量を
検出する特徴量検出工程と、該特徴量検出工程により検
出された特徴量に基づき、動画像データを複数のシーン
に分割するシーン分割工程と、あるシーンにおける特徴
量と、該シーンよりも前の位置にある1又は複数のシー
ンにおける特徴量とを比較することにより、同一シーン
を検出する同一シーン検出工程と、を有することを特徴
とする。The fourteenth is a moving picture data summary information creating method for creating summary information of moving picture data,
A characteristic amount detecting step of sequentially detecting a characteristic amount for each frame forming the moving image data, and a scene dividing step of dividing the moving image data into a plurality of scenes based on the characteristic amount detected by the characteristic amount detecting step. , The same scene detection step of detecting the same scene by comparing the feature quantity in a certain scene with the feature quantity in one or a plurality of scenes located at a position prior to the scene. .
【0026】よって、検出された同一シーンを要約画像
として閲覧することにより、動画像データの内容を知る
ことができる。特に、同一シーンの内容が要約画像とし
て閲覧できるので、動画像データにおける重要な内容を
把握することができる。また、特に、同一シーンの検出
に際して、各シーンにおける特徴量に基づいて検出する
ので、適切に同一シーンを検出することが可能となり、
また、簡便に同一シーンを検出することが可能となる。Therefore, the contents of the moving image data can be known by browsing the detected same scene as a summary image. In particular, since the contents of the same scene can be viewed as a summary image, it is possible to grasp the important contents in the moving image data. In addition, in particular, when detecting the same scene, since the detection is performed based on the feature amount in each scene, it is possible to appropriately detect the same scene,
Also, the same scene can be easily detected.
【0027】また、第15には、動画像データを記録・
再生する動画像データ記録再生方法であって、動画像デ
ータを符号化する符号化工程と、該符号化手段により符
号化されたデータを所定の記憶装置に記憶する符号化デ
ータ記憶工程と、該符号化工程において演算されるデー
タに基づいて、動画像データを構成する各フレームごと
に順次特徴量を検出する特徴量検出工程と、該特徴量検
出工程により検出された特徴量に基づき、動画像データ
を複数のシーンに分割するシーン分割工程と、あるシー
ンにおける特徴量と、該シーンよりも前の位置にある1
又は複数のシーンにおける特徴量とを比較することによ
り、同一シーンを検出し、検出した同一シーンのうちの
少なくとも1つのシーンを特定する情報である特定情報
を出力する同一シーン検出工程と、該同一シーン検出工
程により出力された特定情報を所定の記憶装置に記憶す
る特定情報記憶工程と、該特定情報記憶工程により記憶
された特定情報に基づき、該動画像データ記憶手段に記
憶された動画像データから所定の動画像データを読み出
して、該所定の動画像データからなる要約画像を再生す
る要約画像再生工程と、を有することを特徴とする。Fifteenth, moving image data is recorded and
A moving image data recording / reproducing method for reproducing, comprising an encoding step of encoding moving image data, an encoded data storing step of storing the data encoded by the encoding means in a predetermined storage device, A feature amount detecting step of sequentially detecting a feature amount for each frame forming the moving image data based on the data calculated in the encoding step, and a moving image based on the feature amount detected by the feature amount detecting step. A scene dividing step of dividing data into a plurality of scenes, a feature amount in a certain scene, and a position 1 before the scene.
Alternatively, the same scene detection step of detecting the same scene by comparing the feature amounts of a plurality of scenes and outputting specific information that is information for specifying at least one of the detected same scenes, A specific information storage step of storing the specific information output in the scene detection step in a predetermined storage device, and moving image data stored in the moving image data storage means based on the specific information stored in the specific information storage step. From the predetermined moving image data and reproduces a summary image composed of the predetermined moving image data.
【0028】よって、検出された同一シーンを要約画像
として閲覧できるので、動画像データにおける重要な内
容を把握することができる。また、特に、同一シーンの
検出に際して、各シーンにおける特徴量に基づいて検出
するので、適切に同一シーンを検出することが可能とな
り、また、簡便に同一シーンを検出することが可能とな
る。Therefore, since the detected same scene can be browsed as a summary image, important contents in the moving image data can be grasped. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0029】また、第16には、動画像データを記録・
再生する動画像データ記録再生方法であって、動画像デ
ータを符号化する符号化工程と、該符号化手段により符
号化された動画像データを所定の記憶装置に記憶する符
号化データ記憶工程と、該動画像データ記憶工程により
記憶されたデータを復号する復号工程と、該復号工程に
より復号されたデータを所定の記憶装置に記憶する復号
データ記憶工程と、該復号工程において演算されるデー
タに基づいて、動画像データを構成する各フレームごと
に順次特徴量を検出する特徴量検出工程と、該特徴量検
出工程により検出された特徴量に基づき、動画像データ
を複数のシーンに分割するシーン分割工程と、あるシー
ンにおける特徴量と、該シーンよりも前の位置にある1
又は複数のシーンにおける特徴量とを比較することによ
り、同一シーンを検出し、検出した同一シーンのうちの
少なくとも1つのシーンを特定する情報である特定情報
を出力する同一シーン検出工程と、該同一シーン検出手
段から出力された特定情報を所定の記憶手段に記憶する
特定情報記憶工程と、該特定情報記憶工程により記憶さ
れた特定情報に基づいて、該復号データ記憶工程により
記憶されたデータから所定のデータを再生する要約画像
再生工程と、を有することを特徴とする。Sixteenth, recording and recording moving image data.
A moving image data recording / reproducing method for reproducing, comprising an encoding step of encoding moving image data, and an encoded data storing step of storing the moving image data encoded by the encoding means in a predetermined storage device. A decoding step of decoding the data stored in the moving image data storage step, a decoded data storage step of storing the data decoded in the decoding step in a predetermined storage device, and a data calculated in the decoding step. A feature amount detecting step of sequentially detecting a feature amount for each frame constituting the moving image data, and a scene in which the moving image data is divided into a plurality of scenes based on the feature amount detected by the feature amount detecting step. The division process, the feature amount in a certain scene, and the position 1 before the scene
Alternatively, the same scene detection step of detecting the same scene by comparing the feature amounts of a plurality of scenes and outputting specific information that is information for specifying at least one of the detected same scenes, Based on the specific information storage step of storing the specific information output from the scene detection means in a predetermined storage means, and the specific information stored in the specific information storage step, the predetermined data is stored in the decoded data storage step. And a summary image reproducing step of reproducing the data of.
【0030】よって、検出された同一シーンを要約画像
として閲覧できるので、動画像データにおける重要な内
容を把握することができる。また、特に、同一シーンの
検出に際して、各シーンにおける特徴量に基づいて検出
するので、適切に同一シーンを検出することが可能とな
り、また、簡便に同一シーンを検出することが可能とな
る。Therefore, since the detected same scene can be viewed as a summary image, it is possible to grasp the important contents in the moving image data. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0031】[0031]
【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明の第1実施例に基
づく動画像データ記録再生装置及び動画像データ要約情
報作成装置としての動画像データ記録再生装置A1は、
図1に示されるように構成され、フレームメモリ10
と、動画像符号化部20と、符号化動画像データベース
(符号化データ記憶手段)50と、動画像特徴量データ
ベース60と、同一シーン判定部70と、表示シーン情
報データベース(特定情報記憶手段)80と、操作部8
5と、表示シーン選定部90と、動画像復号化部100
と、表示部110とを有している。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described with reference to the drawings. A moving image data recording / reproducing apparatus and a moving image data recording / reproducing apparatus A1 as a moving image data summary information creating apparatus according to the first embodiment of the present invention are
The frame memory 10 is configured as shown in FIG.
A moving image encoding unit 20, an encoded moving image database (encoded data storage unit) 50, a moving image feature amount database 60, the same scene determination unit 70, and a display scene information database (specific information storage unit). 80 and operation unit 8
5, a display scene selection unit 90, and a moving image decoding unit 100.
And a display unit 110.
【0032】ここで、動画像符号化部20は、フレーム
メモリ10から読み出した動画像データをMPEG符号
化して、符号化動画像データベース50に記録するとと
もに、該フレームメモリ10から読み出した動画像デー
タの動画像特徴量を演算して、動画像特徴量データベー
ス60に記憶するとともに、同一シーン判定部70に出
力する。Here, the moving picture coding unit 20 MPEG-codes the moving picture data read from the frame memory 10 and records it in the coded moving picture database 50, and at the same time, the moving picture data read from the frame memory 10. The moving image feature amount of is calculated and stored in the moving image feature amount database 60, and is output to the same scene determination unit 70.
【0033】上記動画像符号化部20の構成をさらに詳
しく説明すると、図2に示すように構成され、動画像符
号化部20は、DCT部22と、Q部24と、VLC部
(可変長符号化部)26と、ME/MC部(動き補償
部)28と、ローカルデコード部30と、特徴量演算部
(特徴量検出手段)40とを有している。The structure of the moving picture coding unit 20 will be described in more detail. As shown in FIG. 2, the moving picture coding unit 20 includes a DCT unit 22, a Q unit 24, a VLC unit (variable length). It has an encoding unit 26, an ME / MC unit (motion compensation unit) 28, a local decoding unit 30, and a feature amount calculation unit (feature amount detection means) 40.
【0034】ここで、DCT部22は、フレームメモリ
10から読み出した動画像データに又はME/MC部
(動き補償部)28から送られたデータに対してDCT
変換を行うものである。また、Q部24は、該DCT部
22によりDCT変換された動画像データを量子化する
ものである。また、VLC部26は、該Q部24により
量子化された動画像データを可変長符号化するものであ
る。ME/MC部28は、動きベクトルを検出するとと
もに、検出した該動きベクトルに基づいて動き補償を行
うものである。ここで、該DCT部22と、Q部(量子
化部)24と、VLC部(可変長符号化部)26は、上
記符号化手段として機能する。Here, the DCT unit 22 performs DCT on the moving image data read from the frame memory 10 or on the data sent from the ME / MC unit (motion compensation unit) 28.
It is a conversion. The Q section 24 quantizes the moving image data DCT-transformed by the DCT section 22. The VLC unit 26 also performs variable-length coding on the moving image data quantized by the Q unit 24. The ME / MC unit 28 detects a motion vector and performs motion compensation based on the detected motion vector. Here, the DCT unit 22, the Q unit (quantization unit) 24, and the VLC unit (variable length coding unit) 26 function as the coding means.
【0035】また、ローカルデコード部30は、IQ部
32と、IDCT部34と、MC部36と、ローカルデ
コード画像メモリ部38とを有している。The local decoding section 30 has an IQ section 32, an IDCT section 34, an MC section 36, and a local decoded image memory section 38.
【0036】ここで、IQ部32は、Q部24からの量
子化された動画像データを逆量子化するものである。ま
た、IDCT部34は、IQ部32において逆量子化さ
れた動画像データを逆DCT変換するものである。ま
た、MC部36は、動きベクトルに基づいて動き補償を
行うものである。また、ローカルデコード画像メモリ部
38は、IDCT部34により逆DCT変換されたデー
タ及びMC部36により動き補償されたデータを記憶す
るものである。Here, the IQ section 32 inversely quantizes the quantized moving image data from the Q section 24. Further, the IDCT unit 34 performs an inverse DCT transform on the moving image data dequantized by the IQ unit 32. The MC unit 36 also performs motion compensation based on the motion vector. The local decoded image memory unit 38 also stores the data subjected to the inverse DCT conversion by the IDCT unit 34 and the motion-compensated data by the MC unit 36.
【0037】また、特徴量演算部40は、動き特徴量演
算部42と、色特徴量演算部44と、形状特徴量演算部
46とを有している。The feature quantity computing section 40 has a motion feature quantity computing section 42, a color feature quantity computing section 44, and a shape feature quantity computing section 46.
【0038】ここで、該動き特徴量演算部42は、動き
特徴量を演算するもので、具体的には、MPEG−7に
おける動き記述子を演算する。つまり、ME/MC部2
8からのデータに基づいて、MotionActivi
ty等の動き記述子を演算する。Here, the motion characteristic amount calculation unit 42 calculates a motion characteristic amount, and specifically calculates a motion descriptor in MPEG-7. That is, the ME / MC unit 2
Based on data from 8, MotionActiv
Compute a motion descriptor such as ty.
【0039】また、色特徴量演算部44は、色特徴量を
演算するもので、具体的には、MPEG−7における色
記述子を演算する。つまり、ローカルデコード画像メモ
リ部38に記憶されている1フレーム分のデータを縦8
等分、横8等分の計64個の領域に分割し、各領域にお
いて、画素値の平均値を算出し、計64個の平均値に対
してDCT変換を行って、算出されたDCT係数値のう
ち上位所定数の係数値を色記述子とするものである。The color feature amount calculator 44 calculates a color feature amount, specifically, a color descriptor in MPEG-7. That is, the data for one frame stored in the locally decoded image memory unit 38 is vertically
It is divided into a total of 64 regions that are equally divided into 8 equal parts in the horizontal direction, the average value of pixel values is calculated in each region, and DCT conversion is performed on the total 64 average values to calculate the calculated DCT Among the numerical values, the coefficient value of a predetermined upper number is used as a color descriptor.
【0040】また、形状特徴量演算部46は、形状特徴
量を演算するもので、具体的には、ISO/IEC 1
5938−3 MPEG−7 Visual(以下、M
PEG−7とする)における形状記述子を演算する。The shape feature amount calculator 46 calculates the shape feature amount, and specifically, ISO / IEC 1
5938-3 MPEG-7 Visual (hereinafter referred to as M
The shape descriptor in PEG-7) is calculated.
【0041】この特徴量演算部40は、算出した各特徴
量を上記動画像特徴量データベース60に記憶する。The feature amount calculator 40 stores each calculated feature amount in the moving image feature amount database 60.
【0042】また、符号化動画像データベース50は、
動画像符号化部20により符号化された動画像データを
記憶する記憶装置である。Further, the encoded moving image database 50 is
The storage device stores moving image data encoded by the moving image encoding unit 20.
【0043】また、動画像特徴量データベース60は、
特徴量演算部40により算出された特徴量を記憶する記
憶装置であり、図3に示すように、各フレームごとに、
色特徴量、動き特徴量、形状特徴量の各特徴量を記憶す
るように構成されている。Further, the moving image feature amount database 60 is
It is a storage device that stores the feature amount calculated by the feature amount calculation unit 40, and as shown in FIG.
The color feature amount, the motion feature amount, and the shape feature amount are stored.
【0044】また、同一シーン判定部70は、動画像デ
ータにおける同一シーンを判定するもので、具体的に
は、現在のフレームの特徴量と直前のフレームの特徴量
とを比較することにより、動画像データを各シーンごと
に分割し、直前のシーンと該直前のシーンより前のシー
ンとを比較して同一シーンが存在するか否かを検出し、
同一シーンが検出された場合には、該シーンを特定する
ための情報を表示シーン情報データベース80に記憶す
るものである。この同一シーン判定部70は、上記シー
ン分割手段と同一シーン検出手段として機能する。The same-scene determination unit 70 determines the same scene in the moving image data. Specifically, the same-scene determination unit 70 compares the feature amount of the current frame with the feature amount of the immediately preceding frame to generate a moving image. The image data is divided for each scene, and it is detected whether the same scene exists by comparing the immediately preceding scene with the scene before the immediately preceding scene,
When the same scene is detected, information for specifying the scene is stored in the display scene information database 80. The same scene determination unit 70 functions as the same scene detection unit as the scene division unit.
【0045】具体的には、同一シーン判定部70は、図
4に示すような同一シーン判定用テーブルを有し、この
同一シーン判定用テーブルには、各シーンごとに、先頭
タイムコードと、各特徴量のヒストグラムを記憶できる
ようになっている。そして、シーンの切れ目を検出しな
がら、この同一シーン判定用テーブルにデータを記憶し
ていき、該テーブルに記憶されたデータに基づいて同一
シーンであるか否かを判定するのである。詳しくは後述
する。Specifically, the same-scene determination unit 70 has a same-scene determination table as shown in FIG. 4, and the same-scene determination table has a start time code and a The feature quantity histogram can be stored. Then, while detecting the break of the scene, the data is stored in the same scene determination table, and it is determined whether or not they are the same scene based on the data stored in the table. Details will be described later.
【0046】また、表示シーン情報データベース80
は、同一シーンの判定されたシーンを特定するためのデ
ータを記憶する記憶装置である。具体的には、図5に示
すような構成であり、タイムコード、つまり、該シーン
の開始時刻の時刻情報と、終了時刻の時刻情報とを同一
シーンごとに記憶するように構成されている。Further, the display scene information database 80
Is a storage device that stores data for specifying the determined scene of the same scene. Specifically, the configuration is as shown in FIG. 5, and the time code, that is, the time information of the start time and the time information of the end time of the scene is stored for each same scene.
【0047】また、表示シーン選定部90は、表示シー
ン情報データベース80に記憶されたデータに基づい
て、符号化動画像データベース50から所定の動画像デ
ータを切り出して、動画像復号化部100に送る。The display scene selection unit 90 cuts out predetermined moving image data from the encoded moving image database 50 based on the data stored in the display scene information database 80 and sends it to the moving image decoding unit 100. .
【0048】また、動画像復号化部100は、表示シー
ン選定部90から送られた動画像データを復号するもの
であり、具体的には、図11に示す動画像復号化部24
0と同様の構成をしている。つまり、表示シーン選定部
90から送られた動画像データを可変長復号、逆量子
化、I−Scan、IDCT(逆DCT変換)を行って
復号するものである。The moving picture decoding section 100 is for decoding the moving picture data sent from the display scene selecting section 90. Specifically, the moving picture decoding section 24 shown in FIG.
It has the same configuration as 0. That is, the moving image data sent from the display scene selection unit 90 is decoded by performing variable length decoding, inverse quantization, I-Scan, IDCT (inverse DCT conversion).
【0049】また、表示部110は、動画像復号化部1
00により復号された動画像データを表示するものであ
る。Further, the display unit 110 includes the moving picture decoding unit 1.
The moving picture data decoded by 00 is displayed.
【0050】なお、上記の構成において、特徴量演算部
40は、動画像符号化部20内に設けられているとして
説明したが、特徴量演算部40を動画像符号化部20と
は別に設けてもよい。It should be noted that, in the above-mentioned configuration, the feature amount calculation unit 40 is described as being provided in the moving image coding unit 20, but the feature amount calculation unit 40 is provided separately from the moving image coding unit 20. May be.
【0051】なお、上記動画像データ記録再生装置A1
を構成する上記各部については、各機能を有する装置と
して構成してもよいし、一部の構成、例えば、動画像符
号化部20と同一シーン判定部70と表示シーン選定部
90と動画像復号化部100とを各部の処理を実行する
ためのプログラムと、該プログラムに基づき処理を実行
するCPUにより構成してもよい。The moving image data recording / reproducing apparatus A1
Each of the above-described units may be configured as a device having each function, or a part of the configurations, for example, the moving image encoding unit 20, the same scene determination unit 70, the display scene selection unit 90, and the moving image decoding unit. The conversion unit 100 may include a program for executing the process of each unit and a CPU that executes the process based on the program.
【0052】上記構成の動画像データ記録再生装置A1
の動作について説明する。まず、図6に示すフローチャ
ート等を使用しながら、同一シーンの検出の動作につい
て説明する。なお、以下の動作の説明においては、説明
の都合上、特徴量演算部40は、色特徴量のみを演算す
るものとする。つまり、色特徴量演算部44が色特徴量
を演算するが、動き特徴量演算部42や形状特徴量演算
部46は演算を行わないものとする。A moving image data recording / reproducing apparatus A1 having the above structure.
The operation of will be described. First, the operation of detecting the same scene will be described with reference to the flowchart shown in FIG. In the following description of the operation, for convenience of description, the feature amount calculation unit 40 calculates only the color feature amount. That is, the color feature amount calculation unit 44 calculates the color feature amount, but the motion feature amount calculation unit 42 and the shape feature amount calculation unit 46 do not perform the calculation.
【0053】動画像データがフレームメモリ10に入力
されると、動画像符号化部20において該動画像データ
の符号化が行われる(符号化工程)。つまり、フレーム
メモリ10に記憶されているフレームデータを処理の対
象たる対象フレームとして、符号化を行う。つまり、I
ピクチャ等の他のフレームを参照しないイントラ画像デ
ータの場合には、フレームメモリ10からの画像データ
がDCT部22に入力されて、このDCT部22におい
て、DCT変換が行われる。その後、Q部24におい
て、量子化が行われ、VLC部26において、可変長符
号化が行われて、符号化動画像データベース50に記憶
される。また、Bピクチャ等の他のフレームを参照する
インター画像データの場合には、ME/MC部28がロ
ーカルデコード画像メモリ部38に記憶されているデー
タとフレームメモリ10からのデータとに基づいて動き
ベクトルを算出し、該動きベクトルに応じてローカルデ
コード画像メモリ部38から参照画像を切り出し、フレ
ームメモリ10からのデータとの差分を算出する。該差
分データは、同様に、DCT部22においてDCT変換
されて、Q部24において量子化されてVLC部26で
可変長符号化される。上記のような動画像データの符号
化処理は、従来の場合と同様である。上記のように符号
化データを符号化動画像データベース50に記憶する工
程が、上記符号化データ記憶工程に当たる。When the moving image data is input to the frame memory 10, the moving image encoding unit 20 encodes the moving image data (encoding step). That is, encoding is performed by using the frame data stored in the frame memory 10 as a target frame to be processed. That is, I
In the case of intra image data that does not refer to another frame such as a picture, the image data from the frame memory 10 is input to the DCT unit 22, and the DCT unit 22 performs DCT conversion. After that, the Q section 24 performs quantization, the VLC section 26 performs variable length coding, and the variable length coding is stored in the coded moving image database 50. In the case of inter image data that refers to another frame such as a B picture, the ME / MC unit 28 moves based on the data stored in the local decoded image memory unit 38 and the data from the frame memory 10. The vector is calculated, the reference image is cut out from the local decoded image memory unit 38 according to the motion vector, and the difference from the data from the frame memory 10 is calculated. Similarly, the difference data is DCT-transformed by the DCT unit 22, quantized by the Q unit 24, and variable-length coded by the VLC unit 26. The coding process of moving image data as described above is similar to the conventional case. The step of storing the encoded data in the encoded moving image database 50 as described above corresponds to the encoded data storing step.
【0054】また、動画像符号化部20は、対象フレー
ムについて動画像特徴量を演算する(特徴量演算工程)
(S10)。つまり、特徴量演算部40が特徴量を演算
する。ここでは、色特徴量のみを演算するとする。つま
り、色特徴量演算部44が、ローカルデコード画像メモ
リ部38からのデータに基づき、色特徴量を演算する。
具体的には、MPEG−7における色記述子を演算す
る。Further, the moving picture coding unit 20 calculates the moving picture feature amount for the target frame (feature amount calculating step).
(S10). That is, the characteristic amount calculation unit 40 calculates the characteristic amount. Here, it is assumed that only the color feature amount is calculated. That is, the color feature amount calculation unit 44 calculates the color feature amount based on the data from the local decoded image memory unit 38.
Specifically, a color descriptor in MPEG-7 is calculated.
【0055】そして、算出された特徴量は、同一シーン
判定部70に送られるとともに、動画像特徴量データベ
ース60に記憶される(S11)。つまり、フレームデ
ータごとに、特徴量が記憶されていく。なお、ここで
は、色特徴量のみが動画像特徴量データベース60に記
憶されるものとする。なお、実際には、Y信号、Cb信
号、Cr信号のそれぞれについて各特徴量が記憶され
る。Then, the calculated feature amount is sent to the same scene determination unit 70 and stored in the moving image feature amount database 60 (S11). That is, the feature amount is stored for each frame data. Note that, here, it is assumed that only the color feature amount is stored in the moving image feature amount database 60. In addition, in reality, each feature amount is stored for each of the Y signal, the Cb signal, and the Cr signal.
【0056】そして、同一シーン判定部70は、動画像
符号化部20から送られた動画像特徴量と、該動画像特
徴量についてのフレーム(つまり、対象フレーム)の前
にあるフレームの動画像特徴量を比較して、その差分が
所定のしきい値内であるか否かを判定する(S12)。
ここで、対象フレームの前にあるフレームとしては、対
象フレームの直前のフレームから遡って複数個の連続す
るフレームとし、その動画像特徴量としては、各フレー
ムの動画像特徴量を平均する等の処理をした特徴量を用
いる。なお、対象フレームの前にあるフレームの動画像
特徴量については、動画像特徴量データベース60に記
憶されたデータから読み出す。なお、ここでは、色特徴
量について比較が行われることになる。Then, the same scene determination unit 70 determines the moving image feature amount sent from the moving image encoding unit 20 and the moving image of the frame before the frame (that is, the target frame) for the moving image feature amount. The feature amounts are compared to determine whether the difference is within a predetermined threshold value (S12).
Here, the frame in front of the target frame is a plurality of continuous frames that are traced back from the frame immediately before the target frame, and the moving image feature amount is such that the moving image feature amount of each frame is averaged. The processed feature quantity is used. Note that the moving image feature amount of the frame before the target frame is read from the data stored in the moving image feature amount database 60. It should be noted that here, the color feature amounts are compared.
【0057】そして、該所定のしきい値内にある場合に
は、まだ同じシーン内にあると判断してステップS16
に移行し、一方、しきい値を越えている場合には、別の
シーンになったものとして、現在のフレームのタイムコ
ードを新たなシーンの先頭タイムコードとして保持する
(S13)。なお、このステップS13では、新たなシ
ーンの先頭位置が検出されると、その直前のシーンが特
定されるので、同一シーン判定部70は、その直前のシ
ーンについての特徴量のヒストグラムを算出して、同一
シーン判定用テーブル(図4参照)に記憶する。つま
り、該直前のシーンに含まれるフレームの特徴量を動画
像特徴量データベース60から読み出して、そのヒスト
グラムを算出する。ここでは、色特徴量についてのヒス
トグラムのみが作成される。なお、該直前のシーンに含
まれるフレームの特徴量については、現在のフレームの
1つ前のフレームから遡って、該直前のシーンの先頭タ
イムコードに対応するフレームまでの各特徴量を動画像
特徴量データベース60から読み出せばよい。なお、上
記ステップS12、S13は、上記シーン分割工程に当
たる。また、この場合の同一シーン判定部70は、上記
シーン分割手段として機能する。If it is within the predetermined threshold value, it is judged that the scene is still in the same scene, and the step S16 is performed.
On the other hand, if the threshold value is exceeded, it is regarded as another scene and the time code of the current frame is held as the start time code of the new scene (S13). In this step S13, when the start position of a new scene is detected, the immediately preceding scene is specified. Therefore, the same scene determination unit 70 calculates the histogram of the feature amount of the immediately preceding scene. , The same scene determination table (see FIG. 4). That is, the feature amount of the frame included in the immediately preceding scene is read from the moving image feature amount database 60 and the histogram thereof is calculated. Here, only the histogram for the color feature amount is created. As for the feature quantity of the frame included in the immediately preceding scene, each feature quantity up to the frame corresponding to the start time code of the immediately preceding scene is traced back from the frame immediately before the current frame. It may be read from the quantity database 60. The steps S12 and S13 correspond to the scene dividing step. In addition, the same scene determination unit 70 in this case functions as the scene dividing unit.
【0058】ステップS13からはステップS14に移
行し、直前のシーン(すなわち、ステップS13で検出
された新たなシーンの先頭フレームの前のフレームをそ
のシーンの最終フレームとするシーン)における特徴量
のヒストグラムと、該シーンよりも前にある全てのシー
ンの特徴量のヒストグラムとをそれぞれ比較して、同一
のヒストグラムを有するシーンがあるか否かを判定する
(S14)。なお、ここでは、直前のシーンの色特徴量
のヒストグラムと、該シーンよりも前の全てのシーンの
色特徴量のヒストグラムとが比較される。このステップ
S14は、上記同一シーン検出工程に当たる。また、こ
の場合の同一シーン判定部70は、上記同一シーン検出
手段として機能する。From step S13, the process proceeds to step S14, and the histogram of the feature amount in the immediately preceding scene (that is, the scene in which the frame preceding the first frame of the new scene detected in step S13 is the final frame of the scene) And the histograms of the feature amounts of all the scenes before the scene are compared with each other to determine whether there is a scene having the same histogram (S14). Here, the histogram of the color feature amount of the immediately preceding scene and the histogram of the color feature amounts of all the scenes before the scene are compared. This step S14 corresponds to the same scene detection step. Further, the same scene determination unit 70 in this case functions as the same scene detection means.
【0059】そして、同一のヒストグラムを有するシー
ンが存在する場合には、該直前のシーンのタイムコード
を表示シーン情報データベース80に記憶する(特定情
報記憶工程)(S15)。つまり、該直前のシーンの開
始時刻についての情報と終了時刻についての情報とが記
憶される。開始時刻については、同一シーン判定用テー
ブルにおけるそのシーンの先頭タイムコードを記憶し、
終了時刻については、該シーンの次のシーンの先頭タイ
ムコードを記憶するようにすればよい。この表示シーン
情報データベース80に記憶されるタイムコードが、上
記特定情報に当たる。このステップS15における処理
が終了したら、ステップS16に移行する。If there are scenes having the same histogram, the time code of the immediately preceding scene is stored in the display scene information database 80 (specific information storing step) (S15). That is, the information about the start time and the information about the end time of the immediately preceding scene are stored. For the start time, store the start time code of the scene in the same scene determination table,
As for the end time, the start time code of the scene next to the scene may be stored. The time code stored in the display scene information database 80 corresponds to the specific information. When the processing in step S15 is completed, the process proceeds to step S16.
【0060】一方、上記ステップS14の判定におい
て、同一のヒストグラムを有するシーンが存在しない場
合には、ステップS16に移行する。On the other hand, if it is determined in step S14 that there is no scene having the same histogram, the process proceeds to step S16.
【0061】ステップS16では、次のフレームがある
か否かが動画像符号化部20により判定されて、次のフ
レームがある場合には、ステップS10に戻り、一方、
次のフレームがない場合には、処理を終了する。In step S16, the moving image encoding unit 20 determines whether or not there is a next frame. If there is a next frame, the process returns to step S10, while
If there is no next frame, the process ends.
【0062】なお、上記ステップS15において、同一
シーンについてのタイムコードの他に、タイムコードが
示すシーンの動画像符号化データを併せて記憶しておい
てもよい。In step S15, the moving image coded data of the scene indicated by the time code may be stored together with the time code for the same scene.
【0063】以上のように処理を行うことにより、表示
シーン情報データベース80には、同一シーンについて
のタイムコードが蓄積されていく。By performing the processing as described above, the time code for the same scene is accumulated in the display scene information database 80.
【0064】次に、再生における動作について説明す
る。まず、サマリーの表示について説明する。ユーザー
が操作部85によりサマリーの閲覧を指示すると、表示
シーン選定部90は、表示シーン情報データベース80
に記憶されたデータを読み出す。つまり、同一シーンに
ついてのタイムコードを読み出す。そして、表示シーン
選定部90は、読み出したタイムコードに基づいて、該
タイムコードに相当する動画像データを符号化動画像デ
ータベース50から読み出して、動画像復号化部100
に送出する。すると、動画像復号化部100では、動画
像データの復号が行われて、表示部110に表示され
る。Next, the operation in reproduction will be described. First, the display of the summary will be described. When the user gives an instruction to browse the summary through the operation unit 85, the display scene selection unit 90 causes the display scene information database 80 to be displayed.
Read the data stored in. That is, the time code for the same scene is read. Then, the display scene selection unit 90 reads the moving image data corresponding to the time code from the encoded moving image database 50 based on the read time code, and the moving image decoding unit 100.
Send to. Then, the moving image decoding unit 100 decodes the moving image data and displays it on the display unit 110.
【0065】なお、上記のように、表示シーン情報デー
タベース80に、同一シーンについてのタイムコードの
他に、タイムコードが示すシーンの動画像符号化データ
を併せて記憶しておく場合には、表示シーン選定部90
は、表示シーン情報データベース80に記憶されている
動画像符号化データを読みだして、そのまま動画像復号
化部100に送って表示を行う。As described above, when the moving picture coded data of the scene indicated by the time code is also stored in the display scene information database 80 in addition to the time code for the same scene, Scene selection unit 90
Reads out the moving image coded data stored in the display scene information database 80 and sends it to the moving image decoding unit 100 as it is for display.
【0066】図7は、上記の動作が行われた例を示すも
のである。つまり、動画像データ310は、シーン31
1〜319までの複数のシーンに分けられ、シーン31
2とシーン314とが同一シーンであり、また、シーン
316とシーン318とが同一シーンであると検出され
た例を示している。この場合には、シーン314とシー
ン318のタイムコードが表示シーン情報データベース
80に記憶されることになる。FIG. 7 shows an example in which the above operation is performed. That is, the moving image data 310 is the scene 31
Divided into multiple scenes from 1 to 319, scene 31
2 and the scene 314 are the same scene, and the example in which the scene 316 and the scene 318 are detected as the same scene is shown. In this case, the time codes of the scene 314 and the scene 318 are stored in the display scene information database 80.
【0067】そして、サマリーを表示する場合には、こ
のシーン314とシーン318の各タイムコードが読み
出されて、シーン314とシーン318が表示されるこ
とになる。つまり、表示されるサマリーを閲覧するに際
しては、検出された同一シーンのみが表示される。な
お、上記のようなサマリーの表示が上記要約画像再生工
程に当たる。また、このサマリーの表示を行う際の表示
シーン選定部90と、動画像復号化部100と、表示部
110とは、上記要約画像再生手段として機能する。When displaying the summary, the time codes of the scene 314 and the scene 318 are read out and the scene 314 and the scene 318 are displayed. That is, when browsing the displayed summary, only the same detected scene is displayed. The display of the summary as described above corresponds to the summary image reproducing step. Further, the display scene selection unit 90, the moving image decoding unit 100, and the display unit 110 at the time of displaying this summary function as the above-mentioned summary image reproducing means.
【0068】以上のように、本実施例における動画像デ
ータ記録再生装置A1によれば、検出された同一シーン
を要約画像として閲覧できるので、動画像データにおけ
る重要な内容を把握することができる。また、特に、同
一シーンの検出に際して、各シーンにおける特徴量に基
づいて検出するので、適切に同一シーンを検出すること
が可能となり、また、簡便に同一シーンを検出すること
が可能となる。As described above, according to the moving image data recording / reproducing apparatus A1 of the present embodiment, since the detected same scene can be viewed as a summary image, important contents in the moving image data can be grasped. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0069】なお、上記のようなサマリーの表示の後
に、次のような詳細表示の動作を行ってもよい。すなわ
ち、サマリーの表示の終了後に、表示部110にさらに
詳細な閲覧を行うか否かを問い合わせ、これに対して、
ユーザーが該詳細な閲覧を行う旨の操作を行った場合
に、以下の詳細表示を行う。なお、サマリーの表示が終
了したら、自動的に以下の詳細表示を行うようにしても
よい。After the summary is displayed as described above, the following detailed display operation may be performed. That is, after the display of the summary is completed, the display unit 110 is queried as to whether or not more detailed browsing is to be performed.
When the user performs an operation for performing the detailed browsing, the following detailed display is performed. Note that the following detailed display may be automatically performed when the display of the summary is completed.
【0070】すると、表示シーン選定部90は、符号化
動画像データベース50から動画像データを読みだして
動画像復号化部100に送り表示するが、その際、ジャ
ンルに応じて動画像データの読出し位置を異なるように
する。例えば、あるジャンルの動画像データについて
は、動画像データの開始位置を読出し位置とし(これを
第1モードとする)、他のあるジャンルの動画像データ
については、最初の同一シーンの開始位置とし(これを
第2モードとする)、他のあるジャンルの動画像データ
については、各同一シーンからなる同一シーン群におい
て最後となる同一シーンが最初に現れる該シーンの開始
位置とする(これを第3モードとする)等が考えられ
る。上記第1モードは、動画像データを最初から視聴す
る場合であり、例えば、ジャンルとしてはドラマ等が適
している。また、上記第2モードは、最初の同一シーン
から始めるので、例えば、スポーツ番組等が適してい
る。また、上記第3モードは、同じシーンからなる同一
シーン群の中で最後の同一シーンが最初に現れる位置か
ら開始するので、少なくとも重要シーンを見逃さないと
いう条件を満たしながら最も開始位置を遅らせることが
できるので、効率のよい視聴を行うことができるので、
例えば、バラエティ番組に適しているといえる。つま
り、動画像データのジャンルと適用するモードとの対応
関係を予め定めておき、動画像データのジャンルに応じ
て、所定のモードを適用させる。Then, the display scene selection unit 90 reads out the moving image data from the encoded moving image database 50 and sends it to the moving image decoding unit 100 for display. At this time, the moving image data is read according to the genre. Make the position different. For example, for moving image data of a certain genre, the start position of the moving image data is the read position (this is the first mode), and for moving image data of another certain genre, it is the start position of the first identical scene. (This is referred to as the second mode.) For moving image data of another certain genre, the last same scene in the same scene group consisting of the same scenes is defined as the start position of the first scene (this is the second position). 3 modes) and so on. The first mode is a case where the moving image data is viewed from the beginning, and for example, a drama or the like is suitable as the genre. Further, since the second mode starts from the same scene at the beginning, a sports program or the like is suitable, for example. Further, in the third mode, since the last same scene first appears in the same scene group consisting of the same scenes, it is possible to delay the start position most while satisfying at least the condition of not missing important scenes. Since you can do it, you can enjoy efficient viewing,
For example, it can be said that it is suitable for variety programs. That is, the correspondence between the genre of moving image data and the mode to be applied is predetermined, and the predetermined mode is applied according to the genre of the moving image data.
【0071】図8は、上記の詳細表示の具体例を示すも
のであり、動画像データ410において、シーン412
とシーン414とが同一シーンであり、また、シーン4
16とシーン418とが同一シーンである場合を示して
いる。FIG. 8 shows a specific example of the above detailed display. In the moving image data 410, a scene 412 is displayed.
And scene 414 are the same scene, and scene 4
16 and the scene 418 are the same scenes.
【0072】そして、動画像データ410のジャンルに
対応するモードが上記第1モードの場合には、動画像デ
ータの開始位置から表示を行っていく。つまり、動画像
データを通常表示する場合と同様である。また、上記第
2モードの場合には、最初に現れるシーン412の開始
位置から表示を開始する。また、第3モードの場合に
は、シーン412とシーン414とからなる同一シーン
群と、シーン416とシーン418とからなる同一シー
ン群の中で、最後の同一シーンが最初に現れるのは、シ
ーン414であるので、このシーン414の開始位置か
ら表示を開始する。なお、仮に、シーン414がシーン
418の後にある場合には、シーン418から表示が開
始されることになる。Then, when the mode corresponding to the genre of the moving image data 410 is the first mode, the display starts from the start position of the moving image data. That is, it is similar to the case of displaying moving image data normally. In the case of the second mode, the display is started from the start position of the scene 412 that first appears. In the third mode, the last identical scene appears first in the identical scene group consisting of the scenes 412 and 414 and the identical scene group consisting of the scenes 416 and 418. Since it is 414, display is started from the start position of this scene 414. If the scene 414 is after the scene 418, the display starts from the scene 418.
【0073】なお、上記のような詳細閲覧の動作を行う
ためには、同一シーンとなるシーンのタイムコードを全
て表示シーン情報データベース80等に記憶しておく必
要がある。また、上記開始位置についてのデータを各ジ
ャンルごとに記憶した記憶部も設けておく(この場合、
該記憶部が、上記再生開始位置記憶手段に当たる)。例
えば、上記第1モード〜第3モードにおける各開始位置
の情報をジャンルについての情報と対応させて記憶して
おく。また、対象となる動画像データのジャンルについ
ては、図9に示すようなEPGデータから取得する。つ
まり、フレームメモリ10に入力される動画像データに
予め番組のジャンルに関するデータを付加しておき、該
ジャンルに関する情報を抽出して記憶しておく。そし
て、表示シーン選定部90は、該ジャンルに関する情報
に従い開始位置を決定して、該開始位置から符号化動画
像データベース50のデータを読み出すのである。この
ようにジャンルごとに開始位置を異ならせる場合の表示
シーン選定部90と、動画像復号化部100と、表示部
110は、上記動画像データ再生手段として機能する。In order to perform the detailed browsing operation as described above, it is necessary to store all the time codes of the same scene in the display scene information database 80 or the like. In addition, a storage unit that stores the data about the start position for each genre is also provided (in this case,
The storage section corresponds to the reproduction start position storage means). For example, the information on each start position in the first mode to the third mode is stored in association with the information on the genre. Further, the genre of the target moving image data is acquired from the EPG data as shown in FIG. That is, data relating to the genre of the program is added to the moving image data input to the frame memory 10 in advance, and the information relating to the genre is extracted and stored. Then, the display scene selection unit 90 determines the start position according to the information regarding the genre, and reads the data of the encoded moving image database 50 from the start position. In this way, the display scene selection unit 90, the moving image decoding unit 100, and the display unit 110 in the case of changing the start position for each genre function as the moving image data reproducing unit.
【0074】なお、上記詳細閲覧の他の方法として、以
下のように、同一シーンについては、1つのシーンのみ
を表示して、効率よく動画像データの全てを閲覧する方
法が考えられる。As another method of the detailed browsing, a method of displaying only one scene for the same scene and efficiently browsing all of the moving image data can be considered as follows.
【0075】例えば、同じシーンからなる同一シーン群
においては、最初にあるシーンのみを表示し、それ以降
の同じシーンは表示しない。つまり、同一シーンについ
てのタイムコードを全て記憶しておき、動画像データの
表示に際しては、動画像データの開始位置から表示を始
めるものの、同一シーンの中で2番目以降のものについ
ては、該当するタイムコードの動画像データを読み出さ
ずに、表示を省略する。例えば、図8の例では、図8
(b)に示すように、シーン414とシーン418の表
示を省略する。For example, in the same scene group consisting of the same scenes, only the first scene is displayed and the same scenes thereafter are not displayed. In other words, all time codes for the same scene are stored, and when displaying moving image data, the display starts from the start position of the moving image data, but the second and subsequent ones in the same scene are applicable. The display is omitted without reading the moving image data of the time code. For example, in the example of FIG.
As shown in (b), the display of scenes 414 and 418 is omitted.
【0076】なお、上記の説明では、特徴量として、色
特徴量のみを演算するとして説明したが、色特徴量と動
き特徴量と形状特徴量の全てを演算する場合には、上記
ステップS10では、当然各特徴量が演算されて、上記
ステップS11では、各特徴量が動画像特徴量データベ
ース60に記憶される。In the above description, only the color feature amount is calculated as the feature amount, but if all the color feature amount, the motion feature amount and the shape feature amount are calculated, the above step S10 is performed. Of course, each characteristic amount is calculated, and in step S11, each characteristic amount is stored in the moving image characteristic amount database 60.
【0077】また、上記ステップS12においては、ス
テップS16に移行する場合とステップS13に移行す
る場合の基準を定めて該基準により判定を行う。例え
ば、各特徴量について全て差分がしきい値内の場合に
は、ステップS16に移行するものとする。つまり、色
特徴量について差分がしきい値内にあり、かつ、動き特
徴量について差分がしきい値内にあり、かつ、形状特徴
量について差分がしきい値内にある場合に、ステップS
16に移行し、1つでもしきい値内にない場合には、ス
テップS13に移行する。なお、3つの特徴量のうち、
所定数の特徴量がしきい値内の場合に、ステップS16
に移行し、しきい値内となる特徴量の数が該所定数に満
たない場合に、ステップS13に移行するとしてもよ
い。Further, in step S12, the criteria for the case of shifting to step S16 and the case of shifting to step S13 are set, and the judgment is made based on the criteria. For example, if all the differences for each feature amount are within the threshold value, the process proceeds to step S16. That is, when the difference is within the threshold for the color feature, the difference is within the threshold for the motion feature, and the difference is within the threshold for the shape feature, step S
If 16 is not within the threshold, the process proceeds to step S13. Of the three feature quantities,
If the predetermined number of feature quantities is within the threshold, step S16
If the number of feature quantities falling within the threshold value does not reach the predetermined number, the procedure may move to step S13.
【0078】また、ステップS14においても、ステッ
プS16に移行する場合とステップS15に移行する場
合の基準を定めて該基準により判定を行う。例えば、各
特徴量について全てヒストグラムが同一のシーンがある
場合には、ステップS15に移行するものとする。つま
り、直前のシーンと該直前のシーンよりも前の全てのシ
ーンとを比較して、色特徴量についてヒストグラムが同
一であり、かつ、動き特徴量についてヒストグラムが同
一であり、かつ、形状特徴量についてヒストグラムが同
一である場合に、ステップS15に移行して、該直前の
シーンのタイムコードを記憶する。なお、3つの特徴量
のうち、所定数の特徴量についてヒストグラムが同一で
あれば、同一シーンとみなして、該直前のシーンのタイ
ムコードを記憶するようにしてもよい。Further, also in step S14, the criteria for the case of proceeding to step S16 and the case of proceeding to step S15 are set, and the determination is made based on the criteria. For example, if there is a scene in which the histograms are the same for each feature amount, the process proceeds to step S15. That is, comparing the immediately preceding scene with all the scenes before the immediately preceding scene, the histograms are the same for the color feature amount, the histograms are the same for the motion feature amount, and the shape feature amount is the same. If the histograms are the same, the process proceeds to step S15 and the time code of the immediately preceding scene is stored. Note that if the histograms are the same for a predetermined number of feature amounts of the three feature amounts, they may be regarded as the same scene and the time code of the immediately preceding scene may be stored.
【0079】次に、第2実施例について説明する。この
第2実施例は、上記第1実施例が符号化に際して、動画
像特徴量を演算して同一シーンを検出しているのに対し
て、復号化に際して、動画像特徴量を演算して同一シー
ンを検出している点が異なる。Next, the second embodiment will be described. In the second embodiment, the moving image feature amount is calculated and the same scene is detected in the encoding in the first embodiment, whereas the moving image feature amount is calculated and the same scene is detected in the decoding. The difference is that the scene is detected.
【0080】この第2実施例の動画像データ記録再生装
置A2は、図10に示されるように構成され、フレーム
メモリ210と、動画像符号化部(符号化手段)220
と、符号化動画像データベース(符号化データ記憶手
段)230と、動画像復号化部(復号手段)240と、
特徴量演算部(特徴量検出手段)260と、動画像特徴
量データベース270と、同一シーン判定部280と、
表示シーン情報データベース(特定情報記憶手段)29
0と、表示シーン選定部300と、表示シーンメモリ
(復号データ記憶手段)310と、表示部320とを有
している。The moving picture data recording / reproducing apparatus A2 of the second embodiment is configured as shown in FIG. 10, and has a frame memory 210 and a moving picture coding unit (coding means) 220.
An encoded moving image database (encoded data storage unit) 230, a moving image decoding unit (decoding unit) 240,
A feature amount calculation unit (feature amount detection means) 260, a moving image feature amount database 270, an identical scene determination unit 280,
Display scene information database (specific information storage means) 29
0, a display scene selection unit 300, a display scene memory (decoded data storage unit) 310, and a display unit 320.
【0081】ここで、動画像符号化部220は、フレー
ムメモリ210から読み出した動画像データをMPEG
符号化して、符号化動画像データベース230に記録す
るものである。つまり、上記第1実施例の動画像符号化
部20から特徴量演算部40の構成を除いた構成である
といえる。Here, the moving picture coding unit 220 uses the moving picture data read from the frame memory 210 as MPEG.
It is encoded and recorded in the encoded moving image database 230. That is, it can be said that the configuration is obtained by removing the configuration of the feature amount calculation unit 40 from the moving image encoding unit 20 of the first embodiment.
【0082】また、符号化動画像データベース230
は、動画像符号化部220により符号化された動画像デ
ータを記憶するものである。Further, the encoded moving image database 230
Stores the moving image data encoded by the moving image encoding unit 220.
【0083】また、動画像復号化部240は、符号化動
画像データベース230に記憶された動画像データを復
号するものであり、図11に示すように、VLD部(可
変長復号部)242と、IQ部(逆量子化部)244
と、I−Scan部246と、IDCT部(DCT逆変
換部)248と、フレームメモリ250と、MC部25
2と、加算部254とを有している。The moving picture decoding section 240 is for decoding the moving picture data stored in the coded moving picture database 230, and as shown in FIG. 11, a VLD section (variable length decoding section) 242. , IQ section (inverse quantization section) 244
, I-Scan unit 246, IDCT unit (DCT inverse transform unit) 248, frame memory 250, and MC unit 25.
2 and an adder 254.
【0084】ここで、VLD部242は、符号化された
動画像データを可変長復号するものである。また、IQ
部244は、可変長復号された動画像データを逆量子化
する。また、I−Scan部246は、逆量子化された
動画像データをジグザグスキャンするものであり、ま
た、IDCT部248は、逆DCT変換を行う。また、
MC部252は、VLD部242から送られた動きベク
トルに基づいてフレームメモリ250から参照画像を読
み出す。この動画像復号化部240自体の構成は、従来
の構成と同様であるといえる。Here, the VLD unit 242 is for performing variable length decoding on the encoded moving image data. Also, IQ
The unit 244 inversely quantizes the variable-length decoded moving image data. The I-Scan unit 246 zigzag-scans the dequantized moving image data, and the IDCT unit 248 performs an inverse DCT transform. Also,
The MC unit 252 reads the reference image from the frame memory 250 based on the motion vector sent from the VLD unit 242. It can be said that the configuration of the moving image decoding unit 240 itself is the same as the conventional configuration.
【0085】また、特徴量演算部260は、動画像特徴
量を演算するものであり、図11に示すように、色特徴
量演算部262と、形状特徴量演算部264と、動き特
徴量演算部266とを有している。Further, the feature quantity computing section 260 computes a moving picture feature quantity, and as shown in FIG. 11, a color feature quantity computing section 262, a shape feature quantity computing section 264, and a motion feature quantity computing. Section 266.
【0086】ここで、色特徴量演算部262は、色特徴
量を演算するもので、具体的には、MPEG−7におけ
る色記述子を演算する。つまり、1フレームを縦8等
分、横8等分の計64個の画素の集合に分割し、該集合
のそれぞれについて画素値の平均値を求め、該平均値か
らなる64個の数値集合に対して、2次元空間位置に基
づく2次元DCT変換を施し、この2次元DCT変換の
出力係数値から上位数個の係数値を色記述子とする。Here, the color feature amount calculator 262 calculates the color feature amount, and specifically calculates the color descriptor in MPEG-7. That is, one frame is divided into a total of 64 pixels, each of which is divided into 8 equal parts in the vertical direction and 8 equal parts in the lateral direction, the average value of the pixel values is obtained for each of the set, and a 64 numerical value set consisting of the average values On the other hand, the two-dimensional DCT transformation based on the two-dimensional spatial position is performed, and several coefficient values in the upper order from the output coefficient values of this two-dimensional DCT transformation are used as color descriptors.
【0087】また、形状特徴量演算部264は、形状特
徴量を演算するもので、具体的には、MPEG−7にお
ける形状記述子を演算する。The shape feature amount calculator 264 calculates the shape feature amount, and specifically calculates the shape descriptor in MPEG-7.
【0088】また、動き特徴量演算部266は、動き特
徴量を演算するもので、具体的には、MPEG−7にお
ける動き記述子を演算する。つまり、動き特徴量演算部
266は、フレームメモリ250からのデータに基づい
てフレームデータ自体の動きベクトルを検出するME部
268を有し、動き特徴量演算部266は、Iピクチャ
等のイントラ画像の場合には、このME部268により
検出された動きベクトルに基づき動き特徴量を演算し、
一方、PピクチャやBピクチャのようなインター画像の
場合には、VLD部242から送られる動きベクトルに
基づき動き特徴量を演算する。The motion characteristic amount calculation unit 266 calculates the motion characteristic amount, and specifically calculates the motion descriptor in MPEG-7. That is, the motion feature amount calculation unit 266 has the ME unit 268 that detects the motion vector of the frame data itself based on the data from the frame memory 250, and the motion feature amount calculation unit 266 includes the intra image such as an I picture. In this case, the motion feature amount is calculated based on the motion vector detected by the ME unit 268,
On the other hand, in the case of an inter image such as a P picture or a B picture, the motion feature amount is calculated based on the motion vector sent from the VLD unit 242.
【0089】この特徴量演算部260は、算出した各特
徴量を上記動画像特徴量データベース270に記憶す
る。The characteristic amount calculation section 260 stores the calculated respective characteristic amounts in the moving image characteristic amount database 270.
【0090】動画像特徴量データベース270は、特徴
量演算部260により算出された特徴量を記憶するもの
であり、各フレームごとに、色特徴量、動き特徴量、形
状特徴量の各特徴量を記憶するように構成されている。
つまり、動画像特徴量データベース270の構成は、図
3に示す構成と同様である。The moving image feature amount database 270 stores the feature amount calculated by the feature amount calculating section 260, and stores the color feature amount, the motion feature amount, and the shape feature amount for each frame. It is configured to remember.
That is, the configuration of the moving image feature amount database 270 is similar to the configuration shown in FIG.
【0091】また、同一シーン判定部280は、上記第
1実施例における同一シーン判定部70と同様に、動画
像データにおける同一シーンを判定するもので、具体的
には、現在のフレームの特徴量と直前のフレームの特徴
量とを比較することにより、動画像データを各シーンご
とに分割し、直前のシーンと該直前のシーンより前のシ
ーンとを比較して同一シーンが存在するか否かを検出
し、同一シーンが検出された場合には、該シーンを特定
するための情報を表示シーン情報データベース290に
記憶するものである。この同一シーン判定部280は、
上記シーン分割手段と同一シーン検出手段として機能す
る。Further, the same-scene determination unit 280 determines the same scene in the moving image data, similarly to the same-scene determination unit 70 in the first embodiment, and specifically, the feature amount of the current frame. And the feature amount of the immediately preceding frame are compared, the moving image data is divided into each scene, and the immediately preceding scene and the scene before the immediately preceding scene are compared to determine whether the same scene exists. When the same scene is detected, the information for specifying the scene is stored in the display scene information database 290. The same scene determination unit 280
It functions as the same scene detection means as the scene division means.
【0092】また、表示シーン情報データベース290
は、上記表示シーン情報データベース80と同様に、同
一シーンの判定されたシーンを特定するためのデータを
記憶するものである。つまり、図5に示すように、タイ
ムコード、つまり、該シーンの開始時刻の時刻情報と、
終了時刻の時刻情報とを同一シーンごとに記憶できるよ
うになっている。Further, the display scene information database 290
Like the display scene information database 80, stores the data for specifying the determined scene of the same scene. That is, as shown in FIG. 5, a time code, that is, time information of the start time of the scene,
The time information of the end time can be stored for each same scene.
【0093】また、表示シーン選定部300は、表示シ
ーン情報データベース290に記憶されたデータに基づ
いて、表示シーンメモリ310に記憶されている動画像
データの少なくとも一部を消去する処理を行う。つま
り、表示シーン情報データベース290に記憶されたデ
ータに基づいて、同一シーン以外の動画像データを消去
する。Further, the display scene selection unit 300 performs a process of erasing at least a part of the moving image data stored in the display scene memory 310 based on the data stored in the display scene information database 290. That is, the moving image data other than the same scene is deleted based on the data stored in the display scene information database 290.
【0094】また、表示部320は、表示シーンメモリ
310に記憶されている動画像データを読み出して、表
示するものである。Further, the display section 320 reads out and displays the moving image data stored in the display scene memory 310.
【0095】なお、上記動画像データ記録再生装置A2
を構成する上記各部については、各機能を有する装置と
して構成してもよいし、一部の構成、例えば、動画像符
号化部220と特徴量演算部260と同一シーン判定部
280と表示シーン選定部300と動画像復号化部24
0とを各部の処理を実行するためのプログラムと、該プ
ログラムに基づき処理を実行するCPUにより構成して
もよい。The moving image data recording / reproducing apparatus A2 is used.
Each of the above-mentioned units may be configured as a device having each function, or a part of the configuration, for example, the moving image encoding unit 220, the feature amount calculation unit 260, the same scene determination unit 280, and the display scene selection. Unit 300 and video decoding unit 24
0 may be configured by a program for executing the process of each unit and a CPU that executes the process based on the program.
【0096】上記構成の動画像データ記録再生装置A2
の動作について説明する。まず、図12に示すフローチ
ャート等を使用しながら、同一シーンの検出及び要約画
像の作成の動作について説明する。なお、以下の動作の
説明においては、説明の都合上、特徴量演算部40は、
色特徴量のみを演算するものとする。つまり、色特徴量
演算部44が色特徴量を演算するが、動き特徴量演算部
42や形状特徴量演算部46は演算を行わないものとす
る。A moving image data recording / reproducing apparatus A2 having the above structure.
The operation of will be described. First, the operation of detecting the same scene and creating a summary image will be described using the flowchart shown in FIG. Note that, in the following description of the operation, for convenience of explanation,
Only the color feature amount is calculated. That is, the color feature amount calculation unit 44 calculates the color feature amount, but the motion feature amount calculation unit 42 and the shape feature amount calculation unit 46 do not perform the calculation.
【0097】まず、動画像データがフレームメモリ21
0に入力されると、動画像符号化部220において該動
画像データの符号化が行われる(符号化工程)。つま
り、フレームメモリ210に記憶されているフレームデ
ータを処理の対象たる対象フレームとして、符号化を行
う。符号化されたデータは、符号化動画像データベース
230に記憶される(符号化データ記憶工程)。First, moving image data is stored in the frame memory 21.
When input to 0, the moving picture coding unit 220 codes the moving picture data (coding step). That is, the frame data stored in the frame memory 210 is encoded as the target frame to be processed. The encoded data is stored in the encoded moving image database 230 (encoded data storing step).
【0098】その後、図12のフローチャートの動作に
移行する。なお、図12のフローチャートにおけるステ
ップS21〜S25までの処理は、基本的には、図6の
フローチャートにおけるステップS10〜S14と同様
である。After that, the operation shifts to the operation of the flowchart of FIG. The processes of steps S21 to S25 in the flowchart of FIG. 12 are basically the same as steps S10 to S14 of the flowchart of FIG.
【0099】まず、動画像復号化部240は、符号化動
画像データベース230に記憶された符号化動画像デー
タをフレームごとに復号していき、復号された動画像デ
ータを表示シーンメモリ310に記憶していく(復号工
程)(S20)。つまり、対象フレームがIピクチャ等
の他のフレームを参照しないフレームデータの場合に
は、該フレームの画像データをVLD部242により可
変長復号し、IQ部244で逆量子化し、I−Scan
部246でスキャンした後にIDCT部248で逆DC
T変換した後にフレームメモリ250に記憶される。ま
た、Bピクチャ等の他のフレームを参照するフレームデ
ータの場合には、MC部252が動きベクトルに基づい
てフレームメモリ250から参照画像を切り取り加算部
254に出力し、加算部254では、IDCT部248
からのデータと加算してフレームメモリ250に送られ
る。上記のような動画像データの復号化処理は、従来の
場合と同様である。First, the moving picture decoding unit 240 decodes the coded moving picture data stored in the coded moving picture database 230 frame by frame, and stores the decoded moving picture data in the display scene memory 310. (Decoding step) (S20). That is, when the target frame is frame data that does not refer to another frame such as an I picture, the image data of the frame is subjected to variable length decoding by the VLD unit 242, inversely quantized by the IQ unit 244, and I-Scan is performed.
Inverse DC is performed by the IDCT unit 248 after scanning by the unit 246.
After the T conversion, it is stored in the frame memory 250. In the case of frame data that refers to another frame such as a B picture, the MC unit 252 cuts out the reference image from the frame memory 250 based on the motion vector and outputs the reference image to the addition unit 254. 248
The data is added to the data from and sent to the frame memory 250. The decoding process of moving image data as described above is similar to the conventional case.
【0100】また、特徴量演算部260は、対象フレー
ムについて動画像特徴量を演算する(特徴量検出工程)
(S21)。ここでは、色特徴量のみを演算するとす
る。つまり、色特徴量演算部262が、動画像復号化部
240からのデータに基づき、色特徴量を演算する。具
体的には、MPEG−7における色記述子を演算する。Further, the characteristic amount calculation section 260 calculates the moving image characteristic amount for the target frame (feature amount detecting step).
(S21). Here, it is assumed that only the color feature amount is calculated. That is, the color feature amount calculation unit 262 calculates the color feature amount based on the data from the moving image decoding unit 240. Specifically, a color descriptor in MPEG-7 is calculated.
【0101】そして、算出された特徴量は、同一シーン
判定部280に送られるとともに、動画像特徴量データ
ベース270に記憶される(S22)。つまり、フレー
ムデータごとに、特徴量が記憶されていく。なお、ここ
では、色特徴量のみが動画像特徴量データベース270
に記憶されるものとする。なお、実際には、Y信号、C
b信号、Cr信号のそれぞれについて各特徴量が記憶さ
れる。Then, the calculated feature amount is sent to the same scene determination unit 280 and stored in the moving image feature amount database 270 (S22). That is, the feature amount is stored for each frame data. Note that here, only the color feature amount is the moving image feature amount database 270.
Shall be stored in. Actually, the Y signal, C
Each feature amount is stored for each of the b signal and the Cr signal.
【0102】そして、同一シーン判定部280は、特徴
量演算部260から送られた動画像特徴量と、該動画像
特徴量についてのフレーム(つまり、対象フレーム)の
前にあるフレームの動画像特徴量を比較して、その差分
が所定のしきい値内であるか否かを判定する(S2
3)。ここで、対象フレームの前にあるフレームとして
は、対象フレームの直前のフレームから遡って複数個の
連続するフレームとし、その動画像特徴量としては、各
フレームの動画像特徴量を平均する等の処理をした特徴
量を用いる。なお、対象フレームの前にあるフレームの
動画像特徴量については、動画像特徴量データベース2
70に記憶されたデータから読み出す。なお、ここで
は、色特徴量について比較が行われることになる。Then, the same scene determination unit 280 determines the moving image feature amount sent from the feature amount calculation unit 260 and the moving image feature of the frame before the frame (that is, the target frame) for the moving image feature amount. The amounts are compared to determine whether the difference is within a predetermined threshold value (S2
3). Here, the frame in front of the target frame is a plurality of continuous frames that are traced back from the frame immediately before the target frame, and the moving image feature amount is such that the moving image feature amount of each frame is averaged. The processed feature quantity is used. For the moving image feature amount of the frame before the target frame, the moving image feature amount database 2
It reads from the data stored in 70. It should be noted that here, the color feature amounts are compared.
【0103】そして、該所定のしきい値内にある場合に
は、まだ同じシーン内にあると判断してステップS28
に移行し、一方、しきい値を越えている場合には、別の
シーンになったものとして、現在のフレームのタイムコ
ードを新たなシーンの先頭タイムコードとして保持する
(S24)。なお、このステップS24では、新たなシ
ーンの先頭位置が検出されると、その直前のシーンが特
定されるので、同一シーン判定部280は、その直前の
シーンについての特徴量のヒストグラムを算出して、同
一シーン判定用テーブル(図4参照)に記憶する。つま
り、該直前のシーンに含まれるフレームの特徴量を動画
像特徴量データベース270から読み出して、そのヒス
トグラムを算出する。ここでは、色特徴量についてのヒ
ストグラムのみが作成される。なお、該直前のシーンに
含まれるフレームの特徴量については、現在のフレーム
の1つ前のフレームから遡って、該直前のシーンの先頭
タイムコードに対応するフレームまでの各特徴量を動画
像特徴量データベース270から読み出せばよい。な
お、上記ステップS23、S24は、上記シーン分割工
程に当たる。また、この場合の同一シーン判定部280
は、上記シーン分割手段として機能する。If it is within the predetermined threshold value, it is judged that the scene is still in the same scene, and step S28 is performed.
On the other hand, if it exceeds the threshold value, it is regarded as another scene, and the time code of the current frame is held as the start time code of the new scene (S24). In step S24, when the start position of a new scene is detected, the immediately preceding scene is specified. Therefore, the same scene determination unit 280 calculates the histogram of the feature amount of the immediately preceding scene. , The same scene determination table (see FIG. 4). That is, the feature amount of the frame included in the immediately preceding scene is read from the moving image feature amount database 270 and the histogram thereof is calculated. Here, only the histogram for the color feature amount is created. As for the feature quantity of the frame included in the immediately preceding scene, each feature quantity up to the frame corresponding to the start time code of the immediately preceding scene is traced back from the frame immediately before the current frame. It may be read from the quantity database 270. The steps S23 and S24 correspond to the scene dividing step. In addition, the same scene determination unit 280 in this case
Functions as the scene dividing unit.
【0104】ステップS24からはステップS25に移
行し、直前のシーン(すなわち、ステップS24で検出
された新たなシーンの先頭フレームの前のフレームをそ
のシーンの最終フレームとするシーン)における特徴量
のヒストグラムと、該シーンよりも前にある全てのシー
ンの特徴量のヒストグラムとをそれぞれ比較して、同一
のヒストグラムを有するシーンがあるか否かを判定する
(S25)。なお、ここでは、直前のシーンの色特徴量
のヒストグラムと、該シーンよりも前の全てのシーンの
色特徴量のヒストグラムとが比較される。このステップ
S25は、上記同一シーン検出工程に当たる。また、こ
の場合の同一シーン判定部280は、上記同一シーン検
出手段として機能する。From step S24, the process proceeds to step S25, and the histogram of the characteristic amount in the immediately preceding scene (that is, the scene in which the frame preceding the first frame of the new scene detected in step S24 is the final frame of that scene) And the histograms of the characteristic amounts of all the scenes before the scene are compared with each other to determine whether or not there is a scene having the same histogram (S25). Here, the histogram of the color feature amount of the immediately preceding scene and the histogram of the color feature amounts of all the scenes before the scene are compared. This step S25 corresponds to the same scene detection step. Further, the same scene determination unit 280 in this case functions as the same scene detection means.
【0105】そして、同一のヒストグラムを有するシー
ンが存在する場合には、該直前のシーンのタイムコード
を表示シーン情報データベース290に記憶する(特定
情報記憶工程)(S26)。つまり、該直前のシーンの
開始時刻についての情報と終了時刻についての情報とが
記憶される。開始時刻については、同一シーン判定用テ
ーブルにおけるそのシーンの先頭タイムコードを記憶
し、終了時刻については、該シーンの次のシーンの先頭
タイムコードを記憶するようにすればよい。この表示シ
ーン情報データベース290に記憶されるタイムコード
が、上記特定情報に当たる。一方、ステップS25にお
いて、同一のヒストグラムを有するシーンが存在しない
場合には、ステップS28に移行する。If there are scenes having the same histogram, the time code of the immediately preceding scene is stored in the display scene information database 290 (specific information storing step) (S26). That is, the information about the start time and the information about the end time of the immediately preceding scene are stored. For the start time, the start time code of the scene in the same scene determination table may be stored, and for the end time, the start time code of the next scene of the scene may be stored. The time code stored in the display scene information database 290 corresponds to the specific information. On the other hand, in step S25, if there is no scene having the same histogram, the process proceeds to step S28.
【0106】ステップS26における処理が終了した
ら、表示シーン選定部300は、所定の動画像データを
消去する(S27)。つまり、1つ前に同一シーンが検
出されてから同一シーンが検出されるまでの間の動画像
データを表示シーンメモリ310から消去する。すなわ
ち、表示シーン情報データベース290に最新に記憶さ
れた同一シーンのタイムコードよりも前に位置し、最新
に記憶された同一シーンの1つ前に記憶された同一シー
ンのタイムコードの終了時刻以降の動画像データを消去
する。ステップS27の処理が終了したら、ステップS
28に移行する。When the processing in step S26 is completed, the display scene selection unit 300 erases the predetermined moving image data (S27). That is, the moving image data from the time when the same scene is detected immediately before to the time when the same scene is detected is deleted from the display scene memory 310. That is, after the end time of the time code of the same scene stored before the time code of the same scene stored most recently in the display scene information database 290 and immediately before the most recently stored same scene. Delete the moving image data. When the processing of step S27 is completed, step S
Move to 28.
【0107】ステップS28では、次のフレームがある
か否かが動画像復号化部240により判定されて、次の
フレームがある場合には、ステップS20に戻り、一
方、次のフレームがない場合には、処理を終了する。In step S28, the moving image decoding unit 240 determines whether or not there is a next frame. If there is a next frame, the process returns to step S20, while if there is no next frame, the process returns to step S20. Ends the process.
【0108】以上のように処理を行うことにより、表示
シーンメモリ310には、同一シーンの動画像データが
蓄積されていく。これがサマリーデータとなる。例え
ば、図7の例では、シーン314の動画像データとシー
ン318の動画像データが表示シーンメモリ310に記
憶されることになる。By performing the processing as described above, the moving image data of the same scene is accumulated in the display scene memory 310. This is the summary data. For example, in the example of FIG. 7, the moving image data of the scene 314 and the moving image data of the scene 318 are stored in the display scene memory 310.
【0109】次に、再生における動作について説明す
る。まず、サマリーの表示について説明する。ユーザー
が操作部330によりサマリーの閲覧を指示すると、表
示部320は、表示シーンメモリ310から記憶されて
いる動画像データを読みだして表示する。この表示シー
ンメモリ310には、同一シーンの動画像データが記憶
されているので、これにより、同一シーンを閲覧するこ
とができる。Next, the operation in reproduction will be described. First, the display of the summary will be described. When the user gives an instruction to browse the summary using the operation unit 330, the display unit 320 reads out and displays the moving image data stored in the display scene memory 310. Since the moving image data of the same scene is stored in the display scene memory 310, the same scene can be viewed.
【0110】以上のように、本実施例における動画像デ
ータ記録再生装置A2によれば、検出された同一シーン
を要約画像として閲覧できるので、動画像データにおけ
る重要な内容を把握することができる。また、特に、同
一シーンの検出に際して、各シーンにおける特徴量に基
づいて検出するので、適切に同一シーンを検出すること
が可能となり、また、簡便に同一シーンを検出すること
が可能となる。As described above, according to the moving image data recording / reproducing apparatus A2 in the present embodiment, the same detected scene can be viewed as a summary image, so that the important contents in the moving image data can be grasped. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0111】なお、上記第1実施例におけるような詳細
表示を行う場合には、動画像データのジャンルに応じ
て、シーンについての動画像データを表示シーンメモリ
310から削除する。なお、この詳細閲覧における動画
像データは、上記図12により作成されるサマリーデー
タとは別に表示シーンメモリ310内に作成しておく。When performing the detailed display as in the first embodiment, the moving image data regarding the scene is deleted from the display scene memory 310 according to the genre of the moving image data. The moving image data for this detailed browsing is created in the display scene memory 310 separately from the summary data created in FIG.
【0112】例えば、ジャンルが第1モードを適用する
ジャンルである場合には、そのまま動画像データをその
一部を消去することなく記憶しておく。また、第2モー
ドの場合には、最初に同一シーンが現れるまでの動画像
データを削除する。また、第3モードの場合には、同一
シーン群の中で最後の同一シーンが最初に現れるまでの
動画像データを削除する。For example, when the genre is a genre to which the first mode is applied, the moving image data is stored as it is without erasing a part thereof. In the second mode, moving image data until the same scene first appears is deleted. In the case of the third mode, the moving image data until the last identical scene first appears in the identical scene group is deleted.
【0113】なお、上記のような詳細閲覧の動作を行う
ためには、同一シーンとなるシーンのタイムコードを全
て表示シーン情報データベース290等に記憶しておく
必要がある。また、上記開始位置についてのデータを各
ジャンルごとに記憶した記憶部も設けておく(この場
合、該記憶部が、上記再生開始位置記憶手段に当た
る)。例えば、上記第1モード〜第3モードにおける各
開始位置の情報をジャンルについての情報と対応させて
記憶しておく。また、対象となる動画像データのジャン
ルについては、図9に示すようなEPGデータから取得
する。そして、表示シーン選定部300は、該ジャンル
に関する情報に従い開始位置を決定して、必要な場合
に、動画像データの一部を削除する。このようにジャン
ルごとに開始位置を異ならせる場合の表示シーン選定部
300と、表示シーンメモリ310と、表示部320
は、上記動画像データ再生手段として機能する。In order to perform the detailed browsing operation as described above, it is necessary to store all the time codes of the same scene in the display scene information database 290 or the like. Further, a storage unit is also provided for storing the data on the start position for each genre (in this case, the storage unit corresponds to the reproduction start position storage means). For example, the information on each start position in the first mode to the third mode is stored in association with the information on the genre. Further, the genre of the target moving image data is acquired from the EPG data as shown in FIG. Then, the display scene selection unit 300 determines the start position according to the information regarding the genre, and deletes a part of the moving image data when necessary. In this way, the display scene selection unit 300, the display scene memory 310, and the display unit 320 when the start position is changed for each genre
Functions as the moving image data reproducing means.
【0114】以上のように、詳細閲覧用のデータを作成
しておくことにより、詳細閲覧のデータを表示すること
が可能となる。As described above, by creating the data for detailed browsing, the data for detailed browsing can be displayed.
【0115】詳細閲覧の他の方法として、同一シーンに
ついては1つのシーンのみを表示する場合には、同一シ
ーンが2回目以降に現れる場合には、それらの動画像デ
ータを表示シーンメモリ310から消去するようにす
る。As another method of detailed browsing, when only one scene is displayed for the same scene, if the same scene appears for the second time and thereafter, those moving image data are deleted from the display scene memory 310. To do so.
【0116】なお、上記図12の説明では、特徴量とし
て、色特徴量のみを演算するとして説明したが、色特徴
量と動き特徴量と形状特徴量の全てを演算する場合に
は、上記ステップS21では、当然各特徴量が演算され
て、上記ステップS22では、各特徴量が動画像特徴量
データベース270に記憶される。In the description of FIG. 12 described above, only the color feature amount is calculated as the feature amount, but in the case of calculating all of the color feature amount, the motion feature amount and the shape feature amount, the above steps are performed. In S21, each feature amount is naturally calculated, and in step S22, each feature amount is stored in the moving image feature amount database 270.
【0117】また、上記ステップS23においては、ス
テップS28に移行する場合とステップS24に移行す
る場合の基準を定めて該基準により判定を行う。例え
ば、各特徴量について全て差分がしきい値内の場合に
は、ステップS28に移行するものとする。つまり、色
特徴量について差分がしきい値内にあり、かつ、動き特
徴量について差分がしきい値内にあり、かつ、形状特徴
量について差分がしきい値内にある場合に、ステップS
28に移行し、1つでもしきい値内にない場合には、ス
テップS24に移行する。なお、3つの特徴量のうち、
所定数の特徴量がしきい値内の場合に、ステップS28
に移行し、しきい値内となる特徴量の数が該所定数に満
たない場合に、ステップS24に移行するとしてもよ
い。Further, in step S23, the criteria for the case of proceeding to step S28 and the case of proceeding to step S24 are set, and the determination is made based on the criteria. For example, if all the differences are within the threshold value for each feature amount, the process proceeds to step S28. That is, when the difference is within the threshold for the color feature, the difference is within the threshold for the motion feature, and the difference is within the threshold for the shape feature, step S
If 28 is not within the threshold, the process proceeds to step S24. Of the three feature quantities,
If the predetermined number of feature quantities is within the threshold, step S28
If the number of feature quantities falling within the threshold value does not reach the predetermined number, the procedure may move to step S24.
【0118】また、ステップS25においても、ステッ
プS28に移行する場合とステップS26に移行する場
合の基準を定めて該基準により判定を行う。例えば、各
特徴量について全てヒストグラムが同一のシーンがある
場合には、ステップS26に移行するものとする。つま
り、直前のシーンと該直前のシーンよりも前の全てのシ
ーンとを比較して、色特徴量についてヒストグラムが同
一であり、かつ、動き特徴量についてヒストグラムが同
一であり、かつ、形状特徴量についてヒストグラムが同
一である場合に、ステップS26に移行して、該直前の
シーンのタイムコードを記憶する。なお、3つの特徴量
のうち、所定数の特徴量についてヒストグラムが同一で
あれば、同一シーンとみなして、該直前のシーンのタイ
ムコードを記憶するようにしてもよい。Further, also in step S25, the criteria for the case of proceeding to step S28 and the case of proceeding to step S26 are set, and the determination is made based on the criteria. For example, if there is a scene in which the histograms are the same for each feature amount, the process proceeds to step S26. That is, comparing the immediately preceding scene with all the scenes before the immediately preceding scene, the histograms are the same for the color feature amount, the histograms are the same for the motion feature amount, and the shape feature amount is the same. If the histograms are the same, the process proceeds to step S26 and the time code of the immediately preceding scene is stored. Note that if the histograms are the same for a predetermined number of feature amounts of the three feature amounts, they may be regarded as the same scene and the time code of the immediately preceding scene may be stored.
【0119】[0119]
【発明の効果】本発明に基づく動画像データ要約情報作
成装置、動画像データ記録再生装置、動画像データ要約
情報作成方法及び動画像データ記録再生方法によれば、
検出された同一シーンを要約画像として閲覧できるの
で、動画像データにおける重要な内容を把握することが
できる。また、特に、同一シーンの検出に際して、各シ
ーンにおける特徴量に基づいて検出するので、適切に同
一シーンを検出することが可能となり、また、簡便に同
一シーンを検出することが可能となる。According to the moving picture data summary information creating device, the moving picture data recording / reproducing device, the moving picture data summary information creating method and the moving picture data recording / reproducing method according to the present invention,
Since the same detected scene can be viewed as a summary image, it is possible to grasp the important contents in the moving image data. Further, in particular, when the same scene is detected, the detection is performed based on the feature amount in each scene, so that the same scene can be appropriately detected, and the same scene can be easily detected.
【0120】また、特に、請求項12に記載の動画像デ
ータ記録再生装置によれば、動画像データのジャンルに
より、再生開始位置を異ならせることができるので、ジ
ャンルに応じて適切な視聴をすることができる。Further, in particular, according to the moving image data recording / reproducing apparatus of the twelfth aspect, since the reproduction start position can be changed depending on the genre of the moving image data, the proper viewing is performed according to the genre. be able to.
【0121】また、特に、請求項13に記載の動画像デ
ータ記録再生装置によれば、同一シーンについて1つの
シーンのみ再生するので、全てのシーンを短い時間で視
聴を行うことができる。Further, in particular, according to the moving picture data recording / reproducing apparatus of the thirteenth aspect, since only one scene is reproduced for the same scene, all the scenes can be viewed in a short time.
【図1】本発明の第1実施例に基づく動画像データ記録
再生装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a moving image data recording / reproducing apparatus according to a first embodiment of the present invention.
【図2】本発明の第1実施例に基づく動画像データ記録
再生装置における動画像符号化部の構成を示すブロック
図である。FIG. 2 is a block diagram showing a configuration of a moving picture coding unit in the moving picture data recording / reproducing apparatus according to the first embodiment of the present invention.
【図3】動画像特徴量データベースの構成を示す説明図
である。FIG. 3 is an explanatory diagram showing a configuration of a moving image feature amount database.
【図4】同一シーン判定用テーブルの構成を示す説明図
である。FIG. 4 is an explanatory diagram showing a configuration of a same scene determination table.
【図5】表示シーン情報データベースの構成を示す説明
図である。FIG. 5 is an explanatory diagram showing a configuration of a display scene information database.
【図6】本発明の第1実施例に基づく動画像データ記録
再生装置の動作を説明するためのフローチャートであ
る。FIG. 6 is a flowchart for explaining the operation of the moving image data recording / reproducing apparatus according to the first embodiment of the present invention.
【図7】本発明の実施例に基づく動画像データ記録再生
装置の動作を説明するための説明図である。FIG. 7 is an explanatory diagram for explaining the operation of the moving image data recording / reproducing apparatus according to the embodiment of the present invention.
【図8】本発明の実施例に基づく動画像データ記録再生
装置の動作を説明するための説明図である。FIG. 8 is an explanatory diagram for explaining the operation of the moving image data recording / reproducing apparatus according to the embodiment of the present invention.
【図9】EPGデータの例を示す説明図である。FIG. 9 is an explanatory diagram showing an example of EPG data.
【図10】本発明の第2実施例に基づく動画像データ記
録再生装置の構成を示すブロック図である。FIG. 10 is a block diagram showing a configuration of a moving image data recording / reproducing apparatus according to a second embodiment of the present invention.
【図11】本発明の第2実施例に基づく動画像データ記
録再生装置における動画像復号化部と特徴量演算部の構
成を示すブロック図である。FIG. 11 is a block diagram showing the configurations of a moving image decoding unit and a feature amount calculation unit in a moving image data recording / reproducing apparatus according to the second embodiment of the present invention.
【図12】本発明の第2実施例に基づく動画像データ記
録再生装置の動作を説明するためのフローチャートであ
る。FIG. 12 is a flow chart for explaining the operation of the moving image data recording / reproducing apparatus according to the second embodiment of the present invention.
A1、A2 動画像データ記録再生装置 10、210 フレームメモリ 20、220 動画像符号化部 22 DCT部 24 Q部 26 VLC部 28 ME/MC部 30 ローカルデコード部 32 IQ部 34 IDCT部 36 MC部 38 ローカルデコード画像メモリ部 40、260 特徴量演算部 42 動き特徴量演算部 44 色特徴量演算部 46 形状特徴量演算部 50、230 符号化動画像データベース 60、270 動画像特徴量データベース 70、280 同一シーン判定部 80、290 表示シーン情報データベース 90、300 表示シーン選定部 100、240 動画像復号化部 110、320 表示部 310 表示シーンメモリ A1, A2 moving image data recording / reproducing apparatus 10, 210 frame memory 20, 220 Moving picture coding unit 22 DCT section 24 Q section 26 VLC section 28 ME / MC section 30 Local decoding section 32 IQ section 34 IDCT Department 36 MC Department 38 Locally decoded image memory section 40, 260 Feature amount calculation unit 42 Motion feature amount calculator 44-color feature calculator 46 Shape feature calculation unit 50,230 Encoded moving image database 60,270 Moving image feature database 70, 280 Same scene determination unit 80,290 Display scene information database 90, 300 Display scene selection section 100, 240 Video decoding unit 110, 320 Display 310 Display scene memory
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/91 H04N 5/91 N 5D110 7/24 7/13 Z 11/04 G11B 27/02 B Fターム(参考) 5B075 ND12 NS01 UU40 5C052 AC08 CC01 DD04 5C053 FA06 FA14 FA23 GB06 GB19 GB22 GB26 GB37 HA29 JA22 KA05 LA06 5C057 AA07 DA03 EA03 EA07 ED07 ED10 EF05 EG08 EM04 EM09 EM13 EM16 GH05 GM08 5C059 MA00 MA05 MA23 MC11 MC38 ME01 NN01 NN43 PP05 PP07 PP14 RC04 RC12 SS12 TA00 TB04 TC12 TC24 TD01 TD03 TD05 TD08 TD10 TD12 TD15 UA02 UA05 UA33 5D110 AA13 AA29 BB01 DA12 DC05 DC16 EA06 EA08 EA12 FA02Front page continuation (51) Int.Cl. 7 Identification code FI theme code (reference) H04N 5/91 H04N 5/91 N 5D110 7/24 7/13 Z 11/04 G11B 27/02 B F term (reference) 5B075 ND12 NS01 UU40 5C052 AC08 CC01 DD04 5C053 FA06 FA14 FA23 GB06 GB19 GB22 GB26 GB37 HA29 JA22 KA05 LA06 5C057 AA07 DA03 EA03 EA07 ED07 ED10 PP05 MA05 MN04 GH01 MA01 GH08 MA11 GH05 MA11 SS12 TA00 TB04 TC12 TC24 TD01 TD03 TD05 TD08 TD10 TD12 TD15 UA02 UA05 UA33 5D110 AA13 AA29 BB01 DA12 DC05 DC16 EA06 EA08 EA12 FA02
Claims (16)
像データ要約情報作成装置であって、 動画像データを構成する各フレームごとに順次特徴量を
検出する特徴量検出手段と、 該特徴量検出手段により検出された特徴量に基づき、動
画像データを複数のシーンに分割するシーン分割手段
と、 あるシーンにおける特徴量と、該シーンよりも前の位置
にある1又は複数のシーンにおける特徴量とを比較する
ことにより、同一シーンを検出する同一シーン検出手段
と、を有することを特徴とする動画像データ要約情報作
成装置。1. A moving picture data summary information creating apparatus for creating summary information of moving picture data, comprising: a feature quantity detecting means for sequentially detecting a feature quantity for each frame constituting the moving picture data; and the feature quantity. A scene dividing unit that divides the moving image data into a plurality of scenes based on the feature amount detected by the detecting unit, a feature amount in a certain scene, and a feature amount in one or a plurality of scenes at positions before the scene. And a same-scene detecting unit that detects the same scene by comparing the same with the moving-picture data summary information creating apparatus.
徴量が、色特徴量と、動き特徴量と、形状特徴量のいず
れか又はそれらの任意の組み合わせであることを特徴と
する請求項1に記載の動画像データ要約情報作成装置。2. The feature amount detected by the feature amount detecting means is any one of a color feature amount, a motion feature amount, and a shape feature amount, or an arbitrary combination thereof. The moving image data summary information creation device described in.
ータ記録再生装置であって、 動画像データを符号化する符号化手段と、 該符号化手段により符号化されたデータを記憶する符号
化データ記憶手段と、 該符号化手段において演算されるデータに基づいて、動
画像データを構成する各フレームごとに順次特徴量を検
出する特徴量検出手段と、 該特徴量検出手段により検出された特徴量に基づき、動
画像データを複数のシーンに分割するシーン分割手段
と、 あるシーンにおける特徴量と、該シーンよりも前の位置
にある1又は複数のシーンにおける特徴量とを比較する
ことにより、同一シーンを検出し、検出した同一シーン
のうちの少なくとも1つのシーンを特定する情報である
特定情報を出力する同一シーン検出手段と、 該同一シーン検出手段から出力された特定情報を記憶す
る特定情報記憶手段と、 該特定情報記憶手段に記憶されている特定情報に基づ
き、該動画像データ記憶手段に記憶された動画像データ
から所定の動画像データを読み出して、該所定の動画像
データからなる要約画像を再生する要約画像再生手段
と、を有することを特徴とする動画像データ記録再生装
置。3. A moving image data recording / reproducing apparatus for recording / reproducing moving image data, comprising: an encoding unit for encoding the moving image data; and an encoding unit for storing the data encoded by the encoding unit. A data storage unit, a feature amount detection unit that sequentially detects a feature amount for each frame forming the moving image data based on the data calculated by the encoding unit, and a feature detected by the feature amount detection unit A scene dividing unit that divides the moving image data into a plurality of scenes based on the amount, a feature amount in a certain scene, and a feature amount in one or a plurality of scenes at positions before the scene, The same scene detection means for detecting the same scene and outputting specific information for specifying at least one scene of the detected same scene; Specific information storage means for storing the specific information output from the output means, and a predetermined moving image from the moving image data stored in the moving image data storage means based on the specific information stored in the specific information storage means A moving image data recording / reproducing apparatus, comprising: a summary image reproducing means for reading data and reproducing a summary image composed of the predetermined moving image data.
徴量が、色特徴量と、動き特徴量と、形状特徴量のいず
れか又はそれらの任意の組み合わせであることを特徴と
する請求項3に記載の動画像データ記録再生装置。4. The feature amount detected by the feature amount detecting means is any one of a color feature amount, a motion feature amount, and a shape feature amount, or an arbitrary combination thereof. The moving image data recording / reproducing apparatus as described in.
T変換を行って出力するDCT部と、 該DCT部から出力されたデータに対して量子化を行っ
て出力する量子化部と、 該量子化部から出力されたデータを可変長符号化する可
変長符号化部と、 該量子化部から出力されたデータに対してローカルデコ
ード処理を行うローカルデコード部と、 該ローカルデコード部から出力されるデータと符号化手
段に入力されるフレームのデータとに基づいて動きベク
トルを検出し、検出した動きベクトルに基づいて該フレ
ームのデータに対して動き補償を行って該DCT部に対
して出力する動き補償部と、を有し、 上記特徴量検出手段は、該ローカルデコード部からの出
力に基づいて、色特徴量と、形状特徴量とを検出し、該
動き補償部は、該動き補償部において検出された動きベ
クトルに基づいて動き特徴量を検出することを特徴とす
る請求項3又は4に記載の動画像データ記録再生装置。5. The encoding means applies DC to frame data forming moving image data.
A DCT unit that performs T-transform and outputs, a quantizer that quantizes and outputs the data output from the DCT unit, and a variable that performs variable-length coding on the data output from the quantizer A long coding unit, a local decoding unit that performs a local decoding process on the data output from the quantizing unit, and a data output from the local decoding unit and a frame data input to the coding means. A motion compensation unit that detects a motion vector based on the detected motion vector, performs motion compensation on the data of the frame based on the detected motion vector, and outputs the motion compensation data to the DCT unit. , The color feature amount and the shape feature amount are detected based on the output from the local decoding unit, and the motion compensation unit performs motion based on the motion vector detected by the motion compensation unit. Moving image data recording and reproducing apparatus according to claim 3 or 4, wherein detecting the symptom amount.
ータ記録再生装置であって、 動画像データを符号化する符号化手段と、 該符号化手段により符号化された動画像データを記憶す
る符号化データ記憶手段と、 該符号化データ記憶手段に記憶されたデータを復号する
復号手段と、 該復号手段により復号されたデータを記憶する復号デー
タ記憶手段と、 該復号手段において演算されるデータに基づいて、動画
像データを構成する各フレームごとに順次特徴量を検出
する特徴量検出手段と、 該特徴量検出手段により検出された特徴量に基づき、動
画像データを複数のシーンに分割するシーン分割手段
と、 あるシーンにおける特徴量と、該シーンよりも前の位置
にある1又は複数のシーンにおける特徴量とを比較する
ことにより、同一シーンを検出し、検出した同一シーン
のうちの少なくとも1つのシーンを特定する情報である
特定情報を出力する同一シーン検出手段と、 該同一シーン検出手段から出力された特定情報を記憶す
る特定情報記憶手段と、 該特定情報記憶手段に記憶された特定情報に基づいて、
該復号データ記憶手段に記憶されたデータから所定のデ
ータを再生する要約画像再生手段と、を有することを特
徴とする動画像データ記録再生装置。6. A moving image data recording / reproducing apparatus for recording / reproducing moving image data, comprising: encoding means for encoding moving image data; and moving image data encoded by the encoding means. Encoded data storage means, decoding means for decoding data stored in the encoded data storage means, decoded data storage means for storing data decoded by the decoding means, and data calculated by the decoding means Based on the feature quantity detecting means for sequentially detecting the feature quantity for each frame forming the moving picture data, and dividing the moving picture data into a plurality of scenes based on the feature quantity detected by the feature quantity detecting means. By comparing the scene dividing means, the feature amount in a certain scene, and the feature amount in one or a plurality of scenes located before the scene, the same scene An identical scene detection unit that outputs specific information that is information that is detected and that identifies at least one scene of the detected identical scenes; and a specific information storage unit that stores the specific information output from the identical scene detection unit , Based on the specific information stored in the specific information storage means,
A moving picture data recording / reproducing device, comprising: a digest image reproducing means for reproducing predetermined data from the data stored in the decoded data storing means.
徴量が、色特徴量と、動き特徴量と、形状特徴量のいず
れか又はそれらの任意の組み合わせであることを特徴と
する請求項6に記載の動画像データ記録再生装置。7. The feature amount detected by the feature amount detecting means is any one of a color feature amount, a motion feature amount, and a shape feature amount, or an arbitrary combination thereof. The moving image data recording / reproducing apparatus as described in.
ともに、復号対象のフレームについての動きベクトルの
データを出力する可変長復号部と、 該可変長復号部から出力された復号データに対して逆量
子化を行って出力する逆量子化部と、 該逆量子化部から出力されたデータに対してDCT逆変
換を行って出力するDCT逆変換部と、を有し、 上記特徴量検出手段は、DCT逆変換部から出力された
データに基づいて、色特徴量と形状特徴量とを検出する
とともに、該特徴量検出手段は、DCT逆変換部から出
力されたデータ又は該可変長復号部から出力される動き
ベクトルのデータから動き特徴量を検出することを特徴
とする請求項6又は7に記載の動画像データ記録再生装
置。8. The variable-length decoding unit, wherein the decoding unit variable-length-decodes the encoded data and outputs the decoded data, and outputs the motion vector data for the frame to be decoded, and the variable-length decoding unit. An inverse quantization unit that performs inverse quantization on the decoded data output from the output unit; and a DCT inverse transformation unit that performs DCT inverse transformation on the data output from the inverse quantization unit and outputs The feature amount detection means detects a color feature amount and a shape feature amount based on the data output from the DCT inverse transformation unit, and the feature amount detection unit outputs the DCT inverse transformation unit. 8. The moving image data recording / reproducing apparatus according to claim 6, wherein the motion characteristic amount is detected from the generated data or the data of the motion vector output from the variable length decoding unit.
象となるフレームである対象フレームにおける特徴量
と、該対象フレームの前に位置する1又は複数のフレー
ムにおける特徴量とを比較することにより、前のシーン
との境界位置を検出しながら、シーンごとに分割するこ
とを特徴とする請求項3又は4又は5又は6又は7又は
8に記載の動画像データ記録再生装置。9. The scene dividing means compares a feature amount in a target frame, which is a feature target frame, with a feature amount in one or a plurality of frames located before the target frame. 9. The moving image data recording / reproducing apparatus according to claim 3, wherein each scene is divided while detecting a boundary position with respect to a previous scene.
フレームの前にシーンが検出された場合には、上記同一
シーン検出手段は、該検出されたシーンにおける特徴量
のヒストグラムと、該シーンの前にある1又は複数のシ
ーンにおける各シーンにおける特徴量のヒストグラムと
を比較して、同一シーンであるか否かを判定することを
特徴とする請求項3又は4又は5又は6又は7又は8又
は9に記載の動画像データ記録再生装置。10. When the scene dividing unit detects a scene before the target frame, the same scene detecting unit detects the histogram of the feature amount in the detected scene and the scene before the scene. 10. A feature amount histogram in each scene in one or a plurality of scenes is compared to determine whether or not the scenes are the same scene, 3 or 4 or 5 or 6 or 7 or 8 or 9. The moving image data recording / reproducing apparatus as described in.
報により特定されるシーンのみを再生することを特徴と
する請求項3又は4又は5又は6又は7又は8又は9又
は10に記載の動画像データ記録再生装置。11. The moving image according to claim 3, wherein the summary image reproducing means reproduces only a scene specified by the specifying information. Image data recording / reproducing device.
らに、 動画像データのジャンルに応じて設けられた再生開始位
置情報であって、該動画像データにおける再生開始位置
についての情報である再生開始位置情報で、少なくとも
1つの再生開始位置情報が上記特定情報と関連付けて規
定された再生開始位置情報を記憶する再生開始位置記憶
手段と、 上記符号化データ記憶手段又は復号データ記憶手段に記
憶された動画像データを再生する動画像データ再生手段
であって、該再生開始位置情報に記憶された再生開始位
置情報で、再生対象の動画像データのジャンルに対応し
た再生開始位置情報が示す再生開始位置から、該動画像
データを再生する動画像データ再生手段と、を有するこ
とを特徴とする請求項3又は4又は5又は6又は7又は
8又は9又は10又は11に記載の動画像データ記録再
生装置。12. The moving image data recording / reproducing apparatus further includes a reproduction start position information provided according to a genre of the moving image data, which is information about a reproduction start position in the moving image data. In the position information, at least one reproduction start position information is stored in the reproduction start position storage means for storing the reproduction start position information defined in association with the specific information, and the encoded data storage means or the decoded data storage means. A moving image data reproducing means for reproducing moving image data, wherein the reproduction start position information stored in the reproduction start position information indicates the reproduction start position indicated by the reproduction start position information corresponding to the genre of the moving image data to be reproduced. And a moving image data reproducing means for reproducing the moving image data, according to claim 3 or 4 or 5 or 6 or 7 or 8. Moving image data recording and reproducing apparatus according to 9 or 10 or 11.
同一シーンにおける各シーンを特定する情報である特定
情報を上記特定情報記憶手段に記憶し、 上記動画像データ記録再生装置が、さらに、 上記符号化データ記憶手段又は復号データ記憶手段に記
憶された動画像データを再生する動画像データ再生手段
であって、該特定情報記憶手段に記憶された特定情報に
基づき、同一シーンについては1つのシーンのみを再生
することを特徴とする請求項3又は4又は5又は6又は
7又は8又は9又は10又は11又は12に記載の動画
像データ記録再生装置。13. The same scene detection means stores specific information, which is information for specifying each scene in the detected same scene, in the specific information storage means, and the moving image data recording / reproducing apparatus further comprises: A moving image data reproducing means for reproducing the moving image data stored in the encoded data storing means or the decoded data storing means, and based on the specific information stored in the specific information storing means, only one scene for the same scene 13. The moving image data recording / reproducing device according to claim 3, 4 or 5 or 6 or 7 or 8 or 9 or 10 or 11 or 12.
画像データ要約情報作成方法であって、 動画像データを構成する各フレームごとに順次特徴量を
検出する特徴量検出工程と、 該特徴量検出工程により検出された特徴量に基づき、動
画像データを複数のシーンに分割するシーン分割工程
と、 あるシーンにおける特徴量と、該シーンよりも前の位置
にある1又は複数のシーンにおける特徴量とを比較する
ことにより、同一シーンを検出する同一シーン検出工程
と、を有することを特徴とする動画像データ要約情報作
成方法。14. A moving picture data summary information creating method for creating summary information of moving picture data, comprising: a feature quantity detecting step of sequentially detecting a feature quantity for each frame constituting the moving picture data; A scene dividing step of dividing the moving image data into a plurality of scenes based on the characteristic amount detected by the detecting step, a characteristic amount in a certain scene, and a characteristic amount in one or a plurality of scenes at positions before the scene. And the same scene detecting step of detecting the same scene by comparing the same with the moving picture data summary information creating method.
データ記録再生方法であって、 動画像データを符号化する符号化工程と、 該符号化手段により符号化されたデータを所定の記憶装
置に記憶する符号化データ記憶工程と、 該符号化工程において演算されるデータに基づいて、動
画像データを構成する各フレームごとに順次特徴量を検
出する特徴量検出工程と、 該特徴量検出工程により検出された特徴量に基づき、動
画像データを複数のシーンに分割するシーン分割工程
と、 あるシーンにおける特徴量と、該シーンよりも前の位置
にある1又は複数のシーンにおける特徴量とを比較する
ことにより、同一シーンを検出し、検出した同一シーン
のうちの少なくとも1つのシーンを特定する情報である
特定情報を出力する同一シーン検出工程と、 該同一シーン検出工程により出力された特定情報を所定
の記憶装置に記憶する特定情報記憶工程と、 該特定情報記憶工程により記憶された特定情報に基づ
き、該動画像データ記憶手段に記憶された動画像データ
から所定の動画像データを読み出して、該所定の動画像
データからなる要約画像を再生する要約画像再生工程
と、を有することを特徴とする動画像データ記録再生方
法。15. A moving image data recording / reproducing method for recording / reproducing moving image data, comprising an encoding step of encoding moving image data, and a predetermined storage device for storing the data encoded by the encoding means. A coded data storing step for storing the coded data, a feature quantity detecting step for sequentially detecting a feature quantity for each frame forming the moving image data based on the data calculated in the coding step, and the feature quantity detecting step. A scene dividing step of dividing the moving image data into a plurality of scenes based on the feature amount detected by the feature amount, a feature amount in a certain scene, and a feature amount in one or a plurality of scenes at positions before the scene. The same scene detection step of detecting the same scene by comparing and outputting specific information that is information for specifying at least one scene among the detected same scenes. A specific information storage step of storing the specific information output in the same scene detection step in a predetermined storage device, and stored in the moving image data storage means based on the specific information stored in the specific information storage step. A moving image data recording / reproducing method, which comprises reading out predetermined moving image data from moving image data and reproducing a summarized image formed of the predetermined moving image data.
データ記録再生方法であって、 動画像データを符号化する符号化工程と、 該符号化手段により符号化された動画像データを所定の
記憶装置に記憶する符号化データ記憶工程と、 該動画像データ記憶工程により記憶されたデータを復号
する復号工程と、 該復号工程により復号されたデータを所定の記憶装置に
記憶する復号データ記憶工程と、 該復号工程において演算されるデータに基づいて、動画
像データを構成する各フレームごとに順次特徴量を検出
する特徴量検出工程と、 該特徴量検出工程により検出された特徴量に基づき、動
画像データを複数のシーンに分割するシーン分割工程
と、 あるシーンにおける特徴量と、該シーンよりも前の位置
にある1又は複数のシーンにおける特徴量とを比較する
ことにより、同一シーンを検出し、検出した同一シーン
のうちの少なくとも1つのシーンを特定する情報である
特定情報を出力する同一シーン検出工程と、 該同一シーン検出手段から出力された特定情報を所定の
記憶手段に記憶する特定情報記憶工程と、 該特定情報記憶工程により記憶された特定情報に基づい
て、該復号データ記憶工程により記憶されたデータから
所定のデータを再生する要約画像再生工程と、を有する
ことを特徴とする動画像データ記録再生方法。16. A moving image data recording / reproducing method for recording / reproducing moving image data, comprising: an encoding step of encoding the moving image data; and a predetermined step of providing the moving image data encoded by the encoding means. Encoded data storage step of storing in storage device, decoding step of decoding data stored in the moving image data storage step, and decoded data storage step of storing data decoded in the decoding step in a predetermined storage device A feature amount detecting step of sequentially detecting a feature amount for each frame constituting the moving image data based on the data calculated in the decoding step, and a feature amount detected by the feature amount detecting step, A scene dividing step of dividing moving image data into a plurality of scenes, a feature amount in a certain scene, and a feature amount in one or a plurality of scenes at a position before the scene. A same scene detection step of detecting the same scene by comparing the quantity and outputting specific information which is information for specifying at least one scene of the detected same scene; and the same scene detection means. Specific information storing step of storing the specified information in a predetermined storage means, and an abstract for reproducing the predetermined data from the data stored in the decoded data storing step based on the specific information stored in the specific information storing step An image reproducing process, and a moving image data recording / reproducing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002082857A JP2003283966A (en) | 2002-03-25 | 2002-03-25 | Moving picture data digest information preparing device, method therefor, moving picture data recording/ reproducing device, and moving picture data recording/ reproducing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002082857A JP2003283966A (en) | 2002-03-25 | 2002-03-25 | Moving picture data digest information preparing device, method therefor, moving picture data recording/ reproducing device, and moving picture data recording/ reproducing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003283966A true JP2003283966A (en) | 2003-10-03 |
Family
ID=29230882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002082857A Pending JP2003283966A (en) | 2002-03-25 | 2002-03-25 | Moving picture data digest information preparing device, method therefor, moving picture data recording/ reproducing device, and moving picture data recording/ reproducing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003283966A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009095013A (en) * | 2007-09-24 | 2009-04-30 | Fuji Xerox Co Ltd | System for video summarization, and computer program for video summarization |
JP2009095055A (en) * | 2008-12-26 | 2009-04-30 | Hitachi Ltd | Moving picture reproducing apparatus |
EP2175316A3 (en) * | 2008-10-08 | 2011-11-09 | Nikon Corporation | Imaging device |
WO2020213932A1 (en) * | 2019-04-15 | 2020-10-22 | Samsung Electronics Co., Ltd. | Method and system for encoding, decoding and playback of video content in client-server architecture |
-
2002
- 2002-03-25 JP JP2002082857A patent/JP2003283966A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009095013A (en) * | 2007-09-24 | 2009-04-30 | Fuji Xerox Co Ltd | System for video summarization, and computer program for video summarization |
EP2175316A3 (en) * | 2008-10-08 | 2011-11-09 | Nikon Corporation | Imaging device |
US8654213B2 (en) | 2008-10-08 | 2014-02-18 | Nikon Corporation | Imaging device |
JP2009095055A (en) * | 2008-12-26 | 2009-04-30 | Hitachi Ltd | Moving picture reproducing apparatus |
WO2020213932A1 (en) * | 2019-04-15 | 2020-10-22 | Samsung Electronics Co., Ltd. | Method and system for encoding, decoding and playback of video content in client-server architecture |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3244629B2 (en) | Scene change point detection method | |
JP4138007B2 (en) | Video retrieval of MPEG compressed sequences using DC and motion codes | |
JP4666784B2 (en) | Video sequence key frame extraction method and video sequence key frame extraction device | |
US6094456A (en) | Compact image transmission system and image reproducing device capable of reproducing a DCT-based code at a high speed without deterioration of picture quality | |
US7031385B1 (en) | Method and apparatus for detecting scene change of a compressed moving-picture, and program recording medium therefor | |
JPH04207878A (en) | Moving image management device | |
US20100246676A1 (en) | Method of downscale decoding MPEG-2 video | |
US20020009286A1 (en) | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method | |
US8139877B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium including shot generation | |
US20070258009A1 (en) | Image Processing Device, Image Processing Method, and Image Processing Program | |
US7733379B2 (en) | Composite still-image creating device capable of creating a still image from moving images | |
NL1004743C2 (en) | Video data decoding method and device for very fast display. | |
JP2001086434A (en) | Method for indexing and retrieving moving image using motion degree description method | |
KR101163774B1 (en) | Device and process for video compression | |
JP3307143B2 (en) | Image encoding method and image encoding device | |
JP4667356B2 (en) | Video display device, control method therefor, program, and recording medium | |
JP2003283966A (en) | Moving picture data digest information preparing device, method therefor, moving picture data recording/ reproducing device, and moving picture data recording/ reproducing method | |
US20100027621A1 (en) | Apparatus, method and computer program product for moving image generation | |
JP2869398B2 (en) | Cut point detection method and device | |
KR20060132977A (en) | Video processing method and corresponding encoding device | |
JP2002064823A (en) | Apparatus and method for detecting scene change of compressed dynamic image as well as recording medium recording its program | |
EP1473668B1 (en) | Apparatus, method and program for video data processing and tamper detection | |
JP3332202B2 (en) | Camera work calculation method and device | |
JPH04207877A (en) | Moving image management device | |
JP3573493B2 (en) | Video search system and video search data extraction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070724 |