JP2002245051A - Device and method for retrieving moving image, program for making computer execute the method and recording medium having the program recorded thereon - Google Patents
Device and method for retrieving moving image, program for making computer execute the method and recording medium having the program recorded thereonInfo
- Publication number
- JP2002245051A JP2002245051A JP2001038591A JP2001038591A JP2002245051A JP 2002245051 A JP2002245051 A JP 2002245051A JP 2001038591 A JP2001038591 A JP 2001038591A JP 2001038591 A JP2001038591 A JP 2001038591A JP 2002245051 A JP2002245051 A JP 2002245051A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- shot
- image
- feature amount
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、特に類似した動画
像を検索する動画像検索装置及び方法、その方法をコン
ピュータに実行させるためのプログラム並びにそのプロ
グラムを記録した記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and a method for retrieving a moving image for retrieving similar moving images, a program for causing a computer to execute the method, and a recording medium on which the program is recorded.
【０００２】[0002]
【従来の技術】類似した動画像を検索する手法の従来の
技術としては、特開平１１−２５９５０７号公報の「映
像検索方法および映像検索方法プログラムを格納した記
憶媒体」がある。これは、動画像のカット点を検出し、
その動画像をショット単位の動画像に分割し、このショ
ット単位動画像からカメラパラメータ特徴量を推定し、
このカメラパラメータ特徴量を用いてショット単位動画
像のパノラマ画像を生成し、パノラマ画像をショット単
位動画像の代表フレームとし、その代表フレームの色情
報やカメラパラメータなどの特徴量をそのショット単位
動画像の特徴量としている。2. Description of the Related Art As a conventional technique for searching for a similar moving image, there is a "video search method and a storage medium storing a video search method program" in JP-A-11-259507. This detects the cut point of the moving image,
The moving image is divided into shot-based moving images, and camera parameter feature amounts are estimated from the shot-based moving images,
A panoramic image of the shot unit moving image is generated using the camera parameter feature amount, the panoramic image is set as a representative frame of the shot unit moving image, and the feature amount such as color information and camera parameters of the representative frame is used as the shot unit moving image. Feature amount.
【０００３】以上の方法により、ショット単位動画像の
特徴抽出をすることができ、その特徴量を比較すること
で、２つのショット単位動画像の類似度を計算すること
ができる。[0003] By the above method, the feature of a shot-based moving image can be extracted, and the similarity between two shot-based moving images can be calculated by comparing the feature amounts.
【０００４】[0004]
【発明が解決しようとする課題】前述した方法ではショ
ット単位動画像の特徴量としてパノラマ画像の特徴量を
用いる。このパノラマ画像は、画素値を上書きしていく
ようにフレームを重ねて生成される。このため、ショッ
ト単位動画像のフレーム内で動く前景オブジェクト領域
画像は、最終フレーム以外は背景に上書きされて消えて
しまうことになる。つまり、このパノラマ画像の特徴量
をショット単位動画像の特徴量としたとき、ショット単
位動画像中のフレーム内前景オブジェクト領域画像の動
きは、ショット単位動画像の特徴量に反映されないとい
う問題がある。このことを図８で説明する。図８は、上
部にショット単位動画像（走り幅跳び）の一部フレーム
の第１フレーム、第ｍフレーム、最終フレームが示され
ていて、下部にはそのショット単位動画像からパノラマ
画像化されて生成されたパノラマ画像が示してある。シ
ョット単位動画像中では、選手が走ってきて跳躍し着地
した様子が写っている。それに対して生成されたパノラ
マ画像では選手が着地した時の画像しか残らない。この
ような場合に走り幅跳びのショット単位動画像を検索し
ようとすると、パノラマ画像には選手が走って跳躍した
という情報が含まれないため検索は不可能である。In the above-described method, the feature amount of a panoramic image is used as the feature amount of a shot-based moving image. This panoramic image is generated by overlapping frames so as to overwrite pixel values. For this reason, the foreground object area image moving within the frame of the shot-based moving image is overwritten on the background except for the last frame and disappears. That is, when the feature amount of the panoramic image is used as the feature amount of the shot-based moving image, there is a problem that the motion of the in-frame foreground object area image in the shot-based moving image is not reflected in the feature amount of the shot-based moving image. . This will be described with reference to FIG. FIG. 8 shows a first frame, an m-th frame, and a final frame of partial frames of a shot-based moving image (long jump) at the upper part, and a panoramic image generated from the shot-based moving image at the lower part. A panoramic image is shown. In the shot unit moving image, a state in which a player ran, jumped, and landed is shown. On the other hand, in the generated panoramic image, only the image when the player lands is left. In such a case, if an attempt is made to search for a long jump shot unit moving image, the search is not possible because the panorama image does not include information that the player ran and jumped.
【０００５】また、前述の方法ではパノラマ画像のオブ
ジェクト部分画像に注目し、オブジェクト部分画像を検
索キーとしてそのオブジェクト部分画像が含まれるショ
ット単位動画像を検索することも可能である。しかし、
前述の方法によるパノラマ画像では最終フレームの前景
オブジェクト領域画像がパノラマ画像中に残るので、そ
の前景オブジェクト領域画像によって消されてしまう背
景領域画像中のオブジェクト部分画像がある。（以下背
景領域画像のオブジェクト部分画像を背景オブジェクト
部分画像とよぶことにする）よってその背景オブジェク
ト部分画像を検索キーとしてその背景オブジェクト部分
画像が含まれるショット単位動画像の検索はできないと
いう問題がある。このことを再び図８で説明する。図８
のパノラマ画像では、前景オブジェクト領域画像である
着地した選手の画像に背景オブジェクト部分画像である
記録掲示板の画像が消されてしまっている。このような
場合は、消されてしまっている記録掲示板の画像から特
徴量が抽出できないため、記録掲示板の画像が含まれる
ショット単位動画像を検索することは不可能となる。In the above-mentioned method, it is possible to focus on an object partial image of a panoramic image and use the object partial image as a search key to search for a shot-unit moving image including the object partial image. But,
Since the foreground object area image of the last frame remains in the panorama image in the panorama image according to the above-described method, there is an object partial image in the background area image that is erased by the foreground object area image. (Hereinafter, the object partial image of the background area image is referred to as a background object partial image.) Therefore, there is a problem that a shot unit moving image including the background object partial image cannot be searched using the background object partial image as a search key. . This will be described again with reference to FIG. FIG.
In the panoramic image of (1), the image of the recorded bulletin board, which is the background object partial image, has been deleted from the image of the landed player, which is the foreground object area image. In such a case, since the feature amount cannot be extracted from the image of the recorded bulletin board that has been erased, it becomes impossible to search for a shot unit moving image including the image of the recorded bulletin board.
【０００６】このように、動画像中のフレーム内で動く
前景オブジェクト領域画像が存在する場合、その前景オ
ブジェクト領域画像の情報を必要とする検索はできない
という問題と、パノラマ画像上の前景オブジェクト領域
画像によって消されてしまう背景オブジェクト部分画像
を含むショット単位動画像の検索はできないという問題
が生じていた。As described above, when a foreground object area image that moves within a frame in a moving image exists, a search that requires information of the foreground object area image cannot be performed. However, there is a problem that it is not possible to search for a shot unit moving image including a background object partial image which is erased due to the above.
【０００７】本発明は上記の事情に鑑みてなされたもの
で、前景オブジェクト領域動画像と背景領域動画像を分
離することにより、パノラマ画像に加えて前景オブジェ
クト領域動画像からも特徴量を抽出することができ、前
景オブジェクト領域画像の動き情報などに関しても検索
できるようになり、且つ背景領域動画像だけで背景パノ
ラマ画像を生成することで、背景オブジェクト部分画像
を含むショット単位動画像の検索ができる動画像検索装
置及び方法、その方法をコンピュータに実行させるため
のプログラム並びにそのプログラムを記録した記録媒体
を提供することを目的とする。The present invention has been made in view of the above circumstances, and separates a foreground object area moving image from a background area moving image to extract feature amounts from a foreground object area moving image in addition to a panoramic image. This makes it possible to search for motion information of the foreground object area image, and also to generate a background panorama image only with the background area moving image, thereby making it possible to search for a shot unit moving image including a background object partial image. It is an object of the present invention to provide a moving image search device and method, a program for causing a computer to execute the method, and a recording medium on which the program is recorded.
【０００８】[0008]
【課題を解決するための手段】上記目的を達成するため
に本発明は、与えられた動画像からカット点（動画像が
一旦途切れ、別の動画像に切り換る点）を検出する動画
像カット点検出手段と、前記動画像カット点検出手段で
得られたカット点情報をもとに動画像をショット単位に
分割する動画像ショット分割手段と、前記動画像ショッ
ト分割手段で分割されたショット単位動画像（あるカッ
ト点から次のカット点まで途切れなく撮影された動画
像）から特徴量を抽出するショット単位動画像特徴量抽
出手段と、前記動画像ショット分割手段で分割されたシ
ョット単位動画像と前記ショット単位動画像特徴量抽出
手段で抽出された特徴量を蓄積する蓄積手段と、検索条
件を入力する検索条件入力手段と、前記ショット単位動
画像特徴量抽出手段で抽出された２つの特徴量の類似度
を計算する特徴量比較手段とを有し、与えられた動画像
を蓄積する際には、動画像のカット点を検出し、動画像
をショット単位の動画像に分割して蓄積し、さらにショ
ット単位動画像から特徴量を抽出し蓄積することを特徴
とし、動画像を検索する際には、ショット単位動画像、
ショット単位動画像中から得られる画像、もしくはスケ
ッチ画像を、利用者が検索キーとして入力または指定
し、検索キーの特徴量と蓄積されたショット単位動画像
の特徴量との類似度を計算し、検索キーの特徴量と類似
した特徴量をもつショット単位動画像を蓄積されたショ
ット単位動画像の中から検索し出力することを特徴とす
るものである。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention relates to a moving image for detecting a cut point (a point at which a moving image is interrupted and switched to another moving image) from a given moving image. Cut point detecting means, moving image shot dividing means for dividing a moving image into shot units based on cut point information obtained by the moving image cut point detecting means, and shots divided by the moving image shot dividing means A shot-based moving image feature amount extracting unit for extracting a feature amount from a unit moving image (a moving image captured without interruption from one cut point to the next cut point); and a shot unit moving image divided by the moving image shot dividing unit. Accumulating means for accumulating an image and a feature amount extracted by the shot-based moving image feature amount extracting means; search condition inputting means for inputting a search condition; and shot-based moving image feature amount extracting means A feature amount comparing unit for calculating a similarity between the two extracted feature amounts, and when storing a given moving image, a cut point of the moving image is detected, and the moving image is It is characterized in that it is divided into images and stored, and a feature amount is extracted and stored from the shot-unit moving image. When searching for a moving image, a shot-unit moving image,
A user inputs or designates an image obtained from a shot-based moving image or a sketch image as a search key, and calculates a similarity between the feature amount of the search key and the accumulated feature amount of the shot-based moving image, It is characterized in that a shot unit moving image having a feature amount similar to the feature amount of the search key is searched for from the stored shot unit moving images and output.
【０００９】また本発明は、前記ショット単位動画像特
徴量抽出手段において、ショット単位動画像の各フレー
ムにおいて前景オブジェクト領域画像と背景領域画像を
分離し、分離された背景領域画像だけのショット単位動
画像からショット全区間の特徴量を含む背景パノラマ画
像を生成し、この背景パノラマ画像から全体画像特徴量
を抽出し、前記全体画像特徴量をショット単位動画像か
ら抽出された特徴量として利用する機能を有することを
特徴とするものである。Further, in the present invention, the shot-based moving image feature amount extracting means separates a foreground object area image and a background area image in each frame of the shot-based moving image, and provides a shot-based moving image of only the separated background area image. A function of generating a background panoramic image including feature amounts of all shot sections from an image, extracting a whole image feature amount from the background panoramic image, and using the whole image feature amount as a feature amount extracted from a shot unit moving image. It is characterized by having.
【００１０】また本発明は、前記ショット単位動画像特
徴量抽出手段において、ショット単位動画像の各フレー
ムにおいて前景オブジェクト領域画像と背景領域画像を
分離し、分離された背景領域画像だけのショット単位動
画像からショット全区間の特徴量を含む背景パノラマ画
像を生成し、この背景パノラマ画像から複数の背景オブ
ジェクト部分画像を切り出し、背景オブジェクト部分画
像から特徴量をそれぞれ抽出し、抽出した特徴量をショ
ット単位動画像から抽出された特徴量として利用する機
能を有することを特徴とするものである。In the present invention, the shot-based moving image feature amount extracting means separates a foreground object area image and a background area image in each frame of the shot-based moving image, and provides a shot-based moving image of only the separated background area image. A background panorama image including feature amounts of all shot sections is generated from the image, a plurality of background object partial images are cut out from the background panorama image, feature amounts are respectively extracted from the background object partial images, and the extracted feature amounts are shot units. It is characterized by having a function of using as a feature amount extracted from a moving image.
【００１１】また本発明は、前記ショット単位動画像特
徴量抽出手段において、ショット単位動画像の各フレー
ムにおいて前景オブジェクト領域画像と背景領域画像を
分離し、分離された前景オブジェクト領域画像だけのシ
ョット単位動画像から、前景オブジェクト領域画像の動
きや画像の特徴量を抽出し、抽出した特徴量をショット
単位動画像から抽出された特徴量として利用する機能を
有することを特徴とするものである。Further, in the present invention, the shot-based moving image feature amount extracting means separates a foreground object region image and a background region image in each frame of the shot-based moving image, and sets a shot unit of only the separated foreground object region image. It has a function of extracting the motion of the foreground object area image and the feature amount of the image from the moving image, and using the extracted feature amount as the feature amount extracted from the shot unit moving image.
【００１２】また本発明は、前記ショット単位動画像特
徴量抽出手段において、ショット単位の動画像からカメ
ラの動きを示すカメラパラメータを推定し、この推定さ
れたカメラパラメータをショット単位動画像から抽出さ
れた特徴量として利用する機能を有することを特徴とす
るものである。Further, according to the present invention, the shot-based moving image feature amount extracting means estimates a camera parameter indicating a camera movement from a shot-based moving image, and extracts the estimated camera parameter from the shot-based moving image. It has a function to be used as a feature amount.
【００１３】また本発明は、前記検索条件入力手段とし
て、ショット単位動画像、ショット単位動画像中から得
られる画像、もしくはスケッチ画像を検索キーとして入
力することを特徴とするものである。Further, the present invention is characterized in that, as the search condition input means, a shot-based moving image, an image obtained from a shot-based moving image, or a sketch image is input as a search key.
【００１４】[0014]
【発明の実施の形態】以下図面を参照して本発明の実施
形態例を詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１５】［実施形態例１］図１は、本発明の実施形
態例１を説明するための構成説明図である。実施形態例
１では検索キーとしてショット単位動画像を利用する。[First Embodiment] FIG. 1 is a structural explanatory diagram for explaining a first embodiment of the present invention. In the first embodiment, a shot unit moving image is used as a search key.
【００１６】すなわち、図１の本発明の実施形態例１
は、動画像検索装置１１、動画像入力装置１２、表示装
置１３、検索条件入力装置１４、ショット単位動画像入
力装置１５より構成され、前記動画像検索装置１１は、
カット点検出部１６と、ショット分割部１７と、カメラ
パラメータ特徴量推定部１８と、前景背景動画像分離部
１９と、背景動画像特徴量抽出部２０と、前景動画像特
徴量抽出部２１と、蓄積部２２と、記憶装置（メモリ）
２３と、検索条件入力部２４と、特徴量情報比較部２５
とからなる。That is, the first embodiment of the present invention shown in FIG.
Is composed of a moving image search device 11, a moving image input device 12, a display device 13, a search condition input device 14, and a shot unit moving image input device 15, and the moving image search device 11
A cut point detecting unit 16, a shot dividing unit 17, a camera parameter feature amount estimating unit 18, a foreground / background moving image separating unit 19, a background moving image feature amount extracting unit 20, and a foreground moving image feature amount extracting unit 21. , Storage unit 22 and storage device (memory)
23, a search condition input unit 24, and a feature amount information comparison unit 25
Consists of
【００１７】上記カット点検出部１６は、動画像中にお
いて映像が他の映像に切り換わる時系列上の点であるカ
ット点を検出する。The cut point detecting section 16 detects a cut point which is a point in a time series at which a video is switched to another video in a moving image.
【００１８】上記ショット分割部１７は、上記カット点
検出部１６より検出されたカット点を利用し、隣り合う
カット点間の動画像であり映像が切り換る点のない動画
像であるショット単位動画像に動画像を分割する。The shot division unit 17 uses the cut points detected by the cut point detection unit 16 and is a moving image between adjacent cut points, which is a moving image having no video switching points. Divide a moving image into moving images.
【００１９】上記カメラパラメータ特徴量推定部１８
は、ショット単位動画像中のパン、チルト、ズーム等の
カメラの動きを表すカメラパラメータ特徴量を推定し、
これをショット単位動画像の特徴量とする。この特徴量
を用いて検索すれば、ショット単位動画像中の一連のカ
メラの動きを対象にした検索が可能になる。The camera parameter feature quantity estimating section 18
Is to estimate camera parameter features representing camera movements such as pan, tilt, and zoom in shot-based moving images,
This is used as the feature amount of the shot unit moving image. If a search is performed using this feature amount, a search for a series of camera movements in a shot-unit moving image can be performed.
【００２０】上記前景背景動画像分離部１９は、ショッ
ト単位動画像中の各フレームを動きのある前景オブジェ
クト領域画像と動きのない背景領域に分離し、前景オブ
ジェクト領域動画像と背景領域動画像を作成する。The foreground / background moving image separating section 19 separates each frame in the shot unit moving image into a moving foreground object region image and a non-moving background region, and separates the foreground object region moving image and the background region moving image. create.
【００２１】上記背景動画像特徴量抽出部２０は、分離
された背景領域動画像を用いて背景パノラマ画像を生成
し、その背景パノラマ画像から色情報等の特徴量を抽出
しショット単位動画像の特徴量とする。これにより、シ
ョット単位動画像中の全フレームの背景領域画像からシ
ョット単位動画像の特徴量を抽出することになり、ショ
ット単位動画像中の全フレームの背景領域画像をショッ
ト単位動画像の特徴量に反映させることができる。よっ
てこの特徴量を用いて検索をすれば、ショット単位動画
像中の全フレームの背景領域画像を対象とした検索が可
能になる。また、この背景パノラマ画像の背景オブジェ
クト部分画像を切り出し、この背景オブジェクト部分画
像から抽出される色情報や形状情報等の特徴量をショッ
ト単位動画像の特徴量として用いても良い。これによ
り、背景領域動画像中の一部のフレームにだけ含まれる
背景オブジェクト部分画像からショット単位動画像の特
徴量を抽出することになり、背景領域動画像中の一部フ
レームの背景オブジェクト部分画像だけをショット単位
動画像の特徴量に反映させることができる。よってこの
特徴量を用いて検索をすれば、背景領域動画像中の一部
フレームの背景オブジェクト部分画像が含まれるショッ
ト単位動画像の検索が可能となる。The background moving image feature amount extracting unit 20 generates a background panoramic image using the separated background region moving image, extracts a feature amount such as color information from the background panoramic image, and generates a shot unit moving image. It is a feature amount. As a result, the feature amount of the shot unit moving image is extracted from the background region image of all frames in the shot unit moving image, and the background region image of all frames in the shot unit moving image is extracted as the feature amount of the shot unit moving image. Can be reflected. Therefore, if a search is performed using this feature amount, it is possible to perform a search on the background region images of all frames in the shot-unit moving image. Alternatively, a background object partial image of the background panoramic image may be cut out, and a feature amount such as color information or shape information extracted from the background object partial image may be used as a feature amount of the shot-unit moving image. As a result, the feature amount of the shot unit moving image is extracted from the background object partial image included only in some frames in the background region moving image, and the background object partial image of some frames in the background region moving image is extracted. Alone can be reflected in the feature amount of the shot-unit moving image. Therefore, if a search is performed using this feature amount, it is possible to search for a shot-based moving image including a background object partial image of a partial frame in the background region moving image.
【００２２】上記前景動画像特徴量抽出部２１は、分離
された前景オブジェクト領域動画像から動きや画像など
の特徴量を抽出し、ショット単位動画像の特徴量とす
る。これにより、ショット単位動画像中の動きのある前
景オブジェクト領域画像をショット単位動画像の特徴量
に反映させることができる。よってこの特徴量を用いれ
ば、動きのある前景オブジェクト領域画像を含むショッ
ト単位動画像の検索が可能となる。The foreground video feature extraction unit 21 extracts features such as motion and images from the separated foreground object area video, and uses them as the feature of the shot-based video. Thus, the moving foreground object area image in the shot-based moving image can be reflected in the feature amount of the shot-based moving image. Therefore, by using this feature amount, it becomes possible to search for a shot-based moving image including a moving foreground object region image.
【００２３】上記カメラパラメータ特徴量推定部１８と
上記背景動画像特徴量抽出部２０と上記前景動画像特徴
量抽出部２１を用いて抽出した特徴量を併せて利用して
検索をすれば、フレーム内で動く前景オブジェクト領域
画像を含む、ショット単位動画像全体を対象とした検索
が可能となる。If the search is performed by using the features extracted by using the camera parameter feature amount estimating unit 18, the background moving image feature amount extracting unit 20, and the foreground moving image feature amount extracting unit 21, the frame is obtained. It is possible to search for the entire shot unit moving image including the foreground object region image moving within the image.
【００２４】上記蓄積部２２は、入力された動画像をシ
ョット単位動画像に分割した形で記憶装置２３に蓄積す
る。また、抽出したショット単位動画像の特徴量を蓄積
し、その特徴量から抽出元のショット単位動画像へのイ
ンデックスを作成する。The storage section 22 stores the input moving image in the storage device 23 in a form divided into shot unit moving images. In addition, the feature amount of the extracted shot-based moving image is accumulated, and an index to the extraction-source shot-based moving image is created from the feature amount.
【００２５】上記検索条件入力部２４は、ショット単位
動画像を検索する際の検索条件を入力する。The search condition input section 24 inputs search conditions for searching for a shot unit moving image.
【００２６】上記特徴量情報比較部２５は、上記検索条
件入力部２４において指定された検索キーの特徴量と上
記蓄積部２２において蓄積された特徴量を比較すること
により、類似度を設定し、蓄積されたショット単位動画
像の中から類似度の高い特徴量をもつショット単位動画
像を出力する。The feature quantity information comparison unit 25 sets the similarity by comparing the feature quantity of the search key specified in the search condition input unit 24 with the feature quantity stored in the storage unit 22. A shot-based moving image having a feature amount with a high similarity is output from the stored shot-based moving images.
【００２７】前記動画像検索装置１１は、ショット単位
動画像特徴量抽出フェーズ２６とそれを呼び出す動画像
蓄積フェーズ２７、動画像検索フェーズ２８で構成され
る。以下各フェーズの動作を説明する。The moving image search apparatus 11 comprises a shot unit moving image feature amount extraction phase 26, a moving image storage phase 27 for calling it, and a moving image search phase 28. The operation of each phase will be described below.
【００２８】図２に示すように、まず動画像蓄積フェー
ズ２７を動作し、次に動画像検索フェーズ２８を動作す
る。As shown in FIG. 2, a moving image accumulation phase 27 is operated first, and then a moving image search phase 28 is operated.
【００２９】［動画像蓄積フェーズ２７］図３は、動画
像蓄積フェーズ２７の動作を説明するフローチャートで
ある。[Moving Image Storage Phase 27] FIG. 3 is a flowchart for explaining the operation of the moving image storage phase 27.
【００３０】まず、動画像入力装置１２を用いて動画像
検索装置１１に蓄積する動画像を入力する。First, a moving image to be stored in the moving image search device 11 is input using the moving image input device 12.
【００３１】次に、カット点検出部１６において、入力
された動画像から画面が切り換る点であるカット点を自
動検出し、ショット分割部１７において、動画像をショ
ット単位に分割し、ショット単位動画像を生成する。カ
ット点を検出し動画像をショット単位に分割する方法と
しては、例えば特開平１１−２５９５０７号公報の「映
像検索方法及び映像検索方法プログラムを格納した記憶
媒体」に述べられた方法が利用できる。Next, the cut point detecting section 16 automatically detects a cut point at which the screen is switched from the input moving image, and the shot dividing section 17 divides the moving image into shot units. Generate a unit video. As a method of detecting a cut point and dividing a moving image into shot units, for example, a method described in “Video search method and storage medium storing video search method program” in JP-A-11-259507 can be used.
【００３２】そして、ショット単位動画像特徴量抽出フ
ェーズ２６を呼び出し、ショット単位に分割された動画
像の特徴量を抽出する。Then, the shot-unit moving image feature extraction phase 26 is called, and the feature of the moving image divided in shot units is extracted.
【００３３】最後に、得られた特徴量からインデックス
を構成し、蓄積部２２の記憶装置（メモリ）２３に蓄積
する。多次元ベクトルのインデックス構造としては、例
えばNorio Katayama and Shin’ichi Satoh:“The SR-t
ree:An Index Structure forHigh-Dimensional Nearest
Neighbor Queries”,in Proc.ACM SIGMOD Internation
al Conference on Management of Data,pp.368-380,May
1997.に述べられているSR-treeやYasushi Sakurai,Mas
atoshi Yoshikawa,Shunsuke Uemura,and Haruhiko Koji
ma:“The A-Tree:An Index Structure for High-Dimens
ional SpacesUsing Relative Approximation”,In Pro
c.of the 26th International Conference on Very Lar
ge Data Bases(VLDB),pp516-526,Cairo,September2000
に述べられているA-treeなどが利用できる。Finally, an index is formed from the obtained feature amounts and stored in the storage device (memory) 23 of the storage unit 22. As an index structure of a multidimensional vector, for example, Norio Katayama and Shin'ichi Satoh: “The SR-t
ree: An Index Structure for High-Dimensional Nearest
Neighbor Queries ”, in Proc. ACM SIGMOD International
al Conference on Management of Data, pp. 368-380, May
SR-tree and Yasushi Sakurai, Mas described in 1997.
atoshi Yoshikawa, Shunsuke Uemura, and Haruhiko Koji
ma: “The A-Tree: An Index Structure for High-Dimens
ional SpacesUsing Relative Approximation ”, In Pro
c.of the 26th International Conference on Very Lar
ge Data Bases (VLDB), pp516-526, Cairo, September2000
You can use A-tree described in.
【００３４】［動画像検索フェーズ２８］図４は、動画
像検索フェーズ２８の動作を説明するフローチャートで
ある。[Moving Image Retrieval Phase 28] FIG. 4 is a flowchart for explaining the operation of the moving image retrieval phase 28.
【００３５】まず、検索キーとなるショット単位動画像
をショット単位動画像入力装置１５を用いて入力する。
検索キーの指定方法は、検索キーとなるショット単位動
画像を入力する方法以外にも、蓄積されているショット
単位動画像を指定する方法でも良い。次に、ショット単
位動画像特徴量抽出フェーズ２６を呼び出し、入力され
たショット単位動画像から特徴量を抽出する。First, a shot-based moving image serving as a search key is input using the shot-based moving image input device 15.
As a method of specifying a search key, a method of specifying a stored shot-based moving image may be used in addition to a method of inputting a shot-based moving image serving as a search key. Next, the shot-based moving image feature amount extraction phase 26 is called, and feature amounts are extracted from the input shot-based moving image.
【００３６】また、検索条件入力部２４において、類似
度の高い上位何件を検索するのかや、検索の目的による
各特徴量の重み付けの設定や、蓄積されているショット
単位動画像を検索キーとして使う場合にはどのショット
単位動画像を検索キーとして使うのかなどといった検索
条件を、検索条件入力装置１４を用いて入力する。そし
て、得られた検索キーの特徴量ベクトルをもとに、特徴
量情報比較部２５が記憶装置（メモリ）２３に蓄積され
たショット単位動画像の特徴量ベクトルとの類似距離を
計算する。その距離の短い特徴量ベクトルが抽出された
ショット単位動画像を類似度の高いショット単位動画像
であると判断し、類似度上位のものを検索結果として表
示装置１３に出力する。In the search condition input unit 24, the number of top items having a high degree of similarity to be searched is set, the weighting of each feature amount is set according to the purpose of the search, and the stored shot unit moving image is used as a search key. When used, search conditions such as which shot unit moving image is used as a search key are input using the search condition input device 14. Then, based on the obtained feature amount vector of the search key, the feature amount information comparing unit 25 calculates the similarity distance to the feature amount vector of the shot unit moving image stored in the storage device (memory) 23. It is determined that the shot unit moving image from which the feature amount vector having the short distance is extracted is a shot unit moving image having a high similarity, and the one having a higher similarity is output to the display device 13 as a search result.
【００３７】［ショット単位動画像特徴量抽出フェーズ
２６］図５は、ショット単位動画像特徴量抽出フェーズ
２６の動作を説明するフローチャートである。[Shot-Based Moving Image Feature Extraction Phase 26] FIG. 5 is a flowchart for explaining the operation of the shot-based moving image feature extraction phase 26.
【００３８】まず、カメラパラメータ特徴量推定部１８
によって、ショット単位動画像中のパン、チルト、ズー
ム等のカメラの動きを表すカメラパラメータ特徴量を推
定する。このカメラパラメータ特徴量をショット単位動
画像の特徴量として利用する。First, the camera parameter characteristic amount estimating section 18
Thus, a camera parameter feature quantity representing a movement of the camera such as pan, tilt, and zoom in the shot unit moving image is estimated. This camera parameter feature is used as the feature of the shot-unit moving image.
【００３９】さらに、このカメラパラメータ特徴量を利
用し、前景背景動画像分離部１９において、ショット単
位動画像を前景オブジェクト領域動画像と背景領域動画
像に分離する。そして背景動画像特徴量抽出部２０中の
背景パノラマ画像生成部によって、分離された背景領域
動画像の各フレームから背景パノラマ画像を生成する。
カメラパラメータ特徴量の推定、前景オブジェクト領域
動画像、背景領域動画像の分離および背景パノラマ画像
の生成方法としては、例えば、秦泉寺久美、渡辺裕、小
林直樹、：“二層ビデオオブジェクト自動生成法とＭＰ
ＥＧ−４符号化への適用”：電子情報通信学会信学技
法，ＣＳ９９−１３５，ＩＥ９９−１５５，ｐｐ４９−
ｐｐ５４，１９９９−１２に述べられた方法を利用でき
る。この論文中のスプライト画像が本実施形態例１中の
パノラマ画像に相当する。Further, using the camera parameter feature amount, the foreground / background moving image separating unit 19 separates the shot unit moving image into a foreground object region moving image and a background region moving image. Then, a background panoramic image is generated from each frame of the separated background area moving image by the background panoramic image generating unit in the background moving image feature amount extracting unit 20.
Methods for estimating camera parameter features, separating foreground object area moving images and background area moving images, and generating background panoramic images include, for example, Kumi Hatsujira, Hiroshi Watanabe, Naoki Kobayashi, “Automatic Generation of Two-Layer Video Objects” Law and MP
Application to EG-4 coding ": IEICE IEICE, CS99-135, IE99-155, pp49-
pp. 54, 1999-12. The sprite image in this paper corresponds to the panoramic image in the first embodiment.
【００４０】そして、背景動画像特徴量抽出部２０中の
画像特徴量抽出部において、背景パノラマ画像から画像
特徴量を抽出する。パノラマ画像全体から特徴量を抽出
する方法としては、例えば、串間和彦、赤間浩樹、紺谷
精一、山室雅司、：“色や形状等の表層的特徴量に基づ
く画像内容検索技術”：情報処理学会論文誌，Ｖｏｌ．
４０，Ｎｏ．ＳＩＧ３（ＴＯＤ１），ｐｐ１７１−１８
４，Ｆｅｂ．１９９９に述べられた方法が利用できる。
これは、特徴量として色情報や形状情報を用いており、
パノラマ画像の外形や画像に含まれる色をヒストグラム
で表したものを特徴量とする。このパノラマ画像の全体
画像から抽出された特徴量をショット単位動画像の特徴
量として利用する。Then, the image feature amount extraction unit in the background moving image feature amount extraction unit 20 extracts the image feature amount from the background panoramic image. As a method of extracting a feature amount from the entire panoramic image, for example, Kazuhiko Kushima, Hiroki Akama, Seiichi Konya, Masashi Yamamuro, "Image Content Retrieval Technology Based on Surface Features such as Color and Shape": IPSJ Transactions, Vol.
40, no. SIG3 (TOD1), pp171-18
4, Feb. The method described in 1999 can be used.
This uses color information and shape information as feature values,
The appearance of the panorama image and the colors included in the image represented by a histogram are defined as feature amounts. The feature amount extracted from the entire image of the panoramic image is used as the feature amount of the shot-unit moving image.
【００４１】最後に、前景動画像特徴量抽出部２１にお
いて、分離された前景オブジェクト領域動画像から、動
き情報や色情報を特徴量として抽出する。例えば動き情
報の特徴量としては、前景オブジェクト領域画像を任意
の大きさのブロックで領域を近似し、その重心を計算
し、前景オブジェクト領域動画像中でのその重心の軌跡
を特徴量としても良いし、色情報としては、前景オブジ
ェクト領域動画像中全体の代表色を１個、または複数個
決定し、それを特徴量としても良い。以上述べた背景パ
ノラマ画像および前景オブジェクト領域動画像から抽出
した各種特徴量はすべて多次元のベクトルとして表現で
き、特徴量間の類似度は、例えば多次元ベクトル間のユ
ークリッド距離として算出できる。Finally, the foreground moving image feature amount extraction unit 21 extracts motion information and color information as feature amounts from the separated foreground object area moving image. For example, as the feature amount of the motion information, the region of the foreground object region image is approximated by blocks of an arbitrary size, the center of gravity is calculated, and the locus of the center of gravity in the foreground object region moving image may be used as the feature amount. As the color information, one or a plurality of representative colors of the entire foreground object area moving image may be determined and used as the feature amount. The various feature amounts extracted from the background panoramic image and the foreground object area moving image described above can all be expressed as multidimensional vectors, and the similarity between the feature amounts can be calculated as, for example, the Euclidean distance between the multidimensional vectors.
【００４２】［実施形態例２］本発明の実施形態例２を
説明するための構成図は、実施形態例１の図１と同様で
ある。実施形態例２では、実施形態例１と比べ、検索キ
ーとして背景オブジェクト部分画像などの画像を用い
て、背景オブジェクト部分画像を対象とした検索を行
う。そのため、動画像検索フェーズ２８とショット単位
動画像特徴量抽出フェーズ２６が異なり、以下のように
なる。[Second Embodiment] A configuration diagram for explaining a second embodiment of the present invention is the same as that of FIG. 1 of the first embodiment. In the second embodiment, as compared with the first embodiment, a search is performed on a background object partial image using an image such as a background object partial image as a search key. Therefore, the moving image search phase 28 and the shot-based moving image feature amount extraction phase 26 are different, and are as follows.
【００４３】［動画像検索フェーズ２８］動画像検索フ
ェーズ２８の動作を説明するフローチャートは、実施形
態例１の図４と同様である。[Moving Image Retrieval Phase 28] The flowchart for explaining the operation of the moving image retrieval phase 28 is the same as that of FIG. 4 of the first embodiment.
【００４４】まず、検索キーとなる背景オブジェクト部
分画像が含まれるショット単位動画像をショット単位動
画像入力装置１５を用いて入力する。検索キーの指定方
法は、入力されたショット単位動画像中の背景オブジェ
クト部分画像を指定する方法以外にも、蓄積されている
ショット単位動画像中の背景オブジェクト部分画像を指
定する方法や、検索者が描いたスケッチ画像を指定する
方法でも良い。First, a shot-based moving image including a background object partial image serving as a search key is input using the shot-based moving image input device 15. The search key can be specified in addition to the method of specifying the background object partial image in the input shot-based moving image, the method of specifying the background object partial image in the stored shot-based moving image, or the searcher. Alternatively, a method of designating a sketch image drawn by may be used.
【００４５】次に、ショット単位動画像特徴量抽出フェ
ーズ２６を呼び出し、入力されたショット単位動画像か
ら特徴量を抽出する。Next, the shot-based moving image feature extraction phase 26 is called, and the feature is extracted from the input shot-based moving image.
【００４６】また、検索条件入力部２４において、類似
度の高い上位何件を検索するのかや、ショット単位動画
像中の背景オブジェクト部分画像を検索キーとして使う
場合にはショット単位動画像のどの背景オブジェクト部
分画像を検索キーとして使うのかなどといった検索条件
を、検索条件入力装置１４を用いて入力する。そして、
得られた検索キーの特徴量ベクトルをもとに、特徴量情
報比較部２５が記憶装置（メモリ）２３に蓄積されたシ
ョット単位動画像の特徴量ベクトルとの類似距離を計算
する。その距離の短い特徴量ベクトルが抽出されたショ
ット単位動画像を類似度の高いショット単位動画像であ
ると判断し、類似度上位のものを検索結果として表示装
置１３に出力する。In the search condition input section 24, the number of top-ranked items having a high similarity is searched, and when the background object partial image in the shot-based moving image is used as a search key, the background of the shot-based moving image is determined. A search condition such as whether to use the object partial image as a search key is input using the search condition input device 14. And
Based on the obtained feature amount vector of the search key, the feature amount information comparison unit 25 calculates the similarity distance to the feature amount vector of the shot unit moving image stored in the storage device (memory) 23. It is determined that the shot unit moving image from which the feature amount vector having the short distance is extracted is a shot unit moving image having a high similarity, and the one having a higher similarity is output to the display device 13 as a search result.
【００４７】［ショット単位動画像特徴量抽出フェーズ
２６］図６は、ショット単位動画像特徴量抽出フェーズ
２６の動作を説明するフローチャートである。[Shot-Based Moving Image Feature Extraction Phase 26] FIG. 6 is a flowchart for explaining the operation of the shot-based moving image feature extraction phase 26.
【００４８】まず、カメラパラメータ特徴量推定部１８
によって、ショット単位動画像中のパン、チルト、ズー
ム等のカメラの動きを表すカメラパラメータ特徴量を推
定する。First, the camera parameter characteristic amount estimating unit 18
Thus, a camera parameter feature quantity representing a movement of the camera such as pan, tilt, and zoom in the shot unit moving image is estimated.
【００４９】さらに、このカメラパラメータ特徴量を利
用し、前景背景動画像分離部１９において、ショット単
位動画像を前景オブジェクト領域動画像と背景領域動画
像に分離する。そして背景動画像特徴量抽出部２０中の
背景パノラマ画像生成部によって、分離された背景領域
動画像の各フレームから背景パノラマ画像を生成する。
カメラパラメータ特徴量の推定、前景オブジェクト領域
動画像、背景領域動画像の分離および背景パノラマ画像
の生成方法は、実施形態例１と同様にして実現可能であ
る。Further, using the camera parameter feature amount, the foreground / background moving image separating unit 19 separates the shot unit moving image into a foreground object region moving image and a background region moving image. Then, a background panoramic image is generated from each frame of the separated background area moving image by the background panoramic image generating unit in the background moving image feature amount extracting unit 20.
The method of estimating the camera parameter feature amount, separating the foreground object region moving image and the background region moving image, and generating the background panoramic image can be realized in the same manner as in the first embodiment.
【００５０】そして、背景動画像特徴量抽出部２０中の
画像特徴量抽出部において、背景パノラマ画像中の背景
オブジェクト部分画像となっている複数の部分画像を切
り出し、それらの背景オブジェクト部分画像から画像特
徴量を抽出し、それらをショット単位動画像の特徴量と
する。背景パノラマ画像から背景オブジェクト部分画像
を切り出す方法および背景オブジェクト部分画像から特
徴量を抽出する方法としては、例えば、串間和彦、赤間
浩樹、紺谷精一、木元晴夫、山室雅司、：“オブジェク
トに基づく高速画像検索システム：ＥｘＳｉｇｈｔ”：
情報処理学会論文誌，Ｖｏｌ．４０，Ｎｏ．２，ｐｐ７
３２−ｐｐ７４１，１９９９に述べられた方法が利用で
きる。以上述べた背景オブジェクト部分画像から抽出し
た色や形などの各種特徴量はすべて多次元のベクトルと
して実現でき、特徴量間の類似度は、例えば多次元ベク
トル間のユークリッド距離として算出できる。Then, in the image feature amount extraction unit in the background moving image feature amount extraction unit 20, a plurality of partial images serving as background object partial images in the background panorama image are cut out, and an image is extracted from the background object partial images. The feature amounts are extracted and used as the feature amounts of the shot-unit moving image. Examples of a method of extracting a background object partial image from a background panoramic image and a method of extracting a feature amount from the background object partial image include, for example, Kazuhiko Kushima, Hiroki Akama, Seiichi Konya, Haruo Kimoto, Masashi Yamamuro: “Object-based High-speed image retrieval system: ExSight ":
IPSJ Transactions, Vol. 40, no. 2, pp7
The method described in 32-pp 741, 1999 can be used. The various feature amounts such as colors and shapes extracted from the background object partial images described above can all be realized as multidimensional vectors, and the similarity between the feature amounts can be calculated, for example, as a Euclidean distance between the multidimensional vectors.
【００５１】［実施形態例３］本発明の実施形態例３を
説明するための構成図は、実施形態例１の図１と同様で
ある。実施形態例３では、実施形態例１と比べ、検索キ
ーとしてショット単位動画像中の前景オブジェクト領域
動画像を用いて、ショット単位動画像の前景オブジェク
ト領域動画像を対象とした検索を行う。そのため、動画
像検索フェーズ２８とショット単位動画像特徴量抽出フ
ェーズ２６が異なり、以下のようになる。Third Embodiment A configuration diagram for explaining a third embodiment of the present invention is the same as FIG. 1 of the first embodiment. In the third embodiment, as compared with the first embodiment, a search is performed on the foreground object area moving image of the shot unit moving image using the foreground object region moving image in the shot unit moving image as a search key. Therefore, the moving image search phase 28 and the shot-based moving image feature amount extraction phase 26 are different, and are as follows.
【００５２】［動画像検索フェーズ２８］動画像検索フ
ェーズ２８の動作を説明するフローチャートは、実施形
態例１の図４と同様である。[Moving Image Retrieval Phase 28] The flowchart for explaining the operation of the moving image retrieval phase 28 is the same as that in FIG. 4 of the first embodiment.
【００５３】まず、検索キーとなる前景オブジェクト領
域動画像が含まれるショット単位動画像をショット単位
動画像入力装置１５を用いて入力する。検索キーの指定
方法は、入力されたショット単位動画像中の前景オブジ
ェクト領域動画像を指定する方法以外にも、蓄積されて
いるショット単位動画像中の前景オブジェクト領域動画
像を指定する方法でも良い。次に、ショット単位動画像
特徴量抽出フェーズ２６を呼び出し、入力されたショッ
ト単位動画像から特徴量を抽出する。First, a shot-based moving image including a foreground object area moving image serving as a search key is input using the shot-based moving image input device 15. The search key can be specified by a method of specifying the foreground object area moving image in the accumulated shot unit moving image other than the method of specifying the foreground object area moving image in the input shot unit moving image. . Next, the shot-based moving image feature amount extraction phase 26 is called, and feature amounts are extracted from the input shot-based moving image.
【００５４】また、検索条件入力部２４において、類似
度の高い上位何件を検索するのかや、蓄積されたショッ
ト単位動画像中の前景オブジェクト領域動画像を検索キ
ーとして使う場合にはどのショット単位動画像の前景オ
ブジェクト領域動画像を検索キーとして使うのかなどと
いった検索条件を、検索条件入力装置１４を用いて入力
する。そして、得られた検索キーの特徴量ベクトルをも
とに、特徴量情報比較部２５が記憶装置（メモリ）２３
に蓄積されたショット単位動画像の特徴量ベクトルとの
類似距離を計算する。その距離の短い特徴量ベクトルが
抽出されたショット単位動画像を類似度の高いショット
単位動画像であると判断し、類似度上位のものを検索結
果として表示装置１３に出力する。In the search condition input section 24, the number of top-ranked items having a high similarity is searched. If the foreground object area moving image in the accumulated shot-unit moving image is used as a search key, Search conditions such as whether to use the foreground object area moving image of the moving image as a search key are input using the search condition input device 14. Then, based on the obtained feature amount vector of the search key, the feature amount information comparison unit 25 stores the information in the storage device (memory) 23.
Calculate the similarity distance between the shot unit moving image and the feature amount vector stored in the. It is determined that the shot unit moving image from which the feature amount vector having the short distance is extracted is a shot unit moving image having a high similarity, and the one having a higher similarity is output to the display device 13 as a search result.
【００５５】［ショット単位動画像特徴量抽出フェーズ
２６］図７は、ショット単位動画像特徴量抽出フェーズ
２６の動作を説明するフローチャートである。[Shot-Based Moving Image Feature Extraction Phase 26] FIG. 7 is a flowchart for explaining the operation of the shot-based moving image feature extraction phase 26.
【００５６】まず、カメラパラメータ特徴量推定部１８
によって、ショット単位動画像中のパン、チルト、ズー
ム等のカメラの動きを表すカメラパラメータ特徴量を推
定する。First, the camera parameter characteristic amount estimating unit 18
Thus, a camera parameter feature quantity representing a movement of the camera such as pan, tilt, and zoom in the shot unit moving image is estimated.
【００５７】さらに、このカメラパラメータ特徴量を利
用し、前景背景動画像分離部１９において、ショット単
位動画像を前景オブジェクト領域動画像と背景領域動画
像に分離する。カメラパラメータ特徴量の推定、前景オ
ブジェクト領域動画像および背景領域動画像の分離方法
は、実施形態例１と同様にして実現可能である。Further, using this camera parameter feature, the foreground / background moving image separating unit 19 separates the shot unit moving image into a foreground object region moving image and a background region moving image. The method of estimating the camera parameter feature amount and separating the foreground object region moving image and the background region moving image can be realized in the same manner as in the first embodiment.
【００５８】そして、前景動画像特徴量抽出部２１にお
いて、分離された前景オブジェクト領域動画像から、動
き情報や色情報を特徴量として抽出し、ショット単位動
画像の特徴量とする。例えば動き情報の特徴量として
は、前景オブジェクト領域画像を任意の大きさのブロッ
クで領域を近似し、その重心を計算し、前景オブジェク
ト領域動画像中でのその重心の軌跡を特徴量としても良
いし、色情報としては、前景オブジェクト領域動画像中
全体での前景オブジェクト領域画像の代表色を１個、ま
たは複数個決定し、それを特徴量としても良い。以上述
べた前景オブジェクト領域動画像から抽出した各種特徴
量はすべて多次元のベクトルとして実現でき、特徴量間
の類似度は、例えば多次元ベクトル間のユークリッド距
離として算出できる。Then, in the foreground moving image feature amount extraction unit 21, motion information and color information are extracted as feature amounts from the separated foreground object area moving image, and are set as the feature amounts of the shot unit moving image. For example, as the feature amount of the motion information, the region of the foreground object region image is approximated by blocks of an arbitrary size, the center of gravity is calculated, and the locus of the center of gravity in the foreground object region moving image may be used as the feature amount. As the color information, one or a plurality of representative colors of the foreground object area image in the entire foreground object area moving image may be determined and used as the feature amount. The various feature amounts extracted from the foreground object area moving image described above can all be realized as multidimensional vectors, and the similarity between the feature amounts can be calculated as, for example, a Euclidean distance between the multidimensional vectors.
【００５９】尚、前記各実施形態例における動画像検索
方法は、具体的にはパソコン等のコンピュータにより、
予め所定のプログラムに基づいて実行される。前記プロ
グラムは所定のコンピュータ読み取り可能な記録媒体に
記録することができる。The moving image search method in each of the above embodiments is specifically performed by a computer such as a personal computer.
It is executed based on a predetermined program in advance. The program can be recorded on a predetermined computer-readable recording medium.
【００６０】[0060]
【発明の効果】従来のパノラマ画像を用いて動画像を検
索する方法では、動画像中のフレーム内で動く前景オブ
ジェクト領域画像が存在する場合、その前景オブジェク
ト領域画像の動き情報等の検索はできなかったが、本発
明は、前景オブジェクト領域動画像と背景領域動画像を
分離することにより、パノラマ画像に加えて前景オブジ
ェクト領域動画像からも特徴量を抽出することができ、
前景オブジェクト領域画像の動き情報などに関しても検
索できるようになるという効果を有する。According to the conventional method for retrieving a moving image using a panoramic image, if there is a foreground object region image moving in a frame in the moving image, it is possible to retrieve the motion information of the foreground object region image. However, the present invention can extract a feature amount from a foreground object area moving image in addition to a panoramic image by separating a foreground object area moving image and a background area moving image,
This has the effect that it is possible to search for motion information of the foreground object area image.
【００６１】また、従来の方法ではパノラマ画像上の前
景オブジェクト領域画像によって消されてしまう背景オ
ブジェクト部分画像を含むショット単位動画像の検索が
できなかったが、本発明は、前景オブジェクト領域動画
像と背景領域動画像を分離し背景領域動画像だけで背景
パノラマ画像を生成することで、従来の方法では前景オ
ブジェクト領域画像によって消されてしまっていた背景
オブジェクト部分画像を含むショット単位動画像の検索
ができるようになるという効果を有する。Although the conventional method cannot search for a shot-unit moving image including a background object partial image which is erased by a foreground object region image on a panoramic image, the present invention provides a method for searching for a foreground object region moving image. By separating the background region moving image and generating a background panorama image only with the background region moving image, it is possible to search for a shot unit moving image including a background object partial image that has been erased by the foreground object region image in the conventional method. It has the effect that it becomes possible.
【図１】本発明の実施形態例を示す構成説明図である。FIG. 1 is a configuration explanatory view showing an embodiment of the present invention.
【図２】本発明の実施形態例の動作を説明するためのフ
ローチャートである。FIG. 2 is a flowchart for explaining the operation of the embodiment of the present invention.
【図３】本発明の実施形態例に係る動画像蓄積フェーズ
の動作を説明するためのフローチャートである。FIG. 3 is a flowchart illustrating an operation of a moving image accumulation phase according to the embodiment of the present invention.
【図４】本発明の実施形態例に係る動画像検索フェーズ
の動作を説明するためのフローチャートである。FIG. 4 is a flowchart illustrating an operation in a moving image search phase according to the embodiment of the present invention.
【図５】本発明の実施形態例１に係るショット単位動画
像特徴量抽出フェーズの動作を説明するためのフローチ
ャートである。FIG. 5 is a flowchart illustrating an operation of a shot-based moving image feature amount extraction phase according to the first embodiment of the present invention.
【図６】本発明の実施形態例２に係るショット単位動画
像特徴量抽出フェーズの動作を説明するためのフローチ
ャートである。FIG. 6 is a flowchart illustrating an operation in a shot-based moving image feature amount extraction phase according to Embodiment 2 of the present invention.
【図７】本発明の実施形態例３に係るショット単位動画
像特徴量抽出フェーズの動作を説明するためのフローチ
ャートである。FIG. 7 is a flowchart illustrating an operation of a shot-based moving image feature amount extraction phase according to Embodiment 3 of the present invention.
【図８】従来の映像検索方法におけるショット単位動画
像特徴量抽出方法を示す説明図である。FIG. 8 is an explanatory diagram showing a shot-based moving image feature amount extraction method in a conventional video search method.
１１ 動画像検索装置 １２ 動画像入力装置 １３ 表示装置 １４ 検索条件入力装置 １５ ショット単位動画像入力装置 １６ カット点検出部 １７ ショット分割部 １８ カメラパラメータ特徴量推定部 １９ 前景背景動画像分離部 ２０ 背景動画像特徴量抽出部 ２１ 前景動画像特徴量抽出部 ２２ 蓄積部 ２３ 記憶装置（メモリ） ２４ 検索条件入力部 ２５ 特徴量情報比較部 REFERENCE SIGNS LIST 11 moving image search device 12 moving image input device 13 display device 14 search condition input device 15 shot unit moving image input device 16 cut point detection unit 17 shot division unit 18 camera parameter feature amount estimation unit 19 foreground / background moving image separation unit 20 background Moving image feature amount extraction unit 21 Foreground moving image feature amount extraction unit 22 Storage unit 23 Storage device (memory) 24 Search condition input unit 25 Feature amount information comparison unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｎ (72)発明者 片岡 良治 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B075 ND12 NK07 NK12 NK39 PP03 PQ36 PR06 QM08 UU40 5C053 FA14 FA27 HA29 LA01 LA06 LA11 5L096 BA20 CA25 DA04 EA35 FA69 FA81 GA08 HA04 JA18 LA05──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/91 H04N 5/91 N (72) Inventor Ryoji Kataoka 2-3-1 Otemachi, Chiyoda-ku, Tokyo No. Nippon Telegraph and Telephone Corporation F term (reference) 5B075 ND12 NK07 NK12 NK39 PP03 PQ36 PR06 QM08 UU40 5C053 FA14 FA27 HA29 LA01 LA06 LA11 5L096 BA20 CA25 DA04 EA35 FA69 FA81 GA08 HA04 JA18 LA05
Claims (14)
る動画像カット点検出手段と、前記動画像カット点検出
手段で得られたカット点情報をもとに動画像をショット
単位に分割する動画像ショット分割手段と、前記動画像
ショット分割手段で分割されたショット単位動画像から
特徴量を抽出するショット単位動画像特徴量抽出手段
と、前記動画像ショット分割手段で分割されたショット
単位動画像と前記ショット単位動画像特徴量抽出手段で
抽出された特徴量を蓄積する蓄積手段と、検索条件を入
力する検索条件入力手段と、前記ショット単位動画像特
徴量抽出手段で抽出された２つの特徴量の類似度を計算
する特徴量比較手段とを有し、与えられた動画像を蓄積
する際には、動画像のカット点を検出し、動画像をショ
ット単位の動画像に分割して蓄積し、さらにショット単
位動画像から特徴量を抽出し蓄積することを特徴とし、
動画像を検索する際には、ショット単位動画像、ショッ
ト単位動画像中から得られる画像、もしくはスケッチ画
像を、利用者が検索キーとして入力または指定し、検索
キーの特徴量と蓄積されたショット単位動画像の特徴量
との類似度を計算し、検索キーの特徴量と類似した特徴
量をもつショット単位動画像を蓄積されたショット単位
動画像の中から検索し出力することを特徴とする動画像
検索装置。1. A moving image cut point detecting means for detecting a cut point from a given moving image, and a moving image is divided into shots based on cut point information obtained by the moving image cut point detecting means. Moving image shot dividing means, shot unit moving image feature amount extracting means for extracting a feature amount from the shot unit moving image divided by the moving image shot dividing means, and shot unit moving image divided by the moving image shot dividing means Accumulating means for accumulating the image and the feature amount extracted by the shot-based moving image feature amount extracting means; search condition inputting means for inputting a search condition; And a feature amount comparing means for calculating a similarity of feature amounts. When accumulating a given moving image, a cut point of the moving image is detected, and the moving image is divided into moving images in shot units. Divided and accumulated, and further, a feature amount is extracted and accumulated from the shot unit moving image,
When searching for a moving image, the user inputs or specifies a shot unit moving image, an image obtained from the shot unit moving image, or a sketch image as a search key, and the feature amount of the search key and the stored shots The method is characterized in that a similarity with a feature amount of a unit moving image is calculated, and a shot unit moving image having a feature amount similar to the feature amount of a search key is searched for from stored shot unit moving images and output. Video search device.
において、ショット単位動画像の各フレームにおいて前
景オブジェクト領域画像と背景領域画像を分離し、分離
された背景領域画像だけのショット単位動画像からショ
ット全区間の特徴量を含む背景パノラマ画像を生成し、
この背景パノラマ画像から全体画像特徴量を抽出し、前
記全体画像特徴量をショット単位動画像から抽出された
特徴量として利用する機能を有することを特徴とする請
求項１記載の動画像検索装置。2. The shot-based moving image feature amount extracting means separates a foreground object region image and a background region image in each frame of the shot-based moving image, and executes a shot from a shot-based moving image including only the separated background region image. Generate a background panoramic image that includes the features of all sections,
The moving image search device according to claim 1, further comprising a function of extracting a whole image feature amount from the background panoramic image and using the whole image feature amount as a feature amount extracted from a shot unit moving image.
において、ショット単位動画像の各フレームにおいて前
景オブジェクト領域画像と背景領域画像を分離し、分離
された背景領域画像だけのショット単位動画像からショ
ット全区間の特徴量を含む背景パノラマ画像を生成し、
この背景パノラマ画像から複数の背景オブジェクト部分
画像を切り出し、背景オブジェクト部分画像から特徴量
をそれぞれ抽出し、抽出した特徴量をショット単位動画
像から抽出された特徴量として利用する機能を有するこ
とを特徴とする請求項１記載の動画像検索装置。3. The shot-based moving image feature amount extracting means separates a foreground object region image and a background region image in each frame of the shot-based moving image, and executes a shot from a shot-based moving image including only the separated background region image. Generate a background panoramic image that includes the features of all sections,
It has a function of cutting out a plurality of background object partial images from the background panoramic image, extracting feature amounts from the background object partial images, and using the extracted feature amounts as feature amounts extracted from the shot unit moving image. The moving image search device according to claim 1, wherein
において、ショット単位動画像の各フレームにおいて前
景オブジェクト領域画像と背景領域画像を分離し、分離
された前景オブジェクト領域画像だけのショット単位動
画像から、前景オブジェクト領域画像の動きや画像の特
徴量を抽出し、抽出した特徴量をショット単位動画像か
ら抽出された特徴量として利用する機能を有することを
特徴とする請求項１記載の動画像検索装置。4. The shot-based moving image feature amount extracting unit separates a foreground object region image and a background region image in each frame of the shot-based moving image, and extracts a shot-based moving image of only the separated foreground object region image. 2. The moving image search according to claim 1, further comprising a function of extracting a motion of the foreground object area image and a feature amount of the image, and using the extracted feature amount as a feature amount extracted from the shot unit moving image. apparatus.
において、ショット単位の動画像からカメラの動きを示
すカメラパラメータを推定し、この推定されたカメラパ
ラメータをショット単位動画像から抽出された特徴量と
して利用する機能を有することを特徴とする請求項１記
載の動画像検索装置。5. The shot-based moving image feature amount extracting means estimates a camera parameter indicating a camera motion from a shot-based moving image, and extracts the estimated camera parameter from the shot-based moving image. 2. The moving image search device according to claim 1, wherein the moving image search device has a function to be used.
単位動画像、ショット単位動画像中から得られる画像、
もしくはスケッチ画像を検索キーとして入力することを
特徴とする請求項１記載の動画像検索装置。6. A method according to claim 1, wherein the search condition input means includes a shot-based moving image, an image obtained from a shot-based moving image,
2. The moving image search device according to claim 1, wherein a sketch image is input as a search key.
る動画像カット点検出ステップと、前記動画像カット点
検出ステップで得られたカット点情報をもとに動画像を
ショット単位に分割する動画像ショット分割ステップ
と、前記動画像ショット分割ステップで分割されたショ
ット単位動画像から特徴量を抽出するショット単位動画
像特徴量抽出ステップと、前記動画像ショット分割ステ
ップで分割されたショット単位動画像と前記ショット単
位動画像特徴量抽出ステップで抽出された特徴量を蓄積
する蓄積ステップと、検索条件を入力する検索条件入力
ステップと、前記ショット単位動画像特徴量抽出ステッ
プで抽出された２つの特徴量の類似度を計算する特徴量
比較ステップとを有し、与えられた動画像を蓄積する際
には、動画像のカット点を検出し、動画像をショット単
位の動画像に分割して蓄積し、さらにショット単位動画
像から特徴量を抽出し蓄積することを特徴とし、動画像
を検索する際には、ショット単位動画像、ショット単位
動画像中から得られる画像、もしくはスケッチ画像を、
利用者が検索キーとして入力または指定し、検索キーの
特徴量と蓄積されたショット単位動画像の特徴量との類
似度を計算し、検索キーの特徴量と類似した特徴量をも
つショット単位動画像を蓄積されたショット単位動画像
の中から検索し出力することを特徴とする動画像検索方
法。7. A moving image cut point detecting step of detecting a cut point from a given moving image, and dividing the moving image into shot units based on the cut point information obtained in the moving image cut point detecting step. A moving image shot dividing step, a shot unit moving image feature amount extracting step of extracting a feature amount from the shot unit moving image divided in the moving image shot dividing step, and a shot unit moving image divided in the moving image shot dividing step An accumulating step of accumulating the image and the feature amount extracted in the shot-based moving image feature amount extracting step; a search condition input step of inputting a search condition; and the two extracted by the shot-based moving image feature amount extracting step. And a feature amount comparing step of calculating a similarity of feature amounts. When a given moving image is stored, a cut of the moving image is performed. The method is characterized in that points are detected, a moving image is divided into moving images in shot units and stored, and a feature amount is further extracted and stored from the moving image in shot units. Images, images obtained from shot-unit moving images, or sketch images,
A user inputs or designates as a search key, calculates the similarity between the feature amount of the search key and the feature amount of the accumulated shot unit moving image, and obtains a shot-based moving image having a feature amount similar to the search key feature amount. A moving image search method characterized by retrieving and outputting an image from stored shot unit moving images.
ップにおいて、ショット単位動画像の各フレームにおい
て前景オブジェクト領域画像と背景領域画像を分離し、
分離された背景領域画像だけのショット単位動画像から
ショット全区間の特徴量を含む背景パノラマ画像を生成
し、この背景パノラマ画像から全体画像特徴量を抽出
し、前記全体画像特徴量をショット単位動画像から抽出
された特徴量として利用する機能を有することを特徴と
する請求項７記載の動画像検索方法。8. In the shot-based moving image feature amount extracting step, a foreground object region image and a background region image are separated in each frame of the shot-based moving image,
A background panorama image including feature amounts of all shot sections is generated from a shot unit moving image of only the separated background region image, a whole image feature amount is extracted from the background panorama image, and the whole image feature amount is converted into a shot unit moving image. 8. The moving image search method according to claim 7, further comprising a function of using the feature amount extracted from the image.
ップにおいて、ショット単位動画像の各フレームにおい
て前景オブジェクト領域画像と背景領域画像を分離し、
分離された背景領域画像だけのショット単位動画像から
ショット全区間の特徴量を含む背景パノラマ画像を生成
し、この背景パノラマ画像から複数の背景オブジェクト
部分画像を切り出し、背景オブジェクト部分画像から特
徴量をそれぞれ抽出し、抽出した特徴量をショット単位
動画像から抽出された特徴量として利用する機能を有す
ることを特徴とする請求項７記載の動画像検索方法。9. In the shot-based moving image feature amount extracting step, a foreground object region image and a background region image are separated in each frame of the shot-based moving image,
A background panoramic image including feature amounts of all shot sections is generated from a shot unit moving image of only the separated background region image, a plurality of background object partial images are cut out from this background panoramic image, and feature amounts are extracted from the background object partial images. 8. The moving image search method according to claim 7, further comprising a function of extracting each of the extracted characteristic amounts and using the extracted characteristic amount as a characteristic amount extracted from the shot unit moving image.
テップにおいて、ショット単位動画像の各フレームにお
いて前景オブジェクト領域画像と背景領域画像を分離
し、分離された前景オブジェクト領域画像だけのショッ
ト単位動画像から、前景オブジェクト領域画像の動きや
画像の特徴量を抽出し、抽出した特徴量をショット単位
動画像から抽出された特徴量として利用する機能を有す
ることを特徴とする請求項７記載の動画像検索方法。10. In the shot-based moving image feature amount extracting step, a foreground object area image and a background area image are separated in each frame of the shot-based moving image, and a shot-based moving image including only the separated foreground object area image is used. 8. The moving image search according to claim 7, further comprising a function of extracting a motion of the foreground object area image and a feature amount of the image, and using the extracted feature amount as a feature amount extracted from the shot unit moving image. Method.
テップにおいて、ショット単位の動画像からカメラの動
きを示すカメラパラメータを推定し、この推定されたカ
メラパラメータをショット単位動画像から抽出された特
徴量として利用する機能を有することを特徴とする請求
項７記載の動画像検索方法。11. In the shot-based moving image feature amount extracting step, a camera parameter indicating a camera motion is estimated from a shot-based moving image, and the estimated camera parameter is extracted from the shot-based moving image. 8. The moving image search method according to claim 7, wherein the moving image search method has a function to be used.
ョット単位動画像、ショット単位動画像中から得られる
画像、もしくはスケッチ画像を検索キーとして入力する
ことを特徴とする請求項７記載の動画像検索方法。12. The moving image search method according to claim 7, wherein, as the search condition input step, a shot-based moving image, an image obtained from the shot-based moving image, or a sketch image is input as a search key. .
する動画像カット点検出ステップと、前記動画像カット
点検出ステップで得られたカット点情報をもとに動画像
をショット単位に分割する動画像ショット分割ステップ
と、前記動画像ショット分割ステップで分割されたショ
ット単位動画像から特徴量を抽出するショット単位動画
像特徴量抽出ステップと、前記動画像ショット分割ステ
ップで分割されたショット単位動画像と前記ショット単
位動画像特徴量抽出ステップで抽出された特徴量を蓄積
する蓄積ステップと、検索条件を入力する検索条件入力
ステップと、前記ショット単位動画像特徴量抽出ステッ
プで抽出された２つの特徴量の類似度を計算する特徴量
比較ステップとを有し、与えられた動画像を蓄積する際
には、動画像のカット点を検出し、動画像をショット単
位の動画像に分割して蓄積し、さらにショット単位動画
像から特徴量を抽出し蓄積することを特徴とし、動画像
を検索する際には、ショット単位動画像、ショット単位
動画像中から得られる画像、もしくはスケッチ画像を、
利用者が検索キーとして入力または指定し、検索キーの
特徴量と蓄積されたショット単位動画像の特徴量との類
似度を計算し、検索キーの特徴量と類似した特徴量をも
つショット単位動画像を蓄積されたショット単位動画像
の中から検索し出力する動画像検索方法をコンピュータ
に実行させるためのプログラム。13. A moving image cut point detecting step of detecting a cut point from a given moving image, and dividing the moving image into shot units based on cut point information obtained in the moving image cut point detecting step. A moving image shot dividing step, a shot unit moving image feature amount extracting step of extracting a feature amount from the shot unit moving image divided in the moving image shot dividing step, and a shot unit moving image divided in the moving image shot dividing step An accumulating step of accumulating the image and the feature amount extracted in the shot-based moving image feature amount extracting step; a search condition input step of inputting a search condition; and the two extracted by the shot-based moving image feature amount extracting step. A feature amount comparing step of calculating the similarity of the feature amounts. The feature is that a video point is detected, a moving image is divided into shot-based moving images and stored, and a feature amount is extracted and stored from the shot-based moving image. Moving images, images obtained from shot unit moving images, or sketch images,
A user inputs or designates as a search key, calculates the similarity between the feature amount of the search key and the feature amount of the accumulated shot unit moving image, and obtains a shot-based moving image having a feature amount similar to the search key feature amount. A program for causing a computer to execute a moving image search method for searching and outputting an image from shot-unit moving images stored therein.
する動画像カット点検出ステップと、前記動画像カット
点検出ステップで得られたカット点情報をもとに動画像
をショット単位に分割する動画像ショット分割ステップ
と、前記動画像ショット分割ステップで分割されたショ
ット単位動画像から特徴量を抽出するショット単位動画
像特徴量抽出ステップと、前記動画像ショット分割ステ
ップで分割されたショット単位動画像と前記ショット単
位動画像特徴量抽出ステップで抽出された特徴量を蓄積
する蓄積ステップと、検索条件を入力する検索条件入力
ステップと、前記ショット単位動画像特徴量抽出ステッ
プで抽出された２つの特徴量の類似度を計算する特徴量
比較ステップとを有し、与えられた動画像を蓄積する際
には、動画像のカット点を検出し、動画像をショット単
位の動画像に分割して蓄積し、さらにショット単位動画
像から特徴量を抽出し蓄積することを特徴とし、動画像
を検索する際には、ショット単位動画像、ショット単位
動画像中から得られる画像、もしくはスケッチ画像を、
利用者が検索キーとして入力または指定し、検索キーの
特徴量と蓄積されたショット単位動画像の特徴量との類
似度を計算し、検索キーの特徴量と類似した特徴量をも
つショット単位動画像を蓄積されたショット単位動画像
の中から検索し出力する動画像検索方法をコンピュータ
に実行させるためのプログラムを記録した記録媒体。14. A moving image cut point detecting step of detecting a cut point from a given moving image, and dividing the moving image into shot units based on cut point information obtained in the moving image cut point detecting step. A moving image shot dividing step, a shot unit moving image feature amount extracting step of extracting a feature amount from the shot unit moving image divided in the moving image shot dividing step, and a shot unit moving image divided in the moving image shot dividing step An accumulating step of accumulating the image and the feature amount extracted in the shot-based moving image feature amount extracting step; a search condition input step of inputting a search condition; and the two extracted by the shot-based moving image feature amount extracting step. A feature amount comparing step of calculating the similarity of the feature amounts. The feature is that a video point is detected, a moving image is divided into shot-based moving images and stored, and a feature amount is extracted and stored from the shot-based moving image. Moving images, images obtained from shot unit moving images, or sketch images,
A user inputs or designates as a search key, calculates the similarity between the feature amount of the search key and the feature amount of the accumulated shot unit moving image, and obtains a shot-based moving image having a feature amount similar to the search key feature amount. A recording medium on which a program for causing a computer to execute a moving image search method for searching and outputting a shot unit moving image stored in an image is stored.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001038591A JP2002245051A (en) | 2001-02-15 | 2001-02-15 | Device and method for retrieving moving image, program for making computer execute the method and recording medium having the program recorded thereon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001038591A JP2002245051A (en) | 2001-02-15 | 2001-02-15 | Device and method for retrieving moving image, program for making computer execute the method and recording medium having the program recorded thereon |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002245051A true JP2002245051A (en) | 2002-08-30 |
Family
ID=18901540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001038591A Pending JP2002245051A (en) | 2001-02-15 | 2001-02-15 | Device and method for retrieving moving image, program for making computer execute the method and recording medium having the program recorded thereon |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002245051A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006178974A (en) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | Information processing method, information processing device, and data processing device |
| JP2008146491A (en) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | Information providing device, information providing method and computer program |
| JP2008146492A (en) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | Information providing device, information providing method, and computer program |
| JP2008217713A (en) * | 2007-03-07 | 2008-09-18 | Nippon Telegr & Teleph Corp <Ntt> | Image retrieval method, device and program |
| JP2011507081A (en) * | 2007-12-17 | 2011-03-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Computer-implemented method for temporal event-based image printing method, computer program, apparatus for automatically detecting copyright infringement of image, and computer-implemented method |
| CN105930489A (en) * | 2016-04-29 | 2016-09-07 | 广东小天才科技有限公司 | Test question searching method and device applied to electronic terminal |
| JP2021149232A (en) * | 2020-03-17 | 2021-09-27 | ヤフー株式会社 | Video analysis system, video analysis apparatus, video analysis method, and program |
-
2001
- 2001-02-15 JP JP2001038591A patent/JP2002245051A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006178974A (en) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | Information processing method, information processing device, and data processing device |
| JP2008146491A (en) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | Information providing device, information providing method and computer program |
| JP2008146492A (en) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | Information providing device, information providing method, and computer program |
| JP2008217713A (en) * | 2007-03-07 | 2008-09-18 | Nippon Telegr & Teleph Corp <Ntt> | Image retrieval method, device and program |
| JP2011507081A (en) * | 2007-12-17 | 2011-03-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Computer-implemented method for temporal event-based image printing method, computer program, apparatus for automatically detecting copyright infringement of image, and computer-implemented method |
| CN105930489A (en) * | 2016-04-29 | 2016-09-07 | 广东小天才科技有限公司 | Test question searching method and device applied to electronic terminal |
| JP2021149232A (en) * | 2020-03-17 | 2021-09-27 | ヤフー株式会社 | Video analysis system, video analysis apparatus, video analysis method, and program |
| JP7428855B2 (en) | 2020-03-17 | 2024-02-07 | Ｌｉｎｅヤフー株式会社 | Video analysis system, video analysis device, video analysis method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4426966B2 (en) | Scalable video summarization and navigation system and method | |
| Truong et al. | Video abstraction: A systematic review and classification | |
| US8620037B2 (en) | Human image retrieval system | |
| Picard | Light-years from Lena: Video and image libraries of the future | |
| US7421455B2 (en) | Video search and services | |
| US8036432B2 (en) | System and method of saving digital content classified by person-based clustering | |
| JP4201454B2 (en) | Movie summary generation method and movie summary generation device | |
| Sze et al. | A new key frame representation for video segment retrieval | |
| US6192151B1 (en) | Video retrieval method and apparatus | |
| US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
| Sun et al. | Video summarization using R-sequences | |
| US20070182861A1 (en) | Analyzing camera captured video for key frames | |
| WO2007092156A2 (en) | Extracting key frame candidates from video clip | |
| WO2005055138A2 (en) | Statical modeling of a visual image for use in determining similarity between visual images | |
| JP4536940B2 (en) | Image processing apparatus, image processing method, storage medium, and computer program | |
| US20040181545A1 (en) | Generating and rendering annotated video files | |
| JP2000350156A (en) | Method for storing moving picture information and recording medium recording the information | |
| JP3332166B2 (en) | Video search device | |
| JP2002245051A (en) | Device and method for retrieving moving image, program for making computer execute the method and recording medium having the program recorded thereon | |
| JP2007036737A (en) | Image display device | |
| JP2004080156A (en) | Image processing apparatus, image processing method, program, recording medium, and image processing system | |
| JP2000261757A (en) | Method and system for classifying video block for edit and recording medium recording this method | |
| Zeng et al. | Video indexing by motion activity maps | |
| Kopf et al. | Automatic generation of summaries for the Web | |
| KR100340030B1 (en) | System and Method for Making Brief Video Using Key Frame Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051004 |