JP2009177550A5 - - Google Patents

Download PDF

Info

Publication number
JP2009177550A5
JP2009177550A5 JP2008014419A JP2008014419A JP2009177550A5 JP 2009177550 A5 JP2009177550 A5 JP 2009177550A5 JP 2008014419 A JP2008014419 A JP 2008014419A JP 2008014419 A JP2008014419 A JP 2008014419A JP 2009177550 A5 JP2009177550 A5 JP 2009177550A5
Authority
JP
Japan
Prior art keywords
frame
similarity calculation
scene switching
event
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008014419A
Other languages
English (en)
Other versions
JP4924447B2 (ja
JP2009177550A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2008014419A priority Critical patent/JP4924447B2/ja
Priority claimed from JP2008014419A external-priority patent/JP4924447B2/ja
Priority to EP09150978.6A priority patent/EP2083561B1/en
Priority to US12/321,574 priority patent/US8320614B2/en
Priority to CN2009100098390A priority patent/CN101494726B/zh
Publication of JP2009177550A publication Critical patent/JP2009177550A/ja
Publication of JP2009177550A5 publication Critical patent/JP2009177550A5/ja
Application granted granted Critical
Publication of JP4924447B2 publication Critical patent/JP4924447B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (18)

  1. 入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
    上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する対象フレームを検出するシーン切り替わり点検出部と
    を備えることを特徴とするシーン切り替わり点検出器。
  2. 各対象フレームを順にシーンチェンジ検出フレームとし、上記特徴情報生成部で生成された、シーンチェンジ検出フレームの特徴情報と、該シーンチェンジ検出フレームに対して時間的に前または後に位置する対象フレームの特徴情報とを比較して、シーンチェンジ点を構成する対象フレームを検出するシーンチェンジ点検出部をさらに備え、
    上記シーン切り替わり点検出部は、
    上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて検出されたシーン切り替わり点を構成する対象フレームが、上記シーンチェンジ点検出部で検出されたシーンチェンジ点を構成する対象フレームと一致するとき、該対象フレームを、シーン切り替わり点を構成する対象フレームとする
    ことを特徴とする請求項1に記載のシーン切り替わり点検出器。
  3. 上記特徴情報生成部は、
    対象フレームの画像を複数のブロックに分割し、ブロック毎に画素信号を処理してベクトル要素を求め、上記特徴情報として上記複数のブロックから求められたベクトル要素で構成される特徴ベクトルを生成する
    ことを特徴とする請求項1に記載のシーン切り替わり点検出器。
  4. 上記特徴情報生成部は、
    対象フレームの画像の画素信号を処理し、上記特徴情報としてヒストグラムを生成する
    ことを特徴とする請求項1に記載のシーン切り替わり点検出器。
  5. 上記過去方向類似度算出部は、上記類似度算出フレームと、該類似度算出フレームより時間的に前に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、該類似度の総和をとることで過去方向類似度を求め、
    上記未来方向類似度算出部は、上記類似度算出フレームと、該類似度算出フレームより時間的に後に位置する所定数の対象フレームのそれぞれとの間の類似度を求め、該類似度の総和をとることで未来方向類似度を求める
    ことを特徴とする請求項1に記載のシーン切り替わり点検出器。
  6. 入力ビデオ信号の一定時間毎のフレームを対象フレームとし、各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成ステップと、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成ステップで生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出ステップと、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成ステップで生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出ステップと、
    上記過去方向類似度算出ステップで算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出ステップで算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する対象フレームを検出するシーン切り替わり点検出ステップと
    を備えることを特徴とするシーン切り替わり点検出方法。
  7. ビデオ信号のシーン切り替わり点を検出する複数のシーン切り替わり点検出器と、
    上記ビデオ信号および該ビデオ信号に対して上記複数のシーン切り替わり点検出器で検出された複数系統のシーン切り替わり点の情報を関連付けて、記録媒体に記録する記録部と
    を備えることを特徴とする記録装置。
  8. 上記複数のシーン切り替わり点検出器には、上記入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器を含み、
    上記所定のシーン切り替わり点検出器は、
    各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
    上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部とを有する
    ことを特徴とする請求項に記載の記録装置。
  9. 複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいて、該各イベント候補点におけるスコアを算出するスコア算出部と、
    上記スコア算出部で算出された各イベント候補点のスコアに基づいて、所定の点をイベントとして選択するイベント選択部と
    を備えることを特徴とするイベント生成器。
  10. 上記複数系統のシーン切り替わり点の情報に対応した重み付け係数を発生する重み付け係数発生部をさらに備え、
    上記スコア算出部は、
    イベント候補点毎に、上記複数系統のシーン切り替わり点の情報から得られるそれぞれの第1の値に上記係数発生部で発生される重み付け係数を乗じてそれぞれの第2の値を求め、各第2の値を加算して、上記スコアを算出する
    ことを特徴とする請求項に記載のイベント生成器。
  11. 上記重み付け係数発生部は、
    上記複数系統のシーン切り替わり点の情報に対応した重み付け係数の組み合わせを複数組有し、該複数組の重み付け係数の組み合わせのいずれかを選択的に出力する
    ことを特徴とする請求項10に記載のイベント生成器。
  12. 上記イベント選択部は、
    上記スコアが閾値以上であるという条件を満たすイベント候補点をイベントとして選択する
    ことを特徴とする請求項に記載のイベント生成器。
  13. 上記イベント選択部は、
    上記閾値を変更可能に構成されている
    ことを特徴とする請求項12に記載のイベント生成器。
  14. 上記イベント選択部は、
    上記スコアが閾値以上であり、前後の最短イベント間隔の範囲内に自身のスコアより大きなスコアを持つ他のイベント候補点がないという条件を満たすイベント候補点をイベントとして選択する
    ことを特徴とする請求項12に記載のイベント生成器。
  15. 上記複数系統のシーン切り替わり点の情報のいずれかは、入力ビデオ信号の一定時間毎のフレームを対象フレームとしてシーン切り替わり点を検出する所定のシーン切り替わり点検出器で検出されたものであり、
    上記所定のシーン切り替わり点検出器は、
    各対象フレームの画像の特徴を示す特徴情報を生成する特徴情報生成部と、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に前に位置する所定数の対象フレームの特徴情報とに基づいて、過去方向類似度を算出する過去方向類似度算出部と、
    各対象フレームを順に類似度算出フレームとし、上記特徴情報生成部で生成された、類似度算出フレームの特徴情報と、該類似度算出フレームより時間的に後に位置する所定数の対象フレームの特徴情報とに基づいて、未来方向類似度を算出する未来方向類似度算出部と、
    上記過去方向類似度算出部で算出された各対象フレームの過去方向類似度と、上記未来方向類似度算出部で算出された各対象フレームの未来方向類似度とに基づいて、シーン切り替わり点を構成する検出フレームを検出するシーン切り替わり点検出部とを有する
    ことを特徴とする請求項に記載のイベント生成器。
  16. 複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいて、該各イベント候補点のスコアを算出するスコア算出ステップと、
    上記スコア算出ステップで算出された各イベント候補点のスコアに基づいて、所定の点をイベントとするイベント選択ステップと
    を備えることを特徴とするイベント生成方法。
  17. ビデオ信号およびこのビデオ信号に関する複数系統のシーン切り替わり点の情報が関連付けされて記録されている記録媒体から、上記ビデオ信号および上記複数系統のシーン切り替わり点の情報を再生する再生部と、
    上記再生部で再生された上記複数系統のシーン切り替わり点の情報に基づいて、所定の点をイベントとするイベント生成器と、
    上記イベント生成器で生成されたイベントに基づいて、上記再生部における上記ビデオ信号の再生動作を制御する制御部と
    を備えることを特徴とする再生装置。
  18. 上記イベント生成器は、
    上記複数系統のシーン切り替わり点の情報を入力し、各シーン切り替わり点をイベント候補点とし、各イベント候補点における上記複数系統のシーン切り替わり点の情報に基づいてスコアを算出するスコア算出部と、
    上記スコア算出部で算出された各イベント候補点のスコアに基づいて、所定の点をイベントとするイベント選択部とを有する
    ことを特徴とする請求項17に記載の再生装置。
JP2008014419A 2008-01-25 2008-01-25 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置 Expired - Fee Related JP4924447B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008014419A JP4924447B2 (ja) 2008-01-25 2008-01-25 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置
EP09150978.6A EP2083561B1 (en) 2008-01-25 2009-01-21 Scene switching point detector
US12/321,574 US8320614B2 (en) 2008-01-25 2009-01-22 Scene switching point detector, scene switching point detecting method, recording apparatus, event generator, event generating method, reproducing apparatus, and computer program
CN2009100098390A CN101494726B (zh) 2008-01-25 2009-01-24 场景切换点检测器、记录和重现装置、事件生成器和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008014419A JP4924447B2 (ja) 2008-01-25 2008-01-25 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置

Publications (3)

Publication Number Publication Date
JP2009177550A JP2009177550A (ja) 2009-08-06
JP2009177550A5 true JP2009177550A5 (ja) 2010-04-30
JP4924447B2 JP4924447B2 (ja) 2012-04-25

Family

ID=40427502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008014419A Expired - Fee Related JP4924447B2 (ja) 2008-01-25 2008-01-25 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置

Country Status (4)

Country Link
US (1) US8320614B2 (ja)
EP (1) EP2083561B1 (ja)
JP (1) JP4924447B2 (ja)
CN (1) CN101494726B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8786785B2 (en) * 2011-04-05 2014-07-22 Microsoft Corporation Video signature
CN102497556B (zh) * 2011-12-26 2017-12-08 深圳市云宙多媒体技术有限公司 一种基于时间变化度的场景切换检测方法、装置、设备
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
CN104253928B (zh) * 2013-06-26 2018-02-13 中山市云创知识产权服务有限公司 基于场景侦测的实时影像记录系统及方法
CN105898106A (zh) * 2015-12-11 2016-08-24 乐视云计算有限公司 场景切换帧判断方法及装置
CN106375875A (zh) * 2016-09-29 2017-02-01 乐视控股(北京)有限公司 视频流的播放方法及装置
CN110493637B (zh) * 2018-05-14 2022-11-18 阿里巴巴(中国)有限公司 视频拆分方法及装置
US11605227B2 (en) 2018-09-04 2023-03-14 Pandoodle Corporation Method and system for dynamically analyzing, modifying, and distributing digital images and video
CN112165621B (zh) * 2020-09-24 2024-01-19 北京金山云网络技术有限公司 场景切换帧的检测方法及装置、存储介质、电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2914170B2 (ja) * 1994-04-18 1999-06-28 松下電器産業株式会社 映像変化点検出方法
JP3175632B2 (ja) * 1997-04-18 2001-06-11 松下電器産業株式会社 シーンチェンジ検出方法およびシーンチェンジ検出装置
US6219382B1 (en) 1996-11-25 2001-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for locating a caption-added frame in a moving picture signal
JPH10327386A (ja) * 1997-05-23 1998-12-08 Media Rinku Syst:Kk 映像情報蓄積装置
US6373979B1 (en) 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination
JP4599740B2 (ja) * 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP2002027411A (ja) 2000-07-13 2002-01-25 Sony Corp 映像信号記録装置および方法、映像信号再生装置および方法、並びに記録媒体
JP4310745B2 (ja) 2004-11-01 2009-08-12 カシオ計算機株式会社 番組要約装置および番組要約処理プログラム
JP2006270301A (ja) * 2005-03-23 2006-10-05 Nippon Hoso Kyokai <Nhk> シーンチェンジ検出装置およびシーンチェンジ検出プログラム
CN100469153C (zh) * 2005-09-29 2009-03-11 深圳清华大学研究院 视频场景切换检测方法
CN101072342B (zh) * 2006-07-01 2010-08-11 腾讯科技(深圳)有限公司 一种场景切换的检测方法及其检测系统
JP2007149095A (ja) * 2006-11-24 2007-06-14 Hitachi Ltd 動画像の変化点検出方法及び装置

Similar Documents

Publication Publication Date Title
JP2009177550A5 (ja)
CN101175187B (zh) 图像存储设备、成像设备以及图像存储方法
US9076043B2 (en) Video summarization using group sparsity analysis
EP2083561B1 (en) Scene switching point detector
WO2014022254A2 (en) Identifying key frames using group sparsity analysis
US20150104149A1 (en) Video summary apparatus and method
US8731302B2 (en) Moving image extracting apparatus, program and moving image extracting method
RU2011107933A (ru) Устройство и способ обработки сигнала изображения, устройство воспроизведения изображения, телевизионный приемник, электронное устройство
JP2009182817A5 (ja)
US20110235859A1 (en) Signal processor
WO2014103673A1 (ja) 情報処理システム、情報処理方法及びプログラム
JPH07203351A (ja) 画像データ再生方法及びその装置
JP2013013066A5 (ja)
US10878850B2 (en) Method and apparatus for visualizing information of a digital video stream
JP2006244074A (ja) 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体
US8537212B2 (en) Recording apparatus and recording method thereof
JP2010268525A5 (ja)
US9741393B2 (en) Method and method for shortening video with event preservation
US20090022370A1 (en) Method and apparatus for detecting meaningful motion
JP6720509B2 (ja) 画像評価装置、画像評価方法及びプログラム
JP2000242795A (ja) 映像差分検出装置、映像差分検出方法およびこの方法を記録した記録媒体
JP4835540B2 (ja) 電子機器、映像特徴検出方法及びプログラム
JP4151641B2 (ja) 映像信号処理装置および映像信号処理方法
JP2016058831A5 (ja)
JP5783880B2 (ja) 映像検出装置および映像検出方法並びに映像検出プログラム