JP2010518673A - ビデオの索引付けとビデオシノプシスのための、方法およびシステム - Google Patents
ビデオの索引付けとビデオシノプシスのための、方法およびシステム Download PDFInfo
- Publication number
- JP2010518673A JP2010518673A JP2009547808A JP2009547808A JP2010518673A JP 2010518673 A JP2010518673 A JP 2010518673A JP 2009547808 A JP2009547808 A JP 2009547808A JP 2009547808 A JP2009547808 A JP 2009547808A JP 2010518673 A JP2010518673 A JP 2010518673A
- Authority
- JP
- Japan
- Prior art keywords
- video
- synopsis
- objects
- source
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000002123 temporal effect Effects 0.000 claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 16
- 238000013459 approach Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 12
- 238000005457 optimization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000009661 flower growth Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009625 temporal interaction Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【選択図】図15
Description
本出願は、2007年5月24日に公開された WO2007/057893(Rav-Acha et al.) "Method and system for producing a video synopsis(ビデオシノプシスを生成するための方法とシステム)"(出願日2006年11月15日)の一部継続出願であり、さらに、2007年2月1日に出願された仮特許出願第60/898,698号;2007年4月13日に出願された同第60/911,839号および2007年9月12日に出願された同第60/971,582号(これらの内容の全ては、参照することにより本明細書に組み込まれる)の利益を主張する。
本発明は、ビデオの要約化(summarization)およびビデオの索引付け(indexing)の分野に関する。
本発明の背景として関連すると思われる先行技術文献を以下に挙げる。これらの内容は、参照することによって本明細書に組み込まれる。更なる参照文献は、上記米国仮特許出願第60/898,698号;同第60/911,839号および同第60/971,582号で言及されており、それらの内容は参照することによって本明細書に組み込まれる。本明細書での参照文献の確認は、それらが本明細書に開示された発明の特許性に何らかの関係があることを意味するものとして推測されてはならない。各参照文献は、角括弧で囲まれた数字によって特定され、従って、先行技術を、本明細書全体を通じて、角括弧で囲まれた数字で呼ぶ。
[2] Y. Boykov and V. Kolmogorov. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. IEEE Trans, on Pattern Analysis and Machine Intelligence, 26(9):1124-1137, Sep. 2004.
[3] S. Cohen. Background estimation as a labeling problem. In ICCV'05, pages
1034-1041, Washington, DC, 2005.
[4] A. Divakaran, K. Peker, R. Radhakrishnan, Z. Xiong, and R. Cabasson. Video summarization using mpeg-7 motion activity and audio descriptors. Technical Report TR-2003-34, MERL - A Mitsubishi Electric Research Laboratory, Cambridge, Massachusetts, May 2003.
[5] G. Doretto, A. Chiuso, Y. Wu, and S. Soatto. Dynamic textures. Int. J. Computer Vision, 51 :91-109, 2003.
[6] M. Irani, P. Anandan, J. Bergen, R. Kumar, and S. Hsu. Efficient representations of video sequences and their applications. Signal Processing: Image Communication, 8(4):327-351, 1996.
[7] H. Kang, Y. Matsushita, X. Tang, and X. Chen. Space-time video montage. In
CVPR'06, pages 1331-1338, New-York, June 2006.
[8] C. Kim and J. Hwang. An integrated scheme for object-based video abstraction. In ACM Multimedia, pages 303-311, New York, 2000.
[9] S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi. Optimization by simulated annealing. Science, 4598(13):671-680, 1983.
[10] V. Kolmogorov and R. Zabih. What energy functions can be minimized via graph cuts? In ECCV, pages 65-81, 2002.
[11] Y. Li, T. Zhang, and D. Tretter. An overview of video abstraction techniques. Technical Report HPL-2001-191, HP Laboratory, 2001.
[12] J. Nam and A. Tewfik. Video abstract of video. In 3rd IEEE Workshop on
Multimedia Signal Processing, pages 117-122, Copenhagen, Sept. 1999.
[13] J. Oh, Q. Wen, J. lee, and S. Hwang. Video abstraction. In S. Deb, editor, Video Data Mangement and Information Retrieval, pages 321-346. Idea Group Inc. and IRM Press, 2004.
[14] M. Oren, C. Papageorgiou, P. Shinha, E. Osuna, , and T. Poggio. A trainable system for people detection. In Proceedings of Image Understanding Workshop, pages 207-214, 1997.
[15] M. Gangnet P. Perez and A. Blake. Poisson image editing. In SIGGRAPH, pages 313-318, July 2003.
[16] C. Pal and N. Jojic. Interactive montages of sprites for indexing and summarizing security video. In Video Proceedings of CVPR05, page II: 1192, 2005.
[17] R. Patil, P. Rybski, T. Kanade, and M. Veloso. People detection and tracking in high resolution panoramic video mosaic. In Int. Conf. on Intelligent Robots and Systems (IROS 2004), volume 1, pages 1323-1328, October 2004.
[18] N. Petrovic, N. Jojic, and T. Huang. Adaptive video fast forward. Multimedia Tools and Applications, 26(3):327-344, August 2005.
[19] A. Pope, R. Kumar, H. Sawhney, and C. Wan. Video abstraction: Summarizing video content for retrieval and visualization. In Signals, Systems and Computers, pages 915-919, 1998.
[20] A. Rav-Acha, Y. Pritch, and S. Peleg. Making a long video short: Dynamic video synopsis. In CVPR'06, pages 435-441, New-York, June 2006.
[21] A. M. Smith and T. Kanade. Video skimming and characterization through the combination of image and language understanding. In CAIVD, pages 61-70, 1998.
[22] J. Sun, W. Zhang, X. Tang, and H. Shum. Background cut. In ECCV, pages 628-641, 2006.
[23] Y. Weiss and W.T. Freeman. On the optimality of solutions of the max-product belief propagation algorithm in arbitrary graphs. IEEE Transactions on Information Theory, 47(2): 723-735, 2001.
[24] X. Zhu, X. Wu, J. Fan, A. K. Elmagarmid, and W. G. Aref. Exploring video content structure for hierarchical summarization. Multimedia Syst, 10(2):98-115, 2004.
[25] S. Peleg and A. Rav-Acha, WO2007/057893 "Method and system for producing a video synopsis"
[26] J. Assa, Y. Caspi, and D. Cohen-Or. Action synopsis: Pose selection and illustration. In SIGGRAPH, pages 667-676, 2005.
[27] Carsten Rother, Lucas Bordeaux, Youssef Hamadi, and Andrew Blake. Autocollage. ACM Transactions on Graphics, 25(3):847-852, July 2006.
[28] Aseem Agarwala. Efficient gradient-domain compositing using quadtrees. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2007), 2007.
[29] G. Brostow and I. Essa. Motion based decompositing of video. In ICCV'99, pages 8-13, Corfu, 1999.
[30] J. Shi and J. Malik, Normalized cuts and image segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):888-905, 2000.
[31] O. Boiman and M. Irani. Detecting irregularities in images and in video. In ICCV, pages I: 462-469, Beijing, 2005.
[32] B.M. Carvalho, G.T. Herman, and T. Y. Kong. Simultaneous fuzzy segmentation of multiple objects. Discrete Applied Mathematics, VoI 151, No. 1-3, Oct 2005, pp 55-77.
[33] G.T. Herman and B.M. Carvalho. Multiseeded Segmentation Using Fuzzy Connectedness. IEEE Transactions on Pattern Analysis and Machine Intelligence, v.23 no.5, pp. 460-474, May 2001.
[34] A. Levin, A. Rav-Acha, and D. Lischinski. Spectral Matting. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Minneapolis, June 2007.
[35] N. E. Apostoloff and A. W. Fitzgibbon. Bayesian video matting using learnt image priors. In Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), June 2004, Washington DC.
手を加えていない(未加工)ビデオのコレクションをソートすることは、興味を引く何か(anything of interest)が記録されているかどうかを確認すべくビデオクリップを見る必要があるので、時間がかかる。この退屈な作業は、個人のビデオコレクションでは実行可能であるかもしれないが、監視カメラやウェブカメラによって記録されたような、終わりのないビデオが関係する場合には、受け入れがたいことである。何百万ものウェブカメラが世界中をカバーし、1日24時間、それらの視界を記録している。UKだけでも、街の通りを覆う何百万もの監視カメラがあると報告されている。多くのウェブカメラは、誰もが見られるように、公共へのインターネットを通じてそれらのビデオの発信さえしている。多くの監視カメラもまた、店、空港および他の公共の場所においてオンラインで利用可能である。
ビデオクリップは時間に沿って視覚的に活動(activities)を表現し、また、時間軸の圧縮により、そのようなクリップの要約を短い時間で見ることが可能となる。いくつかのフレームが選択されたフレームの間でスキップされる早送りが、ビデオの要約のために使用される最も一般的なツールである。早送りの特殊なケースは、「タイムラプス(time lapse、微速度)」と呼ばれるものであり、それは、花の成長などのような、非常に遅いプロセスのビデオを生成する。早送りは、抜け落ちたフレームの間の速い活動(fast activities)を失うことがあり得るため、適応性のある(adaptive)早送りのための方法が開発された[12, 18, 4]。そのような方法は、低い興味のまたは活動がより低いピリオドにおけるフレームをスキップし、より強い興味を引くまたはより高い活動のピリオドにおけるフレームを保とうとするものである。同様のアプローチにより、ビデオから、その内容を最も良く表す短いビデオ シークエンス(video sequences、動画像列)の集まりが抽出される[21]。
対象物は、チューブによって空間・時間ボリューム(space-time volume)で表現されるため、用語「対象物」および「チューブ」は、以下の説明では交換可能に使用される。
これらの論文[20, 7]は、異なる時点からの活動を組み合わせたシノプシス ビデオを生成するという新たな概念を導入した(図1参照)。
本発明の第一の態様に従えば、ソースビデオからシノプシス ビデオを生成するための、コンピュータで実施される方法が提供され、当該方法は、
1つ以上の定義された制約に従って、少なくとも3つの異なるソース対象物を選択することを有し、各ソース対象物は、ソースビデオの少なくとも3つの異なるフレームからのイメージポイント(image points)からなる連結されたサブセットであり、
各選択されたソース対象物から、1つ以上のシノプシス対象物をサンプリングすることを有し、該サンプリングは、特定の期間から抽出されたイメージポイントを用いた時間的サンプリングによって行い、
各シノプシス対象物に対して、シノプシス ビデオ中での表示を開始するためのそれぞれの時間を決定することを有し、かつ、
前記のそれぞれの時間において、選択されたシノプシス対象物またはそれらから抽出された対象物を表示することによって、シノプシス ビデオを表示することを有し、
それにより、シノプシス ビデオ中には、ソースビデオ中の異なるそれぞれの時間から各々抽出された少なくとも3つのポイントが、同時に表示されるようになっている。
ソース対象物選択器(18)を有し、該ソース対象物選択器は、ソースビデオ中の対象物を格納する対象物メモリ(16)に結合されるように構成され、1つ以上の定義された制約に従って少なくとも3つの異なるソース対象物を選択するためのものであって、各ソース対象物は、ソースビデオの少なくとも3つの異なるフレームからのイメージポイントによる連結されたサブセットであり、
シノプシス対象物サンプラー(20)を有し、該シノプシス対象物サンプラーは、ソース対象物選択器(18)に結合され、特定の期間から抽出されたイメージポイントを用いた時間的なサンプリングによって、各選択されたソース対象物から、1つ以上のシノプシス対象物をサンプリングするためのものであり、
時間選択ユニット(23)を有し、該時間選択ユニットは、シノプシス対象物サンプラー(20)に結合され、各シノプシス対象物について、シノプシス ビデオ中にその表示を開始するためのそれぞれの時間を決定するためのものであり、
ステッチング(つなぎ合わせ)ユニット(26)を有し、該ステッチングユニットは、時間選択ユニット(23)に結合され、選択されたシノプシス対象物を、または、それらのそれぞれの時間においてそれらから抽出された対象物をステッチングし、連続的なシノプシス ビデオフレームを生成するためのものであり、それにより、該シノプシス ビデオフレームでは、ソースビデオにおける各々異なるそれぞれの時間から抽出された少なくとも3つのポイントが、同時に表示されるようになっており、かつ、
シノプシスフレームメモリ(27)を有し、該シノプシスフレームメモリは、ステッチングユニット(26)に結合され、該シノプシス ビデオフレームを格納するためのものである。
・無限の記憶装置はないため、限りの無いビデオが要約される場合には、イベントを「忘れる(forget)」必要がある。
・背景の様子は、長いビデオではかなり変動する(例、昼から夜へ)。これらの変化は、シノプシスの背景を生成するとき、および、背景に対象物を挿入するときに対処されなければならない。
・異なる時間からの活動が、同時にかつ別の時間からの背景においてさえ現れることができるため、それら全てをステッチング(stitching、つなぎ合わせ)して出力ビデオとするときには、特別注意されなければならない。
・データの量が非常に大きいにも関わらず、ユーザーのクエリに対する迅速な応答が必要とされる。
しかしながら、現実の実施に関する限り、例えば動的なソースのシーンの2Dフレームを実際に時間的にスタックすることによって、空間・時間ボリュームを実際に構成する必要はないことを理解すべきである。より典型的には、ソースのフレームは、目的とするフレームを構成するために個々に処理されるが、概念的な構成物というよりむしろ、物理的な構成物であるかのように空間時間ボリュームに言及することが理解を助けるであろう。
本発明を理解するためおよび実際にどのように実施され得るかを見るために、添付の図面を参照して、非限定的な例のみによって、実施形態をこれより説明する。
活動チューブの計算(computing)
対象物が現れるフレームのサブセットを選択することによって、各対象物から、セグメントが作られる。そのようなセグメントは、異なる時間的区間(タイム インターバル)を表現することができ、オプションとしては、互いに異なるサンプリングレートで撮られていても良い。
動いている前景の対象物のセグメント化を可能とするために、我々は、背景の構築から始める。短いビデオクリップでは、背景の外観は変化せず、クリップ全体にわたる時間的な平均を用いることによってそれを構築することができる。監視カメラの場合、背景の外観は、明暗の変化、背景対象物の変化などによって時間と共に変化する。この場合、各時点のための背景は、各フレームの前後数分間にわたる時間的な平均を使用することによって計算することができる。我々は通常、4分間の平均を使用する。より短い時間的ウィンドウ(temporal window)を使うときでさえ、背景を構築するための他の方法が可能であるが[3, 9]、我々は効率性のために平均を使用した。
は、重みファクターであり(<・>は、イメージサンプルにわたっての期待値である)、drs は、背景の勾配によって弱められたイメージの勾配であって、次式によって与えられる。
を、イメージIと現在の背景Bとの間の色の差異とする。ピクセルrについての前景(1)および背景(0)のコスト(costs)を次のように設定する:
ここで我々は、チューブ間の相互作用のエネルギーを定義する。このエネルギーは、後に最適化ステージで使われて、対象物間の不一致およびオーバーラップを回避しながら、最大の活動を有するシノプシスを生成することになる。Bを全ての活動チューブの集合とする。各チューブbは、元となるビデオストリーム中の有限の時間セグメント
にわたって定義される。
へ時間的にシフトさせる時間的なマッピングMに基づいて生成される。
はシノプシスへのチューブbの時間的シフトを示し、bが出力シノプシスにマッピングされない場合には、
である。
我々は、次式のエネルギー関数を最小化するものとして、最適なシノプシス ビデオを定義する:
重みαおよびβは、特定のクエリに対するそれらの総体的な重要度に応じて、ユーザーによって設定される。例えば、不一致コストの重みを減少させることにより、対象物がオーバーラップし得る、より高密度のビデオが生じる。この重みを増加させることにより、対象物がオーバーラップせず、現れる活動がより少ない、より希薄なビデオが生じる。βを変化させることによって得られる異なるシノプシスの例を、図10bに与える。
活動コストは、最大の活動を有するシノプシス映像を優位に置く。これは、シノプシス中で妥当な時間にマッピングされていない対象物についてペナルティを課す。あるチューブがシノプシスから除外される場合、即ち、
である場合、次式となる。
各チューブbについて、そのマッピング
が最終的なシノプシスに部分的に含められ、我々は、式(8)に似た活動コストを定義するが、シノプシス中に入れられなかったピクセルのみが活動コストに加えられる。
あらゆる2つの「シフトされた」チューブ、および、それらの間のあらゆる相対的な時間シフトに対して、我々は、それらの活動の指標(measures)によって重み付けされた空間的・時間的オーバーラップのボリュームとして、不一致コストを定義する:
は、シノプシス ビデオにおけるbおよびb’の時間的共通部分である。この表現は、背景に似た色であるが、形態的な膨張処理において活動チューブに加えられたピクセルに対して低いペナルティを与えることになる。不一致コストEc の重みを変化させることにより、図10bに示すように、シノプシス ビデオにおける対象物の密度が変化する。
時間的整合性コストは、イベントの時間的順序の保存に対して付勢(バイアス)を加える。時間的順序の保存は、強い相互作用を有するチューブに対してより重要である。例えば、互いに話をしている2人の人間の相対的な時間を保つこと、あるいは論理的な関係のある2つのイベントの時間的順序を保つことが好ましい。しかし、そのような相互作用を検出することは非常に難しい。代わりに、チューブの各ペアの間の相互作用d(b,b’)の量が、後述のように、それらの相対的な空間的・時間的距離について見積もられる:
式(7)および(15)における大域的エネルギー関数は、単一チューブまたはチューブのペアで定義されたエネルギー項の和として書かれるため、Belief Propagation [23]、または、Graph Cuts [10]などの種々のMRFベースの技術によって最小化され得る。
我々の実施では、より単純なシミュレーテッド・アニーリング法(simulated annealing method)[9]を使用し、これは良好な結果を与えた。シミュレーテッド・アニーリングは、チューブがシノプシス ビデオにおいて全く使用されない特殊なケースを含む可能なあらゆる時間的なマッピングMの空間において適用された。
上述したように、何百万ものウェブカメラおよび監視カメラが世界中をカバーし、1日24時間、それらの視界を記録している。これらのカメラを利用するに当たっての問題の一つは、それらが未編集の未加工のデータを供給するということである。例えば、2時間の長編映画は、通常、数百時間、または、数千時間もの未加工のビデオの撮影から作られる。編集なしでは、殆どのウェブカメラデータは適切でない。また、時差のため、他の大陸にあるカメラを見るのに都合がよいのは、無活動の時間の間だけかもしれない。
1)ビデオキャプチャー中のオンラインのフェーズ。このフェーズは、リアルタイムで行われる。
・対象物(チューブ)の検出およびセグメント化
・検出した対象物の、対象物待ち行列への挿入
・スペースの限界に達したときの、対象物待ち行列からの対象物の削除
2)ユーザーのクエリに応じたシノプシスを構築する応答フェーズ。このフェーズは、興味を引く期間における活動の量に応じて、数分間かかることもあり得る。このフェーズは、つぎの事を含む:
・変化する背景のタイムラプスビデオの構築。背景の変化は、通常、昼と夜の違いによって引き起こされるが、動きを始める(停止する)対象物の結果でもあり得る。
・シノプシス ビデオに含められるチューブの選択およびこれらのチューブの視覚的に訴える(visually appealing)時間的構成の計算。
・コヒーレント(coherent)ビデオへの、チューブおよび背景のステッチング。このアクションは、異なる時間からの活動が、同時にそしてまた別の時間から背景上に現れ得ることを考慮に入れなければならない。
多くの監視カメラおよびウェブカメラは、長時間にわたって活動を示さないシーンを撮像する。記憶容量の効率のために、そのような期間に対応するフレームは、通例、オンラインフェーズの間に除去される。残りのフレームの元々の時間は、各フレームと共に記録される。一つの実施では、フレームは、2つの基準に従って記録された:(1)シーンにおける大域的な変化。これは、入ってきたフレームと最後の保存されたフレームとの間の2乗差の和(sum of squared difference)(SSD)によって測られる。この基準は、全フレームでの段階的な明るさの変化によって表現される明暗の変化を追跡する。(2)動く対象物の存在。これは、小ウインドウ内の最大のSSDによって測られる。
終わりのないビデオの処理における主要な困難の一つは、新たな対象物が出てきたときに、古い対象物を「忘れる(forget)」スキームの開発である。ユーザーは、全時間からの対象物を含み得る長い時間的期間の要約を得ることを望むこともあり得るため、最も古い活動を破棄するという安直なスキームは良くない。その代わりに、我々は、各対象物の、あり得る未来のクエリに対する重要性を見積もり、それに従って対象物を破棄することを目的とする代替的なスキームを提案する。
図5aおよび5bは、図2に示した空港のシーンにおける活動の空間的分布を示しており、強度は活動の値のログ(log)である。図5aは、単一チューブの活動の分布を示し、図5bは、全チューブにわたる平均を示している。予期されるように、最も高い活動は、車線上および滑走路上である。チューブの潜在的な不一致は、より高い活動を有する領域でより高い。
対象物待ち行列は、「このカメラの放送の過去の日の期間の1分間のシノプシスがほしい」などのクエリを通じてアクセスされ得る。入力ビデオからの所望のピリオドおよびシノプシスの所望の長さを与えられると、4つの操作を用いてシノプシス ビデオが生成される。(i)背景ビデオの生成。(ii)背景ビデオが定義されると、各対象物に対して、およびシノプシス中の可能な各時間に対して不一致コストが計算される。(iii)エネルギー最小化ステップが、どのチューブ(空間・時間の対象物)が、どの時間に、シノプシスにおいて現れるかを決定する。(iv)選択されたチューブが、背景のタイムラプスと結合されて最終的なシノプシスを与える。これらの操作は、このセクションで説明される。対象物ベースの表現への元々のビデオの縮小により、クエリへの迅速な応答が可能となる。
シノプシス ビデオの背景は、タイムラプスの背景ビデオであり、活動チューブをシノプシスに加える前に生成される。背景ビデオは、2つの役割を有する:(i)経時的な背景の変化(例、昼と夜の推移など)を表現しなければならない。(ii)活動チューブの背景を表現しなければならない。活動チューブの背景の表現は、例えば殆どの夜の時間を無視して、背景のビデオがアクティブなピリオドのみを覆うときに最もよく為されることになるため、これら2つの目標は相反するものである。
(ここでλはユーザーによって与えられる重みである)を計算する。λ=0では、背景のタイムラプスビデオは、活動にかかわらず時間的に均一となり、一方、λ=1では、背景のタイムラプスビデオは、アクティブなピリオドからのみの背景を含むことになる。通常、0.25<λ<0.5が用いられる。
我々は、動く対象物の正確なセグメント化を想定していないため、類似の外観を有する背景イメージへチューブをステッチングする方を好ましいとする。このチューブの、背景に対する整合性は、新たなエネルギー項Eb (M)を追加することによって考慮され得る。この項は、対象物をタイムラプスの背景にステッチングするコストを測る。形式的には、
をマッピングされたチューブ
の色の値とし、Bout (x,y,t)をタイムラプスの背景の色の値とする。我々は、次式のように設定する:
はマッピングされた活動チューブ
の境界線におけるピクセルの集合であり、tout は出力シノプシスの時間的長さである。このコストは、各チューブがその元々の背景からのピクセルによって囲まれていることを想定している(活動のマスクの形態的な拡張に由来する)。
異なる期間(タイム ピリオド)からのチューブのステッチングは、既存の方法([1, 16]など)に対する挑戦を提示する。一度に全てのチューブをステッチングすることで、異なる対象物からの色が混ざる結果になり得、これは望ましくない効果である。異なる対象物間のはっきりした移り変わりを保つと同時に、対象物と背景との間でのみ継ぎ目を除去する方が良い。対象物の正確なセグメント化がこの問題を解決し得るが、正確なセグメント化は現実的でない。その代わりに、各チューブの境界が背景ピクセルからなり、それは、活動チューブを生成するときに我々が適用する形態的な拡張(morphological dilation)に起因する。
に比例する重みで重み付けされた、ステッチングされた活動チューブ
からの対応するピクセルの平均とすることによって、オーバーラップしたチューブがブレンドされる。代替的には、重み付けされた平均の代わりに、最大の活動の指標を有するピクセルを採用することにより、透明性が回避され得る。
シノプシスベースの階層的なビデオの索引付けは、監視カメラの場合のように終わりのないビデオに対してさえも、ビジュアルなクエリを用いて、ビデオの内容を表現および閲覧するコンパクトかつ容易な方法を提供することを目的とする。図7は、シノプシスベースの階層的なビデオの索引付けおよびサーチの概念的構造を示す。このシステムでは、索引付けが望まれるビデオは既に選択されていることを想定している(例、「前の1時間」、「前の36時間」など)。
対象物間の親和性(affinity)の指標は、以下に限定されないが、対象物の空間・時間の表現の間の相関を含む種々の特徴に基づき得る。効率的な類似性の指標化を行うために、ビデオの空間・時間の表現における3Dチューブとして表現される対象物は、先ず、共通の座標系へと歪ませられ、また、あり得るそれらの異なる位置およびスケールを克服するために、空間的時間的な位置合わせが行われることができる。そのような歪みは、ビデオ中の対象物の空間的・時間的位置に対して、および、種々の射影変換に対して、不変である類似の指標をもたらし得るため有用であり得る。ビデオ中で類似の動きの経路を有するが位置が異なる類似の対象物は、たとえそれらの元々の外観が遠近法の効果のために異なっていても、類似と考えられる。更なる親和性の指標は、対象物の形、サイズまたは色ならびに当該技術において知られる他の多くの可能な類似性の指標であってもよい。
いったん親和性マトリックスが構築されると、[30]などの集団化方法が、各対象物を対応するクラスに分類するために使用され得る。集団化処理はまた、「イレギュラーな」対象物および挙動を特定する助けとなるためにも使用され得ることに留意することが重要である。いかなるクラスにもうまくクラスター化されない対象物は、「ユニーク」または「イレギュラー」である疑いがあり得、後述するシノプシス生成のプロセスにおいて特殊なマーキングを用いて視覚化され得る。
クラスターが決定され、対象物がクラスターにグループ化されると、索引付けのための階層的なビデオ シノプシスシークエンスのコレクションが、この集団化に基づいて生成され得る(シノプシス・フロム・クラスターズ(Synopsis from Clusters)−SFC)。
インターネットからキャプチャー(獲得)した数個のビデオストリームに、ビデオ シノプシスをテストした。フレーム率(frame rate)がインターネットを超えて一定でないので、また、フレームが周期的に脱落するので、時間的な近傍を用いるときには常に、フレームの個数をカウントせず、各フレームの絶対的な時間を用いる。
図12は、形状ベースの(形状に基づいた)選択(preferences)を示している。図12aでは、通常のコスト関数が用いられ、大きな対象物(動く車)の方が選ばれた。図12bでは、小さい、暗い対象物の方が選ばれ、完全に異なった歩行の活動を示している。図11は、ビリヤードクラブで9時間にわたって記録されたビデオの短いシノプシスからのフレームを示している。該シノプシスには、テーブルあたり複数の競技者がいることに注目されたい。
たいていの場合、全ての対象物が興味を引く、ということはない。交通監視カメラは車にのみ興味があるかもしれず、他のアプリケーションは歩行者を好むかもしれない。対象物のフィルタリングはいくつかの場所で為され得る。対象物は待ち行列に入る前に除去され得、この場合、それを取り戻すことは決してできなくなる。代替的には、対象物はクエリの段階においてのみ除去され得る。この場合、待ち行列は全ての対象物を含むことになり、異なるクエリにより、待ち行列からは異なる対象物が抽出され得る。各アプリケーションのためにカスタマイズされたエネルギー関数を作り出すことも可能である。
別の例は、図13に見られ、図13では、エネルギー関数は、動く対象物が止まって背景の一部となるときの「フェーズ変化(phase transition)」の要素を含んでいた。図13aは、静かな駐車場を観測しているウェブカメラからの5時間にわたって撮られた短いシノプシスからのフレームを示す。高いスコアがフェーズ変化(例、止まって背景となる動く対象物)に与えられた。ビデオ シノプシスに含まれるのは、駐車に関係する車が殆どである。図13bは、フェーズ変化のない対象物が好まれているために通り過ぎる車および歩行者のみが示されている代替的なシノプシスを示している。
ビデオ シノプシスの時間的長さおよび質を指定するためのいくつかのスキームが存在する。
(a)ビデオ シノプシスの所望の時間的長さおよび対象物の不一致のペナルティをユーザーが指定するのを許す。この場合、最適化ステージは、指定された制約下でシノプシスに含められ得る活動の量を最大化することになる。
(b)ビデオ シノプシスの所望の時間的長さおよびそこに含められ得る活動のパーセンテージをユーザーが指定するのを許す。最適化ステージは、指定された制約下で最小の不一致となるビデオ シノプシスを生成することになる。
(c)失われる対象物の許容されるパーセンテージおよび対象物の不一致についてのペナルティをユーザーが指定するのを許す。最適化ステージは、指定された制約下でシノプシスの時間的長さを最小化することになる。
早送りは、ビデオ要約のために使用される最も一般的なツールであり、常に全フレームに対して適用されてきた。例えば、「タイムラプス」ビデオは、短い時間に、花の成長などのような遅いプロセスを表示する。現行の方法の中には、適応性のある早送り[12, 18, 4]を示唆するものもあるが、それでもなお、全フレームの枠組みに限定されている。ビデオ シノプシスでは、各対象物は、それ自身の「早送り」を、その重要度に基づいたもの、またはその元々の速度に基づいたものにすることができる。遅い対象物は加速されるかもしれず、速い対象物は加速されないかもしれない。代替的には、速い対象物は、視るのをより容易にするために減速され得る。
フェーズ変化は、動く対象物が動かなくなり、背景と同化したとき、または、動いていない対象物が動き始めたときに生じる。例としては、駐車される車または駐車から出る車である。大抵の場合、フェーズ変化は、意義のあるイベントであり、我々は、クエリステージにおける使用のために各フェーズ変化を検出およびマークする。
フェーズ変化は背景の変化に対応するため、背景へのフェーズ変化のステッチングには、特別の注意が与えられなければならない。フェーズ変化が正しい時間の背景に挿入されないとき、2つの効果がシノプシス ビデオにおいて生じ得る。(i)背景対象物が理由もなく生じては消え、フリッカー効果(flickering effect)を招く。(ii)動く対象物が、それらが動くのをやめたときに、背景の一部となるよりむしろ、消失する。ビデオ シノプシスにおけるそのような効果を最小化するために、フェーズ変化を、元々の時間に対応する時間で、タイムラプスの背景に挿入しなければならない。
ここで図14を参照すると、本発明に従ったシステム10のブロックダイヤグラムが示されており、これは、カメラ11によって記録されたソースビデオからのシノプシス ビデオを生成するためのものである。当該システム10は、ビデオメモリ12を含んでおり、該メモリは、第一のソースビデオのビデオフレームのサブセットを格納するためのものであり、それらは、少なくとも一つの対象物の動きを示しており、その対象物は、各々にx、y座標に位置する複数のピクセルを有している。前置プロセッサ(pre-processor)13は、オンラインで、記録されたビデオを処理する。該前置プロセッサ13は、ビデオフレームを事前位置合わせ(pre-aligning)するための位置合わせユニット(alignment unit)14を含んでもよい。この場合、カメラ11は、事前位置合わせされたビデオフレームをビデオメモリ12に格納するために、位置合わせユニット14に結合される。該位置合わせユニット14は:
ソースビデオ中のフレーム間でのイメージモーションのパラメータを計算すること;
撮像されたシーン中の動いていない対象物がビデオ中で動かないようにして、ソースビデオ中のビデオフレームを歪ませること
によって作動し得る。
ユーザーインターフェース17を用いてユーザーによって指定され得る定義された基準に従って対象物を集団化するために、集団化ユニット19を任意でソース対象物選択器18に結合してもよい。
シノプシス対象物サンプラー20がソース対象物選択器18、または備えられたときには集団化ユニット19に結合され、これは、いくつかの選択されたフレームから抽出されたイメージポイントを用いた時間的な選択によって、各選択されたソース対象物から、1つ以上のシノプシス対象物をサンプリングするためのものである。「サンプラー」は、個々の対象物のスピードを変化させるために使用され得る。フレームジェネレータ21は、クラスター選択器22を含み、クラスター選択器22は、選択されたクラスターのみがシノプシス ビデオに含められるのを可能とする。フレームジェネレータ21はまた、時間選択器23を含み、時間選択器23は、各シノプシス対象物に対して、シノプシス ビデオにおいて表示を開始するための各々の時間を選択するためのものである。フレームジェネレータ21は、色変換ユニット24をさらに含み、色変換ユニット24は、各シノプシス対象物および各フレームに対して、シノプシス対象物の表示のための各々の色変換を選択するためのものである。任意選択で、フレームジェネレータ21は、ワーピング(warping、歪ませる)ユニット25を含んでもよく、該ワーピングユニットは、シノプシス ビデオへのステッチングに対象物を空間的に歪ませすためのものである。本明細書の文脈および添付の特許請求の文脈では、該用語「ワーピング(warping)」は、対象物の任意の空間的編集を包含することが意図されている。上記したように、これは、アイコンなどの別の対象物によって、対象物をその全体として置き換えることを含んでもよく;あるいは、シノプシス ビデオ中にステッチングされる前に、対象物に対して、単にわずかな幾何学的調整を施すことを伴い得る。フレームジェネレータ21中のステッチングユニット26は、連続したシノプシス ビデオフレームを生成するために、選択された色変換されたシノプシス対象物をステッチングする。シノプシス ビデオのフレームは、後の処理のために、または、時間的にシフトされた対象物を、指定された時間および色変換で表示するディスプレイユニット28によって表示するために、シノプシスフレームメモリ27に格納される。
対象物ベースのシノプシスは、短いビデオを作るために使用され得、その短いビデオは、監視カメラによって記録されるような終わりのないビデオストリームのシノプシスである。当該方法は、2つのフェーズを含む。リアルタイムで行われる入力フェーズでは、ビデオストリームが分析され、興味を引く対象物が検出されかつ背景からセグメント化される。動きに基づく対象物の興味の関数を説明したが、対象物を検出、認識、およびセグメント化するための任意の他のアプローチを、「チューブ」 − 各対象物の3Dの空間的・時間的表現の生成のために使用することができる。
Claims (43)
- ソースビデオからシノプシス ビデオを生成するための、コンピュータで実施される方法であって、当該方法は、
1つ以上の定義された制約に従って、少なくとも3つの異なるソース対象物を選択することを有し、各ソース対象物は、ソースビデオの少なくとも3つの異なるフレームからのイメージポイントからなる連結されたサブセットであり、
各選択されたソース対象物から、1つ以上のシノプシス対象物をサンプリングすることを有し、該サンプリングは、特定の期間から抽出されたイメージポイントを用いた時間的サンプリングによって行い、
各シノプシス対象物に対して、シノプシス ビデオ中での表示を開始するためのそれぞれの時間を決定することを有し、かつ、
前記のそれぞれの時間において、選択されたシノプシス対象物またはそれらから抽出された対象物を表示することによって、シノプシス ビデオを表示することを有し、
それにより、シノプシス ビデオ中には、ソースビデオ中の異なるそれぞれの時間から各々抽出された少なくとも3つのポイントが、同時に表示されるようになっている、
前記方法。 - さらに、
各シノプシス対象物および各フレームについて、そのシノプシス対象物を表示するための各々の色変換を決定すること、および、
選択されたシノプシス対象物またはそれらから抽出された対象物を、それらの各々の色変換で表示すること、
を有する、請求項1に記載の方法。 - 対象物の一つが、背景対象物である、請求項1または2に記載の方法。
- 背景のタイムラプスビデオを構築することを含んでいる、請求項3に記載の方法。
- 対象物と背景とを、継ぎ目のないビデオ中にステッチングすることを含んでいる、請求項3または4に記載の方法。
- コスト関数を最適化するように、ソース対象物が選択されかつ各シノプシス対象物のための各々の時間が決定される、請求項1から5のいずれか1項に記載の方法。
- 背景対象物が合成により生成される、請求項1から6のいずれか1項に記載の方法。
- シノプシス ビデオ中の各対象物が、ソースビデオ中のセグメントを指し示し、該セグメントでそれぞれの対象物を見ることができる、請求項1から7のいずれか1項に記載の方法。
- 対象物を選択することによって、その選択された対象物によって指し示されたソースビデオ中のセグメントが再生される、請求項8に記載の方法。
- シノプシス ビデオ中の少なくとも一つの対象物が、ソースビデオ中の対応する対象物を予め定められたシンボルで置き換えることによって形成される、請求項1から9のいずれか1項に記載の方法。
- 対象物が類似のクラスへと先ず集団化され、かつ、シノプシス ビデオが、少なくとも予め定められた個数のクラスからの対象物を含んでいる、請求項1から10のいずれか1項に記載の方法。
- 対象物が類似のクラスへと先ず集団化され、かつ、少なくとも一つの選択されたクラスからの対象物が表示されない、請求項1から11のいずれか1項に記載の方法。
- 対象物が類似のクラスに先ず集団化され、かつ、対象物の選択が、選択された対象物と同じクラスからの対象物のみを含むビデオ シノプシスを指し示す、請求項8または9に記載の方法。
- 1つ以上のソース対象物の選択が、
シノプシス対象物をステッチングするためのコスト関数を計算すること、および、
得ることができる最適物にコスト関数が近いと判断されるシノプシス対象物を選択すること、
を含んでいる、請求項1から13のいずれか1項に記載の方法。 - 少なくとも3つのオーバーラップしないソース対象物を選択することが、特定の時間ウィンドウ中に現れるソース対象物に限定される、請求項1から14のいずれか1項に記載の方法。
- 少なくとも3つのオーバーラップしないソース対象物を選択することが、興味のスコアを決定することを含んでいる、請求項1から15のいずれか1項に記載の方法。
- 興味のスコアが活動の指標である、請求項16に記載の方法。
- シノプシス ビデオが、ソースビデオ中の興味を引く全ての対象物を含んでいる、請求項1から17のいずれか1項に記載の方法。
- シノプシス ビデオ中においても現れる、ソースビデオ中の興味を引く対象物の個数が、その個数を最大化することと、同時に該シノプシス ビデオの視覚的なアピールを維持することとの間のトレードオフである、請求項1から17のいずれか1項に記載の方法。
- ソースビデオが単一のカメラによって記録される、請求項1から19のいずれか1項に記載の方法。
- 単一のカメラを固定された位置に保つことを有する、請求項20に記載の方法。
- カメラが、固定された位置において、軸に関して回転される、請求項21に記載の方法。
- シノプシス対象物の少なくとも一つを、その表示の前に、空間的に歪ませることを有する、請求項1から22のいずれか1項に記載の方法。
- 安定化されたソースビデオを作成するように、ソースビデオを事前位置合わせすることを有し、事前位置合わせを、
(a)ソースビデオ中のフレーム同士の間でイメージモーションのパラメータを計算することによって、
(b)ソースビデオ中のビデオフレームを、動いていない対象物が安定化されたソースビデオ中に静止して現れるように、歪ませることによって、
行うものである、
請求項1から23のいずれか1項に記載の方法。 - ソースビデオ中に同時に出現する2つの活動が、シノプシス ビデオ中では異なる時点で表示される、請求項1から24のいずれか1項に記載の方法。
- ビデオ監視のために使用される、請求項1から25のいずれか1項に記載の方法。
- ビデオの索引付けと、ビデオの閲覧と、ビデオの検索とからなる群の中の、少なくとも一つのために使用される、請求項1から25のいずれか1項に記載の方法。
- シノプシス ビデオ中の各ピクセルについて、ソースビデオ中に対応するピクセルへのポインタを保つことを有する、請求項27に記載の方法。
- ソースビデオが連続的に記録される、請求項1から28のいずれか1項に記載の方法。
- 制約が予め定義される、請求項1から29のいずれか1項に記載の方法。
- 制約がユーザーによって定義される、請求項1から29のいずれか1項に記載の方法。
- コンピュータプログラムであって、
当該プログラムがコンピュータ上で実行されるときに、請求項1から31のいずれか1項に記載の方法を実行するためのコンピュータプログラムコード手段を有している、前記コンピュータプログラム。 - コンピュータ読み取り可能な媒体に記録されている、請求項32に記載のコンピュータプログラム。
- ソースビデオからシノプシス ビデオを生成するためのシステム(10)であって、当該システムは、
ソース対象物選択器(18)を有し、該ソース対象物選択器は、ソースビデオ中の対象物を格納する対象物メモリ(16)に結合されるように構成され、1つ以上の定義された制約に従って少なくとも3つの異なるソース対象物を選択するためのものであって、各ソース対象物は、ソースビデオの少なくとも3つの異なるフレームからのイメージポイントによる連結されたサブセットであり、
シノプシス対象物サンプラー(20)を有し、該シノプシス対象物サンプラーは、ソース対象物選択器(18)に結合され、特定の期間から抽出されたイメージポイントを用いた時間的なサンプリングによって、各選択されたソース対象物から、1つ以上のシノプシス対象物をサンプリングするためのものであり、
時間選択ユニット(23)を有し、該時間選択ユニットは、シノプシス対象物サンプラー(20)に結合され、各シノプシス対象物について、シノプシス ビデオ中にその表示を開始するためのそれぞれの時間を決定するためのものであり、
ステッチングユニット(26)を有し、該ステッチングユニットは、時間選択ユニット(23)に結合され、選択されたシノプシス対象物を、または、それらのそれぞれの時間においてそれらから抽出された対象物をステッチングし、連続的なシノプシス ビデオフレームを生成するためのものであり、それにより、該シノプシス ビデオフレームでは、ソースビデオにおける各々異なるそれぞれの時間から抽出された少なくとも3つのポイントが、同時に表示されるようになっており、かつ、
シノプシスフレームメモリ(27)を有し、該シノプシスフレームメモリは、ステッチングユニット(26)に結合され、該シノプシス ビデオフレームを格納するためのものである、
前記システム。 - さらに、表示ユニット(28)を有し、該表示ユニットは、ステッチングユニット(25)に結合され、シノプシス ビデオを表示するためのものである、請求項34に記載のシステム。
- さらに、色変換ユニット(24)を有し、該色変換ユニットは、時間選択ユニット(23)に結合され、各シノプシス対象物および各フレームに対して、該シノプシス対象物の表示のための各々の色変換を決定するためのものであり、
選択されたシノプシス対象物を、または、それらから抽出された対象物を、それらの各々の色変換においてステッチングするために、ステッチングユニット(26)が、該色変換ユニット(24)に結合されている、
請求項34または35に記載のシステム。 - さらに、ユーザーインターフェース(17)を有し、該ユーザーインターフェースは、対象物メモリ(16)に結合され、ユーザー定義の制約が定義されるのを可能とするためのものである、請求項34から36のいずれか1項に記載のシステム。
- さらに、集団化ユニット(19)を有し、該集団化ユニットは、定義された基準に従って、対象物を集団化するためのものである、請求項34から37のいずれか1項に記載のシステム。
- さらに、前置プロセッサ(13)を有し、該前置プロセッサは、オンラインで記録されたビデオを処理しソースビデオ中の対象物を検出するためのものであり、該前置プロセッサ(13)は、対象物メモリ(16)に対象物メモリ(16)に結合され、対象物をそこに格納するように構成されている、請求項34から38のいずれか1項に記載のシステム。
- 前置プロセッサ(13)が、ソースビデオ中のビデオフレームを事前位置合わせするための位置合わせユニット(14)を有している、請求項39に記載のシステム。
- 位置合わせユニット(14)が、
第一のシークエンス中のフレーム間でのイメージモーションのパラメータを計算するように構成され、かつ、
第一の動的なシーン中の静止している対象物が、該ビデオ中で静止するように、第一のシークエンス中のビデオフレームを歪ませるように構成されている、
請求項40に記載のシステム。 - フレームジェネレータがワーピングユニット(25)を有し、該ワーピングユニットは、シノプシス ビデオへのステッチングの前に、少なくとも一つの対象物を空間的に歪ませるためのものである、請求項34から41のいずれか1項に記載のシステム。
- ビデオの索引付けと、ビデオの閲覧と、ビデオの検索とからなる群の中の、少なくとも一つのために構成されている、請求項34から42のいずれか1項に記載のシステム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89869807P | 2007-02-01 | 2007-02-01 | |
US60/898,698 | 2007-02-01 | ||
US91183907P | 2007-04-13 | 2007-04-13 | |
US60/911,839 | 2007-04-13 | ||
US97158207P | 2007-09-12 | 2007-09-12 | |
US60/971,582 | 2007-09-12 | ||
PCT/IL2007/001520 WO2008093321A1 (en) | 2007-02-01 | 2007-12-09 | Method and system for video indexing and video synopsis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010518673A true JP2010518673A (ja) | 2010-05-27 |
JP5355422B2 JP5355422B2 (ja) | 2013-11-27 |
Family
ID=39261922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009547808A Active JP5355422B2 (ja) | 2007-02-01 | 2007-12-09 | ビデオの索引付けとビデオシノプシスのための、方法およびシステム |
Country Status (9)
Country | Link |
---|---|
US (2) | US8311277B2 (ja) |
EP (2) | EP2119224A1 (ja) |
JP (1) | JP5355422B2 (ja) |
KR (1) | KR101456652B1 (ja) |
CN (1) | CN101689394B (ja) |
AU (1) | AU2007345938B2 (ja) |
BR (1) | BRPI0720802B1 (ja) |
CA (1) | CA2676632C (ja) |
WO (1) | WO2008093321A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041945A (ja) * | 2013-08-23 | 2015-03-02 | 国立大学法人山梨大学 | 映像内活動度可視化装置、方法及びプログラム |
JP2021061535A (ja) * | 2019-10-07 | 2021-04-15 | キヤノン株式会社 | 情報処理装置、映像の要約方法、およびプログラム |
Families Citing this family (132)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10271017B2 (en) * | 2012-09-13 | 2019-04-23 | General Electric Company | System and method for generating an activity summary of a person |
KR101420885B1 (ko) | 2005-11-15 | 2014-07-17 | 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘, 엘티디. | 비디오 시놉시스 생성 방법 및 시스템 |
US8949235B2 (en) | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
US8311277B2 (en) | 2007-02-01 | 2012-11-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for video indexing and video synopsis |
US8666590B2 (en) * | 2007-06-22 | 2014-03-04 | Inthinc Technology Solutions, Inc. | System and method for naming, filtering, and recall of remotely monitored event data |
KR100919247B1 (ko) * | 2008-03-12 | 2009-09-30 | 중앙대학교 산학협력단 | 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법 |
FR2935498B1 (fr) * | 2008-08-27 | 2010-10-15 | Eads Europ Aeronautic Defence | Procede d'identification d'un objet dans une archive video. |
CN101370126B (zh) * | 2008-09-24 | 2012-02-08 | 中兴通讯股份有限公司 | 一种监控录像的播放控制方法及系统 |
EP2224357A1 (en) | 2009-02-27 | 2010-09-01 | BRITISH TELECOMMUNICATIONS public limited company | Video segmentation |
US9497386B1 (en) * | 2009-09-22 | 2016-11-15 | Altia Systems Inc. | Multi-imager video camera with automatic exposure control |
US8787618B2 (en) * | 2010-04-13 | 2014-07-22 | Sony Corporation | Content information processing device, content information processing method, content information processing program, and personal digital assistant |
US8599316B2 (en) | 2010-05-25 | 2013-12-03 | Intellectual Ventures Fund 83 Llc | Method for determining key video frames |
CN101887459B (zh) * | 2010-06-28 | 2012-07-11 | 中国科学院计算技术研究所 | 网络视频话题检测的方法及其系统 |
DE102010031429A1 (de) | 2010-07-16 | 2012-01-19 | Robert Bosch Gmbh | Verfahren zum Bereitstellen eines Kombinations-Videos |
US9361523B1 (en) * | 2010-07-21 | 2016-06-07 | Hrl Laboratories, Llc | Video content-based retrieval |
US9171578B2 (en) * | 2010-08-06 | 2015-10-27 | Futurewei Technologies, Inc. | Video skimming methods and systems |
US20120162412A1 (en) * | 2010-12-22 | 2012-06-28 | Electronics And Telecommunications Research Institute | Image matting apparatus using multiple cameras and method of generating alpha maps |
WO2012089262A1 (en) * | 2010-12-29 | 2012-07-05 | Tele Atlas Polska Sp.Z.O.O | Method and apparatus for use in forming an image |
US8773532B2 (en) * | 2011-06-13 | 2014-07-08 | Alcatel Lucent | Video surveillance system integrating real and logical video streams |
US20130063556A1 (en) * | 2011-09-08 | 2013-03-14 | Prism Skylabs, Inc. | Extracting depth information from video from a single camera |
RU2471231C1 (ru) | 2011-09-30 | 2012-12-27 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры |
TWI495339B (zh) * | 2011-11-11 | 2015-08-01 | Univ Nat Cheng Kung | 摘要影像的製造方法 |
US8719687B2 (en) | 2011-12-23 | 2014-05-06 | Hong Kong Applied Science And Technology Research | Method for summarizing video and displaying the summary in three-dimensional scenes |
US9077932B2 (en) * | 2012-04-06 | 2015-07-07 | Realtek Semiconductor Corp. | Multimedia system, relevant multimedia information display device and multimedia information transmission method |
CN102708182B (zh) * | 2012-05-08 | 2014-07-02 | 浙江捷尚视觉科技有限公司 | 一种快速视频浓缩摘要方法 |
US8787730B2 (en) * | 2012-05-21 | 2014-07-22 | Yahoo! Inc. | Creating video synopsis for use in playback |
US9274678B2 (en) | 2012-09-13 | 2016-03-01 | Google Inc. | Identifying a thumbnail image to represent a video |
US20140278210A1 (en) * | 2013-03-13 | 2014-09-18 | International Business Machines Corporation | Real-time Spatial Path Comparison |
CN103279481B (zh) * | 2013-04-23 | 2016-08-03 | 四川天翼网络服务有限公司 | 智慧天网情报图侦系统 |
US11165994B2 (en) | 2013-05-13 | 2021-11-02 | Texas Instruments Incorporated | Analytics-driven summary views for surveillance networks |
US20140365395A1 (en) * | 2013-06-08 | 2014-12-11 | Onekarte, Inc. | Electronic business card application software and its system |
US9210319B2 (en) * | 2013-07-11 | 2015-12-08 | Magisto Ltd. | Method and system for capturing important objects using a camera based on predefined metrics |
US9363431B2 (en) * | 2013-07-11 | 2016-06-07 | Magisto Ltd. | Method and system for capturing important objects using a camera based on predefined metrics |
US9508390B2 (en) * | 2013-07-12 | 2016-11-29 | Apple Inc. | Trick play in digital video streaming |
US9208385B2 (en) * | 2013-07-23 | 2015-12-08 | TCL Research America Inc. | System and method for moving object detection and processing |
KR102072022B1 (ko) * | 2013-09-02 | 2020-01-31 | 에스케이 텔레콤주식회사 | 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 |
US9323993B2 (en) * | 2013-09-05 | 2016-04-26 | Xerox Corporation | On-street parking management methods and systems for identifying a vehicle via a camera and mobile communications devices |
US9202116B2 (en) * | 2013-10-29 | 2015-12-01 | National Taipei University Of Technology | Image processing method and image processing apparatus using the same |
US9172477B2 (en) | 2013-10-30 | 2015-10-27 | Inthinc Technology Solutions, Inc. | Wireless device detection using multiple antennas separated by an RF shield |
CN104717457B (zh) | 2013-12-13 | 2018-05-18 | 华为技术有限公司 | 一种视频浓缩方法及装置 |
KR101804383B1 (ko) * | 2014-01-14 | 2017-12-04 | 한화테크윈 주식회사 | 요약 영상 브라우징 시스템 및 방법 |
KR102070924B1 (ko) | 2014-01-20 | 2020-01-29 | 한화테크윈 주식회사 | 영상 기록 시스템 |
CN103826125B (zh) * | 2014-01-20 | 2017-10-27 | 北京创鑫汇智科技发展有限责任公司 | 用于已压缩监控视频的浓缩分析方法和装置 |
CN103763562B (zh) * | 2014-01-22 | 2016-11-16 | 复旦大学 | 一种基于线裁剪的视频浓缩方法 |
US9877086B2 (en) * | 2014-01-26 | 2018-01-23 | BriefCam Ltd. | Method and system for producing relevance sorted video summary |
CN103778237B (zh) * | 2014-01-27 | 2017-02-15 | 北京邮电大学 | 一种基于活动事件时空重组的视频摘要生成方法 |
US9786321B2 (en) * | 2014-05-07 | 2017-10-10 | Sony Mobile Communications Inc. | Electronic device and method for controlling navigation in a video |
KR101482226B1 (ko) * | 2014-05-13 | 2015-01-22 | 주식회사 다이나맥스 | 시놉시스 영상감시 기능을 수행하는 cctv 통합관제시스템을 구현하기 위한 방법 |
KR101482924B1 (ko) * | 2014-05-13 | 2015-01-15 | 주식회사 다이나맥스 | 시놉시스 영상을 생성하여 영상감시 기능을 수행하는 cctv 통합관제시스템 |
EP2960811A1 (en) * | 2014-06-26 | 2015-12-30 | Thomson Licensing | Method and device for analyzing a database comprising a large number of video images |
KR102170694B1 (ko) | 2014-07-07 | 2020-10-27 | 한화테크윈 주식회사 | 비디오써머리를 제공하는 영상재생장치 및 영상재생장치에서 비디오써머리를 제공하는 방법 |
CN208027742U (zh) | 2014-07-28 | 2018-10-30 | 菲力尔洛莱施公司 | 视频浓缩系统 |
US10102285B2 (en) | 2014-08-27 | 2018-10-16 | International Business Machines Corporation | Consolidating video search for an event |
US9449395B2 (en) | 2014-09-15 | 2016-09-20 | Winbond Electronics Corp. | Methods and systems for image matting and foreground estimation based on hierarchical graphs |
KR101849365B1 (ko) | 2014-11-05 | 2018-04-16 | 한화테크윈 주식회사 | 영상 처리 장치 및 방법 |
US10424341B2 (en) * | 2014-11-12 | 2019-09-24 | Massachusetts Institute Of Technology | Dynamic video summarization |
US9363449B1 (en) * | 2014-11-13 | 2016-06-07 | Futurewei Technologies, Inc. | Parallax tolerant video stitching with spatial-temporal localized warping and seam finding |
US9436876B1 (en) * | 2014-12-19 | 2016-09-06 | Amazon Technologies, Inc. | Video segmentation techniques |
KR102278945B1 (ko) * | 2015-01-27 | 2021-07-19 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 지원하는 전자 장치 |
KR102375864B1 (ko) | 2015-02-10 | 2022-03-18 | 한화테크윈 주식회사 | 요약 영상 브라우징 시스템 및 방법 |
US9582882B2 (en) | 2015-03-02 | 2017-02-28 | Nokia Technologies Oy | Method and apparatus for image registration in the gradient domain |
US9466108B1 (en) * | 2015-03-31 | 2016-10-11 | Nokia Technologies Oy | Method and apparatus for multiple image registration in the gradient domain |
US9762846B2 (en) | 2015-05-08 | 2017-09-12 | Microsoft Technology Licensing, Llc | Real-time hyper-lapse video creation via frame selection |
WO2016184705A1 (en) * | 2015-05-21 | 2016-11-24 | Koninklijke Philips N.V. | Determining a pulse signal from a video sequence |
US10242441B2 (en) * | 2015-05-21 | 2019-03-26 | Koninklijke Philips N.V. | Identifying living skin tissue in a video sequence using color and spatial similarities |
EP3298538B1 (en) * | 2015-05-21 | 2021-11-10 | Koninklijke Philips N.V. | Identifying living skin tissue in a video sequence |
CN104935830B (zh) * | 2015-06-03 | 2019-05-07 | 广东威创视讯科技股份有限公司 | 拼接显示装置视频信息渲染、显示方法和系统 |
US10593007B1 (en) | 2015-06-11 | 2020-03-17 | Digimarc Corporation | Methods and arrangements for configuring industrial inspection systems |
US9721350B2 (en) * | 2015-06-26 | 2017-08-01 | Getalert Ltd. | Methods circuits devices systems and associated computer executable code for video feed processing |
CN105100718B (zh) * | 2015-07-29 | 2018-11-23 | 西安冉科信息技术有限公司 | 一种基于视频摘要的智能视频分析方法 |
CN105141923B (zh) * | 2015-09-08 | 2018-12-28 | 东方网力科技股份有限公司 | 一种视频浓缩方法及装置 |
DE112016004160T5 (de) | 2015-09-14 | 2018-05-30 | Logitech Europe S.A. | Benutzeroberfläche für Videozusammenfassungen |
US9313556B1 (en) | 2015-09-14 | 2016-04-12 | Logitech Europe S.A. | User interface for video summaries |
EP3142117B1 (en) * | 2015-09-14 | 2020-01-01 | TP Vision Holding B.V. | Content playback apparatus including a playback resume function |
US10299017B2 (en) | 2015-09-14 | 2019-05-21 | Logitech Europe S.A. | Video searching for filtered and tagged motion |
US9805567B2 (en) | 2015-09-14 | 2017-10-31 | Logitech Europe S.A. | Temporal video streaming and summaries |
KR102345579B1 (ko) | 2015-12-15 | 2021-12-31 | 삼성전자주식회사 | 이미지 관련 서비스를 제공하기 위한 방법, 저장 매체 및 전자 장치 |
CN105554456B (zh) * | 2015-12-21 | 2018-11-23 | 北京旷视科技有限公司 | 视频处理方法和设备 |
KR102592904B1 (ko) * | 2016-02-19 | 2023-10-23 | 삼성전자주식회사 | 영상 요약 장치 및 방법 |
EP3249651B1 (en) * | 2016-05-23 | 2018-08-29 | Axis AB | Generating a summary video sequence from a source video sequence |
KR101805018B1 (ko) * | 2016-07-08 | 2017-12-06 | 한양대학교 산학협력단 | 컴팩트 비디오 생성 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
WO2018022853A1 (en) * | 2016-07-28 | 2018-02-01 | Kodak Alaris Inc. | A method for dynamic creation of collages from mobile video |
TWI604323B (zh) | 2016-11-10 | 2017-11-01 | 財團法人工業技術研究院 | 視訊索引建立方法及應用其之裝置 |
TR201702177A2 (ja) | 2017-02-14 | 2018-09-21 | Akif Ekin | |
US10708635B2 (en) | 2017-03-02 | 2020-07-07 | Ricoh Company, Ltd. | Subsumption architecture for processing fragments of a video stream |
US10719552B2 (en) | 2017-03-02 | 2020-07-21 | Ricoh Co., Ltd. | Focalized summarizations of a video stream |
US10949705B2 (en) | 2017-03-02 | 2021-03-16 | Ricoh Company, Ltd. | Focalized behavioral measurements in a video stream |
US10713391B2 (en) | 2017-03-02 | 2020-07-14 | Ricoh Co., Ltd. | Tamper protection and video source identification for video processing pipeline |
US10929685B2 (en) | 2017-03-02 | 2021-02-23 | Ricoh Company, Ltd. | Analysis of operator behavior focalized on machine events |
US10956495B2 (en) | 2017-03-02 | 2021-03-23 | Ricoh Company, Ltd. | Analysis of operator behavior focalized on machine events |
US10956773B2 (en) | 2017-03-02 | 2021-03-23 | Ricoh Company, Ltd. | Computation of audience metrics focalized on displayed content |
US10949463B2 (en) | 2017-03-02 | 2021-03-16 | Ricoh Company, Ltd. | Behavioral measurements in a video stream focalized on keywords |
US10720182B2 (en) | 2017-03-02 | 2020-07-21 | Ricoh Company, Ltd. | Decomposition of a video stream into salient fragments |
US10943122B2 (en) | 2017-03-02 | 2021-03-09 | Ricoh Company, Ltd. | Focalized behavioral measurements in a video stream |
US10929707B2 (en) | 2017-03-02 | 2021-02-23 | Ricoh Company, Ltd. | Computation of audience metrics focalized on displayed content |
US10956494B2 (en) | 2017-03-02 | 2021-03-23 | Ricoh Company, Ltd. | Behavioral measurements in a video stream focalized on keywords |
CN107707975A (zh) * | 2017-09-20 | 2018-02-16 | 天津大学 | 基于监控平台的视频智能剪辑方法 |
JP2019057836A (ja) * | 2017-09-21 | 2019-04-11 | キヤノン株式会社 | 映像処理装置、映像処理方法、コンピュータプログラム、及び記憶媒体 |
CN108012202B (zh) * | 2017-12-15 | 2020-02-14 | 浙江大华技术股份有限公司 | 视频浓缩方法、设备、计算机可读存储介质及计算机装置 |
US10379718B2 (en) * | 2017-12-22 | 2019-08-13 | Palo Alto Research Center Incorporated | System and method for providing ambient information to user through layered visual montage |
KR102108618B1 (ko) * | 2018-01-19 | 2020-05-07 | 한국기술교육대학교 산학협력단 | 비디오 시놉시스를 이용한 범죄 확인 방법 |
US10740618B1 (en) * | 2018-04-30 | 2020-08-11 | Amazon Technologies, Inc. | Tracking objects in live 360 video |
US20200036909A1 (en) | 2018-07-27 | 2020-01-30 | BriefCam Ltd. | System and method allowing simultaneous viewing of live and recorded video content |
US10666877B2 (en) | 2018-09-14 | 2020-05-26 | Motorola Solutions, Inc. | Synopsizing videos from multiple moving video cameras |
EP3844672A1 (en) * | 2018-09-26 | 2021-07-07 | Five AI Limited | Structure annotation |
US10958854B2 (en) * | 2018-11-02 | 2021-03-23 | BriefCam Ltd. | Computer-implemented method for generating an output video from multiple video sources |
US11675853B2 (en) * | 2018-12-28 | 2023-06-13 | Nbcuniversal Media, Llc | Systems and methods for processing metadata |
US10999534B2 (en) | 2019-03-29 | 2021-05-04 | Cisco Technology, Inc. | Optimized video review using motion recap images |
CN110996183B (zh) * | 2019-07-12 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 视频摘要的生成方法、装置、终端及存储介质 |
KR102271929B1 (ko) | 2019-09-17 | 2021-07-02 | 한국과학기술연구원 | 장면 이해를 통해 비디오 요약을 생성하는 방법 및 이를 위한 시스템 |
US11354909B2 (en) * | 2019-09-26 | 2022-06-07 | International Business Machines Corporation | Adaptive queue management system |
JP2021064870A (ja) * | 2019-10-15 | 2021-04-22 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
US11238093B2 (en) * | 2019-10-15 | 2022-02-01 | Adobe Inc. | Video retrieval based on encoding temporal relationships among video frames |
JP7451172B2 (ja) | 2019-12-24 | 2024-03-18 | キヤノン株式会社 | 情報処理装置、映像の要約方法、およびプログラム |
US10951858B1 (en) | 2020-03-30 | 2021-03-16 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
US10965908B1 (en) | 2020-03-30 | 2021-03-30 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
US10972655B1 (en) | 2020-03-30 | 2021-04-06 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
US10904446B1 (en) | 2020-03-30 | 2021-01-26 | Logitech Europe S.A. | Advanced video conferencing systems and methods |
CN111601033A (zh) | 2020-04-27 | 2020-08-28 | 北京小米松果电子有限公司 | 视频处理方法、装置及存储介质 |
US11430142B2 (en) * | 2020-04-28 | 2022-08-30 | Snap Inc. | Photometric-based 3D object modeling |
US11328160B2 (en) * | 2020-06-10 | 2022-05-10 | Ionetworks Inc. | Video condensation and recognition method and system thereof |
CN111783649B (zh) * | 2020-06-30 | 2024-01-23 | 北京百度网讯科技有限公司 | 视频类型检测方法、装置、电子设备与存储介质 |
KR102223010B1 (ko) | 2020-07-15 | 2021-03-05 | (주)비상정보통신 | 객체 인식 기반의 채널 재조정 편집이 가능한 다중화면 검색기술 지원 시스템 및 방법 |
CN112132776A (zh) * | 2020-08-11 | 2020-12-25 | 苏州跨视科技有限公司 | 基于联邦学习的视觉检测方法及系统、存储介质、设备 |
JP2022065293A (ja) * | 2020-10-15 | 2022-04-27 | キヤノン株式会社 | 映像処理装置、映像処理方法、コンピュータプログラム及び記憶媒体 |
US11653052B2 (en) * | 2020-10-26 | 2023-05-16 | Genetec Inc. | Systems and methods for producing a privacy-protected video clip |
CN113326399A (zh) * | 2021-06-16 | 2021-08-31 | 中国人民解放军91388部队 | 一种视频浓缩的方法、装置、电子设备及存储介质 |
EP4272426A4 (en) | 2021-06-30 | 2024-07-03 | Samsung Electronics Co Ltd | METHOD AND ELECTRONIC DEVICE FOR SLOW MOTION VIDEO |
KR102570126B1 (ko) * | 2021-07-26 | 2023-08-22 | 세종대학교산학협력단 | 이상 객체 탐지 기반 영상 시놉시스 생성 방법 및 장치 |
WO2023042166A1 (en) * | 2021-09-19 | 2023-03-23 | Glossai Ltd | Systems and methods for indexing media content using dynamic domain-specific corpus and model generation |
WO2023129266A1 (en) * | 2021-12-28 | 2023-07-06 | The Adt Security Corporation | Video rights management for an in-cabin monitoring system |
US11928145B1 (en) | 2022-12-09 | 2024-03-12 | International Business Machines Corporation | Creating a knowledge graph for a video |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005210573A (ja) * | 2004-01-26 | 2005-08-04 | Mitsubishi Electric Corp | 映像表示システム |
JP2006508565A (ja) * | 2002-11-01 | 2006-03-09 | 三菱電機株式会社 | 映像の未知の内容を要約する方法 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
US5774593A (en) | 1995-07-24 | 1998-06-30 | University Of Washington | Automatic scene decomposition and optimization of MPEG compressed video |
US5767922A (en) * | 1996-04-05 | 1998-06-16 | Cornell Research Foundation, Inc. | Apparatus and process for detecting scene breaks in a sequence of video frames |
US5911008A (en) | 1996-04-30 | 1999-06-08 | Nippon Telegraph And Telephone Corporation | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
TW303555B (en) | 1996-08-08 | 1997-04-21 | Ind Tech Res Inst | Digital data detecting method |
US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
DE60038880D1 (de) | 1999-03-18 | 2008-06-26 | Pirelli | Lkw-reifen für schwere und mittelschwere transporte |
US7184100B1 (en) * | 1999-03-24 | 2007-02-27 | Mate - Media Access Technologies Ltd. | Method of selecting key-frames from a video sequence |
US6514081B1 (en) * | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
US6792411B1 (en) * | 1999-08-27 | 2004-09-14 | Eugene Howard Massey, Jr. | Method for the sale of movies prior to the production thereof |
US7016540B1 (en) | 1999-11-24 | 2006-03-21 | Nec Corporation | Method and system for segmentation, classification, and summarization of video images |
US6549643B1 (en) | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
US6665423B1 (en) | 2000-01-27 | 2003-12-16 | Eastman Kodak Company | Method and system for object-oriented motion-based video description |
AUPQ535200A0 (en) | 2000-01-31 | 2000-02-17 | Canon Kabushiki Kaisha | Extracting key frames from a video sequence |
KR100698106B1 (ko) | 2000-03-07 | 2007-03-26 | 엘지전자 주식회사 | 엠펙(mpeg)압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법 |
WO2001078050A2 (en) * | 2000-04-07 | 2001-10-18 | Inmotion Technologies Ltd. | Automated stroboscoping of video sequences |
US6879332B2 (en) | 2000-05-16 | 2005-04-12 | Groxis, Inc. | User interface for displaying and exploring hierarchical information |
US20020051077A1 (en) | 2000-07-19 | 2002-05-02 | Shih-Ping Liou | Videoabstracts: a system for generating video summaries |
US6697523B1 (en) | 2000-08-09 | 2004-02-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for summarizing a video using motion and color descriptors |
US6961731B2 (en) | 2000-11-15 | 2005-11-01 | Kooltorch, L.L.C. | Apparatus and method for organizing and/or presenting data |
US6925455B2 (en) | 2000-12-12 | 2005-08-02 | Nec Corporation | Creating audio-centric, image-centric, and integrated audio-visual summaries |
US7110458B2 (en) | 2001-04-27 | 2006-09-19 | Mitsubishi Electric Research Laboratories, Inc. | Method for summarizing a video using motion descriptors |
US7009638B2 (en) * | 2001-05-04 | 2006-03-07 | Vexcel Imaging Gmbh | Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems |
US6904420B2 (en) | 2001-05-17 | 2005-06-07 | Honeywell International Inc. | Neuro/fuzzy hybrid approach to clustering data |
US20060247070A1 (en) * | 2001-06-11 | 2006-11-02 | Recognition Insight, Llc | Swing position recognition and reinforcement |
US7296231B2 (en) * | 2001-08-09 | 2007-11-13 | Eastman Kodak Company | Video structuring by probabilistic merging of video segments |
US7480864B2 (en) | 2001-10-12 | 2009-01-20 | Canon Kabushiki Kaisha | Zoom editor |
US7149755B2 (en) | 2002-07-29 | 2006-12-12 | Hewlett-Packard Development Company, Lp. | Presenting a collection of media objects |
US7375731B2 (en) | 2002-11-01 | 2008-05-20 | Mitsubishi Electric Research Laboratories, Inc. | Video mining using unsupervised clustering of video content |
US7131059B2 (en) | 2002-12-31 | 2006-10-31 | Hewlett-Packard Development Company, L.P. | Scalably presenting a collection of media objects |
US7127127B2 (en) * | 2003-03-04 | 2006-10-24 | Microsoft Corporation | System and method for adaptive video fast forward using scene generative models |
JP4344534B2 (ja) | 2003-04-30 | 2009-10-14 | セコム株式会社 | 画像処理システム |
JP4155118B2 (ja) * | 2003-06-13 | 2008-09-24 | カシオ計算機株式会社 | 静止画合成装置、及び動画像からの静止画合成方法 |
US7406123B2 (en) | 2003-07-10 | 2008-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Visual complexity measure for playing videos adaptively |
US7409407B2 (en) | 2004-05-07 | 2008-08-05 | Mitsubishi Electric Research Laboratories, Inc. | Multimedia event detection and summarization |
JP4727342B2 (ja) * | 2004-09-15 | 2011-07-20 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体 |
WO2006048875A2 (en) | 2004-11-05 | 2006-05-11 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for spatio-temporal video warping |
US7982738B2 (en) * | 2004-12-01 | 2011-07-19 | Microsoft Corporation | Interactive montages of sprites for indexing and summarizing video |
US7594177B2 (en) | 2004-12-08 | 2009-09-22 | Microsoft Corporation | System and method for video browsing using a cluster index |
US7550404B2 (en) | 2005-09-30 | 2009-06-23 | Pq Corporation | Wood-polymer-zeolite composites |
KR101420885B1 (ko) * | 2005-11-15 | 2014-07-17 | 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘, 엘티디. | 비디오 시놉시스 생성 방법 및 시스템 |
US8949235B2 (en) * | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
JP4229168B2 (ja) | 2006-10-23 | 2009-02-25 | コベルコクレーン株式会社 | 建設機械のブームフットピン着脱装置 |
US8311277B2 (en) * | 2007-02-01 | 2012-11-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for video indexing and video synopsis |
-
2007
- 2007-12-09 US US12/522,843 patent/US8311277B2/en active Active
- 2007-12-09 BR BRPI0720802-2A patent/BRPI0720802B1/pt active IP Right Grant
- 2007-12-09 AU AU2007345938A patent/AU2007345938B2/en active Active
- 2007-12-09 CN CN200780050610.0A patent/CN101689394B/zh active Active
- 2007-12-09 EP EP07827482A patent/EP2119224A1/en not_active Ceased
- 2007-12-09 EP EP17152868.0A patent/EP3297272A1/en not_active Ceased
- 2007-12-09 KR KR1020097018271A patent/KR101456652B1/ko active IP Right Grant
- 2007-12-09 WO PCT/IL2007/001520 patent/WO2008093321A1/en active Application Filing
- 2007-12-09 CA CA2676632A patent/CA2676632C/en active Active
- 2007-12-09 JP JP2009547808A patent/JP5355422B2/ja active Active
-
2012
- 2012-10-04 US US13/644,850 patent/US8818038B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006508565A (ja) * | 2002-11-01 | 2006-03-09 | 三菱電機株式会社 | 映像の未知の内容を要約する方法 |
JP2005210573A (ja) * | 2004-01-26 | 2005-08-04 | Mitsubishi Electric Corp | 映像表示システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041945A (ja) * | 2013-08-23 | 2015-03-02 | 国立大学法人山梨大学 | 映像内活動度可視化装置、方法及びプログラム |
JP2021061535A (ja) * | 2019-10-07 | 2021-04-15 | キヤノン株式会社 | 情報処理装置、映像の要約方法、およびプログラム |
JP7446760B2 (ja) | 2019-10-07 | 2024-03-11 | キヤノン株式会社 | 情報処理装置、映像の要約方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
BRPI0720802B1 (pt) | 2021-10-19 |
US20130027551A1 (en) | 2013-01-31 |
KR101456652B1 (ko) | 2014-11-04 |
WO2008093321A1 (en) | 2008-08-07 |
CN101689394B (zh) | 2014-03-26 |
AU2007345938A1 (en) | 2008-08-07 |
US8311277B2 (en) | 2012-11-13 |
AU2007345938B2 (en) | 2011-11-10 |
KR20090117771A (ko) | 2009-11-12 |
CN101689394A (zh) | 2010-03-31 |
BRPI0720802A2 (pt) | 2014-03-11 |
EP2119224A1 (en) | 2009-11-18 |
EP3297272A1 (en) | 2018-03-21 |
CA2676632C (en) | 2017-11-07 |
CA2676632A1 (en) | 2008-08-07 |
JP5355422B2 (ja) | 2013-11-27 |
US20100092037A1 (en) | 2010-04-15 |
US8818038B2 (en) | 2014-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5355422B2 (ja) | ビデオの索引付けとビデオシノプシスのための、方法およびシステム | |
Pritch et al. | Nonchronological video synopsis and indexing | |
Pritch et al. | Webcam synopsis: Peeking around the world | |
US11132578B2 (en) | System and method for creating navigable views | |
EP1955205B1 (en) | Method and system for producing a video synopsis | |
Borgo et al. | State of the art report on video‐based graphics and video visualization | |
Chen et al. | Visual storylines: Semantic visualization of movie sequence | |
US7904815B2 (en) | Content-based dynamic photo-to-video methods and apparatuses | |
RU2609071C2 (ru) | Навигация по видеопоследовательности через местоположение объекта | |
WO1999005865A1 (en) | Content-based video access | |
Achanta et al. | Modeling intent for home video repurposing | |
Zhang et al. | VideoGraph: a non-linear video representation for efficient exploration | |
Zhu et al. | Automatic scene detection for advanced story retrieval | |
Niu et al. | Real-time generation of personalized home video summaries on mobile devices | |
Widiarto et al. | Shot segmentation of video animation to generate comic strip based on key frame selection | |
IL199678A (en) | Method and system for video indexing and video synopsis | |
Pritch et al. | Video Synopsis and Indexing | |
Podlesnyy | Automatic Video Editing | |
Cooharojananone et al. | Automated real-time video surveillance summarization framework | |
Jiang et al. | News video indexing and abstraction by specific visual cues: MSC and news caption | |
Sumiya et al. | A Spatial User Interface for Browsing Video Key Frames | |
JP2016110252A (ja) | 映像検索装置の動作方法、映像検索方法および映像検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130109 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130117 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130208 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130218 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130308 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5355422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |