JP2017063339A - Video content automatic generation system - Google Patents
Video content automatic generation system Download PDFInfo
- Publication number
- JP2017063339A JP2017063339A JP2015187797A JP2015187797A JP2017063339A JP 2017063339 A JP2017063339 A JP 2017063339A JP 2015187797 A JP2015187797 A JP 2015187797A JP 2015187797 A JP2015187797 A JP 2015187797A JP 2017063339 A JP2017063339 A JP 2017063339A
- Authority
- JP
- Japan
- Prior art keywords
- video content
- card
- template
- video
- generation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、ユーザ端末上の簡単な操作で任意の映像コンテンツを生成することを可能にする映像コンテンツ自動生成システムに関し、特に、予め用意されたコンテンツ素材とテンプレートを利用して映像コンテンツの編集を可能とする映像コンテンツ自動生成システムに関するものである。 The present invention relates to a video content automatic generation system that enables arbitrary video content to be generated by a simple operation on a user terminal, and in particular, editing video content using content materials and templates prepared in advance. The present invention relates to an enabling video content automatic generation system.
映像コンテンツのデジタル化により、撮影された映像・音声データをコンピュータ上で編集処理して映像コンテンツを制作するのが一般的となっている。映像の編集処理は、例えば、不要部分をカットしたり、文字や図形を合成したり、映像・音声に効果を与えたりなどが行われる。 With the digitization of video content, it is common to produce video content by editing the captured video / audio data on a computer. Video editing processing includes, for example, cutting unnecessary portions, synthesizing characters and figures, and giving effects to video and audio.
デジタルビデオカメラなどの撮影機器が広く普及すると、一般ユーザにおいても撮影した映像を編集して映像コンテンツを制作することが可能となった。
記念行事やプライベートシーンをデジタルビデオカメラなどで撮影し、撮影した映像・音声データをパーソナルコンピュータのソフトウェアで編集処理して、記録し配布・配信することが広く行われている。
ここで用いられるソフトウェアは、例えば、デジタルビデオカメラに付属して販売されている動画編集ソフトウェアや、有償・無償で頒布されている一般的な動画編集ソフトウェアである。
When photographing devices such as digital video cameras are widely spread, it has become possible for general users to edit video shots and produce video content.
It is widely practiced to photograph commemorative events and private scenes with a digital video camera, etc., edit the recorded video / audio data with software on a personal computer, record it, distribute it, and distribute it.
The software used here is, for example, video editing software sold with a digital video camera or general video editing software distributed free of charge.
特許文献１には、映像編集について特別の知識や技術がない一般ユーザでも簡単にコンテンツが作成できるようにする仕組みとして、コンピュータ上で、動画、静止画、音声、テキスト等のコンテンツ素材情報と、コンテンツ素材情報を配置するためのレイアウト情報と、コンテンツ素材情報をレイアウト上に配置するルール情報とを保持しておき、ユーザは、コンテンツ生成に使用するレイアウト情報の選択、コンテンツ生成に使用するルールの選択するルール選択を行うのみで、選択されたレイアウト情報に対して、選択されたルールを適用し、コンテンツ素材情報保持手段に保持されているコンテンツ素材情報を配置してコンテンツを自動生成して出力するコンテンツ生成システムが提案されている。 Patent Document 1 describes content material information such as moving images, still images, sounds, texts, etc. on a computer as a mechanism that enables even general users who do not have special knowledge or technology to edit video to easily create content. The layout information for arranging the content material information and the rule information for arranging the content material information on the layout are stored, and the user selects the layout information used for content generation and the rules used for content generation. Simply select the selected rule, apply the selected rule to the selected layout information, place the content material information held in the content material information holding means, automatically generate the content and output it A content generation system has been proposed.
しかしながら、デジタルビデオカメラに付属して販売されている動画編集ソフトウェアや、有償・無償で頒布されている一般的な動画編集ソフトウェアは、一般ユーザ向けであり、機能的には制限されたものである。また、映像編集の専門知識がない一般ユーザがこれらの動画編集ソフトウェアを用いて編集作業しても、高い品質の映像コンテンツを制作することは困難であった。 However, the video editing software sold with digital camcorders and general video editing software distributed free of charge is for general users and is limited in functionality. . Moreover, even if a general user who does not have expertise in video editing uses the video editing software for editing, it is difficult to produce high-quality video content.
特許文献１に提案されたコンテンツ生成システムは、予め用意されたコンテンツ素材、レイアウト、ルールの組み合わせにより、一般ユーザでも簡単に映像編集をしてコンテンツを自動生成できるという利点はあるが、ユーザが満足するような高い品質の映像コンテンツを制作できるものではない。 The content generation system proposed in Patent Document 1 has an advantage that even a general user can easily edit and automatically generate content by a combination of content materials, layout, and rules prepared in advance. It is not possible to produce such high-quality video content.
本来、映像の編集処理は極めて高度な技術を要する作業であり、専門の編集技術者が高性能な機材・ソフトウェアを用いて行うことで、高い品質の映像コンテンツが制作される。しかしながら、近年の動画編集に関するソフトウェア技術やクラウド・ネットワーク技術の進歩によって、一般ユーザにも容易に映像編集が可能であり、かつ、一定の品質の映像コンテンツを制作することを可能にするシステムが待望されている。 Originally, video editing is a task that requires extremely high technology, and high-quality video content is produced by a professional editing engineer using high-performance equipment and software. However, due to recent advances in video editing software technology and cloud network technology, there is a long-awaited system that can be easily edited by general users and that can produce video content of a certain quality. Has been.
本発明は、このような実情に鑑みてなされたものであり、予め用意されたコンテンツ素材とテンプレートを利用して映像コンテンツの編集を可能とする映像コンテンツ自動生成システムを提供しようとするものである。 The present invention has been made in view of such circumstances, and intends to provide an automatic video content generation system that enables editing of video content using content materials and templates prepared in advance. .
上記解決課題に鑑みて鋭意研究の結果、本発明者は、コンテンツの素材データが構造化されたテンプレートとして構成される映像コンテンツにおいて、各素材データとそれらの構造を組み替えることで、一般ユーザでも高度な映像編集を容易に行うことが可能となる仕組みを考案した。
具体的には、映像と、画像、音楽、音声、効果音、テキスト等のコンテンツ素材データとの組み合わせで構成される比較的短尺（例えば５〜１０秒）の映像素材データ（以下、「カード」という。）を規定し、複数のカードの組み合わせで構成されるテンプレートを規定し、各カード内のコンテンツ素材データの選択、並び替え、追加、削除等と、テンプレート内のカードの選択等を行うことで、結果物である映像コンテンツを編集することを可能とする仕組みに想到し、本発明を成すに至った。
As a result of diligent research in view of the above problems, the present inventor has found that in the case of video content configured as a template in which the content material data is structured, each material data and their structure are rearranged so that even general users can Devised a mechanism that enables easy video editing.
Specifically, relatively short (for example, 5 to 10 seconds) video material data (hereinafter, “card”) composed of a combination of video and content material data such as images, music, audio, sound effects, and text. )), A template composed of a combination of multiple cards, a content material data in each card is selected, rearranged, added, deleted, and a card in the template is selected. Thus, the inventors have conceived of a mechanism that enables editing of the resultant video content, and have achieved the present invention.
すなわち、本発明は、サーバ上でユーザに素材データを編集させて映像コンテンツを自動生成する映像コンテンツ自動生成システムであって、前記サーバは、映像、画像、音声、効果音、テキストの素材データを記憶する手段と、映像の素材データと、画像、音声、効果音、テキストのうち少なくとも１つの素材データとの組み合わせをカードとして規定するカード情報を記憶する手段と、複数のカードの組み合わせをテンプレートとして規定するテンプレート情報を記憶する手段と、各カードのカード情報に基づき当該カードを構成する素材データの選択、並び替え、追加、削除の操作をユーザに行わせるカード編集手段と、各テンプレートのテンプレート情報に基づき当該テンプレートを構成するカードの選択の操作をユーザに行わせるテンプレート編集手段と、ユーザにより編集されたカード及びテンプレートに従い、映像コンテンツを生成する映像コンテンツ生成手段とを有する映像コンテンツ自動生成システムを提供するものである。 That is, the present invention is a video content automatic generation system that automatically generates video content by allowing a user to edit material data on a server, and the server stores video, image, audio, sound effect, and text material data. Means for storing, means for storing card information defining a combination of video material data and at least one material data of image, sound, sound effect, and text as a card, and a combination of a plurality of cards as a template Means for storing prescribed template information, card editing means for allowing the user to select, rearrange, add, and delete material data constituting the card based on the card information of each card, and template information for each template The user to select the cards that make up the template based on And Plates editing means, according to the cards and the template edited by the user, there is provided a video content automatic generation system and a video content generation means for generating a video content.
本発明の映像コンテンツ自動生成システムにおいて、前記カード情報は、カードが有する映像における、組み合わせる画像、テキストの表示位置、表示態様、表示タイミングの情報を含んでいることを特徴とする。
また、前記カード情報は、カードが有する映像における、組み合わせる音声、効果音の再生態様、再生タイミングの情報を含んでいることを特徴とする。
このように、映像上における画像、テキストのタイミングや動きパターンなど、音声、効果音の合わせ方やタイミングなどを、予めカードごとにその合成効果が最大となるように規定しておくことで、ユーザが任意に素材データの選択、組み合わせをしたとしても、生成される映像コンテンツは一定の品質を有するようになる。
In the video content automatic generation system of the present invention, the card information includes information on an image to be combined, a display position of a text, a display mode, and a display timing in a video included in the card.
Further, the card information includes information on a sound to be combined, a playback mode of sound effects, and playback timing in a video included in the card.
In this way, by prescribing the voice and sound effect matching method and timing, such as the image and text timing and movement pattern on the video, in advance so that the combined effect is maximized for each card, the user can Even if material data is arbitrarily selected and combined, the generated video content has a certain quality.
本発明の映像コンテンツ自動生成システムにおいて、前記サーバは、音楽の素材データを記憶する手段を有しており、前記テンプレート情報は、当該テンプレートに組み合わせられる音楽の情報を含んでいることを特徴とする。 In the video content automatic generation system of the present invention, the server includes means for storing music material data, and the template information includes information on music combined with the template. .
本発明の映像コンテンツ自動生成システムにおいて、前記サーバは、ユーザからの画像、音声、効果音、テキストのコンテンツ素材データの入力を受け付け記憶する手段を有することを特徴とすることを特徴とする。
これにより、ユーザ保有の素材データをユーザが望む通りに組み込みつつ、一定の品質の映像コンテンツを自動生成することが可能となる。
The video content automatic generation system of the present invention is characterized in that the server has means for receiving and storing input of content material data of image, sound, sound effect, and text from a user.
This makes it possible to automatically generate video content of a certain quality while incorporating user-owned material data as desired by the user.
本発明の映像コンテンツ自動生成システムにおいて、前記サーバは、自動生成した映像コンテンツの評価情報を取得し記憶する手段を有することを特徴とする。この評価情報は、例えば、映像コンテンツの再生回数、再生時間、視聴者数、視聴者によるアクション回数、視聴者によるレイティングの１つ又は複数の評価基準による評価値とすることができる。
このように、ユーザ編集により自動生成した映像コンテンツに対するフィードバックを得ることで、素材データ、カード、テンプレートの改良が可能であり、また、マーケンティングに役立てることも可能である。
In the video content automatic generation system of the present invention, the server has means for acquiring and storing evaluation information of the automatically generated video content. This evaluation information can be, for example, an evaluation value based on one or a plurality of evaluation criteria of video content playback count, playback time, number of viewers, number of viewer actions, viewer rating.
Thus, by obtaining feedback on video content automatically generated by user editing, material data, cards, and templates can be improved, and can also be used for marketing.
本発明の映像コンテンツ自動生成システムにおいて、前記サーバのテンプレート編集手段は、ユーザがテンプレートを構成するカードの編集操作をする際に、高評価を得ている映像コンテンツに含まれるカードを推薦する機能を有することを特徴とする。
既に高評価を得ているカードを使用することで、高品質な映像コンテンツが生成されることが期待される。
In the video content automatic generation system of the present invention, the template editing means of the server has a function of recommending a card included in the video content that has been highly evaluated when the user performs an editing operation of the card constituting the template. It is characterized by having.
It is expected that high-quality video content will be generated by using a card that has already been highly evaluated.
以上、説明したように、本発明によれば、ユーザがサーバ上で、映像とこれに付加する素材データの組み合わせであるカードを対象とする簡単で直感的な編集操作と、そのカードを複数組み合わせたテンプレートを対象とする簡単で直感的な編集操作とを行うのみで、一定の品質の映像コンテンツを自動生成することができるシステムが提供される。
上記のように、予めシステム上に用意された素材データ、カード、テンプレートに対する簡単で直感的な編集操作のみを行えばよいので、ユーザは、専門知識や高度な技術は要求されることなく、自分の考えや好みに応じた編集を行い、一定の品質の映像コンテンツを制作することが可能となる。
As described above, according to the present invention, a simple and intuitive editing operation for a card, which is a combination of a video and material data to be added thereto, on the server, and a plurality of such cards are combined. A system is provided that can automatically generate video content of a certain quality by simply performing a simple and intuitive editing operation on a template.
As described above, since only simple and intuitive editing operations on material data, cards, and templates prepared in advance in the system need to be performed, the user is not required to have specialized knowledge or advanced technology. It is possible to produce video content of a certain quality by editing according to the idea and preference.
以下、添付図面を参照しながら、本発明の映像コンテンツ自動生成システムを実施するための最良の形態を詳細に説明する。図１〜図８は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。 The best mode for carrying out the video content automatic generation system of the present invention will be described below in detail with reference to the accompanying drawings. 1 to 8 are diagrams illustrating embodiments of the present invention. In these drawings, the same reference numerals denote the same components, and the basic configuration and operation are the same. To do.
[第１実施形態]
図１は、本発明の映像コンテンツ自動生成システムの第１実施形態について、システム全体の概略構成を示す模式図である。
図１において、本発明の映像コンテンツ自動生成システムは、管理サーバと、管理サーバに通信可能に接続された管理端末と、管理サーバとネットワークを通じて通信可能なユーザ端末とから構成される。図中、ユーザ端末の例として、スマートフォン端末、ノートＰＣ端末、タブレットＰＣ端末を示しているが、これらに限定されるものではない。また、ネットワーク通信は有線・無線を問わない。
[First embodiment]
FIG. 1 is a schematic diagram showing a schematic configuration of the entire system according to the first embodiment of the video content automatic generation system of the present invention.
In FIG. 1, the video content automatic generation system of the present invention comprises a management server, a management terminal that is communicably connected to the management server, and a user terminal that can communicate with the management server through a network. In the figure, a smartphone terminal, a notebook PC terminal, and a tablet PC terminal are shown as examples of user terminals, but the present invention is not limited to these. Network communication may be wired or wireless.
管理サーバは、本システムの機能を実現するための各種データ、プログラム、ハードウェア等を有しており、ユーザ端末に対して、映像コンテンツ自動生成サービスを提供する。
管理端末は、管理サーバ上の各種データ、プログラムなどを管理する機能を有する。
ユーザ端末は、管理サーバと通信を行い、映像コンテンツの素材データをアップロードしたり、映像コンテンツ生成のための編集作業の指示入力を行ったり、生成された映像コンテンツをダウンロードしたりすることができる。
The management server has various data, programs, hardware, etc. for realizing the functions of this system, and provides a video content automatic generation service to the user terminal.
The management terminal has a function of managing various data and programs on the management server.
The user terminal can communicate with the management server, upload the material data of the video content, input an instruction for editing work for generating the video content, and download the generated video content.
図２は、図１に示す管理サーバが有する機能を概念的に示した図である。
図２において、管理サーバは、その記憶領域において、ユーザ情報、素材データ、カード情報、テンプレート情報、映像コンテンツを記憶している。
また、ユーザ情報登録手段、素材データ入力手段、カード編集手段、テンプレート編集手段、映像コンテンツ生成手段、通信を有している。これら各手段は、必要に応じてサーバのハードウェア資源を利用するアプリケーションソフトウェアとして管理サーバに実装される。
FIG. 2 is a diagram conceptually showing the functions of the management server shown in FIG.
In FIG. 2, the management server stores user information, material data, card information, template information, and video content in the storage area.
In addition, user information registration means, material data input means, card editing means, template editing means, video content generation means, and communication are provided. Each of these means is implemented in the management server as application software that uses the hardware resources of the server as necessary.
ユーザ情報は、ユーザを識別するための情報であり、アカウント情報やユーザ端末の識別子として記憶される。尚、ユーザ情報は必ずしも保持していなくてもよい。
素材データは、映像、画像、音声、効果音、テキスト、音楽のデータであり、それぞれ独立した素材データとして記憶されている。映像は、比較的短尺（例えば５〜１０秒）のものであり、画像、音声、効果音、テキストは映像の素材データに組み込まれることを前提とした態様・ボリュームとなっている。また、音楽は後述するテンプレートに組み込まれることを前提とした態様・ボリュームとなっている。
The user information is information for identifying the user, and is stored as account information or an identifier of the user terminal. Note that the user information does not necessarily have to be held.
The material data is video, image, sound, sound effect, text, and music data, and is stored as independent material data. The video is of a relatively short length (for example, 5 to 10 seconds), and the image / sound, sound effect, and text are in a mode / volume on the premise that they are incorporated into the video material data. In addition, music has a form and volume that is premised on being incorporated into a template to be described later.
カード情報は、映像の素材データと、画像、音声、効果音、テキストのうち少なくとも１つの素材データとの組み合わせの規定の情報である。例えば、１０秒間の映像の中に画像、テキストがどのようなタイミング（出現時点や順序）でどのような表示位置・大きさで表れどのように動くか、また、音声、効果音がどのようなタイミングにどのような音量、音色で再生されるかということを規定するものである。当然、個々の映像の特性に合わせて、組み合わせによる視聴効果が最大限となるように規定されている。 The card information is information defining the combination of video material data and at least one material data of image, sound, sound effect, and text. For example, in what 10 seconds of video and text appear at what display position and size and how it moves, and what kind of sound and sound effect it has It defines what volume and tone are used for timing. Naturally, it is stipulated that the viewing effect by the combination is maximized in accordance with the characteristics of each video.
テンプレート情報は、複数のカードの組み合わせの規定の情報である。例えば、映像の再生時間が１０秒であるカード、２０秒であるカード、１５秒であるカード、１５秒であるカードを順に組み合わせて６０秒の映像コンテンツのテンプレートを規定することができる。このテンプレートを構成する１つ目から４つ目のカードは、それぞれの映像の意味内容によって、組み合わされてストーリー性を有するものとなっている。例えば、起・承・転・結の４つのカードの順列によりテンプレートがストーリー性を有することとなる。
また、テンプレート情報は、各テンプレートに適用される音楽の素材データの情報を含んでいる。
The template information is information for defining a combination of a plurality of cards. For example, a 60 second video content template can be defined by sequentially combining a card with a video playback time of 10 seconds, a card with 20 seconds, a card with 15 seconds, and a card with 15 seconds. The first to fourth cards constituting this template are combined with each other according to the semantic content of each video to have a story. For example, the template has a story by the permutation of four cards of origination, acceptance, rollover, and conclusion.
The template information includes information on music material data applied to each template.
テンプレート編集手段は、記憶されているテンプレート情報から１つのテンプレートを選択して、そのテンプレートを構成するカードの選択（入れ替え）の編集操作をユーザに行わせる。また、上記のストーリー性を損なわない範囲において、テンプレート内のカードの並び替え、追加、削除などの編集操作を許可してもよい。また、当該テンプレートに適用される音楽の素材データの選択（入れ替え）の編集操作をユーザに行わせることもできる。
カード編集手段は、ユーザ端末との通信により、記憶されているカード情報から１つのカードを選択して、そのカードを構成する素材データの選択、並び替え、追加、削除などの編集操作をユーザに行わせる。
尚、素材データ入力手段により、ユーザ端末から画像、音声、効果音、テキスト、音楽などの素材データを取得し記憶しておき、カード編集に利用することもできる。
The template editing means selects one template from the stored template information, and causes the user to perform an editing operation for selecting (replacement) of cards constituting the template. In addition, editing operations such as rearrangement, addition, and deletion of cards in the template may be permitted within a range that does not impair the above-described story property. It is also possible to allow the user to perform an editing operation for selecting (changing) music material data applied to the template.
The card editing means selects one card from the stored card information through communication with the user terminal, and allows the user to perform editing operations such as selection, rearrangement, addition, and deletion of material data constituting the card. Let it be done.
Note that material data such as images, sounds, sound effects, texts, and music can be acquired and stored from the user terminal by the material data input means and used for card editing.
映像コンテンツ生成手段は、テンプレート編集手段及びカード編集手段において編集されたカード及びテンプレートの情報に基づいて映像コンテンツを生成する。生成された映像コンテンツは管理サーバ内に記憶される。
このようにして生成された映像コンテンツは、ユーザ自身の選択によるテンプレートや素材データを組み込みつつ一定の品質を有するものである。
ユーザは、生成された映像コンテンツをユーザ端末にダウンロードして利用することができる。あるいは、任意の配信サーバに映像コンテンツを転送して、ネットワーク配信を行うこともできる。
The video content generation means generates video content based on the information of the card and template edited by the template editing means and the card editing means. The generated video content is stored in the management server.
The video content generated in this way has a certain quality while incorporating templates and material data selected by the user himself / herself.
The user can download and use the generated video content on the user terminal. Alternatively, the video content can be transferred to an arbitrary distribution server for network distribution.
[第２実施形態]
図３は、本発明の映像コンテンツ自動生成システムの第２実施形態について、システム全体の概略構成を示す模式図である。
図３において、本発明の映像コンテンツ自動生成システムは、さらに、管理サーバと通信可能な配信サーバを有している。配信サーバは、有線・無線のネットワークを通じて一般ユーザ（上記の映像コンテンツを編集したユーザとは異なるユーザも含む）が有する各種通信端末と通信可能である。
このような構成により、ユーザが編集した映像コンテンツを管理サーバから配信サーバに転送し、配信サーバではこの映像コンテンツを広く一般ユーザに配信して視聴させることができる。
[Second Embodiment]
FIG. 3 is a schematic diagram showing a schematic configuration of the entire system according to the second embodiment of the video content automatic generation system of the present invention.
In FIG. 3, the video content automatic generation system of the present invention further includes a distribution server that can communicate with the management server. The distribution server can communicate with various communication terminals possessed by a general user (including a user different from the user who edited the video content) via a wired / wireless network.
With such a configuration, the video content edited by the user can be transferred from the management server to the distribution server, and the distribution server can distribute the video content widely to general users for viewing.
図４は、図３に示す管理サーバが有する機能を概念的に示した図である。
図４において、管理サーバは、映像コンテンツに対する評価情報を取得する評価情報取得手段を有し、その記憶領域において取得した評価情報を記憶している。管理サーバのその他の構成は、第１実施形態のものと同様である。
FIG. 4 is a diagram conceptually showing the functions of the management server shown in FIG.
In FIG. 4, the management server has evaluation information acquisition means for acquiring evaluation information for video content, and stores the evaluation information acquired in the storage area. Other configurations of the management server are the same as those in the first embodiment.
評価情報取得手段は、配信サーバにおいて配信された映像コンテンツに対する評価情報を配信サーバから取得する。あるいは、管理サーバ自体が映像コンテンツの配信を行っている場合には、管理サーバ内部からも評価情報の取得が可能である。
映像コンテンツに対する評価情報とは、例えば、映像コンテンツの再生回数、再生時間、視聴者数、視聴者によるアクション（リンクのクリック等）回数などでもよいし、視聴者によるレイティングでもよいし、これら複数の評価基準を組み合わせた評価値としてもよい。
The evaluation information acquisition means acquires evaluation information for the video content distributed in the distribution server from the distribution server. Alternatively, when the management server itself distributes video content, the evaluation information can also be acquired from inside the management server.
The evaluation information for the video content may be, for example, the number of times the video content is played, the playback time, the number of viewers, the number of viewer actions (link clicks, etc.), the rating by viewers, etc. The evaluation value may be a combination of evaluation criteria.
このように、ユーザ編集により自動生成した映像コンテンツに対するフィードバックを得ることで、素材データ、カード、テンプレートの改良が可能である。例えば、素材データ、カード、テンプレートの特性（例えば、爽やかさ、躍動感、インパクト等）を数値化して定めておき、どのような特性を持つものが高い評価を得るかという分析を行うことができる。
また、管理サーバのテンプレート編集手段において、ユーザがテンプレートを構成するカードの編集操作をする際に、高評価を得ている映像コンテンツに含まれているカードを推薦する機能を備えたり、カード編集手段において、カードを構成する素材データの編集操作をする際に、高評価を得ている映像コンテンツに含まれている素材データを推薦する機能を備えたりすることで、生成される映像コンテンツのさらなる品質向上に資することができる。
さらには、映像コンテンツが商品やサービスに関するものであれば、どのような見せ方をすれば高い評価を得られるか、どの層のユーザに対し訴求力を持っているか（この場合、配信サーバにおいて視聴者のプロフィール情報を取得しておく）といったマーケンティングに役立てることも可能である。
Thus, by obtaining feedback on video content automatically generated by user editing, material data, cards, and templates can be improved. For example, the characteristics of material data, cards, and templates (for example, refreshingness, dynamic feeling, impact, etc.) can be numerically determined and an analysis of what characteristics have high evaluation can be performed. .
In addition, the template editing means of the management server has a function of recommending a card included in video content that has been highly evaluated when the user performs an editing operation on the card constituting the template, or the card editing means In order to further improve the quality of generated video content by providing a function to recommend material data included in highly evaluated video content when editing the material data constituting the card It can contribute to improvement.
Furthermore, if the video content is related to a product or service, what kind of presentation will give it a high evaluation, and what level of users will have appeal (in this case, viewing on the distribution server) It is also possible to make use of this for marketing.
本発明の映像コンテンツ自動生成システムの実施例をユーザの観点から具体的な表示画面例に基づき説明する。
図５〜図８は、本発明の映像コンテンツ自動生成システムにおけるカード編集操作、テンプレート編集操作の表示画面例を示す図である。
An embodiment of the video content automatic generation system of the present invention will be described based on a specific display screen example from the viewpoint of the user.
5 to 8 are diagrams showing display screen examples of a card editing operation and a template editing operation in the video content automatic generation system of the present invention.
図５に示すように、ユーザはまず、予め用意されているテンプレートの中から使用するテンプレートを選択する。テンプレートは、タイプ、テイスト、ジャンルといった分類を手がかりに選択し、あるいはキーワードにより検索することもできる。
画面には選択したテンプレートのプレビューが表示される。
As shown in FIG. 5, the user first selects a template to be used from templates prepared in advance. The template can be selected based on a classification such as type, taste, and genre, or can be searched by a keyword.
A preview of the selected template is displayed on the screen.
図６に示すように、選択したテンプレートの編集画面においては、テンプレートを構成するカードのプレビューが順に表示される。この画面において、ユーザは、テンプレート内のカード選択（入れ替え）、並び替え、追加、削除等の編集操作を行う。
また、当該テンプレートに適用される音楽の素材データの選択（入れ替え）の編集操作を行うこともできる。
As shown in FIG. 6, on the editing screen of the selected template, previews of cards constituting the template are displayed in order. On this screen, the user performs editing operations such as card selection (replacement), rearrangement, addition, and deletion within the template.
It is also possible to perform an editing operation of selection (replacement) of music material data applied to the template.
図７に示すように、選択したテンプレートを構成する各カードの編集画面においては、カードが有する映像に組み込む画像（写真）、テキストの編集操作を行う。画像、テキストは、システムに予め用意されている素材データを用いてもよいし、ユーザ端末内のデータをアップロードし、あるいは任意のテキストをユーザ端末から入力してもよい。また、図示する例とは異なり、カードに予め標準の画像、テキストが組み込まれていてもよい。 As shown in FIG. 7, on the editing screen of each card constituting the selected template, an editing operation of an image (photograph) and text to be incorporated in the video of the card is performed. For the image and text, material data prepared in advance in the system may be used, data in the user terminal may be uploaded, or arbitrary text may be input from the user terminal. Further, unlike the example shown in the figure, a standard image and text may be preliminarily incorporated in the card.
図８に示すように、選択したテンプレートを構成する各カードの編集画面においては、カードが有する映像に組み込む音声、効果音の編集操作を行う。音声、効果音は、システムに予め用意されている素材データを用いてもよいし、ユーザ端末内のデータをアップロードし、あるいは任意の音声・効果音をユーザ端末のマイク機能を用いて入力してもよい。また、図示する例とは異なり、カードに予め標準の音声、効果音が組み込まれていてもよい。 As shown in FIG. 8, on the editing screen of each card constituting the selected template, an editing operation of sound and sound effects incorporated in the video included in the card is performed. For sound and sound effects, material data prepared in advance in the system may be used, data in the user terminal is uploaded, or arbitrary sound and sound effects are input using the microphone function of the user terminal. Also good. In addition, unlike the example shown in the figure, standard sound and sound effects may be incorporated in the card in advance.
以上、本発明の映像コンテンツ自動生成システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態における管理サーバ、配信サーバ、ユーザ端末、管理端末の構成及び機能に様々な変更・改良を加えることが可能である。 Although the video content automatic generation system of the present invention has been described with reference to specific embodiments, the present invention is not limited to these. A person skilled in the art can make various changes and improvements to the configurations and functions of the management server, distribution server, user terminal, and management terminal in each of the above embodiments without departing from the scope of the present invention. .
本発明の映像コンテンツ自動生成システムは、図１〜図４に示すように、コンピュータのＣＰＵ、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたＯＳ、アプリケーションソフトウェア、データベース、ネットワークシステム等によって実現されるものであり、ユーザ端末からの操作による映像コンテンツの自動生成という情報処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、産業上利用できる発明に該当するものである。 As shown in FIGS. 1 to 4, the video content automatic generation system of the present invention includes an OS, application software, and software constructed on hardware resources including a computer CPU, memory, auxiliary storage device, display, input device, and the like. Since it is realized by a database, a network system, etc., and the information processing of automatic generation of video content by operation from the user terminal is specifically realized using the above hardware resources, This corresponds to the technical idea used and corresponds to an invention that can be used industrially.
Claims (8)
前記サーバは、
映像、画像、音声、効果音、テキストの素材データを記憶する手段と、
映像の素材データと、画像、音声、効果音、テキストのうち少なくとも１つの素材データとの組み合わせをカードとして規定するカード情報を記憶する手段と、
複数のカードの組み合わせをテンプレートとして規定するテンプレート情報を記憶する手段と、
各カードのカード情報に基づき当該カードを構成する素材データの選択、並び替え、追加、削除の操作をユーザに行わせるカード編集手段と、
各テンプレートのテンプレート情報に基づき当該テンプレートを構成するカードの選択の操作をユーザに行わせるテンプレート編集手段と、
ユーザにより編集されたカード及びテンプレートに従い、映像コンテンツを生成する映像コンテンツ生成手段とを有する映像コンテンツ自動生成システム。 A video content automatic generation system for automatically generating video content by allowing a user to edit material data on a server,
The server
Means for storing video, image, audio, sound effect, text material data;
Means for storing card information defining a combination of video material data and at least one material data of image, sound, sound effect, and text as a card;
Means for storing template information defining a combination of a plurality of cards as a template;
Card editing means for allowing the user to perform selection, rearrangement, addition, and deletion operations of material data constituting the card based on the card information of each card;
Template editing means for allowing the user to perform an operation of selecting a card constituting the template based on the template information of each template;
A video content automatic generation system comprising video content generation means for generating video content according to a card and a template edited by a user.
前記テンプレート情報は、当該テンプレートに組み合わせられる音楽の情報を含んでいることを特徴とする請求項１から３のいずれか１項に記載の映像コンテンツ自動生成システム。 The server has means for storing music material data,
The video content automatic generation system according to any one of claims 1 to 3, wherein the template information includes information on music combined with the template.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015187797A JP5903187B1 (en) | 2015-09-25 | 2015-09-25 | Automatic video content generation system |
| PCT/JP2016/077652 WO2017051793A1 (en) | 2015-09-25 | 2016-09-20 | System for automatically generating video content |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015187797A JP5903187B1 (en) | 2015-09-25 | 2015-09-25 | Automatic video content generation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5903187B1 JP5903187B1 (en) | 2016-04-13 |
| JP2017063339A true JP2017063339A (en) | 2017-03-30 |
Family
ID=55747733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015187797A Active JP5903187B1 (en) | 2015-09-25 | 2015-09-25 | Automatic video content generation system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5903187B1 (en) |
| WO (1) | WO2017051793A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022552344A (en) * | 2019-10-14 | 2022-12-15 | 北京字節跳動網絡技術有限公司 | MOVIE FILE GENERATION METHOD, DEVICE, TERMINAL AND STORAGE MEDIUM |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101920116B1 (en) * | 2016-09-09 | 2018-11-19 | 가톨릭대학교 산학협력단 | Method and apparatus of contents recommendation for suppressing food craving |
| JP6902108B2 (en) * | 2017-03-23 | 2021-07-14 | スノー コーポレーション | Story video production method and story video production system |
| JP6603925B1 (en) * | 2018-06-22 | 2019-11-13 | 株式会社オープンエイト | Movie editing server and program |
| CN110198420B (en) * | 2019-04-29 | 2022-06-10 | 北京卡路里信息技术有限公司 | Video generation method and device based on nonlinear video editing |
| CN110266971B (en) * | 2019-05-31 | 2021-10-08 | 上海萌鱼网络科技有限公司 | Short video making method and system |
| CN111243632B (en) | 2020-01-02 | 2022-06-24 | 北京达佳互联信息技术有限公司 | Multimedia resource generation method, device, equipment and storage medium |
| JP6730757B2 (en) * | 2020-01-31 | 2020-07-29 | 株式会社オープンエイト | Server and program, video distribution system |
| JP6710884B2 (en) * | 2020-01-31 | 2020-06-17 | 株式会社オープンエイト | Servers and programs |
| JP6713183B1 (en) * | 2020-03-05 | 2020-06-24 | 株式会社オープンエイト | Servers and programs |
| JP6730760B2 (en) * | 2020-03-05 | 2020-07-29 | 株式会社オープンエイト | Server and program, video distribution system |
| EP4246422A4 (en) * | 2020-11-13 | 2024-04-24 | Sony Group Corp | Information processing device, information processing method, and information processing program |
| CN116266856A (en) * | 2021-12-14 | 2023-06-20 | 北京字跳网络技术有限公司 | Video generation method, device, electronic equipment and storage medium |
| CN114339407B (en) * | 2022-03-11 | 2022-06-03 | 网娱互动科技(北京)股份有限公司 | Automatic short video generation method and system |
| CN115474093B (en) * | 2022-11-02 | 2023-03-24 | 深圳市云积分科技有限公司 | Method and device for calculating importance of video elements, storage medium and electronic equipment |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0737118A (en) * | 1993-06-29 | 1995-02-07 | Toshiba Corp | Media editing device |
| CA2202106C (en) * | 1997-04-08 | 2002-09-17 | Mgi Software Corp. | A non-timeline, non-linear digital multimedia composition method and system |
| JP3926432B2 (en) * | 1997-07-29 | 2007-06-06 | 株式会社第一興商 | Karaoke equipment |
| JP3708854B2 (en) * | 2001-09-04 | 2005-10-19 | 株式会社東芝 | Media production support device and program |
| JP2007096678A (en) * | 2005-09-28 | 2007-04-12 | Seiko Epson Corp | Moving video editing device, moving video editing method, and computer program |
| US20100207950A1 (en) * | 2009-02-17 | 2010-08-19 | Microsoft Corporation | Defining simple and complex animations |
| US10255227B2 (en) * | 2012-05-21 | 2019-04-09 | Oath Inc. | Computerized system and method for authoring, editing, and delivering an interactive social media video |
-
2015
- 2015-09-25 JP JP2015187797A patent/JP5903187B1/en active Active
-
2016
- 2016-09-20 WO PCT/JP2016/077652 patent/WO2017051793A1/en active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022552344A (en) * | 2019-10-14 | 2022-12-15 | 北京字節跳動網絡技術有限公司 | MOVIE FILE GENERATION METHOD, DEVICE, TERMINAL AND STORAGE MEDIUM |
| JP7387891B2 (en) | 2019-10-14 | 2023-11-28 | 北京字節跳動網絡技術有限公司 | Video file generation method, device, terminal, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017051793A1 (en) | 2017-03-30 |
| JP5903187B1 (en) | 2016-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5903187B1 (en) | Automatic video content generation system | |
| US10565245B2 (en) | Method and system for storytelling on a computing device via a mixed-media module engine | |
| US9277198B2 (en) | Systems and methods for media personalization using templates | |
| EP4024879A1 (en) | Video processing method and device, terminal and computer readable storage medium | |
| US8930817B2 (en) | Theme-based slideshows | |
| KR101470904B1 (en) | Method and system for providing video | |
| US20130047081A1 (en) | Methods and systems for creating video content on mobile devices using storyboard templates | |
| US20190104325A1 (en) | Event streaming with added content and context | |
| TWI522815B (en) | Direct sharing system of photo | |
| WO2016134415A1 (en) | Generation of combined videos | |
| JP2017503394A (en) | VIDEO PROCESSING METHOD, VIDEO PROCESSING DEVICE, AND DISPLAY DEVICE | |
| CN102290079A (en) | Information processing apparatus, information processing method, and program | |
| JP2009124206A (en) | Multimedia composing data generation device | |
| US20190199763A1 (en) | Systems and methods for previewing content | |
| JP2014082582A (en) | Viewing device, content provision device, viewing program, and content provision program | |
| WO2023045710A1 (en) | Multimedia display and matching methods and apparatuses, device and medium | |
| CN108737903B (en) | Multimedia processing system and multimedia processing method | |
| KR20100117679A (en) | Method and apparatus to facilitate automatically forming an aggregation of multiple different renderable content items | |
| JP6812586B1 (en) | Video editing equipment, video editing methods, and programs | |
| KR101547013B1 (en) | Method and system for managing production of contents based scenario | |
| KR102625045B1 (en) | Video editing device, video editing method, and computer program | |
| WO2021225099A1 (en) | Information processing device, information processing system, and program | |
| JP6108723B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6904541B2 (en) | Presentation data provision system | |
| JP5253590B2 (en) | Image processing apparatus and camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160311 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5903187 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S303 | Written request for registration of pledge or change of pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316303 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S303 | Written request for registration of pledge or change of pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316303 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |