JP2020129189A - 動画編集サーバおよびプログラム - Google Patents

動画編集サーバおよびプログラム Download PDF

Info

Publication number
JP2020129189A
JP2020129189A JP2019020726A JP2019020726A JP2020129189A JP 2020129189 A JP2020129189 A JP 2020129189A JP 2019020726 A JP2019020726 A JP 2019020726A JP 2019020726 A JP2019020726 A JP 2019020726A JP 2020129189 A JP2020129189 A JP 2020129189A
Authority
JP
Japan
Prior art keywords
moving image
unit
divided
template
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019020726A
Other languages
English (en)
Other versions
JP6603929B1 (ja
Inventor
雄康 高松
Yuko Takamatsu
雄康 高松
孝弘 坪野
Takahiro Tsubono
孝弘 坪野
尚武 石橋
Naotake Ishibashi
尚武 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open8 Inc
Original Assignee
Open8 Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Open8 Inc filed Critical Open8 Inc
Priority to JP2019020726A priority Critical patent/JP6603929B1/ja
Application granted granted Critical
Publication of JP6603929B1 publication Critical patent/JP6603929B1/ja
Publication of JP2020129189A publication Critical patent/JP2020129189A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】動画コンテンツを簡便に作成することを可能とするサーバおよびプログラムの提供。【解決手段】ユーザ端末に配信するための動画を作成するサーバにおいて、ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、前記分割材料動画にシーンラベルを付する第1分類器と、前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする動画編集サーバ及びそのプログラム。【選択図】図2

Description

本発明は、ユーザ端末に配信する合成動画を自動で生成するサーバおよびプログラムに関する。
従来、動画を複数のチャプタに分割すると共に、メタデータを付加することが行われている。
例えば、特許文献1には、複数のチャプタを有する動画から所望の瞬間のシーン画像を効率的に検索する動画処理装置であって、動画を所定の単位時間毎に複数の大ブロックに分割する大ブロック分割部と、各大ブロックの画像変化の複雑さを数値化する複雑さ分析部と、各大ブロックに係る再生時間を、複雑さに係る数値により複数の小ブロックにそれぞれ分割する小ブロック分割部と、複数の小ブロックを時系列に沿って所定数毎に順次区切ることでチャプタを作成するチャプタ作成部と、を備えてなる動画処理装置が提案されている。
特開2011−130007号公報
動画コンテンツを作成することには多大な手間がかかるため、自動で動画コンテンツを作成することができるシステムの提供が求められていた。また、多大な手間をかけて作成した動画コンテンツであっても、ユーザの嗜好に合った内容でなければ、最後まで再生されないという問題もある。
また、社内のマニュアルや商品カタログなどの既存資料を動画化したいとのニーズもあるが、動画サーバ、専門技術を持った編集者などの動画編集環境を社内に構築することの敷居は高く、他方で外注した場合には外注コストが嵩むという問題がある。
そこで、本発明では、上記課題を解決するべく、動画コンテンツを自動で生成するサーバおよびプログラムを提供することを目的とする。
本発明の動画編集サーバは、ユーザ端末に配信するための動画を作成するサーバにおいて、ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、前記分割材料動画にシーンラベルを付する第1分類器と、前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする。
上記動画編集サーバにおいて、前記合成動画作成部が、前記分割材料動画に表示された物体名を表す物体名ラベルを付する第2分類器を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記推薦記事抽出部が、前記推薦記事を類似度情報に基づくリコメンド値を付して抽出すること、前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴としてもよい。
上記動画編集サーバにおいて、前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴としてもよい。
上記動画編集サーバにおいて、前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第1分類器の学習データを作成するための学習用動画分割機能を備えることを特徴としてもよい。
本発明の動画編集サーバ用プログラムは、インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、前記サーバを、ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部、シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部、および、前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部、として機能させること、前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、前記分割材料動画にシーンラベルを付する第1分類器と、前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする。
本発明によれば、ユーザの嗜好に合った動画コンテンツを自動で生成するサーバおよびプログラムを提供することが可能となる。また、動画編集環境を社内に構築しなくとも、簡便に社内のマニュアルや商品カタログなどの既存資料を動画化することが可能となる。
実施形態例に係る動画編集システムの構成図である。 実施形態例に係る動画編集サーバの構成図である。 テンプレートの一例を説明する図である。 動画作成部の構成図である。 各シーンの条件に合致する分割材料動画の抽出を説明する図である。 動画編集処理のフローである。 動画分割処理の説明図である。 分割動画結合処理の説明図である。 要約文作成処理のフローである。
<構成>
実施形態例に係る本発明の動画編集システムは、図1に示すように、動画編集サーバ1と、管理者端末2と、複数台のユーザ端末3とを備えて構成される。なお、図1の例では、動画編集サーバ1を1台で構成する例を説明したが、複数台のサーバにより動画編集サーバ1を実現することも可能であり、GPUを搭載したハイスペックな装置を別途設けて、後述の分類器作成などの作業を行うことが作業効率の観点からは好ましい。
動画編集サーバ1は、CPUを有する処理部、HDD等の記憶装置を有する記憶部、および、LANポートを有する通信部を備えたサーバ装置に動画編集ソフトウェアおよびデータベースソフトウェアをインストールして構築されている。動画編集ソフトウェアは、閲覧履歴保存部11と、推薦記事抽出部12と、テンプレート作成部13と、分類器作成部14と、合成動画作成部15と、を備えている。データベースソフトウェアは、閲覧記録DB21と、推薦記事DB22と、テンプレートDB23と、学習データDB24と、合成動画DB25と、ラベルDB26と、を管理している。
閲覧履歴保存部11は、ユーザがログイン状態で閲覧したWeb上の記事の閲覧記録を、閲覧記録DBに記録する。ユーザが閲覧したWeb上の記事には一意の記事IDが付与されており、ユーザIDおよび閲覧時間と紐付けて記録される。これとは異なり、匿名ユーザとして閲覧記録を記録する仕組みを取り入れてもよい。
推薦記事抽出部12は、ユーザの嗜好プロファイルに基づいて推薦記事をWeb上から収集する作業を定期的に(例えば、毎週)実行する。実施形態例では、閲覧記録DB21からユーザの閲覧履歴情報を取得し、ユーザが閲覧した記事に類似する動画付き記事を内容ベースフィルタリングにより抽出し、類似度情報に基づくリコメンド値を付して推薦記事DB22に記録している。これとは異なり、協調フィルタリングにより類似度を判定してもよいし、内容ベースフィルタリングと協調フィルタリングを併用したハイブリッドフィルタリングを採用してもよい。推薦記事DB22には、リコメンド値が高い数十件ないし百数十件の推薦記事が常時格納されている。
テンプレート作成部13は、動画を構成するシーンに付する条件(ラベル、順序および各シーンの許容時間範囲)を定義するテンプレートを作成し、テンプレートDB23に格納する。テンプレートは、複数のシーンから構成され、各シーンには分割動画で表示したい対象物情報とその動きの特徴が定義されている。換言すれば、例えば、「建物廊下を移動」−>「建物部屋のズームアウト」−>「外観」といった具合に動画コンテンツの流れを定義するものであり、各シーンがつながった際に違和感がないことを意識して対象物情報とその動きの特徴を定義することが重要である。テンプレート作成部13によるテンプレート作成は、定期(例えば、年数回)または必要時に実行される。図3は、4つのシーンからなるテンプレートの例であり、シーン1〜2には「調理中」のシーンラベルが付され、シーン3には「調理後」のシーンラベルが付され、シーン4には「内観/外観」のシーンラベルが付されている。なお、テンプレートの各シーンに後述の物体名ラベルを付することもできるが、物体名ラベルの上位概念の対象物情報を定義することで、多くの物体を適用可能とすることが好ましい。また、各シーンに挿入するテロップの許容文字数範囲が条件として設定されている場合もある。
分類器作成部14は、学習データを学習データDB24から取得し、機械学習させることで、学習済モデルである第1分類器153および第2分類器154を作成する。第1分類器の作成は動画のデータセットを利用し、各シーンの時系列の特徴の依存関係を学習する。第2分類器は画像のデータセットをもとに、物体の特徴を学習する。分類器作成部14による学習済モデルである分類器の作成は、例えば、年に数回程度行われる。学習データは、インターネットから収集したデータや自社のデータにラベルをつけたものを利用してもよいし、ラベルのついたデータセットを調達して利用してもよい。
合成動画作成部15は、図4に示すように、推薦記事読込部151と、動画分割部152と、第1分類器153と、第2分類器154と、分割動画結合部155と、音楽挿入部156と、テロップ挿入部157とを備えている。
推薦記事読込部151は、合成動画を作成する際の材料となる材料動画を含む推薦記事を推薦記事DB22から取得する。
動画分割部152は、材料動画をフレームに分割し、直前のフレームから色彩が大きく変化する箇所を区間とすることで分割位置を判定し、分割材料動画作成する(図7参照)。より詳細には、例えば、フレームの画像の全てのピクセルの色を数値化し、その全てのピクセルの色の平均色を算出し、前のフレームの平均色と比較して大きく変化した箇所で分割して分割材料動画を作成する。このような分割手法は、見た目のつながりがよいシーンを1つの分割動画としてまとめる際に役に立ち、比較的長く繋がった分割材料動画が生成される。
動画分割部152は、学習データとして利用される細かく分割された動画を作るためにも利用される。より詳細には、例えば、フレームの画像の全てのピクセルの色を数値化し、そのピクセルの明るさから黒色の色彩度の変化を判定し、ある程度暗くなると分割することで学習データ用分割動画を作成する。
このように、本実施形態の動画分割部152は、目的に応じて動画分割技術を使い分けている。
第1分類器153は、リカレントニューラルネットワークを利用した分類器であり、動画を入力すると、動きも判定した分類結果としてラベルを出力し、ラベルDB26に格納する。より詳細には、第1分類器153は、分割材料動画に、料理中、店内の内観などといったシーンの状況を表す単語(アノテーション単語)をシーンラベルとして付するために利用される。
第2分類器154は、畳み込みニューラルネットワークを利用した分類器であり、動画または画像を入力すると、動画または画像に映る物体名ラベルDB26に格納する出力し、ラベルDB26に格納する。より詳細には、第2分類器154は、分割材料動画に、魚介、焼肉、人物、家具などといった物体名を表す単語(アノテーション単語)を物体名ラベルとして付するために利用される。第2分類器154により得られたメタデータをもとに抽出する分割動画が選択される。例えば1つ目の動画から抽出された分割動画に魚介が含まれていると判定した場合、2つ目、3つ目の動画からも、魚介が映り込む分割動画を優先的に抽出する。
分割動画結合部155は、材料動画に最も親和性の高いテンプレートを選択し、選択されたテンプレートの各シーンの条件に合致する分割材料動画を抽出し、抽出した分割材料動画を結合する。図5は、各シーンの条件に合致する分割材料動画の抽出を説明する図であり、10に分割された分割材料動画のうち、開始から6〜9番目の分割材料動画が条件に合致するとして抽出されている。
分割動画結合部155は、抽出された複数の推薦記事について、リコメンド値の高いものから順に分割材料動画の抽出を行う。最初の推薦記事によりテンプレートの全シーンに合致する分割材料動画が抽出されなかった場合には、次にリコメンド値の高い推薦記事について、歯抜けとなったシーンの条件に合致する分割材料動画のマッチングを行うことで、テンプレートで必要とされる全シーンを満たすための分割材料動画を抽出する。この際、各記事の動画から抽出した分割動画から、各シーンで類似した物体が映り込んだものが選択されるように第2分類器154から得られたメタデータが利用される。
音楽挿入部156は、分割動画結合部155が結合した合成動画(音楽無し)に音楽を挿入する。
テロップ挿入部157は、分割動画結合部155が結合した合成動画(テロップ無し)にテロップを挿入する。各シーンに挿入するテロップの許容文字数範囲が条件として設定されている場合は、当該条件を満たす文字数のテロップを挿入する。
管理者端末2およびユーザ端末3は、入力部、表示部、処理部、記憶部および通信部を備えたコンピュータであり、例えば、スマートフォン、タブレット端末(タブレットPC)、ノートパソコン、デスクトップパソコンなどのWebブラウザが搭載されたコンピュータである。
管理者は、管理者端末2により動画編集サーバ1の設定変更やデータベースの運用管理などを行う。
ユーザは、ユーザ端末3により動画編集サーバ1にアクセスして、自動生成された動画コンテンツを閲覧することができる。
<動作>
図6を参照しながら、動画編集処理のフローを説明する。
動画生成エージェントは、合成動画作成部15による動画自動生成プロセスを定期的に(例えば、週に1回)実行する(STEP1)。合成動画作成部15の推薦記事読込部151は、推薦記事DB22に格納された推薦記事を、リコメンド値が高い方から順に読み込む(STEP2)。
合成動画作成部15の動画分割部152は、処理対象となる推薦記事に含まれる動画(材料動画)を複数の動画(分割材料動画)に分割する(STEP3)。合成動画作成部15は、第1分類器153および第2分類器154により各分割材料動画にラベルを付する(STEP4)。なお、材料動画の分割位置は、推薦記事DB22および/または学習データDB24に記憶するようにしてもよい。合成動画作成部15は、選択されたテンプレートのラベルおよび許容時間に合致する分割材料動画を抽出する(STEP5)。例えば、図8では、テンプレートの3番目のシーン条件が「調理後」、「2〜4秒」、4番目のシーン条件が「内観/外観」、「2〜4秒」とされているところ、これらの条件を満たす2つの分割材料動画が抽出されている。
全てのシーンについて分割材料動画が取得されなかった場合は、次の推薦記事に対して、STEP2〜5の作業が繰り返される(STEP6、STEP7)。例えば、図8では、1番目および2番目のシーン条件を満たす分割材料動画が抽出されていないため、次の推薦記事にシーン条件を満たす分割材料動画を引き続き検索することが必要である。
全てのシーンについて分割材料動画が取得されると、合成動画作成部15の分割動画結合部155は、抽出された分割材料動画を結合して合成動画を作成する(STEP8)。合成動画作成部15の音楽挿入部156は、予め用意されたBGMを合成動画に挿入する(STEP9)。合成動画作成部15のテロップ挿入部157は、合成動画にテロップ挿入する(STEP10)。音楽およびテロップが挿入された動画は、完成動画として合成動画DB25に格納され、ユーザは自己のユーザIDの権限内で完成動画を閲覧することが可能となる(STEP11)。
以上に説明した実施形態例の動画編集システムによれば、ユーザの嗜好プロファイルに基づいてユーザの嗜好に合った動画コンテンツを自動で生成し、お勧め動画として定期的に配信することが可能となる。また、動画編集用ソフト、動画サーバ、専門技術を持った編集者などを自前で揃えなくとも、動画広告や動画プレスリリースを作成することも、マニュアルや商品カタログを動画化することも可能となる。
<変形例>
好ましい態様の動画編集サーバ1は、テロップとして挿入するための要約文書作成機能を備えている。図9を参照しながら要約文書作成のフローを説明する。
STEP91:段落分割・文書分割
テロップ挿入部157は、入力された文書を段落に分割し、各段落内の文書を文書に分割する。また、動画のテロップとして1シーンで表示すると長すぎて可読性を落とす文章については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
STEP92:文書の形態素解析
テロップ挿入部136は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。
STEP93:不要語・不要段落の削除
テロップ挿入部157は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた行、URL、メールアドレス、住所・電話番号などを削除する。
STEP94:ストップワード等の削除
テロップ挿入部157は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード(ストップワード)や助詞などの特定品詞を削除する。
STEP95:トークンバイグラムの作成
特定の条件(例えば、予め定義された品詞条件)を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「2014年」(名詞、固有名詞、一般)と「6月」(名詞、固有名詞、一般)を繋げて「2014年6月」としたり、「「ヴェルディ」(固有名詞)と「協賛」(普通名詞)を繋げ、「ヴェルディ協賛」としたりする。
STEP96:重要文の抽出
トークンおよびトークンバイグラムを元にTF−IDFスコア単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定からセンテンスのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
STEP97:テンプレートへの当てはめ
要約(重要文)を構文解析にかけ、文節と構文木に別ける。上述のテンプレートは各シーンに求める文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を切り、テンプレートに当てはめる。
以上に説明した要約文作成機能は、日本語のみならず、英語はじめとする多言語に対応が可能である。
以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。
1 動画編集サーバ
2 管理者端末
3 ユーザ端末
11 閲覧履歴保存部
12 推薦記事抽出部
13 テンプレート作成部
14 分類器作成部
15 合成動画作成部
21 閲覧記録DB
22 推薦記事DB
23 テンプレートDB
24 学習データDB
25 合成動画DB
26 ラベルDB
151 推薦記事読込部
152 動画分割部
153 第1分類器
154 第2分類器
155 分割動画結合部
156 音楽挿入部
157 テロップ挿入部
上記動画編集サーバにおいて、前記合成動画作成部が、前記分割材料動画に表示された物体の物体名を表す物体名ラベルを付する第2分類器を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記テンプレートの各シーンには、前記物体名ラベルの上位概念として定義された対象物情報が付されており、前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記推薦記事抽出部が、前記推薦記事をユーザが閲覧した記事との類似度情報に基づくリコメンド値を付して抽出すること、前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴としてもよい。
上記動画編集サーバにおいて、前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴としてもよい。
上記動画編集サーバにおいて、前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第1分類器の学習データを作成するための学習用動画分割機能を備えることを特徴としてもよい。
第1分類器153は、リカレントニューラルネットワークを利用した分類器であり、動画を入力すると、動きも判定した分類結果としてラベルを出力し、ラベルDB26に格納する。より詳細には、第1分類器153は、分割材料動画に、料理中、店内の内観などといったシーンの状況を表す単語(アノテーション単語)をシーンラベルとして付するために利用される。
第2分類器154は、畳み込みニューラルネットワークを利用した分類器であり、動画または画像を入力すると、動画または画像に映る物体名ラベル出力し、ラベルDB26に格納する。より詳細には、第2分類器154は、分割材料動画に、魚介、焼肉、人物、家具などといった物体名を表す単語(アノテーション単語)を物体名ラベルとして付するために利用される。第2分類器154により得られたメタデータをもとに抽出する分割動画が選択される。例えば1つ目の動画から抽出された分割動画に魚介が含まれていると判定した場合、2つ目、3つ目の動画からも、魚介が映り込む分割動画を優先的に抽出する。

Claims (9)

  1. ユーザ端末に配信するための動画を作成するサーバにおいて、
    ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、
    シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、
    前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、
    前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、
    前記分割材料動画にシーンラベルを付する第1分類器と、
    前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする動画編集サーバ。
  2. 前記合成動画作成部が、前記分割材料動画に表示された物体名を表す物体名ラベルを付する第2分類器を備えることを特徴とする請求項1に記載の動画編集サーバ。
  3. 前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴とする請求項2に記載の動画編集サーバ。
  4. 前記推薦記事抽出部が、前記推薦記事を類似度情報に基づくリコメンド値を付して抽出すること、
    前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴とする請求項1ないし3のいずれかに記載の動画編集サーバ。
  5. 前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴とする請求項1ないし4のいずれかに記載の動画編集サーバ。
  6. 前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴とする請求項5に記載の動画編集サーバ。
  7. 前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、
    前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴とする請求項1ないし6のいずれかに記載の動画編集サーバ。
  8. 前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第1分類器の学習データを作成するための学習用動画分割機能を備えることを特徴とする請求項1ないし7のいずれかに記載の動画編集サーバ。
  9. インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、
    前記サーバを、
    ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部、
    シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部、および、
    前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部、として機能させること、
    前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、
    前記分割材料動画にシーンラベルを付する第1分類器と、
    前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、
    を備えることを特徴とする動画編集サーバ用プログラム。

JP2019020726A 2019-02-07 2019-02-07 動画編集サーバおよびプログラム Active JP6603929B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019020726A JP6603929B1 (ja) 2019-02-07 2019-02-07 動画編集サーバおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019020726A JP6603929B1 (ja) 2019-02-07 2019-02-07 動画編集サーバおよびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019170076A Division JP2020129357A (ja) 2019-09-19 2019-09-19 動画編集サーバおよびプログラム

Publications (2)

Publication Number Publication Date
JP6603929B1 JP6603929B1 (ja) 2019-11-13
JP2020129189A true JP2020129189A (ja) 2020-08-27

Family

ID=68532257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019020726A Active JP6603929B1 (ja) 2019-02-07 2019-02-07 動画編集サーバおよびプログラム

Country Status (1)

Country Link
JP (1) JP6603929B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655380B1 (ko) * 2019-12-18 2024-04-04 엘지전자 주식회사 음성 인식에 기초한 멀티미디어 콘텐츠 편집 기술
WO2022110059A1 (zh) * 2020-11-27 2022-06-02 深圳市大疆创新科技有限公司 视频处理、景别识别方法、终端设备和拍摄系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318614A (ja) * 2003-04-17 2004-11-11 Nec Corp 番組シナリオ配信装置、番組シナリオ配信システム、番組シナリオ配信方法及び番組シナリオ配信プログラム
JP2014007626A (ja) * 2012-06-26 2014-01-16 Massigra Inc 土産用動画配信システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318614A (ja) * 2003-04-17 2004-11-11 Nec Corp 番組シナリオ配信装置、番組シナリオ配信システム、番組シナリオ配信方法及び番組シナリオ配信プログラム
JP2014007626A (ja) * 2012-06-26 2014-01-16 Massigra Inc 土産用動画配信システム

Also Published As

Publication number Publication date
JP6603929B1 (ja) 2019-11-13

Similar Documents

Publication Publication Date Title
US10679063B2 (en) Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
US20240177695A1 (en) Systems and methods for transforming digital audio content into visual topic-based segments
US20140163980A1 (en) Multimedia message having portions of media content with audio overlay
US20140164507A1 (en) Media content portions recommended
US20140164506A1 (en) Multimedia message having portions of networked media content
US20140161356A1 (en) Multimedia message from text based images including emoticons and acronyms
US20140163957A1 (en) Multimedia message having portions of media content based on interpretive meaning
KR20090094826A (ko) 스토리 셰어 제품을 자동으로 생성하는 시스템, 컴퓨터로 구현되는 방법 및 프로그램 저장 디바이스
JP2003179849A (ja) ビデオコラージュの作成方法および装置、ビデオコラージュ、ビデオコラージュ・ユーザ・インタフェース、ビデオコラージュ作成プログラム
KR20090091311A (ko) 스토리 테마를 생성하는 컴퓨터로 구현되는 방법 및 이러한 방법을 수행하기 위한 프로그램 저장 디바이스와 스토리 구성 시스템
JP2002366964A (ja) 動画作成方法およびシステム
JP2008234431A (ja) コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム
JP2020005309A (ja) 動画編集サーバおよびプログラム
US8931002B2 (en) Explanatory-description adding apparatus, computer program product, and explanatory-description adding method
WO2019245033A1 (ja) 動画編集サーバおよびプログラム
JP6730757B2 (ja) サーバおよびプログラム、動画配信システム
US20140161423A1 (en) Message composition of media portions in association with image content
JP6603929B1 (ja) 動画編集サーバおよびプログラム
CN115580758A (zh) 视频内容生成方法及装置、电子设备、存储介质
JP6730760B2 (ja) サーバおよびプログラム、動画配信システム
JP2020129357A (ja) 動画編集サーバおよびプログラム
JP6713183B1 (ja) サーバおよびプログラム
KR101576094B1 (ko) 애니메이션을 이용한 자막 삽입 시스템 및 방법
JP6863648B1 (ja) サーバおよびデータ割り当て方法
JP6710884B2 (ja) サーバおよびプログラム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190704

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6603929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250