JP2020129189A - 動画編集サーバおよびプログラム - Google Patents
動画編集サーバおよびプログラム Download PDFInfo
- Publication number
- JP2020129189A JP2020129189A JP2019020726A JP2019020726A JP2020129189A JP 2020129189 A JP2020129189 A JP 2020129189A JP 2019020726 A JP2019020726 A JP 2019020726A JP 2019020726 A JP2019020726 A JP 2019020726A JP 2020129189 A JP2020129189 A JP 2020129189A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- unit
- divided
- template
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 claims abstract description 84
- 239000002131 composite material Substances 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims description 17
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 235000014102 seafood Nutrition 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010411 cooking Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012946 outsourcing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000102542 Kara Species 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
例えば、特許文献1には、複数のチャプタを有する動画から所望の瞬間のシーン画像を効率的に検索する動画処理装置であって、動画を所定の単位時間毎に複数の大ブロックに分割する大ブロック分割部と、各大ブロックの画像変化の複雑さを数値化する複雑さ分析部と、各大ブロックに係る再生時間を、複雑さに係る数値により複数の小ブロックにそれぞれ分割する小ブロック分割部と、複数の小ブロックを時系列に沿って所定数毎に順次区切ることでチャプタを作成するチャプタ作成部と、を備えてなる動画処理装置が提案されている。
また、社内のマニュアルや商品カタログなどの既存資料を動画化したいとのニーズもあるが、動画サーバ、専門技術を持った編集者などの動画編集環境を社内に構築することの敷居は高く、他方で外注した場合には外注コストが嵩むという問題がある。
上記動画編集サーバにおいて、前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記推薦記事抽出部が、前記推薦記事を類似度情報に基づくリコメンド値を付して抽出すること、前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴としてもよい。
上記動画編集サーバにおいて、前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴としてもよい。
上記動画編集サーバにおいて、前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第1分類器の学習データを作成するための学習用動画分割機能を備えることを特徴としてもよい。
実施形態例に係る本発明の動画編集システムは、図1に示すように、動画編集サーバ1と、管理者端末2と、複数台のユーザ端末3とを備えて構成される。なお、図1の例では、動画編集サーバ1を1台で構成する例を説明したが、複数台のサーバにより動画編集サーバ1を実現することも可能であり、GPUを搭載したハイスペックな装置を別途設けて、後述の分類器作成などの作業を行うことが作業効率の観点からは好ましい。
推薦記事読込部151は、合成動画を作成する際の材料となる材料動画を含む推薦記事を推薦記事DB22から取得する。
動画分割部152は、学習データとして利用される細かく分割された動画を作るためにも利用される。より詳細には、例えば、フレームの画像の全てのピクセルの色を数値化し、そのピクセルの明るさから黒色の色彩度の変化を判定し、ある程度暗くなると分割することで学習データ用分割動画を作成する。
このように、本実施形態の動画分割部152は、目的に応じて動画分割技術を使い分けている。
第2分類器154は、畳み込みニューラルネットワークを利用した分類器であり、動画または画像を入力すると、動画または画像に映る物体名ラベルDB26に格納する出力し、ラベルDB26に格納する。より詳細には、第2分類器154は、分割材料動画に、魚介、焼肉、人物、家具などといった物体名を表す単語(アノテーション単語)を物体名ラベルとして付するために利用される。第2分類器154により得られたメタデータをもとに抽出する分割動画が選択される。例えば1つ目の動画から抽出された分割動画に魚介が含まれていると判定した場合、2つ目、3つ目の動画からも、魚介が映り込む分割動画を優先的に抽出する。
分割動画結合部155は、抽出された複数の推薦記事について、リコメンド値の高いものから順に分割材料動画の抽出を行う。最初の推薦記事によりテンプレートの全シーンに合致する分割材料動画が抽出されなかった場合には、次にリコメンド値の高い推薦記事について、歯抜けとなったシーンの条件に合致する分割材料動画のマッチングを行うことで、テンプレートで必要とされる全シーンを満たすための分割材料動画を抽出する。この際、各記事の動画から抽出した分割動画から、各シーンで類似した物体が映り込んだものが選択されるように第2分類器154から得られたメタデータが利用される。
テロップ挿入部157は、分割動画結合部155が結合した合成動画(テロップ無し)にテロップを挿入する。各シーンに挿入するテロップの許容文字数範囲が条件として設定されている場合は、当該条件を満たす文字数のテロップを挿入する。
管理者は、管理者端末2により動画編集サーバ1の設定変更やデータベースの運用管理などを行う。
ユーザは、ユーザ端末3により動画編集サーバ1にアクセスして、自動生成された動画コンテンツを閲覧することができる。
図6を参照しながら、動画編集処理のフローを説明する。
動画生成エージェントは、合成動画作成部15による動画自動生成プロセスを定期的に(例えば、週に1回)実行する(STEP1)。合成動画作成部15の推薦記事読込部151は、推薦記事DB22に格納された推薦記事を、リコメンド値が高い方から順に読み込む(STEP2)。
合成動画作成部15の動画分割部152は、処理対象となる推薦記事に含まれる動画(材料動画)を複数の動画(分割材料動画)に分割する(STEP3)。合成動画作成部15は、第1分類器153および第2分類器154により各分割材料動画にラベルを付する(STEP4)。なお、材料動画の分割位置は、推薦記事DB22および/または学習データDB24に記憶するようにしてもよい。合成動画作成部15は、選択されたテンプレートのラベルおよび許容時間に合致する分割材料動画を抽出する(STEP5)。例えば、図8では、テンプレートの3番目のシーン条件が「調理後」、「2〜4秒」、4番目のシーン条件が「内観/外観」、「2〜4秒」とされているところ、これらの条件を満たす2つの分割材料動画が抽出されている。
好ましい態様の動画編集サーバ1は、テロップとして挿入するための要約文書作成機能を備えている。図9を参照しながら要約文書作成のフローを説明する。
STEP91:段落分割・文書分割
テロップ挿入部157は、入力された文書を段落に分割し、各段落内の文書を文書に分割する。また、動画のテロップとして1シーンで表示すると長すぎて可読性を落とす文章については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
STEP92:文書の形態素解析
テロップ挿入部136は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。
STEP93:不要語・不要段落の削除
テロップ挿入部157は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた行、URL、メールアドレス、住所・電話番号などを削除する。
テロップ挿入部157は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード(ストップワード)や助詞などの特定品詞を削除する。
STEP95:トークンバイグラムの作成
特定の条件(例えば、予め定義された品詞条件)を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「2014年」(名詞、固有名詞、一般)と「6月」(名詞、固有名詞、一般)を繋げて「2014年6月」としたり、「「ヴェルディ」(固有名詞)と「協賛」(普通名詞)を繋げ、「ヴェルディ協賛」としたりする。
トークンおよびトークンバイグラムを元にTF−IDFスコア単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定からセンテンスのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
STEP97:テンプレートへの当てはめ
要約(重要文)を構文解析にかけ、文節と構文木に別ける。上述のテンプレートは各シーンに求める文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を切り、テンプレートに当てはめる。
以上に説明した要約文作成機能は、日本語のみならず、英語はじめとする多言語に対応が可能である。
2 管理者端末
3 ユーザ端末
11 閲覧履歴保存部
12 推薦記事抽出部
13 テンプレート作成部
14 分類器作成部
15 合成動画作成部
21 閲覧記録DB
22 推薦記事DB
23 テンプレートDB
24 学習データDB
25 合成動画DB
26 ラベルDB
151 推薦記事読込部
152 動画分割部
153 第1分類器
154 第2分類器
155 分割動画結合部
156 音楽挿入部
157 テロップ挿入部
上記動画編集サーバにおいて、前記テンプレートの各シーンには、前記物体名ラベルの上位概念として定義された対象物情報が付されており、前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記推薦記事抽出部が、前記推薦記事をユーザが閲覧した記事との類似度情報に基づくリコメンド値を付して抽出すること、前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴としてもよい。
上記動画編集サーバにおいて、前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴としてもよい。
上記動画編集サーバにおいて、前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第1分類器の学習データを作成するための学習用動画分割機能を備えることを特徴としてもよい。
第2分類器154は、畳み込みニューラルネットワークを利用した分類器であり、動画または画像を入力すると、動画または画像に映る物体名ラベルを出力し、ラベルDB26に格納する。より詳細には、第2分類器154は、分割材料動画に、魚介、焼肉、人物、家具などといった物体名を表す単語(アノテーション単語)を物体名ラベルとして付するために利用される。第2分類器154により得られたメタデータをもとに抽出する分割動画が選択される。例えば1つ目の動画から抽出された分割動画に魚介が含まれていると判定した場合、2つ目、3つ目の動画からも、魚介が映り込む分割動画を優先的に抽出する。
Claims (9)
- ユーザ端末に配信するための動画を作成するサーバにおいて、
ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、
シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、
前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、
前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、
前記分割材料動画にシーンラベルを付する第1分類器と、
前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする動画編集サーバ。 - 前記合成動画作成部が、前記分割材料動画に表示された物体名を表す物体名ラベルを付する第2分類器を備えることを特徴とする請求項1に記載の動画編集サーバ。
- 前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴とする請求項2に記載の動画編集サーバ。
- 前記推薦記事抽出部が、前記推薦記事を類似度情報に基づくリコメンド値を付して抽出すること、
前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴とする請求項1ないし3のいずれかに記載の動画編集サーバ。 - 前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴とする請求項1ないし4のいずれかに記載の動画編集サーバ。
- 前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴とする請求項5に記載の動画編集サーバ。
- 前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、
前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴とする請求項1ないし6のいずれかに記載の動画編集サーバ。 - 前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第1分類器の学習データを作成するための学習用動画分割機能を備えることを特徴とする請求項1ないし7のいずれかに記載の動画編集サーバ。
- インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、
前記サーバを、
ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部、
シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部、および、
前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部、として機能させること、
前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、
前記分割材料動画にシーンラベルを付する第1分類器と、
前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、
を備えることを特徴とする動画編集サーバ用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019020726A JP6603929B1 (ja) | 2019-02-07 | 2019-02-07 | 動画編集サーバおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019020726A JP6603929B1 (ja) | 2019-02-07 | 2019-02-07 | 動画編集サーバおよびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170076A Division JP2020129357A (ja) | 2019-09-19 | 2019-09-19 | 動画編集サーバおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6603929B1 JP6603929B1 (ja) | 2019-11-13 |
JP2020129189A true JP2020129189A (ja) | 2020-08-27 |
Family
ID=68532257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019020726A Active JP6603929B1 (ja) | 2019-02-07 | 2019-02-07 | 動画編集サーバおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6603929B1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102655380B1 (ko) * | 2019-12-18 | 2024-04-04 | 엘지전자 주식회사 | 음성 인식에 기초한 멀티미디어 콘텐츠 편집 기술 |
WO2022110059A1 (zh) * | 2020-11-27 | 2022-06-02 | 深圳市大疆创新科技有限公司 | 视频处理、景别识别方法、终端设备和拍摄系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004318614A (ja) * | 2003-04-17 | 2004-11-11 | Nec Corp | 番組シナリオ配信装置、番組シナリオ配信システム、番組シナリオ配信方法及び番組シナリオ配信プログラム |
JP2014007626A (ja) * | 2012-06-26 | 2014-01-16 | Massigra Inc | 土産用動画配信システム |
-
2019
- 2019-02-07 JP JP2019020726A patent/JP6603929B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004318614A (ja) * | 2003-04-17 | 2004-11-11 | Nec Corp | 番組シナリオ配信装置、番組シナリオ配信システム、番組シナリオ配信方法及び番組シナリオ配信プログラム |
JP2014007626A (ja) * | 2012-06-26 | 2014-01-16 | Massigra Inc | 土産用動画配信システム |
Also Published As
Publication number | Publication date |
---|---|
JP6603929B1 (ja) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10679063B2 (en) | Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics | |
US20240177695A1 (en) | Systems and methods for transforming digital audio content into visual topic-based segments | |
US20140163980A1 (en) | Multimedia message having portions of media content with audio overlay | |
US20140164507A1 (en) | Media content portions recommended | |
US20140164506A1 (en) | Multimedia message having portions of networked media content | |
US20140161356A1 (en) | Multimedia message from text based images including emoticons and acronyms | |
US20140163957A1 (en) | Multimedia message having portions of media content based on interpretive meaning | |
KR20090094826A (ko) | 스토리 셰어 제품을 자동으로 생성하는 시스템, 컴퓨터로 구현되는 방법 및 프로그램 저장 디바이스 | |
JP2003179849A (ja) | ビデオコラージュの作成方法および装置、ビデオコラージュ、ビデオコラージュ・ユーザ・インタフェース、ビデオコラージュ作成プログラム | |
KR20090091311A (ko) | 스토리 테마를 생성하는 컴퓨터로 구현되는 방법 및 이러한 방법을 수행하기 위한 프로그램 저장 디바이스와 스토리 구성 시스템 | |
JP2002366964A (ja) | 動画作成方法およびシステム | |
JP2008234431A (ja) | コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム | |
JP2020005309A (ja) | 動画編集サーバおよびプログラム | |
US8931002B2 (en) | Explanatory-description adding apparatus, computer program product, and explanatory-description adding method | |
WO2019245033A1 (ja) | 動画編集サーバおよびプログラム | |
JP6730757B2 (ja) | サーバおよびプログラム、動画配信システム | |
US20140161423A1 (en) | Message composition of media portions in association with image content | |
JP6603929B1 (ja) | 動画編集サーバおよびプログラム | |
CN115580758A (zh) | 视频内容生成方法及装置、电子设备、存储介质 | |
JP6730760B2 (ja) | サーバおよびプログラム、動画配信システム | |
JP2020129357A (ja) | 動画編集サーバおよびプログラム | |
JP6713183B1 (ja) | サーバおよびプログラム | |
KR101576094B1 (ko) | 애니메이션을 이용한 자막 삽입 시스템 및 방법 | |
JP6863648B1 (ja) | サーバおよびデータ割り当て方法 | |
JP6710884B2 (ja) | サーバおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190305 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190704 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190704 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6603929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |