JP2020065308A - サーバおよびプログラム - Google Patents
サーバおよびプログラム Download PDFInfo
- Publication number
- JP2020065308A JP2020065308A JP2020015472A JP2020015472A JP2020065308A JP 2020065308 A JP2020065308 A JP 2020065308A JP 2020015472 A JP2020015472 A JP 2020015472A JP 2020015472 A JP2020015472 A JP 2020015472A JP 2020065308 A JP2020065308 A JP 2020065308A
- Authority
- JP
- Japan
- Prior art keywords
- template
- unit
- moving image
- server
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 claims abstract description 67
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 description 13
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241000102542 Kara Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
例えば、特許文献1には、複数のチャプタを有する動画から所望の瞬間のシーン画像を効率的に検索する動画処理装置であって、動画を所定の単位時間毎に複数の大ブロックに分割する大ブロック分割部と、各大ブロックの画像変化の複雑さを数値化する複雑さ分析部と、各大ブロックに係る再生時間を、複雑さに係る数値により複数の小ブロックにそれぞれ分割する小ブロック分割部と、複数の小ブロックを時系列に沿って所定数毎に順次区切ることでチャプタを作成するチャプタ作成部と、を備えてなる動画処理装置が提案されている。
実施形態例に係る本発明の動画編集システムは、図1に示すように、動画編集サーバ1と、管理者端末2と、複数台のユーザ端末3とを備えて構成される。図1の例では、動画編集サーバ1を1台で構成する例を説明しているが、複数台のサーバ装置により動画編集サーバ1を実現することも可能である。
図5は、素材読込部131が出力する素材入力画面の一例を説明する図である。ユーザが素材入稿フィールド51またはロゴ入稿フィールド52にイメージデータ(画像・動画)をドラッグアンドドロップすることで、画像・動画素材を入稿することができる。入稿する画像・動画素材の数は、+ボタンまたは−ボタンをクリックすることにより増減することができる。
文字データ(記事素材)については、タイトルフィールド53および本文フィールド54にテキスト文章を入力することにより入稿することができる。各素材を入稿した後、推奨フォーマットボタン55をクリックすると、推奨フォーマット表示欄に推奨フォーマットが出力される。図5の例では推奨フォーマットを一つだけ表示する仕様としているが、複数の推奨フォーマットを推奨度順に表示させる仕様を採用してもよい。実施形態例と異なり、ユーザが複数のフォーマットの中から任意のフォーマットを手動で選ぶ仕様を採用してもよい。また、テキスト文章の入力を、動画ファイル中の音声を音声認識してテキスト化することでテキスト文章を入力する仕様を採用してもよく、例えば、外部APIとして提供される音声認識サービスを利用しもよい。また、ユーザが入力したURLから、記事素材、画像・動画素材を取得し、組込用素材DB24に格納する仕様を採用してもよい。
分類器133は、畳み込みニューラルネットワークを利用した学習済モデルであり、動画または画像を入力すると、特定の情報(アノテーション単語)を抽出する。実施形態例の第1分類器は、動画または画像の分類を表す単語(例えば、スタイリッシュ、シンプル)を出力する。実施形態例の第2分類器は、動画または画像に映るオブジェクトを表す単語(例えば、魚介、焼肉、人物、家具)を出力する。
イメージ挿入部135は、畳み込みニューラルネットワークを利用した学習済モデルであり、入力された素材から抽出される情報と各カットに割り付けられた単語、色および明度の類似度を算出し、最も類似度の高い画像・動画を各カットに割り当てる。ここで、ユーザが入力した画像・動画素材のみならず、予め組込用素材DB24に格納した画像・動画素材についても類似度を判定し、割り当てるようにしてよい。
単語の類似度の判定は、単語ベクトルを学習した学習済モデルを用意し、そのベクトルを利用してコサイン類似度やWord Mover’s Distanceなどの方法により単語の類似度を判定する。色の類似度の判定は、例えば、CIELAB座標におけるユークリッド距離を計算することにより行う。具体的には、画像全てのピクセルにおいて、比較対象の色との色差を計算し、その合計値が小さいものを色差が近いものと判定する。動画においては、動画のフレーム画像からサンプリングされた画像において この計算を行う。明度の判定は、例えば画像をグレースケールに変換し、ピクセルのRMSコントラスト値を比較することで行う。動画は色の判定と同様、動画のフレーム画像からサンプリングした画像において この計算を行う。
テロップ挿入部136は、選択されたテンプレートの各カットにテロップ(テキスト文章)を挿入する。テロップ挿入部136による要約文作成機能の詳細については後述する。
音楽挿入部137は、動画コンテンツにBGMとなる音楽を挿入する。
管理者は、管理者端末2により動画編集サーバ1の設定変更やデータベースの運用管理などを行う。
ユーザは、ユーザ端末3により動画編集サーバ1にアクセスして、作成された動画コンテンツを閲覧することができる。
素材分析工程では、素材分析部132が記事、画像(静止画)、動画等の素材を分析し、テンプレート推奨部134が入力された素材に関連性が高いフォーマットを選び、ユーザに推奨する。例えば、アップロードされた素材から抽出されるタグ情報が「人」、「ネイル」、「せっけん」である場合、「コスメ」、「女性」に近いと判定し、キュートのスタイルが付されたフォーマットAを推奨する。また、素材より抽出される色情報に基づき推奨フォーマットを選択してもよく、さらには色情報とタグ情報の両方を利用して推奨フォーマットを選択してもよい。
画像・動画の割り当てが完了すると、図8に示すように、動画コンテンツを構成する複数のカットを画面上に一覧表示することができる。各カットには、表示される画像・動画およびテロップと共に各カットの再生時間(秒数)の情報も表示される。ユーザは、テキストボタンまたテキストフィールドをクリックすることで、テロップを修正することができ、画像ボタンをクリックすることで画像を差し替えることができる。
図10〜図12を参照しながらテロップ挿入部136による要約文作成機能について説明する。
STEP91:段落分割・文書分割
テロップ挿入部136は、本文フィールド54に入力された文書を段落に分割し、各段落内の文書を文書に分割する。また、動画のテロップとして1シーンで表示すると長すぎて可読性を落とす文章(例えば80文字以上)については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
STEP92:文書の形態素解析
テロップ挿入部136は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。図11に示すように、各トークンには品詞が付与されている。
テロップ挿入部136は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた段落、URL、メールアドレス、住所・電話番号などが記載された段落を削除する。
STEP94:ストップワード等の削除
テロップ挿入部136は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード(ストップワード)や助詞などの特定品詞を削除する。
STEP95:トークンバイグラムの作成
特定の条件(例えば、予め定義された品詞条件)を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「2014年」(名詞、固有名詞、一般)と「6月」(名詞、固有名詞、一般)を繋げて「2014年6月」としたり、「ヴェルディ」(固有名詞)と「協賛」(普通名詞)を繋げ、「ヴェルディ協賛」としたりする。
トークンおよびトークンバイグラムを元にTF−IDFなど単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定からセンテンスのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
STEP97:テンプレートへの当てはめ
要約(重要文)を構文解析にかけ、文節と構文木に別ける。上述のテンプレートは各カットに挿入できる文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を区切り、テンプレートに当てはめる。図12に、テンプレートの各カットへの文章の挿入例を示す。
以上に説明した要約文作成機能は、日本語のみならず、英語はじめとする多言語に対応が可能である。
作成した動画コンテンツを配信する機能を持つ動画配信サーバを付加してもよい。なお、動画配信スクリプトが組み込まれたWebページ6の発信は、外部Webサーバ5を利用する。
動画配信サーバ4は、図13に示すように、Webスクレイパーと、記事本文抽出部と、記事本文解析部と、動画解析部と、動画配信部と、ハッシュ値データベースと、動画データベースと、を備えている。記事本文解析部および動画解析部をコンテンツ解析部と呼称する場合がある。なお、複数台のサーバ装置により動画配信サーバ4を実現することも可能である。
Webスクレイパーは、動画の配信面が設定されているWebページのコンテンツ情報を収集する。
記事本文抽出部は、収集したコンテンツ情報から記事の本文に該当する部分を抽出するソフトウェアであり、例えばReadabilityなどのツールにより構成することができる。
記事本文解析部は、抽出した記事本文を形態素解析にかけ、TF−IDFなどの方法により重要キーワードを抽出し、ハッシュ値生成MinHashやb-bit Minwise Hashingなどを使い生成された本文ハッシュ値をハッシュ値データベースへWebページのURLと共に保存する。
動画配信部は、Webページ6に組み込まれたスクリプトが動画の取得をリクエストした際に、受信したWebページ6のURLから類似度が高く、現在配信が可能となっている動画を動画データベースから取得し、動画の配信を行う。より詳細には、Webページ6が動画をリクエストする際に送信するリクエストURLには、Webページ6のURLがパラメータとして含まれており、動画配信サーバ4は受け取ったパラメータからWebページ6のURLを取り出し、動画解析部による解析結果に基づき類似度が高いとされた動画を選択し、Webページ6に配信する。
動画データベースには、上述の動画編集サーバ1により作成した動画を格納することができる。実施形態例の動画配信サーバ4によれば、例えば、Webページ6の記事本文と類似度が高い動画広告を配信することで、ユーザの興味・関心にあったターゲティング広告を効率よく行うことも可能である。
1)ECショップで販売している商品情報の動画化
2)プレスリリース情報、CSR情報などを動画で配信
3)利用方法・オペレーションフローなどのマニュアルを動画化
4)動画広告として活用できるクリエイティブを制作
2 管理者端末
3 ユーザ端末
4 動画配信サーバ
5 外部Webサーバ
11 テンプレート管理部
12 分類器作成部
13 合成動画作成部
21 テンプレートDB
22 学習データDB
23 合成動画DB
24 組込用素材DB
Claims (4)
- サーバであって、
タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、
素材の入力を受け付ける素材読込部と、
入力された素材から抽出された情報に基づき、前記タグ情報との類似度を出力する素材分析部と、
前記類似度に基づき推奨するテンプレートを出力するテンプレート推奨部と、を備える
ことを特徴とするサーバ。 - 前記素材から抽出された情報は、単語形式の情報であり、
前記テンプレート推奨部は、前記単語形式の情報と前記タグ情報との類似度に基づき推奨するテンプレートを出力することを特徴とする請求項1に記載のサーバ。 - 前記素材から抽出された情報は、色情報であり、
前記テンプレート推奨部は、前記色情報と前記タグ情報との類似度に基づき推奨するテンプレートを出力することを特徴とする請求項1または2に記載のサーバ。 - サーバ用のプログラムにおいて、
前記サーバを、
タグ情報が付された複数のカットから構成されるテンプレートを管理するテンプレート管理部と、
素材の入力を受け付ける素材読込部と、
入力された素材から抽出された情報に基づき、前記タグ情報との類似度を出力する素材分析部と、
前記類似度に基づき推奨するテンプレートを出力するテンプレート推奨部、として機能させることを特徴とするサーバ用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020015472A JP6710884B2 (ja) | 2020-01-31 | 2020-01-31 | サーバおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020015472A JP6710884B2 (ja) | 2020-01-31 | 2020-01-31 | サーバおよびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170075A Division JP2020005309A (ja) | 2019-09-19 | 2019-09-19 | 動画編集サーバおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020065308A true JP2020065308A (ja) | 2020-04-23 |
JP6710884B2 JP6710884B2 (ja) | 2020-06-17 |
Family
ID=70387727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020015472A Active JP6710884B2 (ja) | 2020-01-31 | 2020-01-31 | サーバおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6710884B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006203670A (ja) * | 2005-01-21 | 2006-08-03 | Fuji Photo Film Co Ltd | テンプレート配信装置 |
JP2015219689A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社日立システムズ | マルチメディア向け情報発信システム及び方法 |
JP2017045374A (ja) * | 2015-08-28 | 2017-03-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
WO2017051793A1 (ja) * | 2015-09-25 | 2017-03-30 | 株式会社グロウ・ムービージャパン | 映像コンテンツ自動生成システム |
JP2018097482A (ja) * | 2016-12-09 | 2018-06-21 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
-
2020
- 2020-01-31 JP JP2020015472A patent/JP6710884B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006203670A (ja) * | 2005-01-21 | 2006-08-03 | Fuji Photo Film Co Ltd | テンプレート配信装置 |
JP2015219689A (ja) * | 2014-05-16 | 2015-12-07 | 株式会社日立システムズ | マルチメディア向け情報発信システム及び方法 |
JP2017045374A (ja) * | 2015-08-28 | 2017-03-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
WO2017051793A1 (ja) * | 2015-09-25 | 2017-03-30 | 株式会社グロウ・ムービージャパン | 映像コンテンツ自動生成システム |
JP2018097482A (ja) * | 2016-12-09 | 2018-06-21 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6710884B2 (ja) | 2020-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9372926B2 (en) | Intelligent video summaries in information access | |
JP2020005309A (ja) | 動画編集サーバおよびプログラム | |
US20140161356A1 (en) | Multimedia message from text based images including emoticons and acronyms | |
US20140164507A1 (en) | Media content portions recommended | |
US20140163980A1 (en) | Multimedia message having portions of media content with audio overlay | |
US20140163957A1 (en) | Multimedia message having portions of media content based on interpretive meaning | |
WO2019245033A1 (ja) | 動画編集サーバおよびプログラム | |
US20140164506A1 (en) | Multimedia message having portions of networked media content | |
JP6730757B2 (ja) | サーバおよびプログラム、動画配信システム | |
US20140164371A1 (en) | Extraction of media portions in association with correlated input | |
US20140161423A1 (en) | Message composition of media portions in association with image content | |
JP6730760B2 (ja) | サーバおよびプログラム、動画配信システム | |
CN113660526A (zh) | 脚本生成方法、系统、计算机存储介质及计算机程序产品 | |
US20140163956A1 (en) | Message composition of media portions in association with correlated text | |
JP6603929B1 (ja) | 動画編集サーバおよびプログラム | |
JP6713183B1 (ja) | サーバおよびプログラム | |
CN117436417A (zh) | 演示文稿生成方法、装置、电子设备和存储介质 | |
CN107066437B (zh) | 数字作品标注的方法及装置 | |
JP6710884B2 (ja) | サーバおよびプログラム | |
JP6903365B1 (ja) | サーバおよびデータ割り当て方法 | |
CN113438532B (zh) | 视频处理、视频播放方法、装置、电子设备及存储介质 | |
JP2020129357A (ja) | 動画編集サーバおよびプログラム | |
JP6979738B1 (ja) | サーバおよびアニメーション推薦システム、アニメーション推薦方法、プログラム | |
WO2022201236A1 (ja) | サーバおよびシステム、画像切り抜き方法、プログラム | |
CN118075568A (zh) | 信息展示方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200131 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6710884 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |