JP2008211595A - メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム - Google Patents

メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム Download PDF

Info

Publication number
JP2008211595A
JP2008211595A JP2007047183A JP2007047183A JP2008211595A JP 2008211595 A JP2008211595 A JP 2008211595A JP 2007047183 A JP2007047183 A JP 2007047183A JP 2007047183 A JP2007047183 A JP 2007047183A JP 2008211595 A JP2008211595 A JP 2008211595A
Authority
JP
Japan
Prior art keywords
api
graph
unit
basic
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007047183A
Other languages
English (en)
Other versions
JP4652357B2 (ja
Inventor
Satoru Kondo
悟 近藤
Takaaki Moriya
高明 森谷
Hiroyuki Onishi
浩行 大西
Makoto Yoshida
吉田  誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007047183A priority Critical patent/JP4652357B2/ja
Publication of JP2008211595A publication Critical patent/JP2008211595A/ja
Application granted granted Critical
Publication of JP4652357B2 publication Critical patent/JP4652357B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】動画または音声であるメディアを編集するための順序が記述されたシナリオテンプレートを生成することが出来るメディア編集サーバ装置を提供する
【解決手段】メディア編集サーバ装置が、動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、API毎に記憶されている基本API対応記憶部と、基本API間の遷移確率が記憶されている遷移確率記憶部と、複数のAPIが入力されることに応じて、入力された複数のAPIに該当する基本APIを基本API対応記憶部から読み出し出力する基本API選択部と、基本API選択部から入力された基本API間の遷移確率を、遷移確率記憶部から読み出し、読み出した遷移確率に基づいて基本APIが接続された編集グラフを生成するグラフ推定部と、グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、を有する。
【選択図】図18

Description

本発明は、動画または音声であるメディア編集システムの技術に関し、特に、記述された順序に従ってメディアを編集する編集グラフを、生成する技術に関する。
従来、専用機材またはハイスペックなPC(パーソナルコンピュータ)に高価な編集ソフトウェアがインストールされた映像編集システムを用いて、映像の編集が行われていた。そのため、携帯電話などに登載されているカメラで撮影した場合、撮影した映像を映像編集システムに移動し、映像編集システム上で撮影した映像の編集を行う必要があったために、携帯電話などに登載されているカメラで撮影しても、すぐに編集をすることができなかった。
そこで端末上のアプリケーションではなく、オンライン上のアプリケーションを用いて編集する方法が提案されている。
また、その際、一般ユーザは編集技術に必ずしも詳しくはないため、編集作業を煩雑なプログラムで行うのではなく、ユーザは、XML(Extensible Markup Language)などで記述されたシナリオテンプレートをダウンロードする。このダウンロードしたシナリオテンプレートには、撮影時間やカメラの移動が予め決められて記録されている。
ユーザは、ダウンロードしたシナリオテンプレートに記録されている撮影時間やカメラの移動に従って、撮影を行う。その後、ユーザは、撮影した映像を、シナリオテンプレートと共に、映像編集サーバへ送信する。映像編集サーバが、ユーザから受信したシナリオテンプレートに基づいて受信した映像を編集することにより、ユーザが簡単に映像を生成することが出来るパーソナル映像製作システムの技術が知られている(例えば、非特許文献1参照)。
電子情報通信学会総会大会2006年 D−9−9「vlogテンプレートを用いたパーソナル映像製作システム」日本電信電話株式会社NTTサイバーソリューション研究所 狩塚俊和、小西宏志、森本正志
しかしながら、非特許文献1に示すパーソナル映像製作システムにあっては、映像を編集するための順序が記述されたシナリオテンプレートを生成するということが出来ないという問題がある。
そのため、非特許文献1に示すパーソナル映像製作システムにあっては、予め生成されたシナリオテンプレートのみでしか、ユーザは映像を編集できないという問題があった。
本発明は、このような事情に鑑みてなされたもので、その目的は、動画または音声であるメディアを編集するための順序が記述されたシナリオテンプレートを生成することが出来るメディア編集サーバ装置、メディア編集システム、およびメディア編集プログラムを提供することにある。
この発明は上述した課題を解決するためになされたもので、請求項1に記載の発明は動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、前記API毎に記憶されている基本API対応記憶部と、前記基本API間の遷移確率が記憶されている遷移確率記憶部と、複数のAPIが入力されることに応じて、前記入力された複数のAPIに該当する基本APIを前記基本API対応記憶部から読み出し出力する基本API選択部と、前記基本API選択部から入力された基本API間の遷移確率を、前記遷移確率記憶部から読み出し、前記読み出した遷移確率に基づいて前記基本APIが接続された編集グラフを生成するグラフ推定部と、前記グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、を有することを特徴とするメディア編集サーバ装置である。
請求項2に記載の発明は、前記メディア編集サーバ装置が、前記APIの順序と前記APIのパラメータの設定値とが記述された編集グラフが記憶されている編集グラフ蓄積部と、前記編集グラフ蓄積部に記憶されている編集グラフに基づいて、前記API毎に、該APIを統計的に異なるパラメータの設定値を有する前記複数の基本APIに分類し、前記APIと前記分類した基本APIとを関連付けて前記基本API対応記憶部に記憶させる基本API分類部と、前記基本API分類部が分類した基本API間の遷移確率を、前記編集グラフ蓄積部に蓄積されている編集グラフに基づいて算出し、該算出した遷移確率を前記遷移確率記憶部に記憶させる基本API遷移確率算出部と、を有することを特徴とする請求項1に記載のメディア編集サーバ装置である。
請求項3に記載の発明は、前記メディア編集サーバ装置が、APIを基本APIに分類するために用いる、複数のパラメータの設定値を分類するための分類情報が記憶されている分類情報記憶部を有し、前記基本API分類部が、前記APIを前記基本APIに分類する時に、前記複数のパラメータの設定値を統計的に分類するための分類情報を前記編集グラフ蓄積部に蓄積されている編集グラフに基づいて算出し、該算出した分類情報に基づいて前記APIを前記基本APIに分類し、前記算出した分類情報を前記分類情報記憶部に記憶させ、前記基本API選択部が、前記APIと該APIのパラメータの設定値とが入力されたことに応じて、前記入力されたAPIに該当する分類情報を前記分類情報記憶部から読み出し、該読み出した分類情報と前記入力されたパラメータの設定値とに基づいて、前記入力された複数のAPIに該当する基本API対応記憶部から読み出した基本APIの中から、前記入力された複数のパラメータの設定値に該当する基本APIを選択し、該選択した基本APIを出力する、ことを特徴とする請求項2に記載のメディア編集サーバ装置である。
請求項4に記載の発明は、前記メディア編集サーバ装置が、ユーザが用いる端末とネットワークを介して接続されるメディア編集サーバ装置であり、前記メディア編集サーバ装置が、メディアを処理するAPIが記憶されているAPIライブラリ部と、編集グラフを前記編集グラフ蓄積部から取得するための選択情報を前記端末から受信し、前記受信した選択情報に基づいて前記編集グラフ蓄積部から編集グラフを取得するグラフ選択部と、
メディア入力元およびメディア出力先を指定するためのメディア指定情報を前記端末から受信するメディア宛先入力部と、前記メディア宛先入力部が受信したメディア指定情報に基づいてメディア入力元からメディアを取得するメディア受信部と、を有し、前記実行部が、前記取得した編集グラフに記述されているAPIを前記APIライブラリ部から取得し、前記取得した編集グラフと前記取得したAPIとに基づいて前記メディア受信部が取得したメディアを編集し、前記編集したメディアを前記メディア指定情報のメディア出力先に出力する、ことを特徴とする請求項1から請求項3に記載のメディア編集サーバ装置である。
請求項5に記載の発明は、前記端末が、前記複数のAPIを、または、前記APIと該APIのパラメータの設定値とを、前記メディア編集サーバ装置に入力し、前記グラフ選択部が、前記グラフ推定部が生成した編集グラフを、前記取得する編集グラフとする、
ことを特徴とする請求項4に記載のメディア編集サーバ装置である。
請求項6に記載の発明は、ユーザが用いる端末とメディア編集サーバ装置とがネットワークを介して接続されるメディア編集システムであり、前記メディア編集サーバ装置が、
動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、前記API毎に記憶されている基本API対応記憶部と、
前記基本API間の遷移確率が記憶されている遷移確率記憶部と、複数のAPIが入力されることに応じて、前記入力された複数のAPIに該当する基本APIを前記基本API対応記憶部から読み出し出力する基本API選択部と、前記基本API選択部から入力された基本API間の遷移確率を、前記遷移確率記憶部から読み出し、前記読み出した遷移確率に基づいて前記基本APIが接続された編集グラフを生成するグラフ推定部と、前記グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、を有することを特徴とするメディア編集システムである。
請求項7に記載の発明は、メディア編集サーバ装置であるコンピュータを、動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、前記API毎に記憶されている基本API対応記憶部と、前記基本API間の遷移確率が記憶されている遷移確率記憶部と、複数のAPIが入力されることに応じて、前記入力された複数のAPIに該当する基本APIを前記基本API対応記憶部から読み出し出力する基本API選択部と、前記基本API選択部から入力された基本API間の遷移確率を、前記遷移確率記憶部から読み出し、前記読み出した遷移確率に基づいて前記基本APIが接続された編集グラフを生成するグラフ推定部と、前記グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、として機能させるためのメディア編集プログラムである。
この発明によれば、動画または音声であるメディアを編集するための順序が記述されたテンプレートが、遷移確率に基づいた推定により生成されるため、テンプレートを生成することが出来るという効果を奏する。
これにより、ユーザは、生成された様々なテンプレートでメディアを編集できるという効果を奏する。
<第1の実施の形態>
以下、図面を参照して、本発明の第1の実施の形態について説明する。図1は、この発明の一実施形態による映像編集システムの構成を示す概略ブロック図である。
図1に示すように、映像編集システムは、端末103Aと端末103Bと映像元端末104と映像先端末105とが、それぞれ、ネットワーク101を介して映像編集サーバ102と接続されている。
なお、端末103A、端末103B、映像元端末104、映像先端末105と映像編集サーバ102は、それぞれ、ネットワーク101上でIPアドレスなどの識別情報により一意に識別されている。
端末103Aまたは端末103Bは、ユーザが用いる端末であり、例えば、携帯電話、パーソナルコンピュータ、または、携帯情報機器などである。端末103Aまたは103Bには、周辺機器として入力装置、表示装置等(いずれも図示せず)が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはCRT(Cathode Ray Tube)や液晶表示装置等のことをいう。また、端末103Aまたは端末103Bは、ネットワーク101を介して映像編集サーバ102と通信する機能を有する。
ここで、端末103Aをユーザが映像を編集するために用いる端末とし、端末103Aをユーザが映像を閲覧するために用いる端末として説明する。また、端末103Aと端末103Aとは、異なる端末であってもよいし、また、同一の端末であってもよい。
映像元端末104と映像先端末105とは、映像を蓄積する機能と、ネットワーク101を介して映像編集サーバ102と映像を送受信する機能とを有する。
なお、映像元端末104と映像先端末105とは、同一の端末であってもよいし、異なる端末であってもよい。また、映像元端末104と映像先端末105とは、それぞれ、端末103Aまたは端末103Bと同一の端末であってもよい。また、映像元端末104と映像先端末105とは、それぞれ、後述する映像編集サーバ102内で映像が蓄積されている動画蓄積部205であってもよい。
次に、図2を用いて、映像編集サーバ102の構成を説明する。
映像編集サーバ102は、APIが予め記憶されているAPIライブラリ部201と、編集グラフが記憶されている編集グラフ蓄積部203と、編集された動画が蓄積されている動画蓄積部205と、蓄積された動画と編集グラフとAPIとの組み合わせとそれぞれの閲覧回数または利用回数が記憶されているランキングDB(データベース)部213と、APIや動画や編集グラフを順位付けて公開する公開閲覧部206と、編集グラフを選択または作成し、また、動画の宛先の入力がされる編集グラフ作成部202と、編集グラフ作成部202から受信する動画の宛先と編集グラフとに基づいて動画を編集する実行部204と、を有する。
ここで、APIライブラリ部201に記憶されるAPIと、編集グラフ蓄積部203に記憶される編集グラフと、について説明する。
編集グラフとは、対象となる映像、映像の順序、映像に対する映像効果処理の順序が記述された情報である。映像効果処理としては、例えば、フィルタ処理、合成処理、コントラスト処理、レンダリング処理がある。
フィルタ処理としては、例えば、エッジ強調のフィルタ処理、ノイズ除去のフィルタ処理、モノクロ調やセピア調などの色調を変更するフィルタ処理などがある。
合成処理としては、例えば、2つの映像があり、画面の全体で1つの映像を表示しその中の1部の小さい画面に別の映像を表示する処理(以降、2画面表示処理とする)、または、1つの画面で複数の画像を同時に表示する処理(以降、多画面表示処理とする)などがある。
また、それぞれの映像効果処理には、より詳細な条件がパラメータとしてある。例えば、エッジ強調のフィルタ処理においては、どの程度のエッジを強調するかを特定するパラメータがある。また、例えば、2画面表示処理においては、小さい画面を、画面のどの位置に、どの大きさで表示するのかを指定するパラメータがある。
これらの映像効果処理の1つ1つの処理を実行するものがAPIであり、APIはAPIライブラリ部201に予め記憶されている。
なお、ここでいう映像とは、主に映像のみによる画像をいうが、音声が付属された映像であってもよい。
また、映像とは静止画でもよい。静止画の場合には、同じ映像を繰り返し写すことにより、静止画を動画として取り扱うようにしてもよい。
また、映像とは、予め保存された映像であってもよいし、WEBカメラで撮影されるリアルタイムに送受信される映像であってもよい。
(APIについての説明)
より詳しく説明すると、編集に用いられるAPIとは、0個以上の映像と0個以上の数値や文字列などの映像以外のパラメータを入力として、1個の映像もしくは1個の数値や文字列などの映像以外の値を出力するものである。
APIの出力について補足すると、1個以下というのはC言語などでいうVOID型関数を許すことと同じ意味である。また、APIは関数であり、映像を出力するAPIはそれ以外の値は全く出力しない。同様に、値を出力するAPIは、逆に映像は出力しない。
次に代表的なAPIである、フィルタ型API、合成処理API、コントラストAPI、レンダリング処理APIについて説明する。
フィルタ型APIとは、入力として1つの映像、パラメータとして1つのフィルタ行列をとり、フィルタ処理された映像を出力する。フィルタ行列の設定次第で、エッジ強調、ノイズ除去(俗に言う線形フィルタ)、色変換(=色調変換)を実行するフィルタとなる。なお、特殊なノイズ除去や色変換(=色調変換)などは非線形フィルタ処理であることが多い。また、実際のOpenCVなどの関数ではフィルタ処理とは別として扱う(関数自体が別物)ことが多いが、広義の解釈でフィルタ処理を扱っていることとなる。
合成処理APIとは、2つ以上の映像を合成して1つの映像を出力するAPIであり、基本的な合成処理として、配置的合成、重ね合わせ、時間連結の3種類がある。
配置的合成とは、例えば、多次元中継のように、別々の映像を同一画面の中に配置して流す合成である。パラメータとしては画面内の位置の情報がある。
重ね合わせとは、フェードアウトのように別の映像に徐々に薄くしながら変更する処理の合成である。画素値の合成具合(αブレンディング)を決める比率をパラメータとして渡す。なお、本来はC言語のように、ブレンド関数を関数ポインタとしてパラメータとして渡すのが一般的である。
時間連結とは、例えば、Aという映像が終わった(例えば、Aという映像信号が途絶えた)後、Bという映像を流す処理である。パラメータは基本的にない。
コントラストAPIとは、白(RGB=255,255,255)対黒(RGB=0,0,0)の明度の比率を変更できる機能であり、入力および出力ともそれぞれ1つの映像であり、パラメータは比(例えば700:1)となる。ディスプレイなどの表示装置のガンマ特性により高階調の色が全部同じに見えてしまう色飛び現象が起こらないようにする色変換処理もこの類に入れてもよい。
レンダリング処理APIとは、3次元的に3Dモデルを配置し、光源、カメラ位置を設定して透視射影(遠くのものが小さくなるような射影方式)を行い、2次元の画像を得る処理である。レンダリング方法にも種類があり、Zバッファ法、光線追跡法、ラジオシティ法、フォトンマッピングなどがある。基本的に、入力は映像ではなく1つのモデリング空間などといった映像以外のものを与え、1つの映像を出力する。つまりレンダリング処理とは、映像以外のデータを映像化するといった処理の総称である。
その他にも、映像以外を出力するAPIがある。例えば映像の全ての画素値の平均値を返すAPIや、映像を入力としてその形状モデルを返すAPI(レンダリング用)などがある。
(編集グラフについての説明)
編集グラフとは、上記のAPIに必要なパラメータを与え、出力した映像や値をまた別のAPIの入力として用いるといったAPI同士の連鎖構造を編集グラフと定義しているものである。
なお、編集グラフは、1つの繋がりとして編集グラフを管理するため、全く入出力が独立したAPIが存在することは出来ない。この場合、2つの異なる編集グラフとなる。
ここで、本実施形態において説明する編集グラフとシナリオテンプレートとは、同一のものである。但し、シナリオテンプレートはある程度ユーザが模範とするものであり、意味のある映像が全く生成されない編集グラフは望ましくない。
従って本実施形態では、数ある編集グラフの中でも、後述の公開閲覧において上位にランキングされる編集グラフがシナリオテンプレートに該当するものとする。つまり、編集グラフの中で、よく用いられ、ユーザが模範とするのに適したものがシナリオテンプレートである。
また、後述の編集グラフの選定や検索や推定によって得られる編集グラフは、順位が高いもの順に提示されるので、提示された編集グラフはシナリオテンプレートに該当することになる。
次に、図3と図4とを用いて、APIライブラリ部201に記憶されるAPIと、編集グラフ蓄積部203に記憶される編集グラフとについて、具体的に説明する。
ここでは、図3(a)に示す、一例としての編集グラフである編集グラフP510のデータ構造を例に説明する。編集グラフP510は、O1からO5の5つのオブジェクトから構成されている。1つのオブジェクトが、1つの映像処理、つまり、1つのAPIに相当する。
APIは、APIインデックス情報により、その型が記述されている。APIインデックス情報も、APIライブラリ部201に記憶されている。
例えば、図3(b)に示すような、APIインデックス情報P520には、(ア)に示すように、APIを識別する識別番号(API識別番号とする)が記述されている。
また、APIインデックス情報P520の各APIには、図3(b)の(イ)に示すように、API識別番号と関連付けられてAPIの名称、入出力映像及びパラメータの型が順番に記述されている。
以上説明したAPIインデックス情報は、編集グラフ蓄積部203に記憶される編集グラフにおいて、データ構造の型やパラメータの並びのリファレンスとなる。
図4は、APIライブラリ部201に記憶される図3(b)に示すようなAPIを、図で示したものである。
一般に、各APIは、図4(a)に示すように、0個以上の映像ストリームと0個以上の数値などパラメータを入力とし、1つの映像ストリームまたは1つの値を出力し、例えば、図4(a)のフィルタP501のような形状である。
但し、図4(b)に示すように、映像をコピーして複数に流すAPIである複製器P502は、例外的に、出力が複数存在する。なお、ここでの映像ストリームとは連続的な画像情報の流れを表すものである。
図3の説明に戻り、上記説明したAPIライブラリ部201に記憶されているAPIを元に、編集グラフは、図3(c)に示すようなデータ構造でAPIの連結が記されており、この編集グラフは、1つのファイルとして編集グラフ蓄積部203に記憶されている。
編集グラフは、まず、オブジェクトの識別番号とオブジェクトに対応するAPIのAPI識別番号とが組として記述されており、また、それぞれのオブジェクトにおけるAPIのパラメータが記述されている。なお、図3(c)では、各行が、1つのオブジェクトを表している。
ここでは、図3(c)の1行目が図3(a)のオブジェクトO1に対応し、2行目がオブジェクトO2に、3行目がオブジェクトO3に、4行目がオブジェクトO4に、5行目がオブジェクトO5に、それぞれ対応する。
編集グラフには、(ウ)と(エ)に示すように、APIオブジェクト番号と、APIオブジェクト番号に対応するAPI識別番号とが組みとして記述されている。これは、同じAPIでも複数回用いられる場合があり、それぞれのAPIを区別するためである。
この組により、例えば、図3(c)の編集グラフの1行目では、オブジェクト1が図3(b)に示されるAPI識別番号1のAPIであることが示されている。
また、(オ)に示すように、APIインデックス情報に記された順番で、パラメータが記述されている。
入出力パラメータには数値や文字列などが記述される。パラメータの特殊な例として、(カ)に示すように、パラメータに行列が入る場合もある。また(キ)に示すように、パラメータが文字列の場合もある。パラメータが文字列の場合には「”aaa”」のように、文字列aaaをダブルクオーテーションで括る。
また(ク)に示すような、「4¥2」の記述により、APIオブジェクト番号4の2番目のパラメータからの入力または出力が記述されている。編集グラフには、このような、API同士の入力または出力の接続を示す連結情報が記述されている。
(ケ)のinputや(コ)のOutPutの文字列は、予め決められた文字列であり、外部からのデータの入出力であることを示す。この記述により、例えば、映像先端末105、映像元端末104または動画蓄積部205が、動画の入力元や出力先として設定される。
図3(c)に示したように、1つの編集グラフには、APIのオブジェクト番号、APIオブジェクト番号に対応するAPI識別番号、API識別番号により識別されるAPIのパラメータ、APIオブジェクト同士の結合の情報が含まれている。
このような1つの編集グラフは、例えば、図3(d)の(サ)に示すように、編集グラフ識別番号を含むファイル名で、1つのファイルとして編集グラフ蓄積部203に記憶されている。
なお、編集グラフは、図3(c)に示したようなテキスト形式で記述される以外にも、XML(Extensible Markup Language)形式で記述することも可能である。
なお、図3(c)に示す編集グラフの連結情報と、図3(b)に示すAPIのパラメータの型とに基づいて、図3(a)に示すように、編集グラフを図として表示することが可能である。
例えば、後述の公開閲覧部206または選定部214は、API識別番号に基づいて、パラメータをAPIインデックス情報から取得し、図3(a)に示すように、編集グラフを図としてユーザ端末103Aまたは103Bに表示することが可能である。
以上説明したように、APIには、APIを識別する識別番号(API識別番号)が付けられている。なお、APIとは、動画に対して映像処理を実行するためのプログラムや関数などである。また、APIインデックス情報には、各APIの型が記されている。
編集グラフには、API識別番号とその順序、各APIのパラメータなどが記述されている。この編集グラフは、編集グラフ識別番号を含むファイル名のファイルとして、編集グラフ蓄積部203に記憶されている。
以降、説明のために、APIとは、APIとAPIインデックスとを含むものとして説明する。
次に、図2の映像編集サーバ102の各構成を詳細に説明する。
APIライブラリ部201には、映像を処理するためのAPIと、API識別番号とが、関係付けられて予め記憶されている。
編集グラフ蓄積部203には、動画を編集するためのAPI識別番号の順序が記述された編集グラフと、編集グラフを識別するための編集グラフ識別番号(編集グラフ識別番号)とが、関係付けて記憶されている。例えば、編集グラフ蓄積部203には、ファイル名に編集グラフ識別番号が含まれてファイルとして編集グラフが記憶されており、編集グラフ識別番号を検索キーとして、編集グラフ識別番号を含むファイル名を検索することにより、該当する編集グラフのファイルを検索することが可能である。
動画蓄積部205には、編集した動画と、編集した動画を識別するための識別番号(動画識別番号)とが、関係付けて記憶されている。例えば、編集グラフ蓄積部203と同様に、動画のファイル名に動画識別番号が含められている。
ランキングDB部213には、編集グラフ蓄積部203に蓄積されている編集グラフの編集グラフ識別番号と、動画蓄積部205に記憶されている該編集グラフを用いて編集され動画の動画識別番号とが関係付けられて、グラフ動画対応テーブルT1として、記憶されている。
また、ランキングDB部213には、動画識別番号と、その動画識別番号により識別された動画の利用回数と閲覧回数とが関係付けられて、画像回数テーブルT2として、記憶されている。
また、ランキングDB部213には、編集グラフ識別番号と、その、編集グラフ識別番号により識別される編集グラフの利用回数と閲覧回数とが関係付けられて、編集グラフ回数テーブルT3として、記憶されている。
また、ランキングDB部213には、API識別番号と、その、API識別番号により識別されるAPIの利用回数と閲覧回数とが関係付けられて、API回数テーブルT4として、記憶されている。
なお、利用回数とは、編集グラフ、APIまたは動画のそれぞれが、実行部204で実行される動画の編集に用いられた回数である。また、閲覧回数とは、編集グラフ、APIまたは動画のそれぞれが、公開閲覧部206を介して端末103Bのユーザに閲覧された回数である。
公開閲覧部206は、端末103Bからの要求を受信し閲覧するための情報を端末103Bへ送信する送受信部2061、ランキング取得部2062、情報取得表示部2063、閲覧数登録部2064を有する。
ランキング取得部2062は、送受信部2061を介して受信する端末103Bからの要求により、ランキングDB部213の画像回数テーブルT2、編集グラフ回数テーブルT3またはAPI回数テーブルT4から、画像識別番号、編集グラフ識別番号またはAPI識別番号とそれぞれの利用回数または閲覧回数を取得し、取得したそれぞれの利用回数または閲覧回数を合計して、画像、編集グラフまたはAPIそれぞれの順位付けを実行する機能を有する。
例えば、ランキング取得部2062は、画像回数テーブルT2から動画識別番号ごとの利用回数と閲覧回数とを取得し、動画識別番号ごとの利用回数と閲覧回数とを合計し、合計数が大きい動画識別番号の順に、動画の順位付けをする。
また、ランキング取得部2062は、グラフ動画対応テーブルT1から取得する編集グラフ識別番号と動画識別番号との関連付け、または、編集グラフ蓄積部203から取得する編集グラフに基づいて、取得した画像識別番号、編集グラフ識別番号またはAPI識別番号それぞれの利用回数または閲覧回数を、組み合わせて順位付けを実行する機能を有する。
例えば、ランキング取得部2062は、画像回数テーブルT2から動画識別番号ごとの利用回数と閲覧回数とを取得し、動画識別番号ごとの利用回数と閲覧回数とを合計し、また、編集グラフ回数テーブルT3から編集グラフ識別番号ごとの利用回数と閲覧回数とを取得し、編集グラフ識別番号ごとの利用回数と閲覧回数とを合計し、この合計した回数が多い順に、動画識別番号により識別される動画または編集グラフ識別番号により識別される編集グラフの順位付けをする。
また、情報取得表示部2063は、ランキング取得部2062が順位付けした、順位に基づいて、順位が上位の動画識別番号に対応する動画識別番号に関連づけられた動画を動画蓄積部205から取得し、また、順位が上位の編集グラフ識別番号に関連づけられた編集グラフを動画蓄積部205から取得し、また、順位が上位のAPI識別番号に関連づけられたAPIライブラリ部201から取得し、端末103Bに送受信部2061を介して送信して表示する機能を有する。
なお、情報取得表示部2063は、グラフ動画対応テーブルT1に基づいて、動画と該動画を編集するために用いた編集グラフとAPIとを関連づけて組みとして端末103Bに表示する機能を有する。
閲覧数登録部2064は、端末103Bに表示された編集グラフ、APIまたは動画をユーザが閲覧したことを検出し、ユーザが閲覧した編集グラフ、APIまたは動画のランキングDB部213の画像回数テーブルT2、編集グラフ回数テーブルT3またはAPI回数テーブルT4に記憶されている閲覧回数を更新する機能を有する。
閲覧数登録部2064は、例えば、端末103Bのユーザが動画を閲覧したことを検出した場合には、画像回数テーブルT2に記憶されている検出した動画の動画識別番号に関係付けられている閲覧回数を更新する。
また、閲覧数登録部2064は、例えば、端末103Bのユーザが、動画を閲覧したことを検出した場合には、検出した動画の動画識別番号に対応する編集グラフ識別番号をグラフ動画対応テーブルT1から取得し、取得した編集グラフ識別番号に対応する編集グラフを編集グラフ蓄積部203から取得し、次に、検出した動画の動画識別番号と関係付けられて画像回数テーブルT2に記憶されている閲覧回数、取得し編集グラフ識別番号に関係付けられて編集グラフ回数テーブルT3に記憶されている閲覧回数、および、取得した編集グラフに記述されているAPI識別番号に関係付けられてAPI回数テーブルT4に記憶されている閲覧回数を、それぞれ更新する。
なお、本実施の形態において、更新するとは、画像回数テーブルT2、編集グラフ回数テーブルT3またはAPI回数テーブルT4に記憶されている、利用回数または閲覧回数の数を1つ増加させて登録することである。
なお、本実施の形態において、閲覧とは、端末103Bの表示手段に表示されている編集グラフ、APIまたは動画を、ユーザが端末103Bの入力手段により選択することである。
編集グラフ作成部202は、ユーザの端末103Aと送受信するための送受信部2021と、動画宛先入力部2022と、編集グラフ選択部2025と、グラフ編集部2024と、グラフ動画送信部2023とを有する。
動画宛先入力部2022は、編集の対象となる映像(映像元)、また、編集した映像の出力先(映像先)を設定するための映像指定情報を、端末103Aのユーザから、送受信部2021を介して受信する機能を有する。
この映像指定情報とは、例えば、編集する元になる映像の入力先が映像元端末104の動画であることや、また、編集した映像の出力先が映像先端末105であることが識別される情報である。例えば、映像元端末104または映像先端末105のIPアドレスやディレクトリ名やファイル名などの情報である。なお、映像指定情報として、動画蓄積部205に登録されている動画を指定してもよい。
ここで受信して設定された映像元と映像先の情報は、先の図3(c)を用いて説明した、編集グラフのinputとoutputとの、それぞれに関係付けられる。なお複数の映像元や映像先がある場合には、input1、input2、input3として、複数の映像元や映像先を指定することも可能である。
グラフ選択部2025は、編集グラフを選択するための選択情報を、端末103Aから送受信部2021を介して受信し、受信した選択情報に応じて編集グラフ蓄積部203から編集グラフを取得する機能を有する。
グラフ選択部2025は、端末103Aから選択情報として、API識別番号またはグラフ識別番号を受信する。これは、グラフ選択部2025が、APIまたは編集グラフを端末103Aに表示し、端末103Aのユーザが表示されたAPIまたは編集グラフを選択する。ここで、表示したAPIまたは編集グラフと、その識別番号であるAPI識別番号または編集グラフ識別番号とは対応付けられている。
次に、端末103Aが、ユーザが選択したAPI識別番号または編集グラフ識別番号をグラフ選択部2025に送信する。グラフ選択部2025は、選択されたAPI識別番号または編集グラフ識別番号を選択情報として端末103Aから受信する。
または、ユーザが、API識別番号または編集グラフ識別番号を端末103Aに直接入力し、端末103Aが、入力されたAPI識別番号または編集グラフ識別番号をグラフ選択部2025へ送信する。グラフ選択部2025は、API識別番号または編集グラフ識別番号を選択情報として端末103Aから受信する。
グラフ選択部2025が、編集グラフを選択する機能については、後に詳述する。
グラフ編集部2024は、送受信部2021を介した入力される端末103Aのユーザの入力に応じて、APIをAPIライブラリ部201から取得し、取得したAPIに基づいて、ユーザが編集グラフを新規に作成する機能を有する。
また、グラフ編集部2024は、グラフ選択部2025が取得した編集グラフをユーザが編集する機能を有する。また、グラフ編集部2024は、グラフ選択部2025が取得した編集グラフと、グラフ編集部2024が取得したAPIと、を組み合わせて、ユーザが編集グラフを編集する機能を有する。
グラフ動画送信部2023は、送受信部2021を介して端末103Aのユーザから編集の確定が入力されたことに応じて、動画宛先入力部2022に入力された映像指定情報と、ユーザの入力に応じてグラフ選択部2025が取得した編集グラフまたはユーザの入力に応じてグラフ編集部2024で作成された編集グラフとを、実行部204に送信する機能を有する。
実行部204は、映像生成部2041、登録部2042、映像送信部2043および映像受信部2044を有する。
映像受信部2044は、編集グラフ作成部202から受信した映像指定情報に基づいて、映像元から映像を取得する機能を有する。例えば、映像受信部2044は、映像元端末104から編集対象となる映像を取得する。
映像生成部2041は、編集グラフ作成部202から受信した編集グラフに記述されているAPI識別番号に基づいて、APIをAPIライブラリ部201から取得する機能を有する。また、映像生成部2041は、受信した編集グラフと、取得したAPIと、映像受信部2044が取得した映像とに基づいて、映像を編集する機能を有する。
映像送信部2043は、映像生成部2041が編集した映像を、編集グラフ作成部202から受信した映像指定情報に基づいて映像先へ送信する機能を有する。例えば、映像送信部2043は、編集した画像を、映像先端末105へ送信する。
登録部2042は、映像生成部2041が編集した映像を、動画識別番号を付けて動画蓄積部205に登録する機能を有する。
また、登録部2042は、編集グラフ作成部202から受信した編集グラフを、編集グラフ識別番号を付けて編集グラフ蓄積部203に登録する機能を有する。
なお、登録部2042は、同一の編集グラフが既に編集グラフ蓄積部203に登録されている場合には、編集グラフを登録せず、また、既に編集グラフ蓄積部203に登録されている編集グラフの編集グラフ識別番号を編集グラフ識別番号とする。
また、登録部2042は、登録した動画識別番号と編集に用いた編集グラフ識別番号とを関連付けてランキングDB部213のグラフ動画対応テーブルT1に登録する機能を有する。また、登録部2042は、ランキングDB部213部の編集グラフ回数テーブルT3における編集に用いた編集グラフ識別番号の利用回数を更新し、API回数テーブルT4における編集に用いた編集グラフに記述されているAPI識別番号のそれぞれの利用回数を更新する機能を有する。
また、登録部2042は、編集グラフ作成部202から受信した映像指定情報による映像元が、動画蓄積部205である場合には、映像指定情報による映像元の動画識別番号を動画蓄積部205から取得し、画像回数テーブルT2における取得した動画識別番号の利用回数を更新する。
以上のように、登録部2042は、編集に用いた編集グラフ、API、および動画の、それぞれの利用回数を更新する機能を有する。このように、利用回数が更新されることにより、編集グラフ、API、動画蓄積部205に登録されている動画を順位付けにより評価することが可能となる。
次に、図5を用いて、端末103Bのユーザが、閲覧する場合の映像編集システムの動作を説明する。ここでは、編集グラフで順位が高いものを表示する場合について説明する。まず、端末103Bのユーザが、閲覧する要求を、映像編集サーバ102に送信する(ステップS501)。
端末103Bからの要求を受信した映像編集サーバ102の公開閲覧部206は、ランキングDB部213の画像回数テーブルT2、編集グラフ回数テーブルT3またはAPI回数テーブルT4からそれぞれの利用回数と閲覧回数を受信する。また、公開閲覧部206は、グラフ動画対応テーブルT1から対応関係の情報を取得する(ステップS502、ステップS503)。
次に、公開閲覧部206は、取得したそれぞれの利用回数または閲覧回数、および対応関係に基づいて、グラフ識別番号の順位付けを実行する(ステップS504)。
次に、公開閲覧部206は、順位付けで上位の編集グラフ識別番号を選択し、選択した編集グラフ識別番号に基づいて編集グラフ蓄積部203から編集グラフを取得する(ステップS505、S506)。
次に、公開閲覧部206は、取得した編集グラフに記述されるAPI識別番号に基づいてAPIライブラリ部201からAPIを取得する(ステップS507、SA508)。
次に、公開閲覧部206は、編集グラフ識別番号と関連づけられている動画識別番号をグラフ動画対応テーブルT1から取得し、取得した動画識別番号と画像回数テーブルT2から取得した利用回数と閲覧回数に基づいて、取得した動画識別番号の順位付けを実行し、取得した動画識別番号の動画から、順位付けにより最も順位が高いものの動画識別番号を取得し、最も順位が高いものの動画識別番号に基づいて動画蓄積部205から動画を取得する(ステップS509、S510)
次に、公開閲覧部206は、取得した編集グラフとAPIと動画とに基づいて、端末103Bに送信し、編集グラフと該編集グラフに対応する動画とを組みとして端末103Bに表示する(ステップS511)。
次に、公開閲覧部206は、端末103Bのユーザが閲覧をしたことを検出した場合には、閲覧された編集グラフ、APIまたは動画のランキングDB部213に記憶されている閲覧回数を更新する(ステップS512)。
以上のようにして、編集グラフの順位付けで順位が高い編集グラフと、その編集グラフを用いて編集された動画の中で順位が高いものを組みとして表示することが可能となる。
図6に、公開閲覧部206により公開閲覧され、端末103Bの表示手段に表示される、一例としての表示例を示す。図6の6Bに示すように、編集グラフと編集グラフに対応する動画とが組として表示される。
また、図6の6Aに示すように、APIについても同様に順位付けがされ、APIの順位が高いものと、そのAPIを用いた最も順位が高い動画とを組として表示することも可能である。
公開閲覧部206は、図6に示すように、1画面の中に基本API表示部位P401と推奨テンプレート表示部P402を並べて表示する。基本APIを今まで利用された回数が多いもの順に列挙し、処理API名と処理結果動画例及び必要パラメータの種類をひとまとまりとして表示する。
公開閲覧部206が表示する処理結果としての動画の例は、以前に該当APIのみを用いた出力された動画が動画蓄積部205に存在した場合に、最も閲覧回数が多い動画を表示する。また公開閲覧部206は、推奨テンプレートに関してはシナリオテンプレート名とそれにより映像編集の処理がされた動画(処理結果動画)及び編集グラフを、ひとまとまりの組として表示する。
公開閲覧部206は、推奨テンプレート表示部を表示する場合は、処理結果動画の閲覧回数と対応するシナリオテンプレートの利用回数の和が多い順に提示する。また、公開閲覧部206は、該表示部はユーザによって特定のAPIが指定された場合には、それらを含むシナリオテンプレートの中で順位付けをして表示する。
次に、図7を用いて、端末103Aのユーザが、動画を編集する場合の映像編集システムの動作を説明する。ここでは、端末103Aのユーザが、映像元として映像元端末104を指定し、映像先として映像先端末105を指定し、また、編集グラフ識別番号により編集グラフを選択した場合について説明する。
まず、端末103Aのユーザが、編集する要求を、映像編集サーバ102に送信する(ステップS701)。
端末103Aからの要求を受信した映像編集サーバ102の編集グラフ作成部202は、端末103Aのユーザから、編集グラフ識別番号と映像指定情報の入力とを受信する(ステップS702)。
次に、編集グラフ作成部202は、受信した編集グラフ識別番号に基づいて編集グラフを編集グラフ蓄積部203から取得する(ステップS703、S704)。
次に、編集グラフ作成部202は、取得した編集グラフと受信した映像指定情報とを実行部204に送信する(ステップS705)
編集グラフと映像指定情報とを編集グラフ作成部202から受信した実行部204は、受信した映像指定情報に基づいて、映像元端末104から映像を取得する(ステップS706、S707)。
次に、実行部204は、受信した編集グラフに記述されているAPI識別番号に基づいて、APIをAPIライブラリ部201から取得する(ステップS708、S709)。
次に、実行部204は、取得した映像と、取得したAPIと、受信した編集グラフとに基づいて、映像を編集する(ステップS710)。
次に、実行部204は、編集した映像を、受信した映像指定情報に基づいて、映像先端末105へ送信する(ステップS711)。
また、実行部204は、編集した映像を、動画蓄積部205に、動画識別番号を付けて登録する(ステップS712)。
また、実行部204は、編集グラフ作成部202から受信して編集に用いた編集グラフを、編集グラフ蓄積部203に編集グラフ識別番号を付けて登録する(ステップS713)。
また、実行部204は、動画識別番号と編集グラフ識別番号とを関連付けてランキングDB部213のグラフ動画対応テーブルT1に登録する。また、実行部204は、ランキングDB213の画像回数テーブルT2、編集グラフ回数テーブルT3およびAPI回数テーブルT4に記憶されている、編集に用いた動画識別番号、編集グラフ識別番号およびAPIの利用回数をそれぞれ更新する(ステップS714)
次に、図7のステップS702において、編集グラフ作成部202においてなされる処理について、図8から図12を用いて詳細に説明する。
まず、図8を用いて、編集グラフ作成部202の送受信部2021に、ユーザが端末103Aにより接続することにより、ユーザが編集作業をする方法について説明する。
まず編集グラフ作成部202の送受信部2021は、ユーザが端末103Aにより、接続されることにより、編集する機能を実行し(ステップB300)、ユーザにより編集の機能が選択されるのを待つ(ステップB301)。
編集の機能には、APIライブラリ部201からAPI選択を行うAPI選択機能(ステップB303)、順位付けに基づいて編集グラフを選択する選定機能(ステップB310)、必要なAPIを含む編集グラフを検索する編集グラフ検索機能(ステップB304)、必要なAPIを含む編集グラフを推定する編集グラフ生成機能(ステップB305)、また取得したAPI及び編集グラフを結合及び各パラメータの値を変更する部品組立機能(ステップB302)、映像出力先を指定する映像出力先機能(ステップB306)と、映像入力元を指定する映像入力元指定機能(ステップB307)と、がある。
ユーザは、機能選択を繰り返し行い、確定を示す情報を入力する(ステップB308)。
送受信部2021は、ユーザの機能選択に応じて、各機能を実行する。また、確定の情報の入力を受信したことにより、編集グラフや映像指定情報が入力されているか否かを検出し(ステップB308)、入力されていない場合には、端末103Aにワーニングを表示するなどして、選択機能(ステップB301)を繰り返す。
送受信部2021は、ステップB308の検出結果で、入力されている場合には、編集の処理を実行し、グラフ動画送信部2023を介して、編集グラフおよび映像指定情報を、実行部204に送信する(ステップB309)。
以降は、図7のステプS705以降に説明した処理がなされる。
なお、映像出力先機能(ステップB306)および映像入力元指定機能(ステップB307)の機能は、先に説明した動画宛先入力部2022の機能であり、API選択機能(ステップB303)および部分組立機能(ステップB302)はグラフ編集部2024の機能である。
選定機能(ステップB310)、編集グラフ検索機能(ステップB304)および編集グラフ生成機能(ステップB305)の機能は、グラフ選択部2025の機能である。
次に、グラフ選択部2025の機能について、詳細に説明する。グラフ選択部2025は、グラフ選定部214と、グラフ検索部208と、グラフ推定部209とを有しており、グラフ選定部214と、グラフ検索部208、グラフ推定部209のいずれかにより、編集グラフ蓄積部203から編集グラフを取得する機能を有する。
なお、グラフ選定部214、グラフ検索部208、グラフ推定部209のそれぞれの機能は、先の、選定機能(ステップB310)、編集グラフ検索機能(ステップB304)および編集グラフ生成機能(ステップB305)である。
グラフ選定部214は、ランキング取得部2141と情報取得表示部2142とを有しており、公開閲覧部206と同様に、動画またはAPIまたは編集グラフを、順位付けて、ユーザ端末103Aに表示する機能を有する。
ランキング取得部2141は公開閲覧部206のランキング取得部2062と同一の機能を有し、情報取得表示部2142は公開閲覧部206の情報取得表示部2063と同一の機能を有している。同一の機能の説明は省略する。
ただし、情報取得表示部2142は、情報取得表示部2063と異なり、表示した編集グラフの中から、ユーザ端末103Aから編集グラフの選択を受信し、選択された編集グラフの編集グラフ識別番号を取得し、選択された編集グラフの編集グラフ識別番号に基づいて編集グラフ蓄積部203から編集グラフを取得する機能を有する。
選定部214は、図6と同様な、順位付けされた編集グラフおよび順位付けされたAPIを端末103Aの画面に表示し、ユーザは表示された編集グラフから選択する。このように、ユーザは、表示された編集グラフとその動画、または、APIとその動画を見ることにより、編集グラフまたはAPIを容易に選択することが出来る。
次に、グラフ検索部208は、端末103AからAPI識別番号を受信し、受信したAPI識別番号を含む編集グラフを編集グラフ蓄積部203から検索して取得する機能を有する。
ここで、端末103Aが送信しグラフ検索部208が受信するAPI識別番号は、複数のAPI識別番号でもよく、この場合、グラフ検索部208は、受信した複数のAPI識別番号を含む編集グラフを、編集グラフ蓄積部203から検索して取得する。
また、グラフ検索部208は、検索した編集グラフの閲覧回数または利用回数をランキングDB部213の編集グラフ回数テーブルT3から取得し、取得した閲覧回数または利用回数に基づいて検索した編集グラフの順位付けを実行し、順位付けに基づいて検索した編集グラフを端末103Aに表示する機能を有する。
また、グラフ検索部208は、端末103Aからグラフ識別番号を受信し、編集グラフを受信した編集グラフ識別番号に基づいて編集グラフ蓄積部203から検索して取得する機能を有する。
次に、グラフ推定部209は、編集グラフ蓄積部203に記憶されている編集グラフに基づいてAPI同士の接続の遷移確率グラフ(=接続確率ネットワーク(NW))を算出し、端末103AからAPI識別番号を受信し、受信したAPI識別番号を含む最大確率経路を算出した遷移確率グラフから探索することにより、受信したAPI識別番号を含む編集グラフを生成する機能を有する。
ここで、グラフ推定部209は、編集グラフを生成するときに、生成した編集グラフ毎に、その編集グラフの全体としての確率を付けて生成する機能を有する。そのため、グラフ推定部209は、確率が高い順に生成した編集グラフを順位付けすることが可能である。グラフ推定部209は、この順位付けに基づいて、順位が高い順に生成した編集グラフを端末103Aに表示する機能を有する。
また、グラフ推定部209は、生成した編集グラフを端末103Aに表示し、表示した編集グラフの中から端末103Aのユーザが編集グラフを選択することにより、生成した編集グラフの中から編集グラフを選択する機能を有する。
遷移確率グラフは、グラフ推定部209が有する記憶部に記憶されており、編集グラフ蓄積部203に編集グラフが登録される度に、または、予め決められた一定時間毎に、グラフ推定部209が遷移確率グラフを算出して記憶する。
図9を用いて、編集グラフ推定部209における、グラフの状態更新を説明する。ここでは、APIライブラリ部201に格納されているAPIの数が、A〜Fの6個の場合について説明する。また、APIライブラリ部201に格納されたAPIの1つを、1つのノードに対応させて説明する。
まず、図9(a)のD601に示すように、遷移確率グラフの初期状態は、全てのノードにおいて、他のノードへの遷移確率は0である。
次に、グラフ推定部209は、編集グラフ蓄積部203に蓄積された全ての編集グラフにおいて、2つのノードxとyとが存在し、xからyへの連結の個数N(x,y)を計算し、同時にxから他への全ての連結の個数M(x)を計算する。このときxからyへの遷移確率Pを次の式1により計算する。
P=N(x,y)/(M(x)+1) ・・・(式1)
この遷移確率Pは、各APIにおける入力毎に計算される。つまり上記の例でyに入力1と入力2の2つが存在する場合は、入力別に連結の個数を数えて確率を算出するということである。
この処理により、図9(d)のD604と、図9(e)のD605と、に示されるような編集グラフが順に編集グラフ蓄積部203に登録される度に、逐次的に遷移確率グラフが図9(b)のD602と図9(c)のD603と順に更新される。
以上のようにして、編集グラフが編集グラフ蓄積部203に登録される度に、最新の遷移確率グラフが編集グラフ推定部209の記憶部に記憶される。
次に、図10を用いて、グラフ推定部209が、図10(a)のD701に示すように記憶された遷移確率グラフに対して、ユーザが入力した条件ノードを通過する最大確率経路による探索することにより、編集グラフを取得する方法について説明する。なお、図10(a)の遷移確率グラフD701は、図9(c)の遷移確率グラフD603と同じである。
ここでは、図10(b)に示すように、ユーザはD703、D704のように、始点ノード、終点ノード、および、始点ノードでも終点ノードでもないノードの情報を、編集グラフを推定する条件として設定したとする。ここでは、始点ノードがノードAであり、終点ノードがノードFであり、始点でも終点でもないノードがノードBである。
グラフ推定部209は、始点ノードAから他の条件ノードを含む経路候補を探索し、図10(c)および(d)に示すように編集グラフD705とD706とを検索し、編集グラフD705とD706とのように複数の候補がある場合には、それらを合成する。
これによりユーザが必要なAPIを与えた際に、算出された遷移確率グラフにより、遷移確率が最も高い、図10(e)に示すような編集グラフD707が推定される。
なお、ここでは、始点と終点を指定した3つのAPIを含む編集グラフを推定する場合について説明したため、グラフ推定部209は、1つの推定された編集グラフを生成したが、複数の編集グラフが生成された場合には、グラフ推定部209は、条件を満たす確率が高い順に編集グラフをユーザ端末103Aに表示する。
次に、端末103Aのユーザが、表示された編集グラフから選択し、選択した情報をグラフ推定部209が受信することにより、グラフ推定部209は受信した編集グラフを選択する。
次に、図11(a)を用いて、グラフ推定部209で実行される、遷移確率グラフから編集グラフを取得する方法について説明する。なお、条件となるAPIの集合がΓcであり、また、全APIの集合がΓである。ここでは、API識別番号をノードとして説明する。つまり、検索条件のノード数(集合Γcの要素数)がnであり、全ノード数(集合Γの要素数)がmである。
まず、端末103Aから編集グラフの検索条件として、API識別番号X1、X2、・・・、Xnのn個のAPI識別番号が入力される(ステップS1101)。つまり、検索条件として入力されたAPIの数がnである。
次に、探索長lを予め決められた値Lで初期化する(ステップS1102)。次にカウンタ値iを1に初期化する(ステップS1103)。次に、カウンタ値iが検索条件として入力されたAPIの数n以下か否かを検出する(ステップS1104)。
ステップS1104の検出結果が、カウンタ値iがn以下の場合には、APIのXiを確率遷移グラフの始点ノードSとして選択する(ステップS1105)。
次に、関数F(S,l)に始点Sと探索長lとを設定して、最終的な結果の編集グラフの一部となる部分的な編集グラフと、遷移確率グラフから計算されるその部分的な編集グラフの確率とを対として複数有するグラフの確率付リストQi(ここで、iは1、2、3・・・nとなる自然数である)を取得し保持する(ステップS1106)。
以降ではこのような部分的なグラフとその確率が対になったリストQiを部分グラフリストと呼ぶ。部分グラフリストとは、例えば、図10(c)のD705に示したグラフAとその確率0.3または図10(d)のD705に示したグラフBとその確率0.125である。また、部分グラフリストは、検索条件として入力されたAPI識別番号の、一部のAPI識別番号を含む。なお、関数F(S,l)については、図11(b)を用いて後に詳述する。
図11(a)の説明に戻り、ステップ1106の次に、カウンタ値iを1つ増加し、ステップS1104からの処理を繰り返す(ステップS1107)。
ステップS1104の検出結果が、カウンタ値iがnより大きい場合には、取得された部分グラフリストQ1,Q2,…,Qnを用いて、集合Γcの要素を全て含むようなグラフの全組合せに関して組合せ確率(例えば、同時確率)を計算する(ステップS1108)。次に、組合せ確率が高い編集グラフから降順に表示する(ステップS1109)。
次に、図11(b)を用いて、図10のステップS1106の関数F(S,l)での処理について、詳細に説明する。
まず、探索長lが0より大きいか否かを検出する(ステップS1201)。
ステップS1201の検出結果が、探索長lが0より大きい場合には、カウンタ値jを1に初期化する(ステップS1202)。次に、カウンタ値jが全ノード数m以下であるか否かを検出する(ステップS1203)。
ステップS1201の検出結果が、探索長lが0未満の場合、または、ステップS1204の検出結果が、カウンタ値jが全ノード数mより大きい場合には、部分グラフリストG1,G2,…,Gmを1つの部分グラフリストとしてまとめ、まとめた部分グラフリストを結果として出力する(ステップS1204)。ステップS1204の出力が、図11(a)のステップS1106における、確率付部分グラフリストQiとなる。
ステップS1203の検出結果が、カウンタ値jが全ノード数m以下の場合には、APIとしてノードAjを集合Γに含まれるものから選択する(ステップS1205)。例えば、集合ΓからランダムにノードAjを選択する。
次に、始点ノードSからノードAjへ遷移する遷移確率pを、前記の遷移確率グラフのノードSからノードAjへの遷移確率を用いて取得する(ステップS1206)。次に、ノードAjが集合Γcに含まれるか否か(Aj∈Γcを満たすか否か)を検出する(ステップS1207)。
ステップS1207の検出結果が、Ajが集合Γcに含まれる場合には、開始ノードSをノードAjに設定する。(ステップS1208)。次に、再帰的に関数F(S,l−1)の結果として部分グラフリストG’を取得する(ステップS1209)。ここでは、関数F(S,l−1)が再起的に計算され、関数F(S,l−1)が計算される毎に、探索長lが1ずつ短く設定される。なお、探索長lは1ずつ短くすることに限られるものではなく、予め定められた値で短くされるようにしてもよい。
次に、部分グラフリストG’内の全ての部分グラフリストの先頭ノードに開始ノードであるノードSを追加し、全確率に遷移確率pをかけた部分グラフリストGj(ここで、jは1,2,3、・・mとなる自然数である)を取得する(ステップS1210)。
次に、カウンタ値jを1つ増加し、ステップ1204からの処理を繰り返す(ステップS1211)。
ステップS1207の検出結果が、ノードAjが集合Γcに含まれない場合には、ステップS1211の処理を実行する。
以上のようにして、関数F(S,l)は、ステップS1203の結果から、G1,G2,…,Gmを1つの部分グラフリストとしてまとめ、まとめた部分グラフリストを返す。
図11を用いて説明したように、グラフ推定部209は、ステップS1109の結果から、条件となるAPIの組から、条件となるAPIを含み、その確率が高い編集グラフを生成する。
次に、図12を用いて、グラフ編集部2024が編集グラフを編集する、具体的な作業例を説明する。
グラフ編集部2024は、グラフ選択部2025が編集グラフ蓄積部203から選択した編集グラフまたは前記APIライブラリ部201に登録されているAPIに基づいて編集グラフを編集または作成する。
ここでは、ユーザは特定のAPIを指定し、グラフ推定部209により編集グラフを取得した場合について説明する。
まず、ユーザはAPIを入力し(ステップP310)、入力されたAPIを受信したグラフ推定部209は、編集グラフを生成、生成した編集グラフをユーザの端末に表示する(ステップP315)。
ユーザは、端末に表示された編集グラフを、グラフ編集部2024の機能により、各APIのパラメータの値の変更や、APIの追加や削除することにより編集グラフの追加及び修正をする(ステップP320)。
ユーザは、グラフ編集部2024の機能により、編集グラフの各APIのパラメータの値の変更や、APIの追加や削除することにより編集グラフの追加及び修正をした後、入出力の決定を示す情報を、グラフ編集部2024に送信する(ステップP325)。
グラフ編集部2024は、入出力の決定を示す情報をユーザの端末から受信すると、編集された編集グラフを、編集に用いる編集グラフとする。
なお、グラフ編集部2024は、グラフ選択部2025が取得した編集グラフを用いず、APIライブラリ部201から取得するAPIをユーザが用いて、編集グラフを構築することも可能である。
次に図13を用いて、グラフ選択部2025による、端末103Aに表示される、編集画面の一例を説明する。
公開閲覧機能は編集モードE410上で、小さなウィンドウによる公開閲覧パレットE411として表示される。このパレットは上部のバーをドラッグアンドドロップすることで自由に動かすことができる。このパレット内でAPIの選択及びグラフの検索、推定を行いその結果を編集モードのウィンドウ内にドラッグアンドドロップすることで、APIやグラフが追加される。後は編集モードのウィンドウ内で各入力と出力を線で繋いだり、パラメータを入力することにより編集グラフE413を完成させる。
次に、本実施形態による映像編集サーバを用いた例を説明する。
図14は、映像編集サーバ803に動画をアップロードする様子を示したものである。編集者801は、図14(c)に示すような、フィルタグラフ例810のように編集グラフを映像編集サーバ上で作成し、出力先を該映像編集サーバ803に設定する。
次に、映像元を端末802に設定し、端末802から映像をストリームとして送信すれば、映像編集サーバ803に、図14(b)に示すような、完成出力動画例805が蓄積される。
同時に該動画は編集者以外の閲覧者804にも閲覧可能になるため映像投稿サイトと同様の機能を実現できる。該映像投稿サイトは閲覧だけでなく、初心者でも熟練者の技術を共有できるため、既存の映像のみの投稿サイトよりも初心者の投稿が増加しコミュニティの輪を広げることが可能となる。
なお、図14の映像編集サーバ803、端末802、編集者801、閲覧者804は、それぞれ、図1の映像編集サーバ102、映像元端末104、端末103A、端末103Bに対応する。また、図1の映像先端末105は、図14では映像編集サーバ803になる。
図15(a)は、多地点の映像合成及び放送を示したものである。具体的には野球などで複数の試合を4次元中継するなどが該当する。また映像ストリームとしては実写映像である必要はないので、端末2において保存されている動画や、端末4におけるレンダリングされたCG映像などもストリームとして映像編集サーバに送信すれば1画面内に領域分割してそれらが合成される。
図15(b)に示すフィルタグラフ910は、図15(a)に対応するグラフであり、映像編集サーバ側で合成することにより各端末と映像編集サーバとは常に2本の映像ストリームだけとなるため、従来の全映像を端末側で共有するシステムよりも通信付加が小さくなる。
図16(a)は、図15(a)をもとに、複数の地点における人物同士の会議を仮想空間内で行うシステムを構築した場合である。図16(b)に示すフィルタグラフ例1010のように、端末4によるCG仮想空間上に、端末1と端末3とによる人物の実写映像と、端末2からの会議動画資料とを合成し、端末1と3に配信する。
このようにすることにより、単にテレビ電話による会議システムよりも、より同室にいる感覚を共有した環境を提供可能となる。このようなシステムも本実施形態による映像編集サーバにより容易に提供される。
なお、実施形態の説明においては、ランキングDB部213に、グラフ動画対応テーブルT1、画像回数テーブルT2、編集グラフ回数テーブルT3およびAPI回数テーブルT4が記憶されているとして説明したが、これに限られるものではなく、グラフ動画対応テーブルT1、画像回数テーブルT2、編集グラフ回数テーブルT3またはAPI回数テーブルT4は、APIライブラリ部201、編集グラフ蓄積部203、動画蓄積部205、または、他の蓄積部に記憶されてもよい。
以上説明した第1の実施形態によれば、動画の編集をサーバで行うため専用の映像を編集する装置が必要なく、また、サーバに蓄積されたシナリオテンプレートを用いて動画の編集を行うために容易に動画の編集が出来るという効果を奏する。
また、以上説明した第1の実施形態によれば、編集グラフ、編集グラフを用いて映像編集された動画や、また、編集を実行する編集プロセス自体(API)の、閲覧回数または利用回数を記憶し、閲覧回数または利用回数が多い順に順位付けを行い、順位付けで順位が高く、評価の高い編集グラフがシナリオテンプレートとなるようにすることにより、熟練者がシナリオテンプレートを作成する必要がなく、一般のユーザが生成され蓄積されたシナリオテンプレートを用いて動画の編集を容易に行うことが出来るという効果を奏する。
また、以上説明した第1の実施形態によれば、ユーザが必要とする処理を含んだ編集グラフを蓄積された編集グラフより推定して生成することにより、ユーザのニーズに合ったシナリオテンプレートを提供することにより、熟練者がシナリオテンプレートを作成する必要がなく、一般のユーザが生成され蓄積されたシナリオテンプレートを用いて動画の編集を容易に行うことが出来るという効果を奏する。
また、以上説明した第1の実施形態によれば、動画を生成するという作業に付随してシナリオテンプレートが副産物的に生成され蓄積されるため、熟練者がシナリオテンプレートを作成する必要がなく、一般のユーザが生成され蓄積されたシナリオテンプレートを用いて動画の編集を容易に行うことが出来るという効果を奏する。
また、以上説明した第1の実施形態によれば、閲覧及び編集などの全ての利用履歴が、テンプレート生成のための作業に繋がるため、動的にテンプレート候補が変更または追加されるという効果を奏する。
また、以上説明した第1の実施形態によれば、遷移確率グラフに基づいてテンプレートが推定により生成されるため、映像編集の技術が未熟な者でも生成されたテンプレートにより映像を容易に編集することが可能となるという効果を奏する。
また、推定により生成されるテンプレートは新規なテンプレートである場合もあるため、ユーザは、新規性のある映像コンテンツを容易に作成することが可能となるという効果を奏する。
<第2の実施形態>
上記に説明した第1の実施形態においても、グラフ推定部209が、編集グラフを生成した。このグラフ推定部209は、編集グラフ蓄積部203に記憶されている編集グラフに基づいてAPI同士の接続の遷移確率グラフを算出し、端末103AからAPI識別番号を受信し、受信したAPI識別番号を含む最大確率経路を算出した遷移確率グラフから探索することにより、受信したAPI識別番号を含む編集グラフを生成した。
この第1の実施形態に対して、第2の実施形態は、グラフ推定部209が編集グラフを作成する場合において、より多様性が高く、また、ユーザのニーズとの合致度の精度が高い編集グラフの作成が出来る映像編集サーバ装置であるという特徴を有する。
<原理>
まず、第2の実施形態における編集グラフの生成の原理について説明する。
第2の実施形態においては、1つのAPIを、API毎に、そのAPIのパラメータの値に基づいて統計的に分類することにより、1つのAPIを複数の基本APIに分類する。
まず、この基本APIについて説明する。APIは複数のパラメータを有するが、このパラメータの設定値は、完全に独立したものではなく、互いに関連付けて用いられることがある。この関連付けられたパラメータの設定値に基づいてAPIを分類することにより、1つのAPIでも、パラメータの設定値によって、用いられ方が異なるAPI、つまり、基本APIという異なるAPIとして区別することが可能である。
例えば、図20(a)に示すように、入力映像に対してサイズ変更処理を実行するAPIxがあるとする。この場合に、図20(a1)に示すように、このAPIxに対する入力パラメータの設定値が1.25である場合には、このAPIxは、拡大処理を実行するAPIx1として機能する。
逆に、図20(a2)に示すように、このAPIxに対する入力パラメータの設定値が1.25である場合には、このAPIxは、縮小処理を実行するAPIx2として機能する。この場合、APIx1のパラメータの設定値とは、拡大率の設定値である。
以上のように、1つのAPIxでも、パラメータの設定値により、異なるAPI、つまりAPIx1とAPIx2として機能し、それぞれ異なる機能を有するAPIとして分類することが可能である。
また、図20(b)に示すように、入力映像に対してフィルタ処理を実行するAPIyがあるとして、図20(b1)に示すように、このAPIyに対する入力パラメータの設定値がTb1である場合には、このAPIyは、ぼかし処理を実行するAPIy1として機能する。
一方、図20(b2)に示すように、このAPIyに対する入力パラメータの設定値がTb2である場合には、このAPIyは、エッジ処理を実行するAPIy2として機能する。
以上のように、1つのAPIyでも、パラメータの設定値により、異なるAPI、つまりAPIy1とAPIy2として、異なる機能を有するAPIとして分類することが可能である。
図20を用いて説明したように、一例としてのAPIであるサイズ変更処理のAPIxの場合、機能的または意味的には、拡大処理である基本APIx1と、縮小処理である基本APIx2との、2つの基本APIに分類できる。
このように、十分に編集グラフが蓄積された場合に、編集グラフに記述されているAPIを、APIのパラメータの設定値の分布で分類することで、1つのAPIを2つの基本APIに分類することが可能となる。
また、パラメータが行列演算であるフィルタ処理のAPIyの場合も、機能的または意味的に、ぼかし処理APIy1とエッジ処理APIy2とに分類することが可能である。この場合においても、各演算行列をベクトルとして扱い、APIyのパラメータの設定値の分布のクラスタで分割することにより、APIyの機能を2つに分類することが可能である。
以上の例のように、APIの処理の意味を知ることなく、パラメータの設定値から、APIの機能を分類することが可能となる。このようにパラメータの設定値により分類されたAPIを、基本APIと称して説明する。特に、本実施形態においては、パラメータの設定値の利用履歴から、APIを分類する。
なお、上記においては、APIを2つに分類する場合について説明したが、後述するように、3以上に分類することも可能である。
次に、図21を用いて、図20の基本APIを用いた場合の、編集グラフの生成の原理について説明する。
第1の実施形態における編集グラフの推定においては、図21(a)および(b)に示すように、APIxとAPIyとを含むAPIを用いた編集グラフを生成した場合、生成される編集グラフは、APIのパラメータの設定値に依存せずに、API間の遷移確率にのみに基づいて接続されるので、図21(b)に示すように、APIxとAPIyとが接続された、1つの編集グラフしか生成されない。
そのため、APIxおよびAPIyのパラメータの設定値も、望ましくない接続が生じている可能性もありえる。
一方、基本APIに分割して、遷移確率より編集グラフを生成する場合を、図21(c)および(d)を用いて説明する。
ここでは、図21(c)に示すように、拡大処理APIx1とぼかし処理APIy1との接続確立、または、縮小処理APIx2とエッジ処理APIy2との接続確率が高く、それ以外は低いものとする。
この場合、指定するAPIをAPIxとAPIyとのみ指定した場合においても、接続確立が高い編集グラフとして、拡大処理APIx1とぼかし処理APIy1との第1の編集グラフと、図21(d)に示すように、縮小処理APIx2とエッジ処理APIy2との第2の編集グラフと、を生成することが可能である。
以上のようにして、少数のAPIを指定した場合においても、指定されたAPIが分類される複数の基本API間の接続を考慮して、編集グラフが生成することにより、複数の多様な編集グラフを生成することが可能である。
また、APIのパラメータの設定値も考慮して遷移確率が算出されているため、望ましい接続が生成されている可能性が高いという効果がある。
また、ユーザがAPIxのパラメータの設定値を、図20に示すように1.25と指定し、つまり、拡大処理APIx1を指定し、APIyのパラメータの設定値を指定しなかった場合には、図21(c)の遷移確率から、拡大処理APIx1と接続するAPIyは、ぼかし処理APIy1の方がエッジ処理APIy2より接続確立が高いため、拡大処理APIx1とぼかし処理APIy1との編集グラフを生成する。
以上のように、第2の実施形態においては、APIのみではなく、基本APIの遷移確率に基づいて編集グラフを生成することにより、ユーザの希望に、より合致した編集グラフを生成することが可能である。
次に、図17を用いて、第2の実施形態による映像編集システムの構成について説明する。なお、同図において図1の各部に対応する部分には同一の符号を付け、その説明を省略する。
図17において、基本API抽出サーバ106が、ネットワーク101を介して映像編集サーバ102と接続される。
この基本API抽出サーバ106は、映像編集サーバ102に記憶されている編集グラフに対して、編集グラフに記述されているAPIを、そのAPIのパラメータの設定値に基づいて基本APIに分類し、分類した基本API間の遷移確率を算出する。
また、基本API抽出サーバ106は、算出した基本API間の遷移確率を、映像編集サーバ102に記憶させる。
映像編集サーバ102は、入力された複数のAPIに応じて、入力されたAPIを基本APIに分類し、分類した基本APIを含む編集グラフを、内部に記憶された基本API間の遷移確率に基づいて生成し、この生成した編集グラフに基づいて映像を編集し出力する。
次に、図18を用いて、図17の映像編集システムの構成について詳細に説明する。なお、同図において図2の各部に対応する部分には同一の符号を付け、その説明を省略する。
基本API抽出サーバ106は、基本処理分類部231と、基本API選択部232と、基本API遷移確率算出部233と、分類情報記憶部234とを有する。
映像編集サーバ102は、編集グラフ蓄積部203と、遷移確率記憶部215と、グラフ推定部210とを有する。
編集グラフ蓄積部203には、第1の実施形態と同様に、動画を編集するためのAPI識別番号の順序と複数のパラメータの設定値とが記述された編集グラフが記憶されている。
遷移確率記憶部215には、基本API間の遷移確率が記憶されている。
分類情報記憶部234には、APIを基本APIに分類するために用いる、複数のパラメータの設定値を分類するための分類情報が記憶されている。
基本API対応記憶部235には、動画を映像処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、API毎に記憶されている。
基本API分類部231は、編集グラフ蓄積部203に記憶されている編集グラフを読み出し、読み出した編集グラフに用いられているAPI毎に、APIが有する複数のパラメータの設定値に基づいて、APIを統計的に異なるパラメータの設定値を有する基本APIに分類し、APIと分類した基本APIとを関連付けて基本API対応記憶部235に記憶させる。
また、基本API分類部231は、APIを基本APIに分類する時に、複数のパラメータの設定値を統計的に分類するための分類情報を算出し、算出した分類情報に基づいてAPIを基本APIに分類し、算出した分類情報を分類情報記憶部234に記憶させる。
基本API遷移確率算出部233は、基本API分類部231が分類した基本API間の遷移確率を、編集グラフ蓄積部203に蓄積されている編集グラフの基本API間の遷移頻度に基づいて算出し、算出した遷移確率を基本API遷移確率記憶部215に記憶させる。
基本API選択部232は、複数のAPIが入力されることに応じて、入力された複数のAPIに該当する基本APIを基本API対応記憶部235から読み出し、読み出した基本APIを、グラフ推定部210に出力する。
また、基本API選択部232は、ユーザが用いる端末103Aからの、API識別番号とAPI識別番号により識別されるAPIが有する複数のパラメータの設定値とが、映像編集サーバ102を介して入力されることに応じて、分類情報記憶部234から分類情報を読み出し、読み出した分類情報と入力された複数のパラメータの設定値とに基づいて、入力された複数のAPIに該当する基本API対応記憶部235から読み出した基本APIの中から、入力された複数のパラメータの設定値に該当する基本APIを選択し、選択した基本APIを、グラフ推定部210に出力する。
グラフ推定部203は、基本API選択部232から入力された基本API間の遷移確率を、遷移確率記憶部215から読み出し、読み出した遷移確率に基づいて基本APIが接続された編集グラフを生成する。
また、グラフ推定部203は、基本API選択部232から入力された基本API間の遷移確率を、遷移確率記憶部215から読み出し、読み出した遷移確率が最大となる遷移順序で基本APIが接続されている編集グラフを生成する。
グラフ推定部203は、遷移確率が最大となる遷移確率が最大となる遷移順序で基本APIが接続されている編集グラフを生成することにより、編集グラフ蓄積部203に記憶されている編集グラフが組まれる基本APIの中で、つまり利用履歴の中で、最も利用頻度が高い遷移順序を有する基本APIとその順序を有する編集グラフを生成することが可能である。
また、逆に、グラフ推定部203が、遷移確率が低い編集グラフを生成する場合には、あまり用いられていないオリジナル性の高い編集グラフを生成する可能性がある。
編集グラフ作成部202は、グラフ推定部210が生成した編集グラフに基づいて、映像を編集し、編集した映像を出力する。
この第2の実施形態におけるグラフ推定部210は、第1の実施形態におけるグラフ推定部209と比較して、第1の実施形態におけるグラフ推定部209はAPIについて遷移確率グラフによる編集グラフを生成したのに対して、第2の実施形態におけるグラフ推定部210は基本APIに対して遷移確率グラフによる編集グラフを生成する点が異なる。
また、この第2の実施形態においては、推定部210が、基本APIに対して遷移確率に基づいて編集グラフを生成するために、基本API間の遷移確率が遷移確率記憶部215に記憶されている。
つまり、第1の実施形態おいては、グラフ推定部209が有する記憶部に遷移確率グラフが記憶されていたが、第2の実施形態おいては、遷移確率記憶部215に遷移確率グラフが記憶されている点が異なる。
なお、グラフ推定部209においては、編集グラフ蓄積部203に蓄積された全ての編集グラフにおいて、2つのノードxとyとが存在し、xからyへの連結の個数N(x,y)を計算し、同時にxから他への全ての連結の個数M(x)を計算し、このときxからyへの遷移確率Pを次の式1により計算したが、グラフ推定部210は、編集グラフ蓄積部203に蓄積された全ての編集グラフにおいて、あるAPIαの出力xと、あるAPIαとは異なるAPIβの入力yが存在し、出力xから入力yへの連結の個数N(x,y)を計算し、同時にxから他への全ての連結の個数M(x)を計算し、このときxからyへの遷移確率Pを次の式1により計算する。
その他の機能においては、グラフ推定部209とグラフ推定部210とは同一である。
次に、図19を用いて、基本API分類部231と基本API選択部232とグラフ推定部210との動作について説明する。
(ステップS1901)
基本API分類部231は、まず、図19(1)に示すように、編集グラフ蓄積部203から、あるAPIを有する全ての編集グラフを読み出す。
ここでは、読み出した編集グラフの中に、あるAPIに該当する記述が、m個あったものとして説明する。また、ここでは、あるAPIをn個の数値パラメータを持つAPIであり、このAPIをAPIfとする。なお、APIfは、XからXn−1のパラメータを有し、このAPIf=f(X,X,・・・・・,Xn−1)である。この関数fとは、APIを定義する処理関数である。
編集グラフ蓄積部203が読み出したAPIfが記述されている全ての編集グラフには、それぞれにAPIfのパラメータであるXからXn−1のパラメータの設定値が記述されている。このAPIfに対して、編集グラフに記述されたパラメータの設定値iの集合を、ベクトルviとする。ここで、iは、編集グラフ中のAPIfを識別する識別子であり、自然数である。
編集グラフ蓄積部203は、このAPIfのパラメータの設定値を読み出し、つまり、ベクトルv1、v2、v3・・・・vmを読み出す。編集グラフ蓄積部203は、このベクトルv1、v2、v3・・・・vmを、入力ベクトル集合Vとして、次の主成分分析を実行する。
(ステップS1902)
次に、基本API分類部231は、図19(2)に示すように、入力ベクトル集合Vに対して主成分分析を実行し、第1主成分をλ1と、第2主成分をλ2とを、算出する。
ここで、主成分分析とは、相関関係にあるいくつかの要因を合成(圧縮)して、いくつかの成分にし、その総合力や特性を求める統計的な方法である。主成分分析は、統計処理の一般的な手法であるので、ここではその説明を省略する。
次に、基本API分類部231は、主成分分析により算出された第1主成分λ1の固有ベクトルを固有ベクトルP1として算出し、入力ベクトル集合Vについての平均ベクトルmeanVを算出する。なお、固有ベクトルP1とは、第1主成分λ1に対して、線形変換によって、その方向が変わらないベクトルである。平均ベクトルmeanVとは、その要素が、ベクトルの要素の平均値を有するベクトルであり、ベクトルの数をmとした場合の平均ベクトルmeanVは、次の式2で算出される。
meanV=(v1+v2+v3+・・・・+vm)/m ・・・(式2)
また、基本API分類部231は、この固有ベクトルP1を第1の分類情報とし、算出した平均ベクトルmeanVを第2の分類情報として、第1の分類情報と第2の分類情報とを組として分類情報記憶部234に記憶する。
なお、後述するように、再帰的に処理が実行されるため、基本API分類部231は、第1の分類情報と第2の分類情報とを組として、順に、分類情報記憶部234に記憶する。
この平均ベクトルmeanVとは、入力ベクトル集合Vであるベクトルv1、v2、v3・・・・vmを加算し、加算したベクトルを、そのベクトル集合Vの要素数mで除算したものである。
(ステップS1903)
次に、基本API分類部231は、図19(3)に示すように、第1主成分λ1を第2主成分λ2で除算した値(λ1/λ2)が、予め設定された閾値Tよりも大きい場合(λ1/λ2>T)、入力ベクトルVを、固有ベクトルP1により定められる2つの集合ベクトルであるV+とV−とに分類する。
逆に、基本API分類部231は、第1主成分λ1を第2主成分λ2で除算した値(λ1/λ2)が、予め設定された閾値T以下の場合(λ1/λ2≦T)、分類することを終了する。
この集合ベクトルV+とV−とは、平均ベクトルmeanVを原点として、固有ベクトルP1により定められる平面に対して、一方と他方との集合ベクトルである。なお、集合ベクトルV+は、該平面を基準として、固有ベクトルP1の方向と一致する方向である領域のベクトル集合であり、逆に、集合ベクトルV−は、該平面を基準として、固有ベクトルP1の方向と逆の方向である領域のベクトル集合である。
なお、第1主成分λ1を第2主成分λ2で除算した値(λ1/λ2)が、予め設定された閾値Tよりも大きい場合とは、第1主成分λ1が第2主成分λ2に対して、統計的な説明変量として有意な意味があるということである。または、第1主成分λ1の方向に沿ったベクトル集合の分布が、第2主成分λ2に沿ったベクトル集合の分布より、扁平に分布している、という意味である。また、予め設定された閾値Tとは、1より大きい値である。
具体的には、基本API分類部231は、入力ベクトルVの内のベクトルvi(iは1からmの自然数)に対して、ベクトルviから平均ベクトルmeanV1を減算したベクトルと、固有ベクトルP1との内積を算出し、算出した内積の値が正である場合には、ベクトルviをベクトル集合V+に分類し、逆に、算出した内積の値が正でない場合には、ベクトルviをベクトル集合V−に分類する。
次に、基本API分類部231は、入力ベクトルVにおける全てのベクトルvi(iは1からmの自然数)に対して、同様に、第1の分類情報である固有ベクトルP1と、第2の分類情報である平均ベクトルmeanV1とにより、2つのベクトル集合であるV+とV−とに分類する。
以上のようにして、基本API分類部231は、図19(3)に示すように、m個のベクトルviを、2つのベクトルV+とV−とに分類する。
なお、図19(3)においては、説明のために、3次元空間でのベクトルの分布を2次元の平面で分割して分類した場合について図示しているが、一般には、n次元空間におけるベクトルの分布を、n−1次元の超平面により分割して分類する。
(ステップS1904)
次に、基本API分類部231は、分割された2つのベクトル集合V+とV−とのそれぞれのベクトル集合に対して、上記のステップS1901からステップS1903の処理を再帰的に繰り返し、それぞれのベクトル集合に対して、第1主成分λ1を第2主成分λ2で除算した値(λ1/λ2)が、予め設定された閾値Tよりも小さくなるまで、それぞれのベクトル集合を2つに分類する。
以上のようにして、基本API分類部231は、図19(4)に示すような、2分木を生成する。
図19(4)では、例えば、APIAのパラメータの設定値であるベクトル集合a0が、ベクトル集合a1とベクトル集合a2とに分類され、ベクトル集合a1がベクトル集合a11とベクトル集合a12とに分類され、ベクトル集合a2がベクトル集合a21とベクトル集合a22とに分類され、ベクトル集合a21がベクトル集合a211とベクトル集合a212とに分類されている。
つまり、1つのベクトル集合a0が、ベクトル集合a11と、ベクトル集合a12と、ベクトル集合a211と、ベクトル集合a212と、ベクトル集合a22との、5つのベクトル集合に分類されている。
この1つのベクトル集合a0がAPIであり、ベクトル集合a11と、ベクトル集合a12と、ベクトル集合a211と、ベクトル集合a212と、ベクトル集合a22との、5つのベクトル集合が基本APIである。以降、例えば、APIAで、そのパラメータがa1に分類された基本APIを、基本APIa1と称して説明する。
なお、図19(4)のそれぞれの分類に対応して、第1の分類情報と第2の分類情報とが組として、分類情報記憶部234に記憶されている。
基本API分類部231は、APIと、APIを2分木(Binary Tree)に分類した複数の基本APIと、を関連づけて、基本API対応記憶部235に記憶させる。
また、基本API分類部231は、2本木に分類した複数の基本APIについて、そのパラメータの平均値を平均パラメータ値として算出し、APIと、APIを2本木に分類した複数の基本APIと、算出した平均パラメータ値とを関連づけて、基本API対応記憶部235に記憶させる。
(ステップS1905)
以上のようにして分類した基本APIを用いて、図19(5)に示すようにして、基本API遷移確率算出部233は、編集グラフ蓄積部203に記憶されている編集グラフの頻度に基づいて、基本API間の遷移確率を算出し、算出した本API間の遷移確率を遷移確率記憶部215に記憶する。
例えば、図19(5)示すように、APIAは、基本APIa1と基本APIa2と基本APIa2との3つに分類されている。同様に、APIBは、基本APIb1と基本APIb2との2つに分類されおり、APICは、基本APIc1と基本APIc2との2つに分類されている。
次に、基本API選択部232は、図19(5)示すような、基本API分類部231が分類した基本API間の遷移確率を、図9から図12を用いて説明したAPI間の遷移確率と同様に算出し、遷移確率記憶部215に記憶する。
また、次に、グラフ推定部210は、遷移確率記憶部215から基本API間の遷移確率を読み出し、図9から図12を用いて説明したAPI間の遷移確率に基づいて編集グラフを生成した方法と同様に、読み出した基本API間の遷移確率に基づいて編集グラフを生成する。
第1の実施形態における遷移確率に基づいた編集グラフの生成と、第2の実施形態における遷移確率に基づいた編集グラフの生成とは、第1の実施形態においてはAPI間の遷移確率とAPIによる編集グラフを生成するのに対して、第2の実施形態においては基本API間の遷移確率とAPIによる編集グラフを生成する点が異なる。他の処理は同一である。
次に、基本API選択部232について、その処理の具体的について説明する。
基本API選択部232は、ユーザが用いる端末103Aからの、API識別番号とAPI識別番号により識別されるAPIが有する複数のパラメータの設定値とが、映像編集サーバ102を介して入力されることに応じて、分類情報記憶部234から分類情報を読み出し、読み出した分類情報と入力された複数のパラメータの設定値とに基づいて、基本API分類部231が分類したAPI識別番号に該当するAPIが分類された基本APIの中から、入力された複数のパラメータの設定値に該当する基本APIを選択する。
例えば、図19(4)に示すAPIAに対して、ユーザがパラメータの設定値を入力して、編集グラフを生成する場合について説明する。
この場合、基本API選択部232は、パラメータの設定値が設定されたAPIAを、基本APIのいずれに属するかを、分類情報である第1の分類情報と第2の分類情報とに基づいて分類する。ここで、分類される前のAPIAは、APIa0である。
(ステップS2001)
まず、基本API選択部232は、APIAに対して、組として記憶された第1の分類情報である固有ベクトルP1と、第2の分類情報である平均ベクトルmeanVとを、分類情報記憶部234から順に読み出す。
(ステップS2002)
次に、基本API選択部232は、ユーザがパラメータの設定値である入力ベクトルQに対して、ベクトルQから平均ベクトルmeanV1を減算したベクトルと、固有ベクトルP1との内積Rを次の式3により算出し、算出した内積Rの値が正である場合、つまり算出した内積Rが0より大きい場合(R>0)には、ベクトルviをベクトル集合V+に分類し、逆に、算出した内積Rの値が正でない場合、つまり算出した内積Rが0以下である場合(R≦0)には、ベクトルviをベクトル集合V−に分類する。
R=P1・(Q−meanV1) ・・・(式3)
この分類により、基本API選択部232は、パラメータの設定値が設定されたAPIA(=a0)が、基本APIa1または基本APIa2のいずれであるかを検出する。
(ステップS2003)
基本API選択部232は、ステップS2001とステップS2002とを繰り返し、順に、組として記憶された第1の分類情報である固有ベクトルP1と、第2の分類情報である平均ベクトルmeanVとを、分類情報記憶部234から順に読み出し、組として記憶された第1の分類情報と第2の分類情報とが無くなるまで、ユーザがAPIAに対してパラメータの設定値である入力ベクトルQを、順に分類する。
以上により、基本API選択部232は、ユーザがAPIAに対してパラメータの設定値である入力ベクトルQを、APIa11、APIa12、APIa211、APIa212、または、APIa22のいずれか1つに分類する。
また、例えば、図19(5)のようにAPIが分類されている場合において、ユーザが、APIAに対してパラメータの設定値を設定し、APIBに対してパラメータの設定値を設定し、APICに対してパラメータの設定値を設定して、編集グラフを生成する場合には、基本API選択部232が、入力されたAPIであるAPIAとAPIBとAPICとの、それぞれに対して、分類された基本APIの中から該当する基本APIを選択する。例えば、APIa1とAPIb2とAPIc2とが、選択される。
次に、グラフ推定部210は、選択されたそれぞれの基本APIの遷移確率が最大となるように、選択されたそれぞれの基本APIを含む編集グラフを生成する。例えば、APIa1とAPIb2とAPIc2とを含む、編集グラフが生成される。
また、例えば、図19(5)のようにAPIが分類されている場合において、ユーザが、APIAに対してパラメータの設定値を設定し、APIBとAPICに対してはパラメータの設定値を設定しないで、編集グラフを生成する場合には、基本API選択部232が、パラメータの設定値を設定されたAPIAのみに対して、設定されたパラメータの設定値に基づいて、分類された基本APIAの中から該当する基本APIを選択する。例えば、APIa1が選択される。また、基本API選択部232は、APIBとAPICに対してはパラメータの設定値を設定されていないため、APIBの基本APIであるAPIb1とAPIb2、および、APICの基本APIであるAPIc1とAPIc2、を選択する。
次に、グラフ推定部210は、選択された基本APIと、入力されたAPIの基本APIとの遷移確率が最大となるように、選択された基本APIと、入力されたAPIの基本APIとを含む編集グラフを生成する。
例えば、選択されたAPIa1と、APIBの基本APIであるAPIb1またはAPIb2と、APICの基本APIであるAPIc1またはAPIc2と、を含む編集グラフが生成される。
上記に説明した第2の実施形態による編集グラフを生成にあっては、各APIをノードとした遷移確率が、パラメータ値に関係して遷移する確率を表すようにしたため、より多様性が高く、また、ユーザのニーズとの合致度の精度が高い編集グラフの作成が出来るという効果を奏する。
また、第2の実施形態による編集グラフを生成にあっては、編集グラフ蓄積部203に記憶されている編集グラフの数が少ない場合においても、APIを基本APIに分類して編集グラフを生成するために、より多様性が高く、また、ユーザのニーズとの合致度の精度が高い編集グラフの作成が出来るという効果を奏する。
また、第1の実施形態における編集グラフを生成と比較した場合の、第2の実施形態における編集グラフを生成の利点について説明する。
第1の実施形態における編集グラフを生成においては、同じAPIであれば、パラメータの設定値が入力されたかに関係なく、同じノードとして遷移確率グラフを構築していたため、本来ならば接続が適切でない編集グラフが提示される場合が存在した。
これに対して、第2の実施形態における編集グラフを生成においては、APIのパラメータの設定値でAPIを区別することにより、接続が適切になりユーザのニーズに合ったメディア表現テンプレートを提供することが司能となる。
さらに、第2の実施形態における編集グラフを生成においては、1つのAPIであってもパラメータの設定値によりAPIが分類されるため、APIのバリエーションが増え、更に、APIを用いた編集グラフのバリエーションが増えるという効果がある。このAPIと編集グラフの種類数の増加は、ユーザに対して、映像編集における編集グラフの選択の幅が広がり、ユーザが多様な映像を編集できる、という利点がある。
次に、図22を用いて、映像編集サーバ102と基本API抽出サーバ106とを実現する形態について説明する。
図22(a)に示す形態1は、映像編集サーバ102に、基本API抽出サーバ106の機能を、統合する場合の形態である。この場合の構成として、(1)映像編集サーバ102と、基本API抽出サーバ106とを、異なるサーバとした構成と、(2)映像編集サーバ102と基本API抽出サーバ106とを一体とした構成とする場合がある可能である。
この図22(a)に示す形態1においては、映像編集サーバ102は、様々なユーザが生成した編集グラフを統合して、テンプレートをユーザに提示することが可能となる。
一方、図22(b)形態2は、ユーザ端末103Aまたは103Bが、基本API抽出サーバ106の機能を有するようにする構成の場合である。
この図22(b)に示す形態2においては、編集グラフを生成は、その端末を使用するユーザに限定されるが、ユーザ個人の映像編集のノウハウを外部に漏らしたくない場合に有効である。
また、形態1または形態2のいずれの場合においても、映像編集サーバ102により映像を編集し、端末103Aまたは103Bを用いるユーザは専用の映像を編集する装置を要しないため、端末を用いるユーザは、映像を編集するための装置に対する低コスト化が可能である。
なお、図18の第2の実施形態におけるグラフ推定部210は、図2の第1の実施形態におけるグラフ推定部209と異なる構成として説明してきたが、グラフ推定部210とグラフ推定部209とは、同一の構成としてもよい。
また、映像編集サーバ102と基本API抽出サーバ106とは、別個の構成としてもよいし、一体とした構成としてもよい。
なお、APIライブラリ部201、編集グラフ蓄積部203、動画蓄積部205、ランキングDB部213の記憶部、遷移確率記憶部215、または、分類情報記憶部234は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CR−ROM等の読み出しのみが可能な記憶媒体、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
なお、図1における公開閲覧部206、編集グラフ作成部202または実行部204、または、図2におけるグラフ推定部210、基本API分類部231、基本API選択部232または基本API遷移確率算出部233は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この公開閲覧部206、編集グラフ作成部202、実行部204、グラフ推定部210、基本API分類部231、基本API選択部232または基本API遷移確率算出部233は、専用のハードウェアにより実現されるものであってもよく、また、この公開閲覧部206、編集グラフ作成部202、実行部204、グラフ推定部210、基本API分類部231、基本API選択部232または基本API遷移確率算出部233は、メモリおよびCPU(中央演算装置)により構成され、その機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、端末103Aおよび103Bには、周辺機器として入力装置、表示装置等(いずれも図示せず)が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはCRT(Cathode Ray Tube)や液晶表示装置等のことをいう。

なお、上記の実施形態の説明においては、本実施の形態である映像編集サーバおよび基本API抽出サーバの処理対象として動画と音声を含む映像の場合のみについて説明してきたが、本実施の形態である映像編集サーバおよび基本API抽出サーバの処理対象とする媒体、すなわち、メディアとしては、動画のみ、音声のみ、または、動画と音声、の場合についても、同様に適応可能である
本発明のメディア処理サーバまたはメディア処理サーバ装置は、実施形態の映像処理サーバ102に対応し、その処理をメディアに対して処理するものである。
また、本発明と実施形態との対応において、メディア宛先入力部が映像宛先入力部に、メディア受信部が映像受信部に、メディア入力元が映像入力元に、メディア出力先が映像出力先に、メディア指定情報が映像指定情報に、それぞれ対応する。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、映像を編集するネットワーク上のサーバ装置に用いて好適である。
この発明の一実施形態による映像編集サーバシステムの構成を示すブロック図である。 図1の映像編集サーバ装置の構成を示すブロック図である。 一例としてのAPIと編集グラフを説明する説明図である。 APIを図で示す例を説明する説明図である。 映像編集サーバシステムの閲覧時における動作を示すフローチャートである。 ユーザの端末に表示される一例としての閲覧表示の画面図である。 映像編集サーバシステムの編集時における動作を示すフローチャートである 図7のステップS702を詳細に説明うするフローチャートである。 遷移確率グラフの生成方法を説明する説明図である。 生成された遷移確率グラフから確率が高い遷移を検出する方法を説明する説明図である。 生成された遷移確率グラフから確率が高い遷移を検出する方法のフローチャートである。 編集を説明するための説明図である。 グラフ選択を説明するための説明図である。 本映像編集サーバシステムの第1の応用例を説明する説明図である。 本映像編集サーバシステムの第2の応用例を説明する説明図である。 本映像編集サーバシステムの第3の応用例を説明する説明図である。 この発明の第2の実施形態による映像編集サーバシステムの構成を示すブロック図である。 図17の映像編集サーバ装置および抽出サーバの構成を示すブロック図である。 第2の実施形態による編集グラフの推定を説明する説明図である。 APIの分類についての説明図である。 分類したAPIによる編集グラフの推定を説明する説明図である。 映像編集サーバシステムの構成の例を示す構成図である。
符号の説明
101 ネットワーク
102 映像編集サーバ
103A、103B 端末
104 映像元端末
105 映像先端末
106 基本API抽出サーバ
201 APIライブラリ部
202 編集グラフ作成部
203 編集グラフ蓄積部
204 実行部
205 動画蓄積部
208 グラフ検索部
209、210 推定部
213 ランキングDB部
214 選定部
215 遷移確率記憶部
231 基本API分類部
232 基本API選択部
233 基本API遷移確率算出部
234 分類情報記憶部
2021 送受信部
2022 動画宛先入力部
2023 グラフ動画送信部
2024 グラフ編集部
2025 グラフ選択部
2041 映像生成部
2042 登録部
2043 映像送信部
2044 映像受信部
2061 送受信部
2062 ランキング取得部
2063 情報取得表示部
2064 閲覧数登録部
2141 ランキング取得部
2142 情報取得表示部
T1 グラフ動画対応テーブル
T2 画像回数テーブル
T3 編集グラフ回数テーブル
T4 API回数テーブル

Claims (7)

  1. 動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、前記API毎に記憶されている基本API対応記憶部と、
    前記基本API間の遷移確率が記憶されている遷移確率記憶部と、
    複数のAPIが入力されることに応じて、前記入力された複数のAPIに該当する基本APIを前記基本API対応記憶部から読み出し出力する基本API選択部と、
    前記基本API選択部から入力された基本API間の遷移確率を、前記遷移確率記憶部から読み出し、前記読み出した遷移確率に基づいて前記基本APIが接続された編集グラフを生成するグラフ推定部と、
    前記グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、
    を有することを特徴とするメディア編集サーバ装置。
  2. 前記メディア編集サーバ装置が、
    前記APIの順序と前記APIのパラメータの設定値とが記述された編集グラフが記憶されている編集グラフ蓄積部と、
    前記編集グラフ蓄積部に記憶されている編集グラフに基づいて、前記API毎に、該APIを統計的に異なるパラメータの設定値を有する前記複数の基本APIに分類し、前記APIと前記分類した基本APIとを関連付けて前記基本API対応記憶部に記憶させる基本API分類部と、
    前記基本API分類部が分類した基本API間の遷移確率を、前記編集グラフ蓄積部に蓄積されている編集グラフに基づいて算出し、該算出した遷移確率を前記遷移確率記憶部に記憶させる基本API遷移確率算出部と、
    を有することを特徴とする請求項1に記載のメディア編集サーバ装置。
  3. 前記メディア編集サーバ装置が、
    APIを基本APIに分類するために用いる、複数のパラメータの設定値を分類するための分類情報が記憶されている分類情報記憶部を有し、
    前記基本API分類部が、
    前記APIを前記基本APIに分類する時に、前記複数のパラメータの設定値を統計的に分類するための分類情報を前記編集グラフ蓄積部に蓄積されている編集グラフに基づいて算出し、該算出した分類情報に基づいて前記APIを前記基本APIに分類し、前記算出した分類情報を前記分類情報記憶部に記憶させ、
    前記基本API選択部が、
    前記APIと該APIのパラメータの設定値とが入力されたことに応じて、前記入力されたAPIに該当する分類情報を前記分類情報記憶部から読み出し、該読み出した分類情報と前記入力されたパラメータの設定値とに基づいて、前記入力された複数のAPIに該当する基本API対応記憶部から読み出した基本APIの中から、前記入力された複数のパラメータの設定値に該当する基本APIを選択し、該選択した基本APIを出力する、
    ことを特徴とする請求項2に記載のメディア編集サーバ装置。
  4. 前記メディア編集サーバ装置が、
    ユーザが用いる端末とネットワークを介して接続されるメディア編集サーバ装置であり、
    前記メディア編集サーバ装置が、
    メディアを処理するAPIが記憶されているAPIライブラリ部と、
    編集グラフを前記編集グラフ蓄積部から取得するための選択情報を前記端末から受信し、前記受信した選択情報に基づいて前記編集グラフ蓄積部から編集グラフを取得するグラフ選択部と、
    メディア入力元およびメディア出力先を指定するためのメディア指定情報を前記端末から受信するメディア宛先入力部と、
    前記メディア宛先入力部が受信したメディア指定情報に基づいてメディア入力元からメディアを取得するメディア受信部と、
    を有し、
    前記実行部が、
    前記取得した編集グラフに記述されているAPIを前記APIライブラリ部から取得し、前記取得した編集グラフと前記取得したAPIとに基づいて前記メディア受信部が取得したメディアを編集し、前記編集したメディアを前記メディア指定情報のメディア出力先に出力する、
    ことを特徴とする請求項1から請求項3に記載のメディア編集サーバ装置。
  5. 前記端末が、前記複数のAPIを、または、前記APIと該APIのパラメータの設定値とを、前記メディア編集サーバ装置に入力し、
    前記グラフ選択部が、前記グラフ推定部が生成した編集グラフを、前記取得する編集グラフとする、
    ことを特徴とする請求項4に記載のメディア編集サーバ装置。
  6. ユーザが用いる端末とメディア編集サーバ装置とがネットワークを介して接続されるメディア編集システムであり、
    前記メディア編集サーバ装置が、
    動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、前記API毎に記憶されている基本API対応記憶部と、
    前記基本API間の遷移確率が記憶されている遷移確率記憶部と、
    複数のAPIが入力されることに応じて、前記入力された複数のAPIに該当する基本APIを前記基本API対応記憶部から読み出し出力する基本API選択部と、
    前記基本API選択部から入力された基本API間の遷移確率を、前記遷移確率記憶部から読み出し、前記読み出した遷移確率に基づいて前記基本APIが接続された編集グラフを生成するグラフ推定部と、
    前記グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、
    を有することを特徴とするメディア編集システム。
  7. メディア編集サーバ装置であるコンピュータを、
    動画または音声であるメディアを処理するAPIと、該APIのパラメータの値が異なる基本APIとが関連付けて、前記API毎に記憶されている基本API対応記憶部と、
    前記基本API間の遷移確率が記憶されている遷移確率記憶部と、
    複数のAPIが入力されることに応じて、前記入力された複数のAPIに該当する基本APIを前記基本API対応記憶部から読み出し出力する基本API選択部と、
    前記基本API選択部から入力された基本API間の遷移確率を、前記遷移確率記憶部から読み出し、前記読み出した遷移確率に基づいて前記基本APIが接続された編集グラフを生成するグラフ推定部と、
    前記グラフ推定部が生成した編集グラフに基づいてメディアを編集する実行部と、
    として機能させるためのメディア編集プログラム。
JP2007047183A 2007-02-27 2007-02-27 メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム Expired - Fee Related JP4652357B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007047183A JP4652357B2 (ja) 2007-02-27 2007-02-27 メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007047183A JP4652357B2 (ja) 2007-02-27 2007-02-27 メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム

Publications (2)

Publication Number Publication Date
JP2008211595A true JP2008211595A (ja) 2008-09-11
JP4652357B2 JP4652357B2 (ja) 2011-03-16

Family

ID=39787518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007047183A Expired - Fee Related JP4652357B2 (ja) 2007-02-27 2007-02-27 メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム

Country Status (1)

Country Link
JP (1) JP4652357B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537448B1 (en) * 2021-12-14 2022-12-27 Asapp, Inc. Adapting application programming interfaces with schema mappings
WO2023190763A1 (ja) * 2022-04-01 2023-10-05 株式会社オープンエイト 情報処理システム、サーバ、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501252A (ja) * 1995-11-02 2000-02-02 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 通信ネットワーク用のサービス生成装置
JP2001191281A (ja) * 1999-12-29 2001-07-17 Sony Corp 編集装置、編集方法及び記録媒体
JP2006293763A (ja) * 2005-04-12 2006-10-26 Pioneer Electronic Corp 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム、情報処理プログラムを記録した記録媒体
JP2007041861A (ja) * 2005-08-03 2007-02-15 Sharp Corp コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501252A (ja) * 1995-11-02 2000-02-02 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 通信ネットワーク用のサービス生成装置
JP2001191281A (ja) * 1999-12-29 2001-07-17 Sony Corp 編集装置、編集方法及び記録媒体
JP2006293763A (ja) * 2005-04-12 2006-10-26 Pioneer Electronic Corp 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム、情報処理プログラムを記録した記録媒体
JP2007041861A (ja) * 2005-08-03 2007-02-15 Sharp Corp コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537448B1 (en) * 2021-12-14 2022-12-27 Asapp, Inc. Adapting application programming interfaces with schema mappings
WO2023190763A1 (ja) * 2022-04-01 2023-10-05 株式会社オープンエイト 情報処理システム、サーバ、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP4652357B2 (ja) 2011-03-16

Similar Documents

Publication Publication Date Title
CN110297848B (zh) 基于联邦学习的推荐模型训练方法、终端及存储介质
US8174523B2 (en) Display controlling apparatus and display controlling method
KR102193933B1 (ko) 3d vr 포트폴리오 기반 인테리어 업체 매칭 서비스 제공 장치 및 그 방법
AU2006249239B2 (en) A method of ordering and presenting images with smooth metadata transitions
KR20220041704A (ko) 특징 추출에 기반한 다중 모델 훈련 방법 및 시스템, 전자 장치 및 매체
US20170068643A1 (en) Story albums
CN110555050A (zh) 一种基于元路径的异构网络节点表示学习方法
US20100169326A1 (en) Method, apparatus and computer program product for providing analysis and visualization of content items association
US20100057722A1 (en) Image processing apparatus, method, and computer program product
CN104011715A (zh) 地理空间多观察器
US9922110B2 (en) Information processing apparatus, information processing method, and program
JPWO2009072466A1 (ja) 画像分類装置および画像分類プログラム
WO2020255307A1 (ja) 情報処理装置、情報処理方法、および記録媒体
CN112948625B (zh) 一种基于属性异质信息网络嵌入的电影推荐方法
CN111159563A (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN113591986B (zh) 用于生成推荐模型的对象权值的方法和个性化推荐方法
JP4652357B2 (ja) メディア編集サーバ装置、メディア編集システム、およびメディア編集プログラム
KR20180122829A (ko) 이미지 기반 음원 선택 방법, 장치 및 컴퓨터 프로그램
JP2012141954A (ja) 情報処理装置およびその方法
JP5627002B2 (ja) 類似映像出力方法、類似映像出力装置および類似映像出力プログラム
US9141643B2 (en) Visual ontological system for social community
JP2018097490A (ja) 情報処理装置、方法およびプログラム
JP4554574B2 (ja) 映像編集サーバ装置、システムおよびプログラム
CN107277570B (zh) 一种改善电视终端推荐系统推荐效果的方法
CN115809339A (zh) 跨领域推荐方法、系统、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees