JP2015032905A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2015032905A JP2015032905A JP2013159672A JP2013159672A JP2015032905A JP 2015032905 A JP2015032905 A JP 2015032905A JP 2013159672 A JP2013159672 A JP 2013159672A JP 2013159672 A JP2013159672 A JP 2013159672A JP 2015032905 A JP2015032905 A JP 2015032905A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- unit
- video
- feature amount
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、動画編集装置、及びその制御方法、プログラムに関する。 The present invention relates to a moving image editing apparatus, a control method thereof, and a program.
近年、撮影デバイスの普及に伴って、大量の動画が撮影、保存されるようになってきており、複数の動画を編集し、つなぎあわせ、内容を要約した動画を作成する作業が広く一般的に行われるようになってきている。しかし、動画編集時において、素材となる動画を検索する作業は、日付や動画ファイル名などのメタデータにもとづいて行う場合がほとんどであり、利用者にとって非常に煩雑な作業となっている。 In recent years, with the widespread use of photographic devices, a large number of videos have been shot and stored, and it has become common to edit multiple videos, connect them together, and create videos that summarize the contents. It is getting done. However, at the time of editing a moving image, the operation of searching for a moving image as a material is almost always performed based on metadata such as a date and a moving image file name, which is very complicated for the user.
このような課題を解決するために、特許文献１では、キーワードを利用した検索時に複数の素材動画が候補となる場合、素材同士の画像特徴量から算出した類似度を用いることで、編集後の動画における、所定のシーンと隣接シーンとの類似度が高いシーンを持つ素材動画により高い優先度を与え、優先度順に表示することで利用者が動画を決定する効率を上げる手法が示されている。
In order to solve such a problem, in
また、特許文献２では、動画中の画像に物体認識や文字認識を行い、認識結果を文字情報として記録しておくことで、検索・編集時における利用者の効率を上げる手法が示されている。
上記特許文献１では、検索時に利用される動画の内容を表すキーワードに関しては、あらかじめ利用者が登録しておく必要があり、登録作業は利用者にとって非常に負担となる作業である。
In the above-mentioned
また、上記特許文献２では、特定物体認識の精度によっては利用者にとって利用しづらいものであり、物体認識した名称について利用者が記憶していなければ検索することができない。さらに、利用者が間違った認識結果を訂正する機能については提供されていない。
Moreover, in the said
そこで、本発明は、動画編集時に素材となる動画を検索する際の利便性を向上させる仕組みを提供することを目的とする。 Therefore, an object of the present invention is to provide a mechanism for improving convenience when searching for a moving image as a material when editing a moving image.
本発明は、複数の要約対象動画をもとに、要約動画を生成する情報処理装置であって、前記要約対象動画を取得する取得手段と、前記取得手段により取得した要約対象動画の動画フレームから、当該動画フレームに含まれる物体を特定するための物体特徴量を抽出する物体特徴量抽出手段と、前記物体特徴量抽出手段より抽出された物体特徴量に基づき、当該動画フレームに含まれる物体を特定する物体特定手段と、を備えることを特徴とする。 The present invention is an information processing apparatus for generating a summary video based on a plurality of summary target videos, from an acquisition unit that acquires the summary target video and a video frame of the summary target video acquired by the acquisition unit , An object feature amount extracting unit for extracting an object feature amount for identifying an object included in the moving image frame, and an object included in the moving image frame based on the object feature amount extracted by the object feature amount extracting unit. And an object specifying means for specifying.
また、本発明は、複数の要約対象動画をもとに、要約動画を生成する情報処理装置における情報処理方法であって、前記情報処理装置の取得手段が、前記要約対象動画を取得する取得工程と、前記情報処理装置の物体特徴量抽出手段が、前記取得工程により取得した要約対象動画の動画フレームから、当該動画フレームに含まれる物体を特定するための物体特徴量を抽出する物体特徴量抽出工程と、前記情報処理装置の物体特定手段が、前記物体特徴量抽出工程より抽出された物体特徴量に基づき、当該動画フレームに含まれる物体を特定する物体特定工程と、を備えることを特徴とする。 The present invention is also an information processing method in an information processing apparatus that generates a summary video based on a plurality of summary target videos, wherein the acquisition unit of the information processing apparatus acquires the summary target video. And object feature amount extraction means for extracting an object feature amount for specifying an object included in the moving image frame from the moving image frame of the summary target moving image acquired by the acquisition step. And an object specifying unit of the information processing apparatus comprising: an object specifying step of specifying an object included in the moving image frame based on the object feature amount extracted from the object feature amount extracting step. To do.
また、本発明は、複数の要約対象動画をもとに、要約動画を生成する情報処理装置において実行可能なプログラムであって、前記情報処理装置を、前記要約対象動画を取得する取得手段と、前記取得手段により取得した要約対象動画の動画フレームから、当該動画フレームに含まれる物体を特定するための物体特徴量を抽出する物体特徴量抽出手段と、前記物体特徴量抽出手段より抽出された物体特徴量に基づき、当該動画フレームに含まれる物体を特定する物体特定手段として機能させることを特徴とする。 Further, the present invention is a program executable in an information processing apparatus that generates a summary video based on a plurality of summary target videos, and the information processing apparatus acquires the summary target video, and Object feature amount extraction means for extracting an object feature amount for specifying an object included in the moving image frame from the moving image frame of the summary target moving image acquired by the acquisition means; and the object extracted by the object feature amount extraction means It is characterized by functioning as an object specifying means for specifying an object included in the moving image frame based on the feature amount.
本発明によれば、動画編集時に素材となる動画を検索する際の利便性を向上させる仕組みを提供することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the mechanism which improves the convenience at the time of searching the moving image used as a raw material at the time of moving image editing.
＜第１の実施形態＞
以下、図面を参照して、本発明の実施形態を詳細に説明する。
<First Embodiment>
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
まず、図１を参照して、本発明の実施形態における動画編集システムの構成について説明する。図１は、本発明の実施形態における動画編集システムの構成を示す図である。図１は、ひとつ又は複数の利用者端末１０１と、ひとつの要約生成装置１０２がローカルエリアネットワーク（ＬＡＮ）１０３を介して接続される構成となっている。
First, with reference to FIG. 1, the structure of the moving image editing system in the embodiment of the present invention will be described. FIG. 1 is a diagram showing a configuration of a moving image editing system according to an embodiment of the present invention. FIG. 1 shows a configuration in which one or a plurality of
利用者端末１０１は、動画の編集を行う利用者が使用する情報処理装置であって、動画検索・要約生成・要約編集要求を発信する機能と結果を受信して表示する機能を有する。
The
要約生成装置１０２は、対象となる複数の動画を記憶しており、利用者端末１０１からの検索要求を受け付け、動画の検索処理を行い、検索結果を応答する機能、利用者端末１０１からの要約生成要求を受け付け、動画の要約生成処理を行い、結果を応答する機能、利用者端末１０１からの要約編集要求を受け付け、処理を行い、編集結果を応答する機能を有する。また、外部から対象とする動画を入力する機能を備えている。以上が図１の、本発明の実施形態における動画編集システムの構成についての説明である。
The
以下、図２を用いて、本発明の実施形態における利用者端末１０１，要約生成装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図の構成の一例について説明する。図２は、本発明の実施形態における利用者端末１０１，要約生成装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
Hereinafter, an example of a configuration of a block diagram illustrating a hardware configuration of an information processing apparatus applicable to the
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 2,
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
A
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
An
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
A
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１０３）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
A communication I /
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上が図２の、本発明の実施形態における利用者端末１０１、要約生成装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図の構成の一例についての説明である。
Various programs to be described later for realizing the present invention are recorded in the
次に、図３を用いて、本発明の実施形態における動画編集システムの機能ブロックの構成について説明する。図３は、本発明の実施形態における動画編集システムの機能ブロックの構成を示す図である。 Next, the configuration of functional blocks of the moving image editing system according to the embodiment of the present invention will be described with reference to FIG. FIG. 3 is a diagram showing a functional block configuration of the moving image editing system according to the embodiment of the present invention.
図１の説明にて前述したように、本発明の実施形態における動画編集システムは、利用者端末１０１と要約生成装置１０２と画像ソース５００から構成される。利用者端末１０１と要約生成装置１０２と画像ソース５００とはそれぞれネットワークを介して相互に通信可能に接続されている。なお、本実施形態においては図１や図３に示すように利用者端末と要約生成装置を別々の端末として説明しているが、利用者端末と要約生成装置の両方の機能を備えた一つの端末により、本実施形態の処理が実行されても良い。
As described above with reference to FIG. 1, the moving image editing system according to the embodiment of the present invention includes the
利用者端末１０１は、要約生成装置１０２に対して、動画検索要求を送り、検索結果を受信し表示し、要約対象の動画を指示し、要約生成の指示を送るための情報処理装置である。利用者端末１０１は、要約生成指定・要約対象表示部３０１と、要約候補表示・編集部３０２と、から構成される。
The
要約生成指定・要約対象表示部３０１は、利用者から、検索要求としてのクエリーと、要約対象動画の指示と、動画メタデータ訂正の指示と、要約生成条件の指示と、要約生成の指示を受け付ける入力機能を有し、当該クエリーや当該指示を、ネットワークを通じて、要約生成装置１０２の要約候補生成部４０６へ送信する機能と、要約生成装置１０２から応答される動画検索結果を受信する機能と、該検索結果を表示する機能と、を有する機能処理部である。
The summary generation designation / summarization
要約候補表示・編集部３０２は、要約生成装置１０２から応答される要約候補結果を受信する機能と、該要約候補結果を表示する機能と、該要約候補結果の編集を指示する機能と、要約動画の出力を指示する機能と、を有する機能処理部である。
The summary candidate display /
要約生成装置１０２は、利用者端末１０１から、動画の検索要求を受信し、蓄積された動画に対して要求された検索処理を実行し、要約生成の指示を受信し、要約候補を生成し、要約動画の出力指示を受信し、要約動画を出力し、検索結果情報と生成した要約候補を利用者端末１０１へ送信する情報処理装置である。要約生成装置１０２は、動画登録部４０１と、動画解析部４０２と、特徴量抽出部４０３と、物体認識部４０４と、物体推定部４０５と、要約候補生成部４０６と、動画検索部４０７と、メタデータ訂正部４０８と、要約重みベクトル生成部４０９と、要約候補結果出力部４１０と、動画推薦部４１１と、動画データベース４１２と、物体認識データベース４１３と、から構成される。
The
動画登録部４０１は、処理対象となる動画を本システムへ登録する機能処理部である。動画ソース５００で指示されるシステムの外部のアクターから、対象とする動画データ（群）を受信または取得し、当該動画データ（群）を動画解析部４０２へ渡し、当該動画データ群をそれぞれ動画データベース４１２へ保存する機能を有する。
The moving
動画解析部４０２は、動画登録部４０１から動画データ群を受け取り、受け取った各動画に付帯する位置情報および日付情報を動画データベース４１２へ保存する機能と、各動画データから、全ての動画フレームデータ、つまり画像データを取得する機能と、当該各画像データを特徴量抽出部４０３へ渡し、画像特徴量の抽出処理を指示する機能と、当該各画像データを物体認識部４０４へ渡し、物体認識処理を指示する機能と、受け取った動画データ群を物体推定部に渡し、物体推定処理を指示する機能と、を有する機能処理部である。
The moving
特徴量抽出部４０３は、動画解析部４０２から画像データを受け取り、該画像データの特徴量（例えばＲＧＢヒストグラム）を抽出し、該特徴量データを動画データベース４１２へ保存する機能処理部である。
The feature
物体認識部４０４は、動画解析部４０２から画像データを受け取り、該画像データから特定物体認識を行うための特徴量データ、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの局所特徴量から計算されるＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量（例えば、あらかじめ局所特徴量の集合をＫｍｅａｎｓ法によりクラスタリングしておき、代表的な局所特徴量を任意の個数見つけ出し、画像１枚における求めた代表的な局所特徴量の出現度合いを表した特徴量）を抽出する機能と、該特徴量データと、物体認識データベース４１３の中に保存されている物体特徴量とを比較して特定物体認識処理を行う機能と、該特定物体認識結果と特定物体の位置情報を、動画データベース４１２に保存する機能と、該画像データと物体認識データベース４１３の中に保存されている一般物体認識器と一般物体名称から一般物体認識処理を行う機能と、該一般物体認識結果を動画データベース４１２に保存する機能と、を有する機能処理部である。
The
物体推定部４０５は、動画解析部４０２から動画データ群を受け取り、動画データベース４１２の中に一般物体認識結果が保存されている各動画について、該動画データと、動画データベース４１２の中に保存されている特定物体認識結果と動画撮影日時と動画位置情報を利用して、該一般物体認識結果の、特定物体名称を推定する機能と、該推定結果を動画データベース４１２に保存する機能と、を有する機能処理部である。
The
要約候補生成部４０６は、動画検索要求として検索クエリーを受け取り、該検索クエリーを動画検索部４０７へ渡し、動画検索処理を指示する機能と、該動画検索結果を利用者端末１０１の要約生成指定・要約対象表示部３０１に送信する機能と、要約生成指示を受け取り、要約対象動画と該要約対象動画のメタデータを要約重みベクトル生成部４０９へ渡し、要約重みベクトル生成処理を指示する機能と、該要約重みベクトルと該要約対象動画から要約候補を生成する機能と、メタデータ訂正要求として文字列クエリーを受け取り、該文字列クエリーをメタデータ訂正部４０８へ渡し、メタデータ訂正を指示する機能と、要約候補出力要求を受け取り、要約候補結果出力部４１０に生成した要約候補の出力を指示する機能と、を有する機能処理部である。
The summary
動画検索部４０７は、要約候補生成部４０６、要約重みベクトル生成部４０９、および要約候補結果出力部４１０から動画検索クエリーを受け取り、動画データベース４１２の中に保存されている各動画について、当該検索クエリーの条件に合致する動画の動画データおよび付帯する動画メタデータを取得し、当該検索結果を応答する機能処理部である。
The
メタデータ訂正部４０８は、要約候補生成部４０６からメタデータ訂正要求として文字列クエリーを受け取り、当該クエリーから動画データベース４１２の中に保存されている動画メタデータの訂正処理機能を有する、機能処理部である。
The
要約重みベクトル生成部４０９は、要約候補生成部４０６から要約対象動画と該要約対象動画のメタデータを受け取り、要約生成の際に、当該要約対象動画の時間を設定するために用いる要約重みベクトルを生成する機能を有する、機能処理部である。
The summary weight
要約候補結果出力部４１０は、要約候補生成部４０６から要約候補結果を受け取り、当該要約候補結果を、利用者端末１０１の要約候補表示・編集部３０２へ送信する機能と、要約候補表示・編集部３０２から要約候補結果の編集要求を受け取り、該当編集結果を要約候補表示・編集部３０２に送信する機能と、要約候補表示・編集部３０２から推薦動画の表示要求を受け取り、該当要求を動画推薦部４１１に渡し、推薦動画の計算を指示する機能と、を有する機能処理部である。
The summary candidate
動画推薦部４１１は、要約候補結果出力部４１０から、推薦動画表示要求を受け取り、該当要求に合致する動画を動画データベース４１２から検索し、検索結果を該当推薦動画として要約候補結果出力部４１０へ応答する機能を有する機能処理部である。
The
動画データベース４１２は、要約対象動画となる動画データ群、および図１５で例示される、各動画のメタデータおよび各動画の、各フレームのメタデータを保存する記憶領域である。
（図１５の説明）
The moving
(Explanation of FIG. 15)
ここで図１５を用いて、本発明の実施形態における動画データベース４１２の一例について説明する。
Here, an example of the moving
図１５の動画メタデータ保存テーブルは、１行が動画データベース４１２に蓄えられている１つの動画データを表し、動画データのＩＤ（識別子）（動画ＮＯとも言う）とともに、ｆｐｓカラムに動画のＦＰＳ（フレームパーセカンド）が、フレーム数カラムに動画のフレーム数が、撮影日時カラムに、動画の撮影開始日時を示す時間情報が、動画位置情報カラムに、動画の撮影開始時の緯度・経度を示す位置情報が、それぞれ保存されていることを表している。
The moving image metadata storage table of FIG. 15 represents one moving image data stored in the moving
図１５の動画フレームメタデータ保存テーブルは、１行が動画データベース４１２に蓄えられている１つの動画中の１つのフレームを表し、動画フレームのＩＤ（識別子）とともに、フレームＮｏカラムに動画の何フレーム目であるかを示すフレームＮｏが保存される。また、動画ＩＤカラムにはフレームがどの動画のものであるかを示す動画ＩＤ（上記動画メタデータ保存テーブルの動画ＩＤ）が保存される。また、画像特徴量カラムにはフレームから取得した画像特徴量（例えば、色の分布情報を表し、多次元数値ベクトルで表現されるＲＧＢヒストグラム）が保存される。また、特定物体名称カラムには、フレームに特定物体認識処理を行って取得されるフレーム中に存在する特定物体の名称が保存される。また、一般物体名称カラムには、フレームに一般物体認識処理を行って取得されるフレーム中に存在する一般物体の名称が保存される。また、物体推定結果カラムには、フレームに物体推定処理を行って取得されるフレーム中に存在する特定物体の名称が保存される。また、フレーム位置情報カラムには、フレームの特定物体名称カラムの値から取得されるフレーム撮影時の位置情報を示す緯度・経度が保存される。また、特定物体説明情報カラムには、フレームの特定物体名称カラムの値から取得される特定物体に付帯する該当特定物体を説明する情報が保存される。また、曖昧検索インデックスカラムには、フレームの特定物体説明情報カラムの値から生成される動画検索時に利用者が特定物体名称を記憶していない場合でも検索可能にするための単語列が保存される。
The moving image frame metadata storage table of FIG. 15 represents one frame in one moving image stored in the moving
物体認識データベース４１３は、図１６で例示される、特定物体認識、一般物体認識および物体推定を行う際に利用するための特定物体名称や物体位置情報などを保存する記憶領域である。
（図１６の説明）
The
(Explanation of FIG. 16)
ここで図１６を用いて、本発明の実施形態における物体認識データベース４１３の一例について説明する。
Here, an example of the
図１６の特定物体管理テーブルは、１行が物体認識データベース４１３に蓄えられている１つの特定物体のデータを表し、特定物体データのＩＤ（識別子）（特定物体ＮＯとも言う）とともに、物体特徴量カラムには、該当特定物体であることを特定するための多次元数値ベクトルで表現される特徴量が保存される。また、特定物体名称カラムには、特定物体の名称を表現する値が保存される。また、特定物体位置情報カラムには、特定物体の存在する緯度・経度が、それぞれ保存されていることを表している。
In the specific object management table of FIG. 16, one row represents data of one specific object stored in the
ここで、物体特徴量カラムには、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの局所特徴量から計算されるＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量（例えば、局所特徴量の集合をＫｍｅａｎｓ法によりクラスタリングし、代表的な局所特徴量を任意の個数見つけ出し、画像１枚における求めた代表的な局所特徴量の出現度合いを表した特徴量）が当てはめられる。 Here, in the object feature column, for example, a Bag Of Features feature (calculated from a local feature such as a SIFT (Scale Invariant Feature Transform) feature (a feature representing a density change feature of a local region)) ( For example, a set of local feature quantities is clustered by the Kmeans method, an arbitrary number of representative local feature quantities are found, and a feature quantity that represents the degree of appearance of a representative local feature quantity obtained in one image is applied. .
図１６の一般物体管理テーブルは、１行が物体認識データベース４１３に蓄えられている１つの一般物体のデータを表し、一般物体データのＩＤ（識別子）（一般物体ＮＯとも言う）とともに、一般物体検出器出力ラベルカラムには、各一般物体検出器が物体を識別した際に出力する数値が保存される。また、一般物体名称カラムには、一般物体の名称を表現する値が、それぞれ保存されていることを表している。
In the general object management table of FIG. 16, one line represents data of one general object stored in the
ここで、一般物体検出器とは、例えば、前記したＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量と、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）と呼ばれる機械学習手法を利用して構成されるものである。サポートベクターマシンとは、教師あり学習手法の１つであり、あらかじめ正解データと非正解データ（学習データ）を用いて、正解データを識別するパターンを学習することができるものである。したがって、当該検出器は、あらかじめ各一般物体の学習データを用意し、用意した学習データより抽出したＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量を学習することで、当該物体であるかどうかを識別するパターンを学習し、画像から抽出したＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量を入力として与えると、物体が識別できた場合には、識別物体ごとにひもづけられたラベルＩＤを出力するものであり、物体認識データベース４１３に保存されているものである。
Here, the general object detector is configured by using, for example, the above-described Bag Of Features feature amount and a machine learning method called a support vector machine (Support Vector Machine, SVM). The support vector machine is one of supervised learning methods, and can learn a pattern for identifying correct data using correct data and non-correct data (learning data) in advance. Therefore, the detector prepares learning data of each general object in advance, learns a Bag Of Features feature amount extracted from the prepared learning data, learns a pattern for identifying whether the object is an object, When the Bag Of Features feature amount extracted from the image is given as an input, if an object can be identified, a label ID linked to each identified object is output and stored in the
図１６の物体推定用テーブルは、１行が、物体認識データベース４１３に蓄えられている１つの物体推定データを表し、物体推定データのＩＤ（識別子）（物体推定ＮＯとも言う）とともに、一般物体名称カラムに、一般物体の名称を表現する値が、特定物体名称カラムに、推定結果を表す特定物体の名称を表現する値が、特定物体位置情報カラムに、特定物体の存在する緯度・経度が、それぞれ保存されていることを表している。
図３の説明に戻る。
In the object estimation table of FIG. 16, one row represents one object estimation data stored in the
Returning to the description of FIG.
動画ソース５００は、本動画編集システムにおける、要約対象となる動画の出所（入力ソース）を表す外部アクターである。例えば、直接動画データを提供する利用者そのもの、各種ビデオカメラ等の映像入力機器なども考えられる。以上が図３の、本発明の実施形態における動画編集システムの機能ブロックの構成についての説明である。
The moving
次に図４を参照して、本発明の実施形態における画像検索システムにおける検索対象画像の登録手順について説明する。図４は、本発明の実施形態における画像検索システムにおける検索対象画像の登録手順の一例を示すフローチャートである。 Next, with reference to FIG. 4, the registration procedure of the search target image in the image search system according to the embodiment of the present invention will be described. FIG. 4 is a flowchart illustrating an example of a procedure for registering a search target image in the image search system according to the embodiment of the present invention.
尚、以下で説明する動画ソース５００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの利用者が操作する、要約を行いたい動画群が保存されている利用者端末とした場合の例で説明する。 The video source 500 (external device) described below may be of various types as described above, but here, a group of videos to be summarized and operated by the system user are stored. An example in the case of a user terminal will be described.
ステップＳ４０１では、動画登録部４０１は、動画ソース５００で表わされるシステム利用者が操作する利用者端末から要約対象となる動画データ群を取得し、取得した動画データ群を動画データベース４１２に保存して、当該動画データ群を動画解析部４０２へ入力する。
In step S <b> 401, the moving
ステップＳ４０２では、動画解析部４０２は、前記取得した動画データ群それぞれに動画解析処理を行い、動画検索時に利用される動画メタデータと動画フレームメタデータを、動画データベース４１２へ登録する。前記動画メタデータと動画フレームメタデータは、前述した通り、図１５で例示されるようなテーブル構造で保存される。動画解析部４０２は、該動画データ群を、物体推定部４０５へ入力する。ステップＳ４０２の動画解析の詳細処理は、図５を用いて後述する。
In step S <b> 402, the moving
ステップＳ４０３では、物体推定部４０５は、前記取得した動画データ群それぞれについて物体推定処理を行い、推定した結果を動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。ステップＳ４０３の物体推定の詳細処理は、図７を用いて後述する。
In step S <b> 403, the
ステップＳ４０４では、動画解析部４０２は、動画データベース４１２の動画フレームメタデータ保存テーブルより特定物体名称を持っている動画フレームを取得し、取得した動画フレームに対する繰り返し処理を開始する。
In step S404, the moving
ステップＳ４０５では、動画解析部４０２は、処理中の動画フレームに対して、取得した特定物体名称より、該特定物体を説明する情報を取得し、動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。前記特定物体を説明する情報は、例えば、インターネット上にあるデータや、予め構築したデータベースから取得することが可能である。
In step S405, the moving
ステップＳ４０６では、動画解析部４０２は、利用者が当該特定物体の名称を記憶していなくても、該フレームを持つ動画を検索可能にするために、ステップＳ４０５で取得した特定物体説明情報に対して、例えば、形態素解析処理を行い、名詞情報だけを、曖昧検索インデックスとして、動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。
In step S406, the moving
ステップＳ４０７では、未処理の動画フレームがある場合は、ステップＳ４０５に戻る。未処理の動画フレームがない場合は、処理を終了する。 In step S407, when there is an unprocessed moving image frame, the process returns to step S405. If there is no unprocessed moving image frame, the process ends.
以上の図４に示す処理により、要約対象動画について、当該要約対象動画に含まれる特定物体に関する情報を含むデータとして登録することが可能となる。具体的には、図１５に示す動画フレームメタデータ保存テーブルに示す情報を登録することが可能となる。 With the processing shown in FIG. 4 described above, it is possible to register the summary target moving image as data including information on a specific object included in the summary target moving image. Specifically, the information shown in the moving picture frame metadata storage table shown in FIG. 15 can be registered.
次に、図５を用いて、本発明の実施形態における、動画編集システムにおける動画解析処理の詳細処理について説明する。図５は、本発明の実施形態における、動画編集システムにおける動画解析処理の詳細処理を示すフローチャートである。 Next, detailed processing of the moving image analysis processing in the moving image editing system in the embodiment of the present invention will be described with reference to FIG. FIG. 5 is a flowchart showing detailed processing of moving image analysis processing in the moving image editing system in the embodiment of the present invention.
ステップＳ５０１では、動画解析部４０２は、ステップＳ４０１で取得した動画データ群に対する繰り返し処理を開始する。
In step S501, the moving
ステップＳ５０２では、動画解析部４０２は、動画に付帯するメタデータとして、撮影日時、位置情報（緯度・経度情報）を抽出し、動画データベース４１２の動画メタデータ保存テーブルへ登録する。
In step S <b> 502, the moving
ステップＳ５０３では、動画解析部４０２は、処理中の動画の各フレームに対する繰り返し処理を開始する。
In step S503, the moving
ステップＳ５０４では、動画解析部４０２は、処理中の動画フレームを特徴量抽出部４０３へ入力する。特徴量抽出部４０３は、前記取得した動画フレームに対し、画像特徴量の抽出処理を行い、抽出した特徴量を動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。ここで、画像特徴量とは、前述したように、例えば、各色の分布を表現するＲＧＢヒストグラムなどの、多次元数値ベクトルで表現される特徴量である。
In step S <b> 504, the moving
ステップＳ５０５では、動画解析部４０２は、処理中の動画フレームを、物体認識部４０４へ入力する。物体認識部４０４は、前記取得した動画フレームに対し、物体認識処理を行い、該認識結果を動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。ステップＳ５０５の物体認識の詳細処理は、図６を用いて後述する。
In step S <b> 505, the moving
ステップＳ５０６では、動画解析部４０２は、未処理の動画フレームがある場合は、ステップＳ５０４へ戻る。未処理の動画フレームがない場合は、ステップＳ５０７へ進む。
In step S506, when there is an unprocessed moving image frame, the moving
ステップＳ５０７では、動画解析部４０２は、未処理の動画がある場合は、ステップＳ５０２へ戻る。未処理の動画がない場合は、処理を終了する。
In step S507, the moving
次に、図６を用いて、本発明の実施形態における、動画編集システムにおける物体認識処理の詳細処理について説明する。図６は、本発明の実施形態における、動画編集システムにおける物体認識処理の詳細処理を示すフローチャートである。 Next, detailed processing of the object recognition processing in the moving image editing system in the embodiment of the present invention will be described using FIG. FIG. 6 is a flowchart showing detailed processing of object recognition processing in the moving image editing system in the embodiment of the present invention.
ステップＳ６０１では、物体認識部４０４は、前記取得した動画フレームより、前述した物体特徴量、Ｂａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量を抽出する。物体認識部４０４は、前記抽出した物体特徴量と、前述した物体認識データベース４１３の特定物体管理テーブルに保存されている各物体特徴量とを比較し、各特定物体との類似度を計算する。類似度は、例えば、多次元数値ベクトル同士のユークリッド距離で計算される。物体認識部４０４は、前記計算した各類似度のうち、最も小さい類似度が十分小さい場合（例えば０．０１未満である場合。なお当該判断基準となる値は、予め設定されている値であっても、その都度設定する値であってもいずれでも良い。）、該当する特定物体を認識したと判断し、該認識結果を、特定物体名称として動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。
In step S601, the
認識しない場合は、登録処理を実行せず、次の処理（ステップＳ６０２）に移行する。 If not recognized, the registration process is not executed and the process proceeds to the next process (step S602).
ステップＳ６０２では、物体認識部４０４は、ステップＳ６０１の処理で取得した特定物体認識結果より、前述した物体認識データベース４１３の特定物体管理テーブルに保存されている特定物体位置情報を取得し、該位置情報を動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。
In step S602, the
ステップＳ６０３では、物体認識部４０４は、ステップＳ６０１で動画フレームより抽出した物体特徴量を、前述した物体認識データベース４１３に保存されている一般物体検出器に入力する。物体認識部４０４は、前記一般物体検出器の出力と、物体認識データベース４１３の一般物体管理テーブルの各一般物体検出器出力ラベルとを比較し、該動画フレームに一般物体が存在するかを認識する。物体認識部４０４は、該認識結果を動画データベース４１２の動画フレームメタデータ保存テーブルへ登録する。
In step S603, the
以上の図５、図６のフローチャートに示す処理により、予め登録された情報に基づき、要約対象動画の各フレームに含まれる物体の名称等を特定することが可能となる。 By the processing shown in the flowcharts of FIGS. 5 and 6, it is possible to specify the names of objects included in the frames of the summary target moving image based on pre-registered information.
次に、図７を用いて、本発明の実施形態における、動画編集システムにおける物体推定処理の詳細処理について説明する。図７は、本発明の実施形態における、動画編集システムにおける物体推定処理の詳細処理を示すフローチャートである。 Next, the detailed process of the object estimation process in the moving image editing system in the embodiment of the present invention will be described with reference to FIG. FIG. 7 is a flowchart showing a detailed process of the object estimation process in the moving image editing system in the embodiment of the present invention.
ステップＳ７０１では、物体推定部４０５は、取得した動画データ群に対する、物体推定の繰り返し処理を開始する。
In step S <b> 701, the
ステップＳ７０２では、物体推定部４０５は、当該動画（推定対象動画と呼ぶ）について、動画データベース４１２の、動画フレームメタデータ保存テーブルの一般物体名称が登録されているか否かを判断する。一般物体名称が登録されている場合は、ステップＳ７０３へ進む。登録されていない場合は、ステップＳ７１７へ進む。
In step S702, the
ステップＳ７０３では、物体推定部４０５は、動画データベース４１２の、動画メタデータ保存テーブルに保存されている、推定対象動画のメタデータを取得する。
In step S703, the
ステップＳ７０４では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画のメタデータの撮影日時について、当該撮影日時と同日に撮影された動画群を、動画データベース４１２より取得する。物体推定部４０５は、前記取得した動画群の中に、動画データベース４１２の、動画フレームメタデータ保存テーブルの、特定物体名称が登録されている動画が存在するか否かを判断する。特定物体名称が登録されている動画が存在する場合は、前記取得した動画群のうち、特定物体名称が登録されている動画群のみを一時記憶領域に保存し、ステップＳ７０５へ進む。存在しない場合は、ステップＳ７１７へ進む。
In step S <b> 704, the
ステップＳ７０５では、物体推定部４０５は、推定対象動画について、動画データベース４１２の、動画フレームメタデータ保存テーブルの一般物体名称が格納されている動画フレーム（推定対象動画フレームと呼ぶ）のメタデータを取得する。
In step S705, the
ステップＳ７０６では、物体推定部４０５は、ステップＳ７０４で一時記憶領域に保存した特定物体名称が登録されている動画群について、動画データベース４１２の動画メタデータ保存テーブルに保存されている撮影日時とｆｐｓとフレーム数を取得し、動画フレームメタデータ保存テーブルに保存されている、特定物体名称が登録されているフレームのフレームＮｏを取得する。物体推定部４０５は、取得した該動画群の撮影日時とｆｐｓとフレーム数、該動画群の特定物体名称が登録されているフレームのフレームＮｏ群、ステップＳ７０３で取得した推定対象動画メタデータの撮影日時とｆｐｓとフレーム数、ステップＳ７０５で取得した推定対象動画フレームメタデータのフレームＮｏと、を利用し、推定対象動画フレームの撮影時間と最も近い時間に撮影された、特定物体名称が登録されている動画フレーム（推定用動画フレームと呼ぶ）を決定する。
In step S706, the
ステップＳ７０７では、物体推定部４０５は、動画データベース４１２の動画メタデータ保存テーブルから、ステップＳ７０６で決定した推定用動画フレームが属する動画（推定用動画と呼ぶ）の、動画メタデータを取得し、動画フレームメタデータ保存テーブルから、推定用動画フレームのメタデータを取得する。
In step S707, the
ステップＳ７０８では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画メタデータに、動画位置情報が登録されているか否かを判断する。動画位置情報が登録されている場合は、ステップＳ７１１へ進む。登録されていない場合は、ステップＳ７０９へ進む。
In step S708, the
ステップＳ７０９では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画の撮影日時とｆｐｓと、ステップＳ７０５で取得した推定対象動画フレームのフレームＮｏと、ステップＳ７０７で取得した推定用動画の撮影日時とｆｐｓと、推定用動画フレームのフレームＮｏと、図８で示される式を用いて、推定対象動画フレームと推定用動画フレーム間の経過時間を計算する。
In step S709, the
ステップＳ７１０では、物体推定部４０５は、ステップＳ７０７で取得した推定用動画フレームのフレーム位置情報が示す位置から、例えば、一般的な成人男性の歩行速度の時速４ｋｍで、ステップＳ７０９で計算した推定対象動画フレームと推定用動画フレーム間の経過時間を移動した場合の位置から、誤差１ｋｍ範囲内に存在する、物体認識データベース４１３の、物体推定用テーブルに保存されているレコードを取得する。（ただし、移動速度は、時速４ｋｍに限定されるものではなく、また、複数の移動速度について計算しても良い。また、誤差も、１ｋｍに限るものではなく、実施例に合わせて設定すれば良い。）物体推定部４０５は、前記取得したレコード群のうち、該レコードの一般物体名称と、ステップＳ７０５で取得した推定対象動画フレームの一般物体名称とが合致するレコードの特定物体名称を、物体推定結果として、推定対象動画フレームが示す動画データベース４１２の動画フレームメタデータ保存テーブルのレコードの、物体推定結果に登録する。
In step S710, the
ステップＳ７１１では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画の動画ＩＤと、ステップＳ７０７で取得した推定用動画の動画ＩＤが同じであるか否かを判断する。同じである場合は、ステップＳ７１４へ進む。同じでない場合は、ステップＳ７１２へ進む。
In step S711, the
ステップＳ７１２では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画のｆｐｓと、ステップＳ７０５で取得した推定対象動画フレームのフレームＮｏと、図９で示される式を用いて、推定対象動画の開始フレームと推定対象動画フレーム間の経過時間を計算する。
In step S712, the
ステップＳ７１３では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画の動画位置情報が示す位置から、例えば、一般的な成人男性の歩行速度の時速４ｋｍで、ステップＳ７１１で計算した推定対象動画フレームと推定用動画フレーム間の経過時間を移動した場合の位置から、誤差１ｋｍ範囲内に存在する、物体認識データベース４１３の、物体推定用テーブルに保存されているレコードを取得する。（ただし、移動速度は、時速４ｋｍに限定されるものではなく、また、複数の移動速度について計算しても良い。また、誤差も、１ｋｍに限るものではなく、実施例に合わせて設定すれば良い。）物体推定部４０５は、前記取得したレコード群のうち、該レコードの一般物体名称と、ステップＳ７０５で取得した推定対象動画フレームの一般物体名称とが合致するレコードの特定物体名称を、物体推定結果として、推定対象動画フレームが示す動画データベース４１２の動画フレームメタデータ保存テーブルのレコードの、物体推定結果に登録する。
In step S713, the
ステップＳ７１４では、物体推定部４０５は、ステップＳ７０３で取得した推定対象動画の動画位置情報とｆｐｓと、ステップＳ７０７で取得した推定用動画フレームのフレーム位置情報とフレームＮｏと、を利用して、推定対象動画の撮影時の推定移動速度を計算する。
In step S714, the
ステップＳ７１５では、物体推定部４０５は、ステップＳ７０５で取得した推定対象動画フレームのフレームＮｏと、ステップＳ７０７で取得した推定用動画フレームのフレームＮｏと、図１０に示される式を用いて、推定対象動画の開始フレームと推定対象動画フレーム間の経過時間と、推定用動画フレームと推定対象動画フレーム間の経過時間をそれぞれ計算し、経過時間の小さい方の経過時間および位置情報（推定対象動画の開始フレームと推定対象動画フレーム間の経過時間の方が小さければ、推定対象動画の動画位置情報、推定用動画フレームと推定対象動画フレーム間の経過時間の方が小さければ、推定用動画フレームのフレーム位置情報）を一時記憶領域に保存する。
In step S715, the
ステップＳ７１６では、物体推定部４０５は、ステップＳ７１５で一時記憶領域に保存した位置情報が示す位置から、ステップＳ７１４で計算した移動速度で、ステップＳ７１５で一時記憶領域に保存した経過時間を移動した場合の位置から、誤差１ｋｍ範囲内に存在する、物体認識データベース４１３の、物体推定用テーブルに保存されているレコードを取得する。（ただし、誤差は、１ｋｍに限るものではなく、実施例に合わせて設定すれば良い。）物体推定部４０５は、前記取得したレコード群のうち、該レコードの一般物体名称と、ステップＳ７０５で取得した推定対象動画フレームの一般物体名称とが合致するレコードの特定物体名称を、物体推定結果として、推定対象動画フレームが示す動画データベース４１２の動画フレームメタデータ保存テーブルのレコードの、物体推定結果に登録する。
In step S716, the
ステップＳ７１６では、物体推定部４０５は、ステップＳ７１５で一時記憶領域に保存した位置情報から、ステップＳ７１５で一時記憶領域に保存した経過時間で、ステップＳ７１４で計算した移動速度によって移動可能な範囲内にある、物体認識データベース４１３の、物体推定用テーブルに保存されているレコードを取得する。物体推定部４０５は、前記取得したレコード群のうち、該レコードの一般物体名称と、ステップＳ７０５で取得した推定対象動画フレームの一般物体名称とが合致するレコードの特定物体名称を、物体推定結果として、推定対象動画フレームが示す動画データベース４１２の動画フレームメタデータ保存テーブルのレコードの、物体推定結果に登録する。
In step S716, the
ステップＳ７１７では、物体推定部４０５は、未処理の動画がある場合は、ステップＳ７０２へ戻る。未処理の動画がない場合は、処理を終了する。
In step S717, when there is an unprocessed moving image, the
以上の図７のフローチャートで示す処理により、動画中に一般物体名称は特定されたものの、特定物体としては認識できなかった場合であっても、他の動画の情報に基づき、当該一般物体の具体的な名称等を特定することが可能となる。 Although the general object name is specified in the video by the process shown in the flowchart of FIG. 7 above, even if the general object name cannot be recognized as the specific object, the specific object is specified based on the information of the other video. It is possible to specify a specific name or the like.
例えば、図６に示す処理により、「建物」や「改札」として認識された物体について、他の動画の情報を用いることで、当該建物が「増上寺」であると推定したり、当該改札が「東京駅」の改札であると推定することが可能となる。 For example, for the object recognized as “building” or “ticket gate” by the processing shown in FIG. 6, it is estimated that the building is “Zojoji” by using the information of other moving images, It can be estimated that the ticket gate is “Tokyo Station”.
次に、図１１を用いて、本発明の実施形態における動画編集システムにおける要約生成処理の手順について説明する。図１１は、本発明の実施形態における動画編集システムにおける要約生成処理の手順を示すフローチャートである。 Next, a summary generation processing procedure in the moving image editing system according to the embodiment of the present invention will be described with reference to FIG. FIG. 11 is a flowchart showing the procedure of the summary generation process in the moving image editing system according to the embodiment of the present invention.
ステップＳ１１０１では、要約生成指定・要約対象表示部３０１は、利用者による要約候補生成指示を検知した場合はステップＳ１１１０へ進み、検知していない場合はステップＳ１１０２へ進む。
（図１７の説明）
In step S1101, the summary generation designation / summarization
(Explanation of FIG. 17)
ここで図１７を参照して、本発明における動画編集システムの利用者端末１０１の要約生成指定・要約対象表示部３０１における表示画面の一例について説明する。
Here, with reference to FIG. 17, an example of a display screen in the summary generation designation / summarization
１７０１は、利用者が要約動画の生成指示を、要約生成装置１０２に送信するためのボタンを表している。
Reference numeral 1701 denotes a button for the user to send a summary moving image generation instruction to the
１７０２で指示される表示領域は、要約生成指示を送信する際の、要約の対象動画とする動画の一覧を、各動画の代表的な静止画像１枚で表示するための領域である。各動画の代表的な静止画像とは、例えば、動画の先頭フレームで表される画像であっても良いし、動画データベース４１２の動画フレームメタデータ保存テーブルから、利用者が一目見て動画の内容がわかるように、特定物体名称を持つフレームを選択しても良い。
The display area indicated by 1702 is an area for displaying a list of moving pictures to be summarized as a summary target moving picture when a summary generation instruction is transmitted as one representative still image of each moving picture. The representative still image of each moving image may be, for example, an image represented by the first frame of the moving image, or the content of the moving image at a glance from the moving image frame metadata storage table of the moving
１７０３は、利用者が要約の対象とする動画候補を、撮影期間やキーワードの条件に基いて検索する指示を、要約生成装置１０２に送信するためのボタンを表している。
１７０４は、利用者が動画検索のために、動画の撮影時間を検索の条件として設定するための入力フィールドである。
１７０５は、利用者が、動画に付帯するキーワード、例えば、動画データベース４１２の動画フレームメタデータ管理テーブルに保存されている、特定物体名称に合致する動画を、検索の条件として設定するための入力フィールドである。
１７０６で指示される表示領域は、利用者が１７０３のボタンを押下して動画検索を指示した時の、検索結果に含まれる各動画を、各動画の代表的な静止画像１枚で表示するための領域である。
The display area indicated by 1706 displays each moving image included in the search result when the user presses the
１７０７は、検索結果の動画フレームが、動画データベース４１２の動画フレームメタデータ管理テーブルに保存されている、特定物体名称または物体推定結果を持つ場合、該特定物体名称または該物体推定結果を、該動画フレーム上に表示することで、利用者が、該動画の内容を一目見て把握できるようにしていることを表している。ここで、物体推定結果として、複数の推定結果を持っている場合、該推定結果を全て表示することで、利用者が、後述するメタデータ訂正処理を行うことにより、効率的に物体推定結果の訂正を行うことができる。
When the moving image frame of the search result has a specific object name or an object estimation result stored in the moving image frame metadata management table of the moving
１７０８は、動画フレームが、動画データベース４１２の動画フレームメタデータ管理テーブルに保存されている、特定物体説明情報を持つ場合、該特定物体説明情報を、該動画フレーム上に表示することで、利用者が、該動画の内容と、該動画フレームに紐付けられている特定物体の内容を把握できるようにしていることを表している。
If the moving image frame has specific object description information stored in the moving image frame metadata management table of the moving
１７０７と１７０８により、利用者は、動画フレームに紐付けられている特定物体の内容をひと目で把握できるとともに、該特定物体が実際の該動画フレームに映っている物体と異なる場合には、即座に訂正しやすくなる。 With 1707 and 1708, the user can grasp at a glance the content of the specific object associated with the moving image frame, and if the specific object is different from the actual object reflected in the moving image frame, It becomes easy to correct.
１７０９は、利用者が、上述したように、メタデータを訂正、例えば、マウスで１７０７で示された領域をクリックして、正しい特定物体名称を入力するなどした後に、該訂正結果を要約生成装置１０２に送信するためのボタンである。 1709, after the user corrects the metadata as described above, for example, by clicking the area indicated by 1707 with the mouse and inputting the correct specific object name, the summary generation device displays the correction result. This is a button for transmitting to 102.
１７１０は、利用者が、１７０６の表示領域に示されている動画を１つ、あるいは複数、マウスで選択し、該選択動画を、要約対象動画に追加するためのボタンである。利用者が、動画を選択し、１７１０を押下すると、該動画は１７０２で指示される表示領域に追加される。
なお、要約対象動画に追加する方法については、ボタン１７１０の押下に限らず、１７０６の表示領域に示されている動画を選択し、当該動画をドラッグし、１７０２の表示領域にドロップすることで追加するよう構成しても良い。
Note that the method of adding to the summary target video is not limited to pressing the
１７１１は、利用者が、要約を生成する際の条件を設定する際に押下するボタンである。当該ボタンを押下すると、図１８に示されるような画面が表示される。
（図１８の説明）
(Explanation of FIG. 18)
ここで図１８を参照して、前述した、１７１１のボタンを押下した際に表示される、利用者が要約動画生成の条件を設定するための表示画面の一例について説明する。
Here, with reference to FIG. 18, an example of a display screen that is displayed when the user presses the
１８０１は、利用者が、要約動画に、優先して含まれてほしい動画を設定するために、動画フレームの持つ特定物体名称を指定するための入力フィールドである。
１８０２は、利用者が、生成される要約動画の再生時間を設定するための、入力フィールドである。
１８０３は、利用者が、要約動画生成の条件の設定を終了するためのボタンである。
以上、説明したように、利用者は、図１７に示される画面を利用して、動画の検索指示、要約対象動画の指定、メタデータの訂正指示、要約候補の生成指示を行うことができる。
図１１の説明に戻る。
As described above, the user can use the screen shown in FIG. 17 to give a moving image search instruction, a summary target moving picture designation, a metadata correction instruction, and a summary candidate generation instruction.
Returning to the description of FIG.
ステップＳ１１０２では、要約生成指定・要約対象表示部３０１は、利用者による動画検索指示を検知した場合は、ステップＳ１１０３に進み、検知していない場合は、ステップＳ１１０７へ進む。
In step S1102, the summary generation designation / summarization
ステップＳ１１０３では、要約生成指定・要約対象表示部３０１は、前述した動画の撮影期間と動画に付帯するキーワードを、検索クエリーとして要約生成装置１０２へ送信する。
In step S <b> 1103, the summary generation designation / summarization
ステップＳ１１０４では、要約生成装置１０２の、要約候補生成部４０６は、ステップＳ１１０３で送信された検索クエリーを受信し、該検索クエリーを動画検索部４０７へ入力し、動画検索処理を指示する。動画検索部４０７は、当該検索クエリーの、動画撮影期間に、動画データベース４１２の動画メタデータ保存テーブルの撮影日時が合致する動画と、当該検索クエリーのキーワードを、動画データベース４１２の動画フレームメタデータ保存テーブルの、特定物体名称または物体推定結果または曖昧検索インデックスに持つ動画を、動画検索結果として、要約候補生成部４０６へ応答する。
In step S1104, the summary
ステップＳ１１０５では、要約候補生成部４０６は、ステップＳ１１０４で動画検索部４０７より応答された動画検索結果を、利用者端末１０１の、要約生成指定・要約対象表示部３０１へ送信する。
In step S <b> 1105, the summary
ステップＳ１１０６では、要約生成指定・要約対象表示部３０１は、受信した動画検索結果を表示する。利用者は、表示された検索結果から、要約対象として追加したい動画を選択し、要約対象動画に追加する。要約生成指定・要約対象表示部３０１は、追加された要約対象動画を、一時記憶領域に記録する。
In step S1106, the summary generation designation / summarization
ステップＳ１１０７では、要約生成指定・要約対象表示部３０１は、利用者によるメタデータ訂正指示を検知した場合は、ステップＳ１１０８に進み、検知していない場合は、ステップＳ１１０１へ戻る。
In step S1107, the summary generation designation / summarization
ステップＳ１１０８では、要約生成指定・要約対象表示部３０１は、動画フレームＩＤと、前述した１７０７に入力されたメタデータ訂正結果を、メタデータ訂正クエリーとして要約生成装置１０２へ送信する。
In step S1108, the summary generation designation / summarization
ステップＳ１１０９では、要約生成装置１０２の要約候補生成部４０６は、ステップＳ１１０８で送信されたメタデータ訂正クエリーを受信し、該メタデータ訂正クエリーを、メタデータ訂正部４０８へ入力し、メタデータ訂正を指示する。メタデータ訂正部４０８は、当該メタデータ訂正クエリーの動画フレームＩＤが示す動画フレームに対して、動画データベース４１２の動画フレームメタデータ保存テーブルの特定物体名称に、当該メタデータ訂正クエリーのメタデータ訂正結果を登録する。
In step S1109, the summary
ステップＳ１１１０では、要約生成指定・要約対象表示部３０１は、前述した１７０２で指示される表示領域の、対象動画群と、図１８で示される画面により設定された要約生成の条件を、要約生成クエリーとして、要約生成装置１０２へ送信する。
In step S1110, the summary generation designation / summarization
ステップＳ１１１１では、要約生成装置１０２の、要約候補生成部４０６は、ステップＳ１１１０で送信された要約生成クエリーより、要約候補を生成する。要約候補生成部４０６は、当該要約候補結果を要約候補結果出力部４１０へ入力し、要約候補結果の送信を指示する。ステップＳ１１１１の要約候補生成の詳細処理は、図１２を用いて後述する。
In step S <b> 1111, the summary
ステップＳ１１１２では、要約候補結果出力部４１０は、要約候補結果を利用者端末１０１の、要約候補表示・編集部３０２へ送信する。
In step S1112, the summary candidate
ステップＳ１１１３では、要約候補表示・編集部３０２は、受信した要約候補結果を表示する。利用者は、表示された当該要約候補結果を確認する。
（図１９の説明）
In step S1113, summary candidate display /
(Explanation of FIG. 19)
ここで図１９を参照して、本発明における動画編集システムの利用者端末１０１の要約候補表示・編集部３０２における表示画面の一例について説明する。
Here, an example of a display screen in the summary candidate display /
１９０１で指示される表示領域は、要約候補結果を、当該要約候補を構成する各動画の代表的な静止画像を、要約動画の時系列となるようにつなげて（タイムラインと呼ぶ）表示するための領域である。 The display area designated by 1901 displays the summary candidate result by connecting the representative still images of the moving images constituting the summary candidate in time series of the summary moving images (referred to as a timeline). It is an area.
１９０２は、利用者が、１９０１に表示される要約候補の編集を行うためのボタンである。
１９０３は、利用者が、１９０１に表示される要約候補を、最終的な要約動画として出力するためのボタンである。
（図２０の説明）
(Explanation of FIG. 20)
ここで図２０を参照して、前述した、１９０２のボタンを押下した際に表示される、利用者が要約候補動画の編集を行うための表示画面の一例について説明する。
Here, with reference to FIG. 20, an example of a display screen that is displayed when the user presses the above-described
２００１は、編集中の要約候補を表示しているタイムラインである。
２００２は、利用者が、最終的な要約動画を出力するためのボタンである。
２００３で指示される表示領域は、利用者が新たに要約動画に追加したい動画を、動画検索を行って表示するための領域である。利用者は、例えば、本領域に表示された動画を代表する静止画像を、マウスを利用してドラッグアンドドロップの操作を行い、２００１で指示されるタイムライン上の、動画を追加したい箇所へ移動することで、要約候補の編集処理を行うことができる。 The display area indicated in 2003 is an area for performing a video search and displaying a video that the user wants to newly add to the summary video. For example, the user performs a drag-and-drop operation using a mouse on a still image representing the moving image displayed in this area, and moves to a location on the timeline indicated in 2001 where the moving image is to be added. This makes it possible to perform summary candidate editing processing.
２００４は、利用者が、例えば、２００１で指示されるタイムライン上の静止画像をマウスでクリックした後に、その次の動画として、より自然につながるような素材動画の推薦結果の表示を指示するためのボタンである。推薦動画は、例えば、要約生成装置１０２が、動画の各フレームの画像特徴量を平均し（動画特徴量と呼ぶ）、利用者が選択した動画の動画特徴量との類似度（特徴量同士のユークリッド距離などにより計算される）を計算することによって行われる。要約生成装置１０２は、計算した類似度が小さい順に、例えば５個の動画を推薦結果として利用者端末１０１に送信する。
In 2004, for example, after the user clicks a still image on the timeline indicated in 2001 with a mouse, the user instructs to display a recommendation result of a material video that is more naturally connected as the next video. It is a button. For the recommended moving image, for example, the
２００５は、利用者が２００２のボタンを押下して、動画推薦結果の表示を指示した時の、推薦結果に含まれる動画を、各動画の代表的な静止画像１枚で表示するための領域である。
以上、説明したように、利用者は、図２０に示される画面を利用して、要約動画の素材となる動画の入れ替えや再生時間の変更、新たに検索した動画を追加するなどの操作により、要約候補動画の編集処理と要約動画の出力指示を行うことができる。
図１１の説明に戻る。
As described above, the user uses the screen shown in FIG. 20 to perform operations such as replacement of the video that is the material of the summary video, change of the playback time, and addition of a newly searched video. An editing process for the summary candidate video and an instruction to output the summary video can be performed.
Returning to the description of FIG.
ステップＳ１１１４では、要約候補表示・編集部３０２は、利用者による要約候補の修正を検知した場合は、ステップＳ１１１５へ進み、検知していない場合はステップＳ１１１６へ進む。
In step S1114, the summary candidate display /
ステップＳ１１１５では、要約候補表示・編集部３０２は、前述したように、利用者による図２０で示される画面を利用した要約候補動画の編集処理を行う。
In step S1115, the summary candidate display /
ステップＳ１１１６では、要約候補表示・編集部３０２は、利用者による要約動画出力指示を検知し、要約動画出力指示を要約生成装置１０２の要約候補結果出力部に送信する。
In step S <b> 1116, summary candidate display /
ステップＳ１１１７では、要約候補結果出力部４１０は、ステップＳ１１１７で送信された要約動画出力指示により、最終的な要約動画を作成し、出力する。出力先は、例えば、要約生成装置１０２が備える外部記憶装置や、利用者端末１０１が備える外部記憶装置であってもよい。
In step S1117, the summary candidate
以上、図１１を用いて、本発明の実施形態における動画編集システムにおける要約生成処理の手順について説明した。 The summary generation process procedure in the moving image editing system according to the embodiment of the present invention has been described above with reference to FIG.
次に、図１２を用いて、本発明の実施形態における、動画編集システムにおける要約候補生成処理の詳細処理について説明する。図１２は、本発明の実施形態における、動画編集システムにおける要約候補生成処理の詳細処理を示すフローチャートである。 Next, detailed processing of the summary candidate generation processing in the moving image editing system in the embodiment of the present invention will be described using FIG. FIG. 12 is a flowchart showing a detailed process of the summary candidate generation process in the moving image editing system according to the embodiment of the present invention.
ステップＳ１２０１では、要約候補生成部４０６は、動画データベース４１２の動画メタデータ保存テーブルから、受信した要約対象動画群の動画メタデータを取得する。
In step S <b> 1201, the summary
ステップＳ１２０２では、要約候補生成部４０６は、受信した要約生成クエリーより、要約生成の条件を取得する。
In step S1202, the summary
ステップＳ１２０３では、要約候補生成部４０６は、ステップＳ１２０１で取得した要約対象動画群の動画メタデータと、ステップＳ１２０２で取得した要約生成の条件と、を要約重みベクトル生成部４０９へ入力し、要約候補を構成する、各要約対象動画の再生フレーム数を決定するための、要約重みベクトル生成処理を指示する。ステップＳ１２０３の要約重みベクトル生成の詳細処理は、図１３を用いて後述する。
In step S1203, the summary
ステップＳ１２０４では、要約候補生成部４０６は、要約対象動画データ群に対する繰り返し処理を開始する。
In step S1204, the summary
ステップＳ１２０５では、要約候補生成部４０６は、ステップＳ１２０１で取得した要約対象動画のフレーム数と、ステップＳ１２０３で生成した要約重みベクトルの、要約対象動画に対応する重みより、当該要約動画の再生フレーム数を計算する。
In step S1205, the summary
ステップＳ１２０６では、要約候補生成部４０６は、動画データベース４１２の動画フレームメタデータから、要約対象動画に該当する動画フレームのメタデータ群を取得する。要約候補生成部４０６は、前記取得した動画フレームメタデータ群のうち、特定物体名称または物体推定結果に、ステップＳ１２０２で取得した要約生成の条件の優先キーワードと合致する動画フレームが存在する場合、当該動画フレームを中間フレームとし、ステップＳ１２０５で計算した再生フレーム数を満たすように、当該要約動画の再生フレームＮｏ群を決定する。要約候補生成部４０６は、前記取得した動画フレームメタデータ群のうち、特定物体名称または物体推定結果に、ステップＳ１２０２で取得した要約生成の条件の優先キーワードと合致する動画フレームが存在しない場合、当該要約対象動画の開始フレームからステップＳ１２０５で計算した再生フレーム数を、当該要約動画の再生フレームＮｏ群として決定する。
In step S1206, the summary
ステップＳ１２０７では、要約候補生成部４０６は、未処理の動画がある場合は、ステップＳ１２０５へ戻る。未処理の動画がない場合は、ステップＳ１２０８へ進む。
In step S1207, if there is an unprocessed moving image, the summary
ステップＳ１２０８では、要約候補生成部４０６は、ステップＳ１２０７で決定した各要約対象動画の再生フレームＮｏ群で構成される、要約候補を生成し、該要約候補結果を要約候補結果出力部４１０へ入力し、要約候補結果の送信を指示する。
In step S1208, the summary
次に、図１３を用いて、本発明の実施形態における、動画編集システムにおける要約重みベクトル生成処理の詳細処理について説明する。図１３は、本発明の実施形態における、動画編集システムにおける要約重みベクトル生成処理の詳細処理を示すフローチャートである。 Next, detailed processing of the summary weight vector generation processing in the moving image editing system in the embodiment of the present invention will be described using FIG. FIG. 13 is a flowchart showing detailed processing of summary weight vector generation processing in the moving image editing system in the embodiment of the present invention.
ステップＳ１３０１では、要約重みベクトル生成部４０９は、受信した要約生成の条件の、出力動画時間が設定されていれば、当該出力動画時間を再生フレーム数に変換し、ｘに代入する。設定されていなければ、受信した要約対象動画群の動画メタデータのフレーム数を合算し、合算したフレーム数を例えば１０で割ったフレーム数をｘに代入する。
In step S1301, the summary weight
ステップＳ１３０２では、要約重みベクトル生成部４０９は、受信した各要約対象動画群の動画メタデータの各フレーム数と、要約対象動画の数と、図１４で示される式を用いて、各要約対象動画に対応する重みからなる、初期要約重みベクトルを生成する。
In step S1302, the summary weight
ステップＳ１３０３では、要約重みベクトル生成部４０９は、動画データベース４１２の動画フレームメタデータから、受信した要約対象動画群に該当する動画フレームのメタデータ群を取得する。
In step S <b> 1303, the summary weight
ステップＳ１３０４では、要約重みベクトル生成部４０９は、受信した要約生成の条件の、優先キーワードに対する繰り返し処理を開始する。
In step S1304, the summary weight
ステップＳ１３０５では、要約重みベクトル生成部４０９は、ステップＳ１３０３で取得した要約対象動画群のフレームメタデータの特定物体名称または物体推定結果に、優先キーワードと合致するフレームが存在しない動画群のなかで、要約重みベクトルの重みが最大の動画を選び、ｔとする。
In step S1305, the summary weight
ステップＳ１３０６では、要約重みベクトル生成部４０９は、ステップＳ１３０５で選択した動画ｔの重みを１／２に更新し、更新した当該重みをｔｗとする。
In step S1306, the summary weight
ステップＳ１３０７では、要約重みベクトル生成部４０９は、ステップＳ１３０３で取得した要約対象動画群のフレームメタデータの特定物体名称または物体推定結果に、優先キーワードと合致するフレームが存在する動画の数を、ｎとする。
In step S1307, the summary weight
ステップＳ１３０８では、要約重みベクトル生成部４０９は、ステップＳ１３０３で取得した要約対象動画群のフレームメタデータの特定物体名称または物体推定結果に、優先キーワードと合致するフレームが存在する動画に対する繰り返し処理を開始する。
In step S1308, the summary weight
ステップＳ１３０９では、要約重みベクトル生成部４０９は、対象動画の重みにｔｗ／ｎを足して対象動画の重みを更新し、更新した重みをｕｗとする。
In step S1309, the summary weight
ステップＳ１３１０では、要約重みベクトル生成部４０９は、対象動画の動画メタデータのフレーム数をｍとする。
In step S1310, the summary weight
ステップＳ１３１１では、要約重みベクトル生成部４０９は、ｕｗがｍ／ｘより大きければ、ステップＳ１３１２へ進む。そうでない場合、ステップＳ１３１５へ進む。
In step S1311, the summary weight
ステップＳ１３１２では、要約重みベクトル生成部４０９は、ｕｗからｍ／ｘを引いた値を、ｕｗ’とする。
In step S1312, the summary weight
ステップＳ１３１３では、要約重みベクトル生成部４０９は、ｕｗ’を動画ｔの重みに足し、動画ｔの重みを更新する。
In step S1313, the summary weight
ステップＳ１３１４では、要約重みベクトル生成部４０９は、対象動画の重みをｍ／ｘに更新する。
In step S1314, the summary weight
ステップＳ１３１５では、要約重みベクトル生成部４０９は、未処理の動画がある場合は、ステップＳ１３０９へ戻る。未処理の動画がない場合は、ステップＳ１３１６へ進む。
In step S1315, the summary weight
ステップＳ１３１６では、要約重みベクトル生成部４０９は、未処理の優先キーワードがある場合は、ステップＳ１３０５へ戻る。未処理の優先キーワードがない場合は、処理を終了する。
In step S1316, if there is an unprocessed priority keyword, the summary weight
以上、図１３を用いて説明したように、各要約対象動画の再生フレーム数を、優先キーワードが合致するフレームが存在する動画ほど再生フレーム数が大きくなるように、要約重みベクトルを生成することができる。 As described above with reference to FIG. 13, the summary weight vector can be generated so that the number of playback frames of each summarization target video is increased so that the number of playback frames increases for a video with a frame that matches the priority keyword. it can.
以上説明したように、本発明によれば、動画に含まれる物体が何であるかを特定し、特定された結果とともに動画データを保存しておくことが可能となる（例えば、動画中に「建物」が写っている。そしてその建物は「増上寺」である。といった情報とともに動画データを保存することが可能となる）。このように動画データを保存することで、要約動画を作成する際に、ユーザはキーワードを入力することで、当該キーワードが示す物体が写っているシーンを含む要約動画を作成することが可能となる（例えば、ユーザが「増上寺」というキーワードを指定して要約動画の生成指示をした場合には、「増上寺」が写っているシーンを含む要約動画が生成される）。 As described above, according to the present invention, it is possible to specify what an object is included in a moving image, and to store moving image data together with the specified result (for example, “building” ”And the building is“ Zojoji ”, and video data can be saved). By storing the moving image data in this way, when creating a summary movie, the user can create a summary movie including a scene in which the object indicated by the keyword is captured by inputting the keyword. (For example, when the user designates the keyword “Zojoji” and gives an instruction to generate a summary video, a summary video including a scene in which “Zojoji” is shown is generated).
このように、図４〜図７に示す処理により、要約した動画を作成する等の動画編集時において、その素材となる動画を検索する際の利便性を向上することが可能となる。 As described above, the processing shown in FIGS. 4 to 7 can improve convenience when searching for a moving image as a material when editing a moving image such as creating a summarized moving image.
さらに、図１１〜図１３に示す処理により、ユーザが望む要約動画を生成することが可能となる。 Furthermore, the process shown in FIGS. 11 to 13 makes it possible to generate a summary video desired by the user.
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。 It should be noted that the configuration and contents of the various data described above are not limited to this, and it goes without saying that the various data and configurations are configured according to the application and purpose.
また、本発明におけるプログラムは、図１１〜図１３、図１７の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図１１〜図１３、図１７の各処理ごとのプログラムであってもよい。 Moreover, the program in this invention is a program which makes a computer perform the process of FIGS. 11-13, and FIG. The program in the present invention may be a program for each process in FIGS. 11 to 13 and FIG.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium recording the program constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。 As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 The present invention may be applied to a system constituted by a plurality of devices or an apparatus constituted by a single device. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention. In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.
利用者端末 １０１
要約生成装置 １０２
Claims (10)
前記要約対象動画を取得する取得手段と、
前記取得手段により取得した要約対象動画の動画フレームから、当該動画フレームに含まれる物体を特定するための物体特徴量を抽出する物体特徴量抽出手段と、
前記物体特徴量抽出手段より抽出された物体特徴量に基づき、当該動画フレームに含まれる物体を特定する物体特定手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus for generating a summary video based on a plurality of summary target videos,
Obtaining means for obtaining the video to be summarized;
An object feature amount extracting unit that extracts an object feature amount for identifying an object included in the moving image frame from the moving image frame of the summary target moving image acquired by the acquiring unit;
Object specifying means for specifying an object included in the moving image frame based on the object feature extracted by the object feature extracting means;
An information processing apparatus comprising:
前記物体特定手段は、前記物体特徴量抽出手段により抽出された物体特徴量と、前記特定物体管理手段により管理された物体特徴量とを比較することで、前記動画フレームに含まれる特定物体を特定することを特徴とする請求項１に記載の情報処理装置。 A specific object management means for managing the name of the specific object and the object feature amount of the specific object in association with each other;
The object specifying unit specifies a specific object included in the moving image frame by comparing the object feature amount extracted by the object feature amount extracting unit with the object feature amount managed by the specific object managing unit. The information processing apparatus according to claim 1, wherein:
前記要約動画生成手段は、前記物体特定手段により特定された特定物体の名称を、当該特定物体が含まれる動画フレームとともに表示する要約動画を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 A summary video generation means for generating a summary video;
The summary video generation unit generates a summary video that displays the name of the specific object specified by the object specification unit together with a video frame including the specific object. The information processing apparatus according to item 1.
前記第２の取得手段により取得した情報を形態素解析する解析手段と、
前記第２の取得手段で取得した情報および前記解析手段で解析した結果を前記動画フレームと対応付けて管理する物体説明情報管理手段と、
をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 Second acquisition means for acquiring information relating to the object specified by the object specifying means;
Analysis means for performing morphological analysis on the information acquired by the second acquisition means;
Object description information management means for managing the information acquired by the second acquisition means and the result of analysis by the analysis means in association with the moving image frame;
The information processing apparatus according to claim 1, further comprising:
前記検索ワード受付手段で受け付けた検索キーワードにより、前記特定物体の名称および前記第２の取得手段により取得した情報および前記解析手段により解析された結果を検索することで、要約対象動画を検索する検索手段と、をさらに備えることを特徴とする請求項６に記載の情報処理装置。 Search word accepting means for accepting a search keyword for searching for the video to be summarized;
Search for searching for a video to be summarized by searching for the name of the specific object, information acquired by the second acquisition unit, and a result analyzed by the analysis unit, using a search keyword received by the search word reception unit The information processing apparatus according to claim 6, further comprising: means.
前記訂正受付手段により受け付けた訂正指示に従い、当該特定物体の名称を訂正する訂正手段と、
をさらに備えることを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。 Correction accepting means for accepting a correction instruction by the user for the name of the specific object;
In accordance with the correction instruction received by the correction receiving means, correction means for correcting the name of the specific object,
The information processing apparatus according to claim 5, further comprising:
前記情報処理装置の取得手段が、前記要約対象動画を取得する取得工程と、
前記情報処理装置の物体特徴量抽出手段が、前記取得工程により取得した要約対象動画の動画フレームから、当該動画フレームに含まれる物体を特定するための物体特徴量を抽出する物体特徴量抽出工程と、
前記情報処理装置の物体特定手段が、前記物体特徴量抽出工程より抽出された物体特徴量に基づき、当該動画フレームに含まれる物体を特定する物体特定工程と、
を備えることを特徴とする情報処理方法。 An information processing method in an information processing apparatus for generating a summary video based on a plurality of summary target videos,
An acquisition step in which the acquisition unit of the information processing apparatus acquires the summary target moving image;
An object feature amount extracting unit that extracts an object feature amount for specifying an object included in the moving image frame from the moving image frame of the summary target moving image acquired by the object feature amount extracting unit of the information processing apparatus; ,
An object specifying step of specifying an object included in the moving image frame based on the object feature amount extracted by the object feature amount extraction step;
An information processing method comprising:
前記情報処理装置を、
前記要約対象動画を取得する取得手段と、
前記取得手段により取得した要約対象動画の動画フレームから、当該動画フレームに含まれる物体を特定するための物体特徴量を抽出する物体特徴量抽出手段と、
前記物体特徴量抽出手段より抽出された物体特徴量に基づき、当該動画フレームに含まれる物体を特定する物体特定手段として機能させることを特徴とするプログラム。
A program that can be executed in an information processing apparatus that generates summary videos based on a plurality of summary target videos,
The information processing apparatus;
Obtaining means for obtaining the video to be summarized;
An object feature amount extracting unit that extracts an object feature amount for identifying an object included in the moving image frame from the moving image frame of the summary target moving image acquired by the acquiring unit;
A program which functions as an object specifying unit for specifying an object included in the moving image frame based on the object feature amount extracted by the object feature amount extracting unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013159672A JP2015032905A (en) | 2013-07-31 | 2013-07-31 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013159672A JP2015032905A (en) | 2013-07-31 | 2013-07-31 | Information processing device, information processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015032905A true JP2015032905A (en) | 2015-02-16 |
Family
ID=52517912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013159672A Pending JP2015032905A (en) | 2013-07-31 | 2013-07-31 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015032905A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160147513A (en) * | 2015-06-15 | 2016-12-23 | 한화테크윈 주식회사 | Surveillance system |
| WO2019231093A1 (en) * | 2018-05-29 | 2019-12-05 | 삼성전자주식회사 | Electronic device and control method therefor |
| WO2021060966A1 (en) * | 2019-09-27 | 2021-04-01 | Mimos Berhad | A system and method for retrieving a presentation content |
| JP2022165786A (en) * | 2021-04-20 | 2022-11-01 | ヤフー株式会社 | Information processor, information processing method and information processing program |
-
2013
- 2013-07-31 JP JP2013159672A patent/JP2015032905A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160147513A (en) * | 2015-06-15 | 2016-12-23 | 한화테크윈 주식회사 | Surveillance system |
| KR102350917B1 (en) * | 2015-06-15 | 2022-01-13 | 한화테크윈 주식회사 | Surveillance system |
| WO2019231093A1 (en) * | 2018-05-29 | 2019-12-05 | 삼성전자주식회사 | Electronic device and control method therefor |
| KR20190135672A (en) * | 2018-05-29 | 2019-12-09 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
| KR102585777B1 (en) | 2018-05-29 | 2023-10-10 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
| US11908192B2 (en) | 2018-05-29 | 2024-02-20 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| WO2021060966A1 (en) * | 2019-09-27 | 2021-04-01 | Mimos Berhad | A system and method for retrieving a presentation content |
| JP2022165786A (en) * | 2021-04-20 | 2022-11-01 | ヤフー株式会社 | Information processor, information processing method and information processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5801395B2 (en) | Automatic media sharing via shutter click | |
| US10789525B2 (en) | Modifying at least one attribute of an image with at least one attribute extracted from another image | |
| US8300953B2 (en) | Categorization of digital media based on media characteristics | |
| JP5358083B2 (en) | Person image search device and image search device | |
| US8107689B2 (en) | Apparatus, method and computer program for processing information | |
| JP7283086B2 (en) | Systems and methods, programs, and computer devices for associating text summaries with content media | |
| US7003140B2 (en) | System and method of searching for image data in a storage medium | |
| JP2007259415A (en) | Image processing apparatus and image processing method, server and control method of the same, and program and storage medium | |
| CN106407268B (en) | Content retrieval method and system based on coverage optimization method | |
| CN102779153A (en) | Information processing apparatus and information processing method | |
| JP6351219B2 (en) | Image search apparatus, image search method and program | |
| US20190034455A1 (en) | Dynamic Glyph-Based Search | |
| JP2015032905A (en) | Information processing device, information processing method, and program | |
| CN110825928A (en) | Searching method and device | |
| JP2002189757A (en) | Device and method for data retrieval | |
| TW202207049A (en) | Search method, electronic device and non-transitory computer-readable recording medium | |
| KR101640317B1 (en) | Apparatus and method for storing and searching image including audio and video data | |
| JP5408241B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5772908B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP2007102362A (en) | Automatic classification category forming device, automatic digital image content classification device and digital image content management system | |
| CN104850600A (en) | Method and device for searching images containing faces | |
| JP2019008684A (en) | Information processor, information processing system, information processing method, and program | |
| JP2014010640A (en) | Image search device, and information processing method and program | |
| WO2020148988A1 (en) | Information processing device and information processing method | |
| JP4692784B2 (en) | Feature quantity selection program, feature quantity selection method and apparatus in image description system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150410 |