JP2015082692A - 映像編集装置、映像編集方法、および、映像編集プログラム - Google Patents

Abstract

【課題】映像を撮影している撮影者側の状態を考慮して映像の編集を行う。
【解決手段】映像編集装置１０は、映像の撮影者のバイタル情報から、バイタル情報が急激に変化した箇所（時刻）を記録する。次に、映像編集装置１０は、映像のうち、バイタル情報が急激に変化した時刻に対応する箇所から所定範囲の時間帯の部分映像を抽出する。そして、映像編集装置１０は、抽出された部分映像を時系列につなぎ合わせた編集映像を作成する。
【選択図】図１

Description

本発明は、映像編集装置、映像編集方法、および、映像編集プログラムに関する。

従来、映像コンテンツ等のダイジェスト映像を作成する技術が提案されている。特許文献１には、映像コンテンツ中、登場人物等の感情（悲しい、楽しい）の表出があった箇所を抽出し、ダイジェスト映像を作成する技術が開示されている。

特開２００９−１１１９３８号公報

しかし、前記した技術により作成されたダイジェスト映像は、映像コンテンツの登場人物の感情の表出があった箇所を抽出したものに過ぎない。つまり、映像の撮影者側の状態は考慮されていない。そこで、本発明は、前記した問題を解決し、映像の撮影者側の状態を考慮して映像の編集を行うことを課題とする。

前記した課題を解決するため、本発明は、映像を撮影しているときの撮影者の一連のバイタル情報から前記撮影者のバイタル情報の変化が所定値以上となる前記バイタル情報を検出する変化検出部と、前記映像のうち、前記検出したバイタル情報の記録時刻に対応する箇所を特定する映像特定部と、前記バイタル情報の記録時刻に対応する箇所から所定範囲の時間帯の映像を、前記映像から抽出する映像抽出部と、前記抽出された映像を時系列につなぎ合わせた編集映像を作成する編集映像作成部と、を備えることを特徴とする映像編集装置とした。

本発明によれば、映像の撮影者側の状態を考慮して映像の編集を行うことができる。

図１は、本実施形態の概要を説明する図である。 図２は、図１のシステムの構成の機能ブロック図である。 図３は、図１のシステムの処理手順を示すフローチャートである。 図４は、図２の変化検出部の処理の詳細を説明する図である。 図５は、図２の映像特定部の処理の詳細を説明する図である。 図６は、図２の映像抽出部の処理の詳細を説明する図である。 図７は、図２の編集映像作成部の処理の詳細を説明する図である。 図８は、映像編集プログラムを実行するコンピュータを示す図である。

（概要）
以下、図面を参照しながら、本発明の実施形態を説明する。まず、本実施形態の概要を説明する。

図１は、本実施形態の概要を説明する図である。図１に示すように、システムは、撮影者のバイタル情報（生体情報）を検出するバイタルセンサー２０と、撮影装置（カメラ）３０と、映像編集装置１０とを備える。なお、この撮影装置３０は、無線通信機能を備えた端末装置、例えば、携帯電話機や、スマートフォン、タブレット端末等である。また、撮影装置３０により撮影される映像は、動画である場合を例に説明するが、静止画であってもよい。また、バイタルセンサー２０により検出されるバイタル情報は、例えば、撮影者の呼吸数、脈拍、血圧、体温等である。システムを構成するバイタルセンサー２０、撮影装置３０、映像編集装置１０それぞれの台数は、図１に示す台数に限定されない。以下に、システムの処理の概要を説明する。

図１に示すように、
（１）まず、撮影者は、撮影装置３０により、例えば、日々の活動の映像を撮影する。また、撮影装置３０はバイタルセンサー２０により検出されたバイタル情報を記録する。映像編集装置１０は、撮影装置３０から映像とバイタル情報とを受信する。
（２）映像編集装置１０は、受信したバイタル情報から、撮影者の変化を検出し、検出時の時刻のリストを作成する。
（３）映像編集装置１０は、リストに基づき、リストの各時刻に撮影された映像を特定し、その時刻の前後所定範囲の部分映像を抽出する。
（４）映像編集装置１０は、抽出した複数の部分映像をつなぎ合わせ、撮影映像の編集映像（要約映像）を作成する。

このようにすることで、映像編集装置１０は、撮影者のバイタル情報に変化があった箇所の撮影映像を時系列につなぎ合わせた編集映像を作成することができる。例えば、映像編集装置１０は、撮影者が撮影中に、面白いと思ったり、感情を揺さぶられたりした等、撮影者のバイタル情報に急激な変化があった箇所をまとめた編集映像を作成することができる。

（構成）
次に、図２を用いて、図１に示したシステムの構成を詳細に説明する。図２は、図１のシステムの構成の機能ブロック図である。

図２に示すように、システムは、バイタルセンサー２０、撮影装置３０、表示装置（出力装置）４０、映像編集装置１０を備える。

バイタルセンサー２０は、撮影者（つまり、撮影装置３０により映像を撮影する者）のバイタル情報を検出し、撮影装置３０へ出力する。ここでのバイタル情報の検出および出力は、例えば、所定時間ごとに行う。

撮影装置３０は、撮影者の指示に基づき映像を撮影し、撮影した映像と、バイタルセンサー２０から受け取ったバイタル情報とを映像編集装置１０へ送信する。撮影装置３０は、撮影部３１、バイタル情報記録部３２、通信部３３を備える。撮影部３１は映像を撮影する。また、バイタル情報記録部３２は、バイタルセンサー２０から受信したバイタル情報を、そのバイタル情報の受信時刻とともに記録する。通信部３３は、撮影部３１により撮影された映像と、バイタル情報記録部３２により記録されたバイタル情報とを映像編集装置１０へ送信する。なお、この撮影装置３０は、映像のみならず、音声を収録する機能を備えていてもよい。

表示装置４０は、映像編集装置１０から出力された映像や音声を出力する。この表示装置４０は、例えば、映像や、バイタル情報、編集映像等を出力する。

映像編集装置１０は、入出力部１１、制御部１２、記憶部１３を備える。

入出力部１１は、撮影装置３０、表示装置４０等との間の入出力インタフェースを司る。この入出力部１１は、インターネット等のネットワーク経由で通信を行うための通信インタフェースの機能を備えていてもよい。

制御部１２は、映像編集装置１０全体の制御を司る。この制御部１２は、受信処理部１２１、再生部１２２、編集部１２３を備える。

受信処理部１２１は、外部装置からのデータの受信を行う。例えば、受信処理部１２１は、撮影装置３０からの映像と、撮影者から検出された一連のバイタル情報との受信を行う。

再生部１２２は、記憶部１３に記憶された情報を入出力部１１経由で表示装置４０へ出力する。例えば、再生部１２２は、入出力部１１からの指示入力に基づき、記憶部１３に記憶された映像コンテンツや、撮影者の映像、編集映像等を表示装置４０へ出力する。

編集部１２３は、撮影者の撮影した映像中、バイタル情報が所定値以上変化した箇所の部分映像をつなぎ合わせた編集映像を作成する。この編集部１２３は、変化検出部１２４、映像特定部１２５、映像抽出部１２６、編集映像作成部１２７を備える。

変化検出部１２４は、映像を撮影しているときの撮影者の一連のバイタル情報から撮影者のバイタル情報の変化が所定値以上となったバイタル情報を検出する。そして、変化検出部１２４は、バイタル情報の変化が所定値以上となったバイタル情報の記録時刻を記録する。例えば、変化検出部１２４は、バイタル情報が所定値以上変化した箇所のバイタル情報の記録時刻の一覧を示したリストを作成する。

映像特定部１２５は、変化検出部１２４により検出されたバイタル情報の記録時刻に対応する映像の場所を特定する。例えば、映像特定部１２５は、映像中、リストに示されるバイタル情報の記録時刻に相当する、映像の場所（映像の録画開始からの経過時刻等）を特定する。

映像抽出部１２６は、映像特定部１２５により特定された映像の場所ごとに、前後所定範囲の時間帯の映像データ（部分映像）を抽出する。

映像抽出部１２６は、映像抽出部１２６により抽出された映像データを時系列につなぎ合わせた編集映像を作成し、記憶部１３に記憶する。なお、作成された編集映像は、入出力部１１経由で、表示装置４０等へ出力してもよい。

記憶部１３は、制御部１２により出力されたデータを記憶する。例えば、記憶部１３は、所定領域に、制御部１２から出力された映像、バイタル情報、編集映像等を記憶する。

なお、映像編集装置１０には、映像やバイタル情報の受信開始、編集映像の作成指示等の入力を受け付ける入力装置が接続されていてもよい。

（処理手順）
次に、図３を用いてシステムの処理手順を説明する。図３は、図１のシステムの処理手順を示すフローチャートである。

まず、システムの撮影装置３０は、撮影者の指示入力等に基づき撮影を開始し、バイタル情報の記録を開始する（Ｓ１）。つまり、撮影装置３０の撮影部３１は、映像の撮影を開始し、バイタル情報記録部３２はバイタルセンサー２０から送信されてくるバイタル情報を記録する。その後、撮影装置３０は、撮影者の指示入力等に基づき撮影を終了し、バイタル情報の記録も終了する（Ｓ２）。その後、撮影装置３０の通信部３３は、撮影された映像とバイタル情報とを映像編集装置１０へ送信する（Ｓ３）。

Ｓ３の後、映像編集装置１０が、撮影装置３０から、受信した映像の編集指示を受信すると（Ｓ４）、映像の編集を開始する。すなわち、まず、映像編集装置１０の変化検出部１２４は、記憶部１３に記憶されたバイタル情報群を読み出し、この読み出したバイタル情報群のうち、記録時刻が前後する２つのバイタル情報を比較して変化が所定値以上のデータを特定する（Ｓ５）。そして、変化検出部１２４は、バイタル情報の変化が所定値以上となった時刻を示すリストを作成する（Ｓ６）。

Ｓ６の後、映像特定部１２５は、リストに示される各時刻に対応する映像の場所を特定する（Ｓ７）。次に、映像抽出部１２６は、特定された映像の場所の前後の部分映像を所定時間分抽出する（Ｓ８）。そして、編集映像作成部１２７は、Ｓ８で抽出された部分映像を時系列につなぎ合わせて編集映像を作成する（Ｓ９）。

このようにすることで、映像編集装置１０は、撮影者が撮影した映像について、撮影中に、撮影者が面白いと思ったり、感情を揺さぶられたりして、撮影者のバイタル情報に急激な変化があった箇所をまとめた編集映像を作成することができる。

次に、図４〜図７を用いて、映像編集装置１０の制御部１２の処理の詳細を、具体例をまじえながら説明する。図４は、図２の変化検出部の処理の詳細を説明する図である。図５は、図２の映像特定部の処理の詳細を説明する図である。図６は、図２の映像抽出部の処理の詳細を説明する図である。図７は、図２の編集映像作成部の処理の詳細を説明する図である。

なお、以下の説明において、記憶部１３に記憶されるバイタル情報群は、図４に示す全バイタル情報（バイタル１〜Ｎ）４０１である場合を例に説明する。この全バイタル情報４０１は、すべて同じ種別（例えば、脈拍等）のバイタル情報であり、バイタル情報の記録時刻（取得時刻）順に時系列に並べられているものとする。

まず、映像編集装置１０の変化検出部１２４は、全バイタル情報４０１から、バイタル情報を時系列順に２つ読み出し、後の情報がまだあるかを判定する（図４のＳ２１）。ここで、変化検出部１２４が、後の情報がないと判定した場合（Ｓ２１で「なし」）、図５のＳ３１へ進み、後の情報がまだあると判定した場合（Ｓ２１で「まだある」）、読み出した２つのバイタル情報を比較し、情報の変化が所定の閾値（所定値）以上か否かを判定する（Ｓ２２）。ここで、変化検出部１２４が、情報の変化は所定の閾値以上と判定した場合（Ｓ２２で「閾値以上」）、読み出した２つのバイタル情報のうち先のバイタル情報の時刻（記録時刻）をリストに載せる（Ｓ２３）。そして、Ｓ２１へ戻る。また、Ｓ２２で、変化検出部１２４が情報の変化が所定の閾値未満と判定した場合（Ｓ２２で「閾値未満」）も、Ｓ２１へ戻る。

変化検出部１２４が、上記の処理を繰り返すことで、例えば、符号４０２に示すような変化が所定の閾値以上のバイタル情報（バイタル２，５，…，Ｘ）の時刻リストが作成される。

図５の説明に移る。変化検出部１２４が、図４のＳ２１で、全バイタル情報４０１に後の情報がないと判定した場合（Ｓ２１で「なし」）、映像特定部１２５は、各時刻を載せたリストを読み出し、リストに読み出していない項目がまだあるか否かを判定する（図５のＳ３１）。ここで、映像特定部１２５は、リストに読み出していない項目はないと判定したとき（Ｓ３１で「なし」）、図６のＳ４１へ進み、リストに、読み出していない項目がまだあると判定したとき（Ｓ３１で「まだある」）、リストの１項目（まだ読み出していない項目群のうち１項目）を読み出し、記憶部１３から読み出した映像の対応部分をマークする（Ｓ３２）。そして、Ｓ３１へ戻る。

映像特定部１２５が、上記の処理を繰り返すことで、例えば、符号４０２の時刻リストに示される各時刻（バイタル２，５，Ｘの時刻）が符号５０１に示す映像の録画開始時刻から録画停止時刻までの間にマークされ、符号５０２に示す状態になる。

図６の説明に移る。図５のＳ３１で、リストに読み出していない項目はないと判定されたとき（Ｓ３１で「なし」）、映像抽出部１２６は、映像のマークを読み出し、まだ読み出していないマークがあるか否かを判定する（図６のＳ４１）。ここで、映像抽出部１２６が、まだ読み出していないマークがあると判定したとき（Ｓ４１で「まだある」）、読み出していないマークの１項目を読み出し、マーク前後の部分映像を所定時間分抽出する（Ｓ４２）。その後、Ｓ４１へ戻り、映像抽出部１２６において、映像中、読み出していないマークがないと判定すると（Ｓ４１で「なし」）、図７のＳ５１へ進む。

映像抽出部１２６が、上記の処理を繰り返すことで、例えば、符号６０１に示すように、映像のマーク（バイタル２，５，Ｘの時刻）それぞれの前後の部分映像（部分映像１〜３）が所定時間分抽出され、記憶部１３に個別に保存される。

図７の説明に移る。編集映像作成部１２７は、図６のＳ４１で抽出された部分映像を読み出し、まだ読み出していない部分映像があるか否かを判定する（Ｓ５１）。ここで、編集映像作成部１２７が、まだ読み出していない部分映像があると判定したとき（Ｓ５１で「まだある」）、読み出した部分映像のうち、先の部分映像に後の部分映像をつなぎ合わせる（Ｓ５２）。つまり、編集映像作成部１２７は、映像コンテンツから切り出した部分映像を時系列につなぎ合わせる。そして、Ｓ５１へ戻る。一方、編集映像作成部１２７が読み出していない部分映像はないと判定したとき（Ｓ５１で「なし」）、つなぎ合わせた映像を編集映像として記憶部１３に保存する（Ｓ５３）。

編集映像作成部１２７が、上記の処理を繰り返すことで、例えば、符号７０１に示すような、撮影者が撮影した映像中、バイタル２，５，Ｘの時刻のそれぞれに対応する部分映像（部分映像１〜３）をつなぎ合わせた編集映像が作成される。なお、この編集映像は、符号７０１に例示するように各部分映像が、どの時刻のどのバイタル情報かを示すメタデータを含んでいてもよい。

上記の映像編集装置１０によれば、撮影者が撮影した映像のうち、例えば、撮影者が特に感動した箇所や、面白かった箇所等、バイタル情報に変化があった箇所のダイジェスト版を作成できる。

（その他の実施形態）
なお、バイタルセンサー２０が出力するバイタル情報は、撮影装置３０経由で映像編集装置１０へ送信されることとしたが、直接バイタルセンサー２０から映像編集装置１０へ送信するようにしてもよい。

また、映像編集装置１０が扱う映像は、撮影者が撮影した映像以外にも、予め記憶された映像コンテンツであってもよい。この場合、映像編集装置１０の再生部１２２は、記憶部１３に予め記憶（録画）された映像コンテンツを表示装置４０に出力する。そして、バイタルセンサー２０は、その再生された映像コンテンツを視聴している視聴者のバイタル情報を検出し、映像編集装置１０に出力する。

また、映像編集装置１０は、映像中、撮影者のバイタル情報に閾値以上の変化があった箇所にマークを入れた後、映像の編集映像を作成することとしたが、これに限定されない。例えば、映像編集装置１０が、映像中、撮影者のバイタル情報に閾値以上の変化があった箇所にマークを入れた状態で、記憶部１３に記憶しておく。つまり、映像編集装置１０は、映像中、バイタル情報に閾値以上の変化があった箇所にチャプターマークを挿入する。そして、撮影者等から、映像編集装置１０に対し、撮影された映像の再生指示があった場合、そのマークがあった箇所を検出し、この箇所にジャンプして再生できるようにしてもよい。つまり、映像編集装置１０に、チャプターマークを指定した映像の再生指示が入力されたとき、再生部１２２は、映像中、チャプターマークの挿入された箇所以降の映像を表示装置４０へ出力する。さらに、変化検出部１２４は、映像中、マークを入れた箇所にバイタル情報の内容等をメタ情報として付加してもよい。このようにすることで、映像編集装置１０の利用者は、撮影者が撮影した映像中、バイタル情報の変化があった箇所の再生指示を行いやすくなる。

また、変化検出部１２４は、バイタル情報のみならず、映像に含まれる音声情報等を用いて、変化を検出してもよい。例えば、変化検出部１２４は、映像のうち、当該映像に含まれる音声情報の音量が所定の閾値以上になった箇所の時刻を記録するようにしてもよい。このようにすることで、例えば、映像中、撮影者が、大きな声を出した箇所等にマークを入れることができる。

（プログラム）
また、上記実施形態に係る映像編集装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。以下に、映像編集装置１０と同様の機能を実現する映像編集プログラムを実行するコンピュータの一例を説明する。

図８は、映像編集プログラムを実行するコンピュータを示す図である。図８に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図８に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

また、映像編集プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、ハードディスクドライブ１０９０に記憶される。具体的には、上記実施形態で説明した映像編集装置１０が実行する各処理が記述されたプログラムモジュールが、ハードディスクドライブ１０９０に記憶される。

また、映像編集プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、映像編集プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、映像編集プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 映像編集装置
１１ 入出力部
１２ 制御部
１３ 記憶部
２０ バイタルセンサー
３０ 撮影装置
３１ 撮影部
３２ バイタル情報記録部
３３ 通信部
４０ 表示装置
１２１ 受信処理部
１２２ 再生部
１２３ 編集部
１２４ 変化検出部
１２５ 映像特定部
１２６ 映像抽出部
１２７ 編集映像作成部

Claims (4)

1. 映像を撮影しているときの撮影者の一連のバイタル情報から前記撮影者のバイタル情報の変化が所定値以上となる前記バイタル情報を検出する変化検出部と、
   前記映像のうち、前記検出したバイタル情報の記録時刻に対応する箇所を特定する映像特定部と、
   前記バイタル情報の記録時刻に対応する箇所から所定範囲の時間帯の映像を、前記映像から抽出する映像抽出部と、
   前記抽出された映像を時系列につなぎ合わせた編集映像を作成する編集映像作成部と、
   を備えることを特徴とする映像編集装置。
2. 前記バイタル情報は、前記撮影者の呼吸数、脈拍、血圧、および、体温の少なくともいずれかを示す情報であることを特徴とする請求項１に記載の映像編集装置。
3. 映像を撮影しているときの撮影者の一連のバイタル情報から前記撮影者のバイタル情報の変化が所定値以上となる前記バイタル情報を検出するステップと、
   前記映像のうち、前記検出したバイタル情報の記録時刻に対応する箇所を特定するステップと、
   前記バイタル情報の記録時刻に対応する箇所から所定範囲の時間帯の映像を、前記映像から抽出するステップと、
   前記抽出された映像を時系列につなぎ合わせた編集映像を作成するステップと、
   を映像編集装置が実行することを特徴とする映像編集方法。
4. 映像を撮影しているときの撮影者の一連のバイタル情報から前記撮影者のバイタル情報の変化が所定値以上となる前記バイタル情報を検出するステップと、
   前記映像のうち、前記検出したバイタル情報の記録時刻に対応する箇所を記録するステップと、
   前記バイタル情報の記録時刻に対応する箇所から所定範囲の時間帯の映像を、前記映像から抽出するステップと、
   前記抽出された映像を時系列につなぎ合わせた編集映像を作成するステップと、
   をコンピュータに実行させることを特徴とする映像編集プログラム。

Images