JP2016110676A - 動画編集装置 - Google Patents

Abstract

【課題】ユーザの意図に沿った形で動画上にテキストや絵などを表示することのできる装置を提供する。【解決手段】動画再生手段４は、記録部１０に記録されている動画データ１２を読み出して再生する。入力装置８は、ユーザ操作によって軌跡を入力するためのものである。付加データ記録手段６は、動画再生中に、入力装置８からの軌跡入力を受けて、その軌跡を時間的変化とともに動画データの時間位置に対応付けて付加データ１４として記録する。付加済動画生成手段２は、動画データ１２および付加データ１４を読み出し、動画再生に応じて前記軌跡を時間的変化とともに付加した付加済動画を生成する。したがって、ユーザが入力した軌跡が、その位置にその時間的変化とともに動画上に表示される。【選択図】図１

Description

この発明は、動画に付加データを付加する編集装置に関するものである。

動画データに対し、文字を重ねて表示する装置が提案されている。たとえば、特許文献１には、動画データとは別にテキスト情報を記録しておき、動画の再生に同期してテキストを表示するシステムが開示されている。

また、ニコニコ動画（商標）などでは、ユーザが入力した文字テキストが動画上に流れるように表示されるシステムが運営されている。

特開２０１３−２０１６２６

しかしながら、上記のような従来技術においては、文字の持つ意味内容を伝えることが主眼であり、文字入力の過程を含めた状況までを伝えることはできていなかった。

ニコニコ動画（商標）などでは、文字テキストが画面上を流れるという点での工夫がなされているものの、これもユーザの意図したものではない。

この発明は、上記のような問題点を解決して、ユーザの意図に沿った形で動画上にテキストや絵などを表示することのできる装置を提供することを目的とする。

この発明に掛かる動画編集装置の、独立して適用可能ないくつかの特徴を以下に示す。

(1)(2)この発明に係る動画編集装置は、編集のために動画を再生する動画再生手段と、ユーザ操作による軌跡を入力するための入力装置と、前記動画再生中に、前記入力装置より入力された軌跡を、その時間的変化とともに動画データの時間位置に対応づけて付加データとして記録する付加データ記録手段と、記録された付加データをを読み出し、動画再生に応じて前記軌跡を時間的変化とともに付加した付加済動画を生成する付加済動画生成手段とを備えている。

したがって、再生の経過とともに軌跡が追加される動画を得ることができる。

(3)この発明に係る動画編集装置は、軌跡が手書き文字であることを特徴としている。

したがって、文字が順次追加されていく動画を得ることができる。

(4)(5)この発明に係る動画編集装置は、編集のために動画を再生する動画再生手段と、ユーザ操作によって手書きの絵を入力するための入力装置と、前記動画を構成する静止画の対象物に重ねて入力された絵を、対象物との位置関係も含めて付加データとして記録する付加データ記録手段と、記録された動画データおよび付加データを読み出し、前記位置関係に基づいて、前記対象物に追従して前記絵が移動するように、付加済動画を生成する付加済動画生成手段とを備えている。

したがって、対象物の移動とともに追従する手書きの絵が表示される動画を得ることができる。

(6)この発明に係る動画編集装置は、付加済動画を、情報サーバ装置にアップロードするアップロード手段を備えている。

したがって、付加済動画を第三者に公開することができる。

「動画再生手段」は、実施形態においては、ステップＳ２がこれに対応する。

「付加データ記録手段」は、実施形態においては、ステップＳ２４、ステップＳ３５がこれに対応する。

「付加済動画生成手段」は、実施形態においては、ステップＳ１１がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による動画編集装置の機能ブロック図である。 動画編集装置のハードウエア構成である。 動画編集プログラム４８のフローチャートである。 動画編集装置の表示画面である。 動画編集装置の表示画面である。 動画編集装置の表示画面である。 動画編集装置の表示画面である。 動画編集プログラム４８のフローチャートである。 動画編集装置の表示画面である。 動画編集装置の表示画面である。 付加データの例である。 他の実施形態による動画編集装置の機能ブロック図である。 動画編集プログラム４８のフローチャートである。 動画編集装置の表示画面である。 動画編集装置の表示画面である。

１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による動画編集装置の機能ブロック図を示す。動画再生手段４は、記録部１０に記録されている動画データ１２を読み出して再生する。入力装置８は、ユーザ操作によって軌跡を入力するためのものである。付加データ記録手段６は、動画再生中に、入力装置８からの軌跡入力を受けて、その軌跡を時間的変化とともに動画データの時間位置に対応付けて付加データ１４として記録する。付加済動画生成手段２は、動画データ１２および付加データ１４を読み出し、動画再生に応じて前記軌跡を時間的変化とともに付加した付加済動画を生成する。

したがって、ユーザが入力した軌跡が、その位置にその時間的変化とともに動画上に表示される動画を生成できる。

1.2ハードウエア構成
図２に、動画編集装置のハードウエア構成を示す。この実施形態では、動画編集装置をスマートフォンとして実現した場合について説明する。

ＣＰＵ３０は、メモリ３２、タッチスクリーン３４、ハードディスク３６、スピーカ３６、不揮発性メモリ３８、通信回路４０、カメラ４２、マイク４４に接続されている。

通信回路４０は、インターネットなどに接続するためのものである。不揮発性メモリ３８には、オペレーティングシステム４６、動画編集プログラム４８、動画データ５０、付加データ５２が記録される。動画編集プログラム４８は、オペレーティングシステム４６と協働してその機能を発揮するものである。この動画編集プログラム４８は、通信回路４０を介して、インターネット上のウエブサイトからダウンロードしたものである。もちろん、記録媒体に記録されている動画編集プログラム４８を、不揮発性メモリ３８にインストールしてもよい。

1.3動画編集プログラム４８のフローチャート
図３に、動画編集プログラム４８のフローチャートを示す。このプログラムを起動したときの初期画面を、図４Ａに示す。撮像モードボタン６０が押されると、ＣＰＵ３０は、カメラ４２による動画の撮像モードとなる。

撮像モードにおける画面を、図４Ｂに示す。倍速ボックス６２にチェックを入れることにより、倍速での撮像が行われる。スローモーションボックス６４にチェックを入れることにより、スローモーションでの撮像が行われる。

グリッドボタン６８を押すと、画面にグリッドが表示される。また、カメラ切替ボタン６６を押すと、表側のカメラによる撮像と裏側のカメラによる撮像とを切り替えることができる。

撮像ボタン６９が押されると、ＣＰＵ３０は、カメラ４２による動画の撮像を行う（ステップＳ１）。なお、撮像ボタン７０が押されている間は、動画の撮像が行われ、撮像ボタン６９が押下されなくなると、ＣＰＵ３０は、動画の撮像を終了する。ＣＰＵ３０は、撮像された動画データ５０を、不揮発性メモリ３８に記録する。なお、この実施形態では、この動画データ５０には、マイク４４によって収録された音声データも含んでいる。

図４Ｂの画面において、編集モードボタン７０が押されると、ＣＰＵ３０は、編集モードに入る。編集モードでは、ＣＰＵ３０は、動画データ５０を読み出して、再生する（ステップＳ２）。

図５Ａに編集モード画面を示す。編集モード画面において、画面下部には、エフェクトボタン７６、スタンプボタン７８、落書きボタン８０、フィルタボタン８２、ＢＧＭボタン８４が設けられている。

エフェクトボタン７６が押されると、ＣＰＵ３０は、エフェクトモードに入る（ステップＳ４）。エフェクトモードでは、図５Ａに示すように、スライドバーによりサイズの調整をしたり、図５Ｂに示すように、肌のつやや肌の白さを調整したりすることができる。

スタンプボタン７８が押されると、ＣＰＵ３０は、スタンプモードに入る（ステップＳ５）。図６Ａにスタンプモードの画面を示す。下部には、スタンプ選択エリア８６が設けられており、複数のスタンプ候補が表示される。ユーザが、スタンプ選択エリア８６から動画の画面上に、スタンプをドラッグ・アンド・ドロップすると、ＣＰＵ３０は、これを画面上に表示する。

動画再生スライダ９０をクリックすると、動画の再生が一時停止される。この状態で、スタンプがドラッグ・アンド・ドロップされると、ＣＰＵ３０は、当該一時停止している動画の再生時刻（動画再生開始からの時刻）、スタンプがドロップされた位置とともに、当該スタンプのデータを付加データとして記録する。

一時停止させず再生中に、スタンプがドラッグ・アンド・ドロップされると、ＣＰＵ３０は、そのスタンプが置かれていた位置と時刻を順次記録する。

フィルタボタン８２が押されると、ＣＰＵ３０は、フィルタモードに入る（ステップＳ７）。図６Ｂにフィルタモードの画面を示す。フィルタモードにおいては、ＣＰＵ３０は、フィルタ選択部８９に、現在表示されている動画に対してフィルタを施した場合のサンプル画面を表示する。ユーザがいずれかを選択すると、ＣＰＵ３０は、その時刻以降の動画に対して、選択されたフィルタを適用する。

ＢＧＭボタン８４が押されると、ＣＰＵ３０は、ＢＧＭモードに入る（ステップＳ９）。図７に、ＢＧＭモードの画面を示す。ＢＧＭモードにおいては、ＣＰＵ３０は、撮影時の音声を残すかどうかの選択スイッチ９１を表示する。この選択に応じて、撮影時の音声データが残されたり削除されたりすることになる。さらに、画面上部には、ＢＧＭを選択するためのボタンが表示される。ユーザの選択により、ＢＧＭを選ぶことができる（ＢＧＭなしも選択できる）。

落書きボタン８０が押されると、ＣＰＵ３０は、落書きモードに入る（ステップＳ８）。落書きモードにおける処理フローチャートを、図８に示す。ＣＰＵ３０は、動画データを読み出して再生を開始する（ステップＳ２１）。ユーザは、この動画を一時停止させながら、あるいは再生しながら、落書きを行うことができる。

まず、再生しながら落書きを行う場合を説明する。図９Ａに示すように、ＣＰＵ３０は、ペン選択領域９２に選択可能なようにペンを表示する。ユーザの選択によって、ペンが選択される。

次に、ユーザがタッチスクリーン３４を、スタイラスペンや指などでなぞることにより、動画の再生中に落書きを行う。ＣＰＵ３０は、そのストロークの開始を検出する（ステップＳ２２）。続いて、ＣＰＵ３０は、そのストロークが終了したかどうかを判断する（ステップＳ２３）。スタイラスペンや指などがタッチスクリーン３４から離れたことを検出して、ストロークの終了を判断ししている。

ＣＰＵ３０は、ストロークの終了を検知すると、ストローク（つまり軌跡）をその位置とともに、ストロークの開始時点における再生時間（データ再生開始からの時間）とともに、不揮発性メモリ３８に記録する（ステップＳ２４）。

次のストロークが開始されれば、再び、上記の処理を繰り返す。動画が終了すれば、処理を終了する。

したがって、複数のストロークが入力された場合には、動画のどの時点で入力されたかを含めて、各ストロークごとにその時間が記録される。落書きモードにおける画面表示を、図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂに示す。図９Ｂにおいては、ストローク９４が入力されて表示されている。図１０Ａにおいては、ストローク９６が入力されて表示されている。図１０Ｂにおいては、さらに多数のストロークが入力されて表示されている。

以上のようにして作成された追加データの例を、図１１に示す。ストロークの図形と、再生時間、開始位置が記録されている。なお、ストローク図形において、開始位置には、丸印が付されている。

また、一時停止の状態で、ストロークが入力された場合には、全てのストロークについて、一時停止されている動画の再生時間（データ再生開始からの時間）が対応付けられて記録される。

以上の各編集モードにおける編集結果は、付加データとしてメモリ３２もしくは不揮発性メモリ３８に記録される。ユーザは、編集が終了すると、各モードの編集画面上にある「ビデオを作成」のボタンをクリックする。ＣＰＵ３０は、これを受けて、ステップＳ１１に進む。

ステップＳ１１において、ＣＰＵ３０は、記録された付加データと、動画データを読み出し、付加データによる編集が施された付加済動画データを生成する（ステップＳ１１）。たとえば、落書きモードにて入力されたストロークを、対応づけて記録された再生時間にしたがって、順次、動画に重ねて表示していく。したがって、動画の進行とともに、ストロークが描かれるようになる。

ＣＰＵ３０は、このようにして生成した付加済動画データを、不揮発性メモリ３８に記録する。

1.4その他
(1)上記実施形態では、動画編集装置をスマートフォンにて実現した場合について説明した。しかし、タブレットコンピュータなど、その他のコンピュータによって実現してもよい。

(2)上記実施形態では、図１１に示されるように、再生時間になるとストローク全体が一度に表示されるようにしている。しかし、ストロークの入力時点において、ストロークを構成する各点を順次時間計測して記録しておき、これにあわせて、徐々にストロークが表示されるようにしてもよい。

(3)上記実施形態では、ストロークによって図形を入力した場合について説明した。しかし、手書き文字を入力して再生するようにしてもよい。

(4)上記実施形態では、付加済動画データを、スマートフォンに記録するようにしている。しかし、さらに、このデータをＳＮＳサイト（フェイスブック（商標）など）のサーバ装置にアップロードして他人が閲覧できるようにしてもよい。

(5)上記実施形態では、一時停止中にストロークを入力した場合には、再生時に一時に全てのストロークが同時に表示されるようにしている。しかし、この場合であっても、ストロークを順次表示する用にしてもよい。

(6)上記実施形態では、スマートフォンの動画編集プログラム４８にて処理を行うようにしている。しかし、その一部または全部を、サーバ装置において実行するようにしてもよい。

(7)上記の変形例は、その本質に反しない限り、他の実施形態においても適用可能である。

２．第２の実施形態
2.1全体構成
図１２に、第２の実施形態による動画編集装置の機能ブロック図を示す。動画再生手段４は、記録部１０に記録されている動画データ１２を読み出して再生する。入力装置８は、ユーザ操作によって絵を入力するためのものである。付加データ記録手段６は、動画を構成する静止画の対象物に重ねて入力された絵を、対象物との位置関係も含めて付加データ１４として記録する。

付加済動画生成手段２は、動画データ１２および付加データ１４を読み出し、前記位置関係に基づいて、前記対象物に追従して前記絵が移動するように、付加済動画を生成する。

したがって、ユーザが入力した絵が、対象物に追従して表示される動画を生成できる。

2.2ハードウエア構成
ハードウエア構成は、第１の実施形態と同様である。

2.3動画編集プログラム４８のフローチャート
この実施形態における動画編集プログラム４８の基本的なフローチャートは、図３と同様である。ただし、この実施形態では、ステップＳ３において、さらに、追従落書きモードが用意されている。

追従落書きモードのフローチャートを、図１３に示す。ＣＰＵ３０は、動画データ５０を読み出してその再生を開始する（ステップＳ３１）。次に、ユーザの操作によって、所望の位置にて一時停止が指令されると、ＣＰＵ３０は、その時点の静止画を表示する（ステップＳ３２）。

この時の表示例を、図１４に示す。次に、ユーザがスタイラスペンなどで、手書きの絵を入力する。ＣＰＵ３０は、これを受けて、静止画の上に重ねてこの絵を表示する（ステップＳ３３）。このようにして、表示された画像例を、図１５に示す。この例では、目の周りに、手書きにてメガネ１００が表示されている。

次に、ＣＰＵ３０は、描かれた絵（メガネ１００）に近接して存在する対象物を特定する（ステップＳ３４）。この実施形態では、予め、対象物となりそうなものとして、目、耳、口、鼻、手、頭などの特徴データが記録されている。個々では、目が対象物として特定されることになる。さらに、ＣＰＵ３０は、この対象物である目とメガネとの位置関係を把握する（ステップＳ３４）。たとえば、手書きの絵の最も左の最も上の点の座標と、対象物を特徴づけるデータ（黒い丸の外側に楕円形状があるなど）、対象物の特徴座標（重心点など）との位置関係を把握する。

ＣＰＵ３０は、以上で得られた手書きの絵のデータと、前記位置関係と、再生時間（一時停止している時点における動画の最初からの再生時間）を付加データとして不揮発性メモリ３８に記録する（ステップＳ３５）。

上記のようにして編集が終了すると、図３のステップＳ１１において、付加済動画が生成される。ステップＳ１１における処理は、以下のとおりである。

動画が再生され、再生時間になると、ＣＰＵ３０は、手書きを絵を重ねて表示する。さらに、対象物を特徴付けるデータに基づいて、対象物の位置を特定する。この位置は、動画の進行とともに移動していくので、追従して位置の特定を行う。ＣＰＵ３０は、対象物の移動にあわせて、手書きの絵を追従するように移動させる。したがって、顔の動きにしたがって、メガネも移動することになる。このようにして、ＣＰＵ３０は、付加済動画データを生成して記録する。

2.4その他
(1)上記実施形態では、手書きの絵を用いたが、手書きの文字などでもよい。また、手書きでなくとも、予め用意された絵や文字を、手書きの絵の代わりに用いるようにしてもよい。

(2)上記の変形例は、その本質に反しない限り、他の実施形態においても適用可能である。

Claims (6)

1. 編集のために動画を再生する動画再生手段と、
   ユーザ操作による軌跡を入力するための入力装置と、
   前記動画再生中に、前記入力装置より入力された軌跡を、その時間的変化とともに動画データの時間位置に対応づけて付加データとして記録する付加データ記録手段と、
   記録された付加データをを読み出し、動画再生に応じて前記軌跡を時間的変化とともに付加した付加済動画を生成する付加済動画生成手段と、
   を備えた動画編集装置。
2. コンピュータによって動画編集装置を実現するための動画編集プログラムであって、コンピュータを、
   編集のために動画を再生する動画再生手段と、
   前記動画再生中に、ユーザ操作による軌跡を入力するための入力装置より入力された軌跡を、その時間的変化とともに動画データの時間位置に対応づけて付加データとして記録する付加データ記録手段と、
   記録された動画データおよび付加データをを読み出し、動画再生に応じて前記軌跡を時間的変化とともに付加した付加済動画を生成する付加済動画生成手段として機能させるための動画編集プログラム。
3. 請求項１の装置または請求項２のプログラムにおいて、
   前記軌跡は、手書き文字であることを特徴とする装置またはプログラム。
4. 編集のために動画を再生する動画再生手段と、
   ユーザ操作によって手書きの絵を入力するための入力装置と、
   前記動画を構成する静止画の対象物に重ねて入力された絵を、対象物との位置関係も含めて付加データとして記録する付加データ記録手段と、
   記録された動画データおよび付加データを読み出し、前記位置関係に基づいて、前記対象物に追従して前記絵が移動するように、付加済動画を生成する付加済動画生成手段と、
   を備えた動画編集装置。
5. コンピュータによって動画編集装置を実現するための動画編集プログラムであって、コンピュータを、
   編集のために動画を再生する動画再生手段と、
   入力装置により、前記動画を構成する静止画の対象物に重ねて入力された絵を、対象物との位置関係も含めて付加データとして記録する付加データ記録手段と、
   記録された動画データおよび付加データを読み出し、前記位置関係に基づいて、前記対象物に追従して前記絵が移動するように、付加済動画を生成する付加済動画生成手段として機能させるための動画編集プログラム。
6. 請求項１〜５のいずれかの装置またはプログラムにおいて、
   前記付加済動画を、情報サーバ装置にアップロードするアップロード手段を備えることを特徴とする装置またはプログラム。