JP2014143453A

JP2014143453A - 動画像編集再生装置

Info

Publication number: JP2014143453A
Application number: JP2011112275A
Authority: JP
Inventors: Yusuke Toyofuku; 祐介豊福
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-05-19
Filing date: 2011-05-19
Publication date: 2014-08-07
Also published as: WO2012157270A1

Abstract

【課題】付帯情報と関連付けられたオブジェクトがフレームアウトして再びフレームインしても当該オブジェクトの追従を継続できる動画像編集再生装置を提供する。
【解決手段】動画像編集再生装置は、動画像に重ねて表示される文字及び／又は図形である付帯情報の表示を開始する時点の動画像データを解析して、フレーム内のオブジェクトを検出する第１解析部と、付帯情報のフレーム内の位置とオブジェクトの位置との関係に応じて、付帯状態をオブジェクトに関連付けてメモリに登録する登録部と、付帯情報を動画像に重ねて表示する時間帯の動画像データを一定時間毎に解析して、フレーム内のオブジェクトを検出する第２解析部と、検出されたオブジェクトの中に、付帯情報と関連付けられたオブジェクトに類似したオブジェクトが含まれるかを判断するオブジェクト解析部と、類似オブジェクトの位置に付帯情報を動画像に重ねて表示する表示処理部とを備える。
【選択図】図１

Description

本発明は、動画像に重ねて表示する文字又は図形を編集及び動画像と共に再生する動画像編集再生装置に関する。

特許文献１に記載の録画装置は、記録された動画データに絵文字データを付加する編集機能を有する。図１０は、動画データに絵文字データを付加する編集時のメニュー画面と編集後の動画像の一場面を示す図である。図１０に示した例では、運動会の徒競争の動画像に「たけし」の絵文字が付加される。図１０に示すように、録画装置に絵文字「たけし」が入力されると、画面には追従映像指定枠４０１が表示される。ユーザは、追従映像指定枠４０１がたけし君に該当する人物を囲むよう録画装置を操作する。こうすることで、録画装置は、追従映像指定枠４０１で囲まれたオブジェクトを認識し、ＭＰＥＧの動きベクトルを利用することでオブジェクトに追従する。したがって、図１０に示すように、絵文字「たけし」はオブジェクトの移動に伴い移動する。

特開２００９−８１５９２号公報特開２００４−１９３７０２号公報特開２００４−１９５２４３号公報

上記説明した特許文献１に記載の録画装置は、ＭＰＥＧの動きベクトルを利用してオブジェクトの移動に追従して絵文字を表示する。但し、この録画装置がオブジェクトを追従できるのは、当該オブジェクトのフレームアウト時までである。このため、オブジェクトがフレームアウトして再びフレームインする動画像の場合、ユーザは、オブジェクトがフレームインする度に絵文字の入力と追従映像指定枠４０１の設定を行わなければならない。

本発明の目的は、付帯情報と関連付けられたオブジェクトがフレームアウトして再びフレームインしても当該オブジェクトの追従を継続できる動画像編集再生装置を提供することである。

本発明は、動画像に重ねて表示される文字及び／又は図形である付帯情報の表示を開始する時点の動画像データを解析して、前記開始時点に表示されるフレーム内のオブジェクトを検出する第１画像解析部と、前記付帯情報のフレーム内の位置と前記第１画像解析部が検出したオブジェクトの位置との関係に応じて、前記付帯状態を前記オブジェクトに関連付けてメモリに登録する付帯情報登録部と、前記付帯情報を動画像に重ねて表示する時間帯の動画像データを一定時間毎に解析して、フレーム内のオブジェクトを検出する第２画像解析部と、前記第２画像解析部によって検出されたオブジェクトの中に、前記付帯情報と関連付けられたオブジェクトに類似したオブジェクトが含まれるかを判断するオブジェクト解析部と、前記オブジェクト解析部によって前記類似したオブジェクトが含まれる判断されると、前記類似したオブジェクトの位置に前記付帯情報が示す文字及び／又は図形を前記動画像に重ねて表示するよう処理する付帯情報表示処理部と、を備えた動画像編集再生装置を提供する。

上記動画像編集再生装置では、前記付帯情報登録部は、前記付帯情報のフレーム内の位置と前記第１画像解析部が検出したオブジェクトの位置との間の距離が所定値未満のとき、前記付帯状態を前記オブジェクトに関連付けて前記メモリに登録する。

上記動画像編集再生装置では、前記付帯情報表示処理部は、前記類似したオブジェクトの大きさに準じた大きさの前記付帯情報が示す文字及び／又は図形を表示するよう処理する。

上記動画像編集再生装置では、前記付帯情報は、前記動画像とは異なるレイヤーの情報として前記メモリに登録される。

上記動画像編集再生装置では、前記付帯情報表示処理部は、前記類似したオブジェクトの変化に伴い前記付帯情報が示す文字及び／又は図形を一定の大きさまで縮小すると、前記類似オブジェクトがそれ以上小さくなっても前記付帯情報が示す文字及び／又は図形の大きさを変えず、かつ、前記類似したオブジェクトの変化に伴い前記付帯情報が示す文字及び／又は図形を一定の大きさまで拡大すると、前記類似オブジェクトがそれ以上大きくなっても前記付帯情報が示す文字及び／又は図形の大きさを変えないよう処理する。

上記動画像編集再生装置では、前記付帯情報表示処理部は、特定のオブジェクトに関連付けられた付帯情報が示す文字及び／又は図形を点滅して表示するよう処理する。

上記動画像編集再生装置では、前記第１画像解析部は、前記付帯情報を前記動画像に重ねて表示する時間帯の終点まで動画像データを解析する。

本発明に係る動画像編集再生装置によれば、付帯情報と関連付けられたオブジェクトがフレームアウトして再びフレームインしても当該オブジェクトの追従を継続できる。

一実施形態の動画像編集再生装置の構成を示すブロック図（ａ）〜（ｄ）は、手書き文字・図形の登録の準備から終了に至るまでの各段階でディスプレイ１０３に表示される画面を示す図異なるレイヤーで記録されている手書き描画情報と動画像の関係を示す図（ａ）〜（ｅ）は、動画像再生時における手書き文字・図形の表示を示す図手書き文字・図形を登録する際の一実施形態の動画像編集再生装置の動作を示すフローチャート動画像再生時における手書き文字・図形を表示する際の一実施形態の動画像編集再生装置の動作を示すフローチャートオブジェクトが小さくなったときの手書き文字・図形を示す図オブジェクトが非常に小さくなったときの手書き文字・図形を示す図手書き文字・図形が点滅して表示される画面を示す図特許文献１に記載の録画装置における動画データに絵文字データを付加する編集時のメニュー画面と編集後の動画像の一場面を示す図

以下、本発明の実施形態について、図面を参照して説明する。

図１は、一実施形態の動画像編集再生装置の構成を示すブロック図である。図１に示す動画像編集再生装置は、タッチパネル１０１と、ディスプレイ１０３と、編集時画像解析部１０５と、手書き描画情報登録部１０７と、メモリ１０９と、再生時画像解析部１１１と、オブジェクト解析部１１３と、手書き描画情報表示処理部１１５と、動画像表示処理部１１７とを備える。

タッチパネル１０１は、本実施形態の動画像編集再生装置の入力インターフェースとして機能し、ディスプレイ１０３の表示面に貼り合わされている。動画像編集再生装置のユーザは、動画像に重ねて表示したい文字及び／又は図形をタッチパネル１０１上に描画する。以下、ユーザがタッチパネル１０１上に描いた文字及び／又は図形を「手書き文字・図形」という。

編集時画像解析部１０５は、手書き文字・図形を動画像に重ねて表示する時間帯の動画像データをメモリ１０９から読み出して、当該動画像データを解析することで、フレーム内のオブジェクトを検出する。特に、編集時画像解析部１０５は、手書き文字・図形を動画像に重ねて表示する開始時間の画像にオブジェクトが存在するかを判断し、オブジェクトが存在すれば、各オブジェクトの形状及び位置に関する情報（オブジェクト検出結果）を手書き描画情報登録部１０７に送る。但し、オブジェクトが存在しない場合、編集時画像解析部１０５は、オブジェクトが存在しない旨のオブジェクト検出結果を手書き描画情報登録部１０７に送る。

手書き描画情報登録部１０７は、手書き文字・図形の形状や色等に関する情報（以下「手書き描画情報」という）をメモリ１０９に格納する。このとき、編集時画像解析部１０５から得られたオブジェクト検出結果がオブジェクトの存在を示す場合、手書き描画情報登録部１０７は、手書き文字・図形との間の距離が所定値未満のオブジェクトと当該手書き文字・図形を関連付けて手書き描画情報をメモリ１０９に格納する。オブジェクトと手書き文字・図形の間の距離は、例えば、手書き文字・図形の中心点とオブジェクトの中心点の間の間の距離である。

また、手書き描画情報登録部１０７は、ディスプレイ１０３上に手書き文字・図形を動画像に重ねて表示する時間（開始時間と終了時間）をメモリ１０９に格納する。なお、この表示時間は、動画像の再生時間上の時間である。なお、編集時画像解析部１０５から得られたオブジェクト検出結果がオブジェクトが存在しない旨を示す場合、又は、オブジェクトが存在しても当該オブジェクトと手書き文字・図形の間の距離が所定値以上であれば、手書き描画情報登録部１０７は、手書き描画情報のみをメモリ１０９に格納する。

図２（ａ）〜（ｄ）は、手書き文字・図形の登録の準備から終了に至るまでの各段階でディスプレイ１０３に表示される画面を示す図である。図２（ａ）に示すように、ユーザは、手書き文字・図形の表示開始タイミングで動画像を一時停止する。次に、図２（ｂ）に示すように、ユーザが手書き文字・図形をタッチパネル１０１上に描画する。次に、当該手書き文字・図形の表示終了タイミング（終点フレーム）まで動画像を再生する。最後に、図２（ｄ）に示すように、ユーザが動画像の再生を停止して、手書き文字・図形の登録を確定する。

メモリ１０９は、動画像データと、手書き描画情報登録部１０７から得られた手書き描画情報、オブジェクトとの関連情報、及び手書き文字・図形を表示する時間に関する情報を含むメタデータとを記憶する。なお、メタデータに含まれる手書き描画情報は、図３に示すように、動画像とは異なるレイヤーの情報としてメモリ１０９に格納されている。したがって、図３に示すように、動画像の同じ再生タイミングに対して複数の手書き文字・図形が登録された場合には、複数の手書き描画情報がそれぞれ異なるレイヤーの情報としてメモリ１０９に格納され得る。

再生時画像解析部１１１は、メモリ１０９から読み出したメタデータが示す手書き文字・図形の表示時間の間、メモリ１０９から動画像データを読み出して、当該動画像データを解析することで、フレーム内のオブジェクトを検出する。再生時画像解析部１１１は、当該解析を一定時間毎に行う。

オブジェクト解析部１１３は、メタデータが示す手書き文字・図形の表示時間の間、再生時画像解析部１１１によって検出されたオブジェクトの中に、メタデータが示す手書き文字・図形に関連付けられたオブジェクトに類似したオブジェクトが含まれるかを判断する。オブジェクト解析部１１３は、当該判断を一定時間毎に行う。なお、オブジェクトが類似しているか否かの判断は、オブジェクトの色、形状又は特徴点等のパラメータに基づいて行われる。オブジェクト解析部１１３は、手書き文字・図形に関連付けられたオブジェクトに類似したオブジェクトがあれば、そのオブジェクトの位置に手書き文字・図形を動画像に重ねて表示するよう手書き描画情報表示処理部１１５に指示する。

手書き描画情報表示処理部１１５は、手書き文字・図形に関連付けられたオブジェクトに類似したオブジェクトの位置に、当該オブジェクトの大きさに準じた大きさの手書き文字・図形をディスプレイ１０３に表示するよう処理する。なお、手書き描画情報表示処理部１１５は、メモリ１０９から読み出したメタデータに含まれる手書き描画情報を参照して、手書き文字・図形の色及び形状を判断する。

動画像表示処理部１１７は、メモリ１０９から読み出した動画像データに基づく動画像をディスプレイ１０３に表示するよう処理する。

図４（ａ）〜（ｅ）は、動画像再生時における手書き文字・図形の表示を示す図である。図４（ａ）は、手書き文字・図形を動画像に重ねて表示する時間前の画面である。手書き文字・図形の表示開始時間になると、図４（ｂ）に示すように、動画像に手書き文字・図形が重ねて表示され、図４（ｃ）に示すように、オブジェクトの移動に伴い手書き文字・図形の位置及び／又は大きさが変わる。また、図４（ｄ）に示すように、手書き文字・図形に対応するオブジェクト（図４では「たろう」）がフレームアウトし、その後、図４（ｅ）に示すように、当該オブジェクトが再びフレームインしても、上記説明した再生時画像解析部１１１及びオブジェクト解析部１１３の各動作によって、当該オブジェクトに対応する手書き文字・図形が再び表示される。

図５は、手書き文字・図形を登録する際の一実施形態の動画像編集再生装置の動作を示すフローチャートである。図５に示すように、編集時画像解析部１０５は、動画像データを解析してオブジェクトを検出する（ステップＳ１０１）。次に、編集時画像解析部１０５は、ステップＳ１０１の解析の結果、オブジェクトが存在するか否かを判断し（ステップＳ１０３）、オブジェクトが存在しなければステップＳ１０５に進み、オブジェクトが存在すればステップＳ１０７に進む。

ステップＳ１０５では、手書き描画情報登録部１０７は、手書き描画情報をメモリ１０９に格納する。一方、ステップＳ１０７では、手書き描画情報登録部１０７は、オブジェクトと手書き文字・図形の間の距離が所定値未満か否かを判断し、所定値未満であればステップＳ１０９に進み、所定値以上であればステップＳ１０５に進む。ステップＳ１０９では、手書き描画情報登録部１０７は、手書き文字・図形との間の距離が所定値未満のオブジェクトと当該手書き文字・図形を関連付けて手書き描画情報をメモリ１０９に格納に格納する。

図６は、動画像再生時における手書き文字・図形を表示する際の一実施形態の動画像編集再生装置の動作を示すフローチャートである。図６に示すように、動画像表示処理部１１７が、動画像データに基づく動画像の再生を開始する（ステップＳ２０１）と、再生時画像解析部１１１は、その再生時間が手書き文字・図形の表示時間内かを判断し（ステップＳ２０３）、再生時間が手書き文字・図形の表示時間内であればステップＳ２０５に進む。ステップＳ２０５では、再生時画像解析部１１１が、動画像データを解析して、フレーム内のオブジェクトを検出する。

次に、オブジェクト解析部１１３は、検出されたオブジェクトの中に、手書き文字・図形に関連付けられたオブジェクトに類似したオブジェクトが含まれるか否かを判断する（ステップＳ２０７）。類似したオブジェクトが含まれる場合はステップＳ２０９に進み、含まれない場合はステップＳ２１１に進む。ステップＳ２０９では、手書き描画情報表示処理部１１５が、類似したオブジェクトの位置に、当該オブジェクトの大きさに準じた大きさの手書き文字・図形を動画像に重ねて表示するよう処理する。一方、ステップＳ２１１では、手書き描画情報表示処理部１１５が、手書き文字・図形を表示しないよう処理する。ステップＳ２０９又はＳ２１１の後、ステップＳ２０３を行って一定時間が経過したかを再生時画像解析部１１１が判断し（ステップＳ２１３）、一定時間が経過していればステップＳ２０３に戻る。

以上説明したように、本実施形態の動画像編集再生装置は、図４（ｃ）〜（ｅ）に示すように、動画像内のオブジェクトがフレームアウトすると、当該オブジェクトに対応する手書き文字・図形をディスプレイ１０３に表示せず、同じオブジェクトが再びフレームインすると、そのオブジェクトに対応する表示されていた手書き文字・図形を再び動画像に重ねて表示する。したがって、動画像内の特定のオブジェクトに追従した手書き文字・図形の表示を継続できる。

また、図４（ｂ）及び（ｃ）に示すように、本実施形態の動画像編集再生装置が備える手書き描画情報表示処理部１１５は、動画像の再生に伴うオブジェクトの大きさの変化に応じて、当該オブジェクトに対応する手書き文字・図形の大きさを変えて表示するよう処理する。すなわち、手書き文字・図形の大きさは、オブジェクトの大きさに比例する。

但し、手書き文字の大きさは、オブジェクトの大きさに比例する範囲が限定される。すなわち、図７に示すように、手書き描画情報登録部１０７は、オブジェクトの変化に伴い、手書き文字を一定の大きさまで縮小すると、オブジェクトがそれ以上小さくなっても手書き文字の大きさを変えない。同様に、手書き描画情報登録部１０７は、オブジェクトの変化に伴い、手書き文字を一定の大きさまで拡大すると、オブジェクトがそれ以上大きくなっても手書き文字の大きさを変えない。こうすることで、手書き文字をユーザが常に視認可能な大きさで表示することができる。さらに、手書き描画情報登録部１０７は、図８に示すように、オブジェクトの大きさが一定以下のときは、手書き図形に代えて線を表示するか、手書き文字を表示しなくても良い。

また、手書き描画情報表示処理部１１５は、手書き文字・図形の表示時間中に対応するオブジェクトがフレーム内に存在するとき、図９に示すように、当該手書き文字・図形を点滅（ブリンク）して表示するよう処理しても良い。さらに、手書き描画情報表示処理部１１５は、複数のオブジェクトの中でも主要被写体として登録されたオブジェクトに対応する手書き文字・図形のみ点滅して表示しても良い。主要被写体として登録されたオブジェクトか否かはオブジェクト解析部１１３が判断する。

本発明に係る動画像編集再生装置は、動画像に重ねて表示する文字又は図形である付帯情報を動画像と共に再生する際に、付帯情報と関連付けられたオブジェクトがフレームアウトして再びフレームインしても当該オブジェクトの追従を継続する動画像編集再生装置等として有用である。

１０１タッチパネル
１０３ディスプレイ
１０５編集時画像解析部
１０７手書き描画情報登録部
１０９メモリ
１１１再生時画像解析部
１１３オブジェクト解析部
１１５手書き描画情報表示処理部
１１７動画像表示処理部

Claims

動画像に重ねて表示される文字及び／又は図形である付帯情報の表示を開始する時点の動画像データを解析して、前記開始時点に表示されるフレーム内のオブジェクトを検出する第１画像解析部と、
前記付帯情報のフレーム内の位置と前記第１画像解析部が検出したオブジェクトの位置との関係に応じて、前記付帯状態を前記オブジェクトに関連付けてメモリに登録する付帯情報登録部と、
前記付帯情報を動画像に重ねて表示する時間帯の動画像データを一定時間毎に解析して、フレーム内のオブジェクトを検出する第２画像解析部と、
前記第２画像解析部によって検出されたオブジェクトの中に、前記付帯情報と関連付けられたオブジェクトに類似したオブジェクトが含まれるかを判断するオブジェクト解析部と、
前記オブジェクト解析部によって前記類似したオブジェクトが含まれる判断されると、前記類似したオブジェクトの位置に前記付帯情報が示す文字及び／又は図形を前記動画像に重ねて表示するよう処理する付帯情報表示処理部と、
を備えたことを特徴とする動画像編集再生装置。
請求項１に記載の動画像編集再生装置であって、
前記付帯情報登録部は、前記付帯情報のフレーム内の位置と前記第１画像解析部が検出したオブジェクトの位置との間の距離が所定値未満のとき、前記付帯状態を前記オブジェクトに関連付けて前記メモリに登録することを特徴とする動画像編集再生装置。
請求項１又は２に記載の動画像編集再生装置であって、
前記付帯情報表示処理部は、前記類似したオブジェクトの大きさに準じた大きさの前記付帯情報が示す文字及び／又は図形を表示するよう処理することを特徴とする動画像編集再生装置。
請求項１〜３のいずれか一項に記載の動画像編集再生装置であって、
前記付帯情報は、前記動画像とは異なるレイヤーの情報として前記メモリに登録されることを特徴とする動画像編集再生装置。
請求項１〜４のいずれか一項に記載の動画像編集再生装置であって、
前記付帯情報表示処理部は、前記類似したオブジェクトの変化に伴い前記付帯情報が示す文字及び／又は図形を一定の大きさまで縮小すると、前記類似オブジェクトがそれ以上小さくなっても前記付帯情報が示す文字及び／又は図形の大きさを変えず、かつ、前記類似したオブジェクトの変化に伴い前記付帯情報が示す文字及び／又は図形を一定の大きさまで拡大すると、前記類似オブジェクトがそれ以上大きくなっても前記付帯情報が示す文字及び／又は図形の大きさを変えないよう処理することを特徴とする動画像編集再生装置。
請求項１〜５のいずれか一項に記載の動画像編集再生装置であって、
前記付帯情報表示処理部は、特定のオブジェクトに関連付けられた付帯情報が示す文字及び／又は図形を点滅して表示するよう処理することを特徴とする動画像編集再生装置。
請求項１〜６のいずれか一項に記載の動画像編集再生装置であって、
前記第１画像解析部は、前記付帯情報を前記動画像に重ねて表示する時間帯の終点まで動画像データを解析することを特徴とする動画像編集再生装置。