JP2004147281A

JP2004147281A - Special video effect creation apparatus, special video effect creation method, and special video effect creation program

Info

Publication number: JP2004147281A
Application number: JP2003017023A
Authority: JP
Inventors: Nagahito Narita; 成田　長人; Kazuhisa Iguchi; 井口　和久
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-08-29
Filing date: 2003-01-27
Publication date: 2004-05-20
Anticipated expiration: 2023-01-27
Also published as: JP4163968B2

Abstract

PROBLEM TO BE SOLVED: To provide a special video effect creation apparatus, a special video effect creation method, and a special video effect creation program in which a special video effect is created within a video while holding the resolution of a moving object of interest and lowering the resolutions of the other video. SOLUTION: The special video effect creation apparatus 1 is provided with an object-of-interest designating means 10, an object motion vector calculating means 20, a video frame position correcting means 30, and a video frame compositing means 40. Pixel positions of video frames are corrected to match the object of interest with an object-of-interest position of a specific frame in the plurality of continuous video frames, and the plurality of corrected video frames are composited in a specific ratio. COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、映像内において注目した被写体以外の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムに関する。
【０００２】
【従来の技術】
従来、映像内における注目した被写体を強調するような特殊効果映像を生成するには、注目する被写体とその被写体以外の領域とを分割し、注目する被写体とその被写体以外の領域との解像度に差をつけることで、注目する被写体を強調している。
【０００３】
このとき、動画像の映像から被写体を抽出するには、注目する被写体が大きくかつ速く動くことを利用して、映像から被写体を識別して抽出する技術が存在する（例えば、非特許文献１参照。）。
【０００４】
そして、注目する被写体とそれ以外の領域との解像度に差をつけるには、一枚の映像フレーム毎に映像フレームを被写体とそれ以外の領域とに分割し、分割された被写体以外の領域に対して、例えば隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させていた。
【０００５】
また、注目した被写体が静止しており、それ以外の領域の映像が動いているときには、時間方向のフィルタリング処理、例えば、時間方向に連続する複数の映像フレームを加算した各画素値を、加算した映像フレームの数で除することで、被写体以外の動きのある映像を平滑化する処理（ノイズリデュース機能）によって、被写体以外の領域の解像度を低下させていた（例えば、非特許文献２参照。）。
【０００６】
【非特許文献１】
李相吉　他，“体操選手のフォーム・軌跡表示システム−マルチモーション−”，映像情報メディア学会誌，ｖｏｌ．５１，Ｎｏ．１１，
１９９７
【非特許文献２】
鎧沢勇，“時間軸フィルタの画質改善効果に関する心理物理実験”，テレビジョン学会技術報告，ＶＶＩ３７−１，ｐｐ．１９−２４、Ｊｕｌｙ，１９８０
【０００７】
【発明が解決しようとする課題】
しかし、前記従来の技術において、映像フレームを被写体とそれ以外の領域とに分割して解像度に差をつける方法では、領域分割を行う処理が複雑であり、さらに、その領域分割処理を一枚の映像フレーム毎に行わなければならないため、処理に要する時間が大きくなってしまうという問題があった。
【０００８】
また、時間方向のフィルタリング処理によって、静止した被写体以外の領域の解像度を低下させる方法では、注目した被写体が動いた映像では、被写体そのものの解像度が低下してしまうという問題がある。
このように、動画映像においては、動きを伴う被写体の解像度を保持し、被写体以外の映像の解像度を低下させる特殊効果を実現する効果的な手法は存在しなかった。
【０００９】
本発明は、以上のような問題点に鑑みてなされたものであり、時間方向のフィルタリング処理により、映像内において、動きのある注目する被写体の解像度を保持し、それ以外の映像の解像度を低下させた特殊効果映像を生成することを可能にする特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の特殊効果映像生成装置は、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成装置であって、前記入力映像において、前記注目被写体を指定する注目被写体指定手段と、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段と、この被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段と、この映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する映像フレーム合成手段と、を備える構成とした。
【００１１】
かかる構成によれば、特殊効果映像生成装置は、注目被写体指定手段によって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。ここで注目被写体とは、映像上で特定の被写体の解像度だけを保持し、他の領域の解像度を低下させた特殊効果映像を生成するために、操作者が注目する被写体のことをいう。
【００１２】
そして、特殊効果映像生成装置は、被写体動きベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００１３】
さらに、特殊効果映像生成装置は、映像フレーム位置補正手段によって、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、特殊効果映像生成装置は、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００１４】
また、請求項２に記載の特殊効果映像生成装置は、請求項１に記載の特殊効果映像生成装置において、映像フレーム合成手段が、映像フレーム位置補正手段で補正した複数の映像フレームの各画素値を、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算することを特徴とする。
【００１５】
かかる構成によれば、特殊効果映像生成装置は、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算する。このフィルタ係数は、各映像フレームを合成するときの比率であって、この比率を加算した値が１であれば、注目被写体及び映像フレームの輝度及び色の平均値が保持される。
【００１６】
さらに、請求項３に記載の特殊効果映像生成装置は、請求項２に記載の特殊効果映像生成装置において、映像フレーム合成手段が、映像フレーム毎に乗ずるフィルタ係数を設定する係数設定手段を備え、映像フレームの画素値に乗ずるフィルタ係数を変えることで、注目被写体以外の映像の解像度を変えることを特徴とする。
【００１７】
かかる構成によれば、特殊効果映像生成装置は、映像フレーム合成手段が映像フレーム毎に乗ずるフィルタ係数を設定する係数設定手段を備えており、映像フレームの画素値に乗ずるフィルタ係数を変えることで、注目被写体以外の映像の解像度を変える。例えば、注目被写体の位置を合わせる特定映像フレーム以外の映像フレームの画素値に乗ずるフィルタ係数の値を大きくすることで、注目被写体以外の領域の解像度が低下する。
【００１８】
さらにまた、請求項４に記載の特殊効果映像生成装置は、請求項１乃至請求項３のいずれか１項に記載の特殊効果映像生成装置において、注目被写体と同一の動きをする非注目被写体の領域を設定する非注目被写体設定手段と、この非注目被写体設定手段で設定した非注目被写体領域を、前記被写体動きベクトルに基づいて追跡する非注目被写体追跡手段と、前記映像フレーム合成手段から出力される特殊効果映像における、前記非注目被写体領域の解像度を低下させる解像度低下処理手段と、を備える構成とした。
【００１９】
かかる構成によれば、特殊効果映像生成装置は、非注目被写体設定手段によって、注目被写体と同一の動きをする非注目被写体の領域を設定する。例えば、マウス等の入力手段によって、非注目被写体を含んだ矩形領域を設定する。そして、特殊効果映像生成装置は、非注目被写体追跡手段によって、非注目被写体設定手段で設定した非注目被写体領域を、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて追跡する。注目被写体と非注目被写体とは同一の動きをするため、注目被写体の被写体動きベクトルを参照することで、非注目被写体の領域を追跡することが可能になる。
【００２０】
そして、特殊効果映像生成装置は、解像度低下処理手段によって、映像フレーム合成手段から出力される特殊効果映像における非注目被写体の領域の解像度のみを低下させる。例えば、隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させることができる。
【００２１】
また、請求項５に記載の特殊効果映像生成装置は、請求項２又は請求項３に記載の特殊効果映像生成装置において、前記入力映像の連続した映像フレームから、前記映像フレーム間における背景の動きを示すグローバルベクトルを算出するグローバルベクトル算出手段と、前記フィルタ係数を複数記憶した係数記憶手段と、前記被写体動きベクトルと前記グローバルベクトルとの差に基づいて、前記係数記憶手段に記憶されているフィルタ係数の中から、前記映像フレームに乗ずるフィルタ係数を選択する係数選択手段とを備え、前記映像フレーム合成手段が、前記係数選択手段で選択されたフィルタ係数に基づいて、前記映像フレームを合成することを特徴とする。
【００２２】
かかる構成によれば、特殊効果映像生成装置は、グローバルベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における背景の動きとなるグローバルベクトルを算出する。なお、一般に映像フレームに占める背景の割合は大きいため、グローバルベクトルは、背景が動いた動きベクトルとみなすことができる。
【００２３】
そして、特殊効果映像生成装置は、係数選択手段によって、予め係数記憶手段に記憶されたフィルタ係数を、被写体動きベクトルとグローバルベクトルとの差により選択する。例えば、注目被写体と背景との動きの差が大きい場合、背景の解像度を大きく低下させないようなフィルタ係数を選択する。これによって、連続した映像フレームにおいて、注目被写体以外の背景の解像度の変動が小さくなるようにフィルタ係数を選択できるので、映像フレーム合成手段において、映像フレームを合成したときに、注目被写体の動きの大きさに影響されずに、背景の解像度の低下が一定となる特殊効果映像を生成することができる。
【００２４】
また、請求項６に記載の特殊効果映像生成方法は、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成する特殊効果映像生成方法であって、前記入力映像において、前記注目被写体を指定する注目被写体指定ステップと、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出ステップと、この被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正ステップと、この映像フレーム位置補正ステップで補正した複数の映像フレームを合成して特殊効果映像を生成する映像フレーム合成ステップと、を含むことを特徴とする。
【００２５】
この方法によれば、特殊効果映像生成方法は、注目被写体指定ステップによって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。そして、被写体動きベクトル算出ステップによって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００２６】
さらに、特殊効果映像生成方法は、映像フレーム位置補正ステップによって、被写体動きベクトル算出ステップで算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、映像フレーム合成ステップによって、映像フレーム位置補正ステップで補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００２７】
さらに、請求項７に記載の特殊効果映像生成プログラムは、入力映像から、その映像内における動きのある特定映像フレームの注目被写体以外の映像の解像度を低下させた特殊効果映像を生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２８】
すなわち、前記入力映像において、前記注目被写体を指定する注目被写体指定手段、前記入力映像の連続した映像フレームから、前記映像フレーム間における前記注目被写体の動きベクトルである被写体動きベクトルを算出する被写体動きベクトル算出手段、この被写体動きベクトル算出手段で算出した前記動きベクトルに基づいて、連続した複数の映像フレームにおいて、前記特定映像フレーム以外の注目被写体の位置を前記特定映像フレームの注目被写体の位置に合わせるように、前記映像フレームの画素位置を補正する映像フレーム位置補正手段、この映像フレーム位置補正手段で補正した複数の映像フレームを合成して１つの映像フレームを生成する映像フレーム合成手段、とした。
【００２９】
かかる構成によれば、特殊効果映像生成プログラムは、注目被写体指定手段によって、入力映像における特定映像フレームの注目被写体を指定する。例えば、マウス等の入力手段によって、特定映像フレームの注目被写体に含まれる矩形領域を指定する。そして、被写体動きベクトル算出手段によって、入力映像の連続した映像フレームから、映像フレーム間における注目被写体の動きベクトル（被写体動きベクトル）を算出する。例えば、連続する映像フレームにおいて、注目被写体指定手段によって注目被写体として指定された矩形領域を、ブロックマッチング法によって検出して被写体動きベクトルを算出する。
【００３０】
さらに、特殊効果映像生成プログラムは、映像フレーム位置補正手段によって、被写体動きベクトル算出手段で算出した被写体動きベクトルに基づいて、連続した複数の映像フレームにおいて、特定映像フレーム以外の注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正する。例えば、連続した複数の映像フレームにおいて、真中の映像フレームを特定映像フレームとして、他の映像フレームの注目被写体の位置を、特定映像フレームの注目被写体の位置に合わせるように他の映像フレームの画素位置をずらす。
そして、映像フレーム合成手段によって、映像フレーム位置補正手段で補正した複数の映像フレームを合成して特殊効果映像を生成する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（特殊効果映像生成装置の構成：第一の実施の形態）
図１は、本発明における第一の実施の形態である特殊効果映像生成装置１の構成を示したブロック図である。特殊効果映像生成装置１は、入力映像（映像信号）の中で注目すべき被写体（以下、注目被写体という）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。
【００３２】
この特殊効果映像生成装置１は、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０と、を備える構成とした。
【００３３】
注目被写体指定手段１０は、図示していないマウス、キーボード等の入力手段によって、映像信号として入力される映像フレーム内の注目被写体に含まれる矩形領域を、注目被写体領域として指定するものである。この注目被写体指定手段１０は、指定された注目被写体領域の位置及び大きさを、注目被写体領域情報として被写体動きベクトル算出手段２０へ出力する。なお、注目被写体を指定するために表示される映像フレームや、注目被写体領域は、図示していない表示手段によって表示されるものとする。
【００３４】
被写体動きベクトル算出手段２０は、連続して入力される映像フレーム（映像信号）から、注目被写体指定手段１０から入力される注目被写体領域情報で指定された矩形領域の動きベクトルを被写体動きベクトルとして算出するものである。ここで算出された被写体動きベクトルは、映像フレーム位置補正手段３０へ出力される。
【００３５】
この被写体動きベクトル算出手段２０については、さらに、図２を参照（適宜図１参照）して説明を行う。図２は、被写体動きベクトル算出手段２０の内部構成を示したブロック図である。図２に示すように被写体動きベクトル算出手段２０は、映像遅延部２１と、動きベクトル検出部２２とを備えて構成した。
【００３６】
映像遅延部２１は、入力される映像信号を映像フレーム単位で遅延させるものである。この映像遅延部２１で１映像フレーム分遅延された映像信号は動きベクトル検出部２２へ出力される。
【００３７】
動きベクトル検出部２２は、外部から入力される映像信号と、映像遅延部２１で遅延された１映像フレーム分前に入力されている映像信号とに基づいて、注目被写体指定手段１０から入力された注目被写体領域情報で示される注目被写体領域の移動量と方向を示す動きベクトルを算出するものである。例えば、動きベクトル検出部２２は、映像遅延部２１から入力される映像フレーム内の注目被写体領域が、外部から入力される映像信号の映像フレーム内でどの領域に移動したかを輝度信号レベルの相関を調べるブロックマッチング法に基づいて算出する。
図１に戻って説明を続ける。
【００３８】
映像フレーム位置補正手段３０は、外部から入力される映像信号と、被写体動きベクトル算出手段２０から入力される被写体動きベクトルとに基づいて、連続した複数の映像フレームにおいて、注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、特定映像フレーム以外の映像フレームの画素位置を補正した補正映像信号を生成するものである。
【００３９】
この映像フレーム位置補正手段３０については、さらに、図３を参照（適宜図１参照）して説明を行う。図３は、映像フレーム位置補正手段３０の内部構成の一例を示したブロック図である。図３に示すように映像フレーム位置補正手段３０は、映像遅延部３１（３１ａ，３１ｂ，３１ｃ，３１ｄ）と、位置合わせ部３２（３２ａ，３２ｂ，３２ｃ，３２ｄ）と、符号反転部３３（３３ａ，３３ｂ）と、加算部３４（３４ａ，３４ｂ）と、動きベクトル遅延部３５（３５ａ，３５ｂ，３５ｃ）とを備えて構成した。
【００４０】
この映像フレーム位置補正手段３０は、連続した５つの映像フレームに基づいて、その真中（３番目）の映像フレームを特定映像フレームとして、その特定映像フレーム以外の映像フレームの画素位置を補正し、５つの補正映像信号Ａ、Ｂ、Ｃ、Ｄ及びＥを生成し出力するものである。
【００４１】
映像遅延部３１は、映像信号を映像フレーム単位で遅延させるものである。また、位置合わせ部３２は、映像信号と被写体動きベクトルとに基づいて、映像信号で入力される映像フレームの画素位置を被写体動きベクトル分だけ移動させることで、注目被写体の位置を、特定映像フレームの注目被写体の位置と同じ位置に合わせるとともに、被写体動きベクトル分移動させることで発生する映像フレームにおける画素の欠落部分の補填を行うものである。
【００４２】
また、符号反転部３３は、被写体動きベクトルの値の符号を反転させるものであり、加算部３４は、入力される２つの信号量を加算した新たな信号を生成するものである。さらに、動きベクトル遅延部３５は、入力された被写体動きベクトルを映像フレーム単位で遅延させるものである。
【００４３】
このように構成することで、補正映像信号Ａは以下のように生成される。
まず、動きベクトル遅延部３５ｃから出力される最初の映像フレームと２番目の映像フレームとの間の被写体動きベクトルと、動きベクトル遅延部３５ｂから出力される２番目の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルとを、加算部３４ｂで加算する。これによって、最初の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルが算出される。
【００４４】
そして、加算部３４ｂから出力される被写体動きベクトルと、映像遅延部３１ｄから出力される最初の映像フレームとに基づいて、位置合わせ部３２ｄが、最初の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する最初の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ａとして生成し出力する。
【００４５】
また、補正映像信号Ｂは、以下のように生成される。
動きベクトル遅延部３５ｂから出力される２番目の映像フレームと３番目の映像フレーム（特定映像フレーム）との間の被写体動きベクトルと、映像遅延部３１ｃから出力される２番目の映像フレームとに基づいて、位置合わせ部３２ｃが、２番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する２番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｂとして生成し出力する。
【００４６】
また、補正映像信号Ｄは、以下のように生成される。
動きベクトル遅延部３５ａから出力される３番目の映像フレーム（特定映像フレーム）と４番目の映像フレームとの間の被写体動きベクトルの符号を、符号反転部３３ｂが反転させる。この符号反転部３３ｂで符号を反転された被写体動きベクトルと映像遅延部３１ａから出力される４番目の映像フレームとに基づいて、位置合わせ部３２ｂが、４番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する４番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｄを生成し出力する。
【００４７】
また、補正映像信号Ｅは、以下のように生成される。
まず、動きベクトル遅延部３５ａから出力される３番目の映像フレーム（特定映像フレーム）と４番目の映像フレームとの間の被写体動きベクトルと、被写体動きベクトル算出手段２０から入力される４番目の映像フレームと５番目の映像フレームとの間の被写体動きベクトルとを、加算部３４ａで加算する。これによって、３番目の映像フレーム（特定映像フレーム）と５番目の映像フレームとの間の被写体動きベクトルが算出される。
【００４８】
そして、符号反転部３３ａによって、加算部３４ａから出力される被写体動きベクトルの符号を反転した被写体動きベクトルと、５番目の映像フレームとに基づいて、位置合わせ部３２ａが、５番目の映像フレームの画素位置を被写体動きベクトル分移動させるとともに、被写体動きベクトル分画素を移動させることで発生する５番目の映像フレームにおける画素の欠落部分の補填を行い、補正映像信号Ｅとして生成し出力する。
【００４９】
なお、補正映像信号Ｃは、映像遅延部３１ａ及び映像遅延部３１ｂで遅延され、映像遅延部３１ｂから出力される３番目の映像フレーム（特定映像フレーム）がそのまま出力される。
【００５０】
ここでは、映像フレーム位置補正手段３０を、連続した５つの映像フレームから補正映像信号を生成するものとして構成としたが、この構成に限定されるものではない。例えば、映像フレーム位置補正手段３０から、映像遅延部３１ａ及び３１ｄ、位置合わせ部３２ａ及び３２ｄ、符号反転部３３ａ、加算部３４ａ及び３４ｂ、並びに、動きベクトル遅延部３５ａ及び３５ｃを削除することで、連続した３つの映像フレームから補正映像信号を生成することも可能である。
【００５１】
また、映像フレーム位置補正手段３０は、映像遅延部３１と、位置合わせ部３２と、符号反転部３３と、加算部３４と、動きベクトル遅延部３５とを増やすことで連続した５つ以上の映像フレームから補正映像信号を生成することも可能である。なお、注目被写体の位置の基準となる特定映像フレームは、必ずしも連続した映像フレームの真中にある必要はない。
図１に戻って説明を続ける。
【００５２】
映像フレーム合成手段４０は、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号を入力し、各補正映像信号を合成することで、映像信号（映像）に特殊効果を付した特殊効果映像信号（特殊効果映像）を生成するものである。この映像フレーム合成手段４０については、さらに、図４を参照（適宜図１参照）して説明を行う。図４は、映像フレーム合成手段４０の内部構成を示したブロック図である。図４に示すよう映像フレーム合成手段４０は、係数設定部４１と乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）と、加算部４３とを備えて構成した。
【００５３】
この映像フレーム合成手段４０は、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号Ａ、Ｂ、Ｃ、Ｄ及びＥに対して、特定のフィルタ係数を乗算したのちに各補正映像信号を加算して、特殊効果映像信号（特殊効果映像）を生成するものである。なお、このフィルタ係数は、各映像フレームを合成するときの比率であって、この比率を加算した値が１であれば、注目被写体及び映像フレームの輝度及び色の平均値が保持される。
【００５４】
係数設定部（係数設定手段）４１は、図示していないキーボード等の入力手段によって、各補正映像信号に乗ずるフィルタ係数を設定するものである。ここで設定されたフィルタ係数は、各補正映像信号に対応した乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）に出力される。
【００５５】
乗算部４２は、入力される２つの信号量を乗算し新たな信号を生成するものである。例えば、乗算部４２（４２ａ）は、補正映像信号Ａに係数設定部４１で設定したフィルタ係数を乗じた信号を生成する。この乗算部４２で生成された信号は加算部４３へ出力される。
【００５６】
加算部４３は、乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）から出力される信号を加算し、特殊効果映像信号（特殊効果映像）として出力するものである。
【００５７】
なお、この映像フレーム合成手段４０において、係数設定部４１で設定するフィルタ係数を、例えば、補正映像信号Ａ〜Ｅに対応して、１／５、１／５、１／５、１／５、１／５と設定する。これによって、注目被写体は連続する映像フレーム（補正映像信号）の同一位置に存在するため、各補正映像信号を乗算部４２で１／５にして、加算部４３で全ての補正映像信号を加算することで、元の解像度を再現することができる。また、注目被写体以外の領域は、各映像フレーム（補正映像信号）において「ずれ」が発生しているため、各補正映像信号を乗算部４２で１／５にして、加算部４３で全ての補正映像信号を加算しても、もとの解像度を再現することはなく、解像度を低下させることができる。
【００５８】
また、係数設定部４１で設定するフィルタ係数は、補正映像信号Ｃ（ここでは特定映像フレームの映像信号）に乗ずるフィルタ係数の割合を高め、例えば、補正映像信号Ａ〜Ｅに対応して、１／９、１／９、５／９、１／９、１／９とすることで、注目被写体以外の領域の解像度の低下を軽減することができる。なお、この係数設定部４１で設定するフィルタ係数と、注目被写体以外の領域の解像度との関係は、図９に示すように、特定映像フレーム（図４における補正映像信号Ａ）に乗ずるフィルタ係数を大きくし、他の映像フレーム（図４における補正映像信号Ａ、Ｂ、Ｄ及びＥ）に乗ずるフィルタ係数を小さくすると、注目被写体以外の領域の解像度は高くなる。また、特定映像フレームに乗ずるフィルタ係数を小さくし、他の映像フレームに乗ずるフィルタ係数を大きくすると、注目被写体以外の領域の解像度は低くなる。
【００５９】
なお、ここでは、映像フレーム合成手段４０を連続した５つの補正映像信号に基づいて、特殊効果映像信号を生成するものとして構成したが、乗算部４２を増減させることで任意の数の補正映像信号から特殊効果映像信号を生成する構成とすることも可能である。
【００６０】
以上、特殊効果映像生成装置１の構成について説明したが、特殊効果映像生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【００６１】
（特殊効果映像生成装置の動作）
次に、図１及び図１０を参照して、特殊効果映像生成装置１の動作について説明する。図１０は、特殊効果映像生成装置１の動作を示すフローチャートである。
【００６２】
［注目被写体指定ステップ］
まず最初に、注目被写体指定手段１０によって、映像信号として入力される映像フレーム内の注目被写体を指定する（ステップＳ１）。例えば、図５に示すように、処理対象となる映像の最初の映像フレーム上で、車Ｃ１を注目被写体として指定する場合、車Ｃ１内に含まれる矩形領域を注目被写体領域Ｐ１として指定する。
【００６３】
［被写体動きベクトル算出ステップ］
次に、被写体動きベクトル算出手段２０によって、連続して入力される映像フレーム（映像信号）から、注目被写体指定手段１０で指定された注目被写体を示す矩形領域の動きベクトル（被写体動きベクトル）を算出する（ステップＳ２）。なお、この被写体動きベクトル算出ステップは、映像フレームが入力されるたびに逐次、先に入力された映像フレームと後から入力された映像フレームとに基づいて、被写体動きベクトルを算出する。
【００６４】
［映像フレーム位置補正ステップ］
そして、映像フレーム位置補正手段３０によって、連続して入力される映像フレーム（映像信号）と被写体動きベクトル算出手段２０で算出された被写体動きベクトルとに基づいて、連続した複数の映像フレームにおいて、注目被写体の位置を特定映像フレームの注目被写体の位置に合わせるように、画素位置をずらす（ステップＳ３）。そして、ステップＳ３で映像フレームの画素位置をずらすことで発生する画素の欠落部分を補填した補正映像信号を複数の映像フレーム分生成する（ステップＳ４）。なお、特定映像フレームの映像信号は補正を行わずに、そのまま補正映像信号とする。
【００６５】
ここで、映像フレーム位置補正手段３０の動作について、図６及び図７を参照（適宜図１参照）して具体的な映像を例にして視覚的に説明を行う。図６は、連続した映像フレームの内容と、その連続した映像フレームにおいて、注目被写体の位置を合わせるように、画素位置をずらした映像フレームの内容を示したものである。図７は、画素位置をずらした映像フレームの画素の欠落部分を補填する方法の一例を示した図である。ここでは、説明を簡略化するために３つの連続した映像フレームを用いて補正映像信号を生成する動作を説明するが、それ以外の連続した映像フレームであっても動作は同様である。
【００６６】
図６（ａ）は、（ａ−１）、（ａ−２）、（ａ−３）の順番で時間的に経過する３つの連続した映像フレームの内容を示している。ここでは注目被写体である車Ｃ１が表示画面上で右から左へ移動しているものとする。また、図６（ｂ）は、図６（ａ）の映像フレーム（ａ−２）を特定映像フレームとして、その１つ前の映像フレーム（ａ−１）、及び１つ後の映像フレーム（ａ−３）の画素位置を、特定映像フレーム（ａ−２）の注目被写体（車Ｃ１）の位置に合わせるように画素位置をずらした内容を示している。
【００６７】
ここで、（ｂ−２）は、映像フレーム（ａ−２）と同じ映像フレームで特定映像フレームの内容を示している。また、（ｂ−１）は、映像フレーム（ａ−１）を、その映像フレームの注目被写体（車Ｃ１）の位置を、１映像フレーム分後の特定映像フレーム（ｂ−２）内の対応する注目被写体に合わせるように被写体動きベクトル算出手段２０で算出された被写体動きベクトル分移動したものである。ここでは、右から左へ移動を行ったので、映像フレーム（ｂ−１）では右側に画素の欠落部分（ＳＰ１）が発生している。
【００６８】
また、（ｂ−３）は、映像フレーム（ａ−３）を、その映像フレームの注目被写体（車Ｃ１）の位置を１映像フレーム分前の特定映像フレーム（ｂ−２）内の対応する注目被写体に合わせるように被写体動きベクトル算出手段２０で算出された被写体動きベクトル分移動したものである。ここでは、左から右へ移動を行ったので、映像フレーム（ｂ−３）では左側に画素の欠落部分（ＳＰ２）が発生している。
【００６９】
そして、映像フレーム位置補正手段３０は、図７に示すように画素の欠落部分の補填を行う。図７（ａ）では、ＦＲ１が元の映像フレームの内容を示しており、ＦＲ２が画素位置をずらして位置合わせを行う位置を示している。このように、元の映像フレームＦＲ１内の注目被写体Ｃ１が動くことで画素の欠落部分ＳＰが発生する。この画素の欠落部分ＳＰの補填は、種々の外挿手法によって行うことが可能であるが、ここでは、鏡像を用いた例について説明する。
【００７０】
図７（ｂ）に示すように、元の映像フレームＦＲ１の左右に画素の欠落部分が発生する場合は、映像フレームＦＲ１を左右に反転した線対称映像ＭＩ１を作成し（ここでは右側のみに作成）、元の映像フレームＦＲ１の上下に画素の欠落部分が発生する場合は、映像フレームＦＲ１を上下に反転した線対称映像ＭＩ２を作成する（ここでは下側のみに作成）。また、元の映像フレームＦＲ１の斜め右上、右下、左上又は左下に画素の欠落部分が発生する場合は、映像フレームＦＲ１を上下左右に反転した点対称映像ＭＩ３を作成する（ここでは右下のみに作成）。このように作成された鏡像から、位置合わせを行った領域ＦＲ２を切り出すことで、図７（ｃ）に示すような画素の欠落部分を補填した映像（補正映像信号）が生成される。
なお、この画素の欠落部分の補填は、その他の外挿手法、例えば、元の映像フレームの内容をそのまま利用する（０次ホールド）手法を用いることもできる。
図１０のフローチャートに戻って説明を続ける。
【００７１】
［映像フレーム合成ステップ］
映像フレーム合成手段４０によって、ステップＳ４で生成された複数の映像フレームの補正映像信号毎に特定の係数（フィルタ係数）を乗算する（ステップＳ５）。そして、フィルタ係数を乗算した補正映像信号を複数の映像フレーム数分加算して（ステップＳ６）して、特殊効果映像信号として出力する（ステップＳ７）。
【００７２】
この映像フレーム合成手段４０から出力される特殊効果映像信号の例を図８に示す。図８は、特殊効果映像信号として出力される映像を模式的に表したものである。図８（ａ）に示すような映像信号の前後に連続する映像フレームから、図８（ｂ）に示すような特殊効果映像信号の映像フレームが生成される。ここでは、連続する３つの映像フレームから、特殊効果映像信号の映像フレームが生成した例を示しているが、図８（ｂ）に示すように、注目被写体（車Ｃ１）は解像度を保持し、注目被写体（車Ｃ１）以外の領域は解像度を低下させた映像となっている。この解像度の低下具合は、映像フレーム合成手段４０で乗算するフィルタ係数によって変化させることができる。
【００７３】
以上の各ステップによって、入力映像（映像信号）の中で指定された注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させた特殊効果を施した特殊効果映像（特殊効果映像信号）を生成することができる。
【００７４】
（特殊効果映像生成装置：第二の実施の形態）
次に、図１１を参照して、本発明における第二の実施の形態である特殊効果映像生成装置１Ｂについて説明する。図１１は、特殊効果映像生成装置１Ｂの構成を示したブロック図である。図１１に示すように特殊効果映像生成装置１Ｂは、入力映像（映像信号）の中で注目被写体と、注目被写体と同じ動きを行う注目しない被写体（以下、非注目被写体という）とを指定することで、その注目被写体のみの解像度を保持したままで、注目被写体以外の領域（非注目被写体を含む）の解像度を低下させる特殊効果を施した特殊効果映像を生成するものである。
【００７５】
特殊効果映像生成装置１（図１）は、入力映像（映像信号）の中に注目被写体と同じ動きをする非注目被写体が存在した場合、注目被写体以外の領域の解像度を低下させようとしても、非注目被写体の解像度が保持されたままになってしまう。そこで、特殊効果映像生成装置１Ｂは、注目被写体以外の領域と、その領域に含まれる注目被写体と同じ動きをする非注目被写体の解像度を低下させるものである。
【００７６】
この特殊効果映像生成装置１Ｂは、特殊効果映像生成装置１に、非注目被写体設定手段５０と、非注目被写体追跡手段６０と、解像度低下処理手段７０とを付加して構成した。
【００７７】
特殊効果映像生成装置１内の被写体動きベクトル算出手段２０（２０Ｂ）、非注目被写体設定手段５０、非注目被写体追跡手段６０及び解像度低下処理手段７０以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
【００７８】
被写体動きベクトル算出手段２０Ｂは、入力される注目被写体領域情報で指定された矩形領域の動きベクトルを被写体動きベクトルとして算出するものである。ここで算出された動きベクトルは、映像フレーム位置補正手段３０及び非注目被写体追跡手段６０へ出力される。なお、この被写体動きベクトル算出手段２０Ｂは、被写体動きベクトル算出手段２０（図１）に比べて出力先が増えているだけで機能は同じものである。
【００７９】
非注目被写体設定手段５０は、図示していないマウス、キーボード等の入力手段によって、映像信号として入力される映像フレーム内の注目被写体と同じ動きをする非注目被写体の領域を設定するものである。この非注目被写体設定手段５０は、設定された非注目被写体領域の位置及び大きさを、非注目被写体領域情報として非注目被写体追跡手段６０へ出力する。
【００８０】
なお、非注目被写体領域は、非注目被写体を含んだ矩形領域とする。例えば、図１２に示すように、処理対象となる映像の最初の映像フレーム上で、注目被写体（車Ｃ１）と同じ動きをする自転車を含んだ矩形領域を非注目被写体領域Ｂ１として設定する。
【００８１】
非注目被写体追跡手段６０は、非注目被写体設定手段５０で設定された非注目被写体領域と、被写体動きベクトル算出手段２０Ｂで算出された注目被写体の被写体動きベクトルとに基づいて、非注目被写体の領域（非注目被写体領域）の位置を映像上で追跡するものである。ここで追跡される非注目被写体領域は、非注目被写体追跡手段６０内で保持されるとともに、解像度低下処理手段７０へ出力される。
【００８２】
この非注目被写体追跡手段６０は、非注目被写体が注目被写体と同じ動きをすることを前提としているため、被写体動きベクトル算出手段２０Ｂから入力される注目被写体の被写体動きベクトルは、そのまま非注目被写体を含んだ非注目被写体領域の動きベクトルと等しくなる。これによって、非注目被写体追跡手段６０は、保持している非注目被写体領域の位置を逐次更新することで、非注目被写体を追跡することが可能になる。
【００８３】
解像度低下処理手段７０は、映像フレーム合成手段４０から入力される特殊効果映像信号と、非注目被写体追跡手段６０から入力される非注目被写体領域とに基づいて、特殊効果映像信号として入力される映像フレーム内の非注目被写体領域の解像度を低下させた新たな特殊効果映像信号を生成し出力するものである。
【００８４】
この解像度低下処理手段７０において、非注目被写体領域の解像度を低下させるには、例えば、隣接する数画素をまとめて同一の画素値にする等の空間フィルタリング処理によって、被写体以外の領域の解像度を低下させる。
【００８５】
この場合、非注目被写体を厳密に指定して解像度を低下させるのではなく、非注目被写体を含んだ非注目被写体領域に対して、解像度低下処理を施すので、従来の技術よりも簡易に解像度を低下させることができる。なお、非注目被写体が注目被写体と異なる動きをするようになったときは、特殊効果映像生成装置１Ｂの操作者が、非注目被写体設定手段５０で非注目被写体領域を解除するものとする。
【００８６】
これによって、特殊効果映像生成装置１Ｂは、入力映像（映像信号）の中で注目被写体と、注目被写体と同じ動きを行う注目しない被写体とを指定することで、注目被写体のみの解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成することができる。
【００８７】
以上、特殊効果映像生成装置１Ｂの構成について説明したが、特殊効果映像生成装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【００８８】
（特殊効果映像生成装置：第三の実施の形態）
次に、図１３を参照して、本発明における第三の実施の形態である特殊効果映像生成装置１Ｃについて説明する。図１３は、特殊効果映像生成装置１Ｃの構成を示したブロック図である。図１３に示すように特殊効果映像生成装置１Ｃは、入力映像（映像信号）の中で注目すべき被写体（注目被写体）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。
【００８９】
ここでは、特殊効果映像生成装置１Ｃを、注目被写体指定手段１０と、被写体動きベクトル算出手段２０と、映像フレーム位置補正手段３０と、映像フレーム合成手段４０Ｂと、グローバルベクトル算出手段８０と、係数選択手段９０とを備えて構成した。注目被写体指定手段１０、被写体動きベクトル算出手段２０及び映像フレーム位置補正手段３０は、図１に示したものと同一のものであるので、同一の符号を付し、説明を省略する。
【００９０】
グローバルベクトル算出手段８０は、連続して入力される映像フレーム（映像信号）から、背景の動きベクトルとなるグローバルベクトルを算出するものである。ここで算出されたグローバルベクトルは、係数選択手段９０へ出力される。このグローバルベクトル算出手段８０については、さらに、図１４を参照（適宜図１３参照）して説明を行う。図１４は、グローバルベクトル算出手段８０の内部構成を示したブロック図である。図１４に示すようにグローバルベクトル算出手段８０は、映像遅延部８１と、動きベクトル検出部８２とを備えて構成した。
【００９１】
映像遅延部８１は、入力される映像信号を映像フレーム単位で遅延させるものである。この映像遅延部８１で１映像フレーム分遅延された映像信号は動きベクトル検出部８２へ出力される。
【００９２】
動きベクトル検出部８２は、入力される映像信号と、映像遅延部８１で遅延された１映像フレーム分前に入力されている映像信号とに基づいて、映像フレーム内の背景が動いた動きベクトルであるグローバルベクトルを算出するものである。なお、一般に映像フレームに占める背景の割合は大きいため、グローバルベクトルは、映像フレーム内の背景が動いた動きベクトルとみなすことができる。
【００９３】
この動きベクトル検出部８２では、例えば、連続する映像フレームにおいて、ブロックマッチング法により、特定の大きさ（例えば、１６×１６画素等）のマクロブロック単位の動きベクトルを算出し、映像フレーム内におけるマクロブロックの動きベクトルのヒストグラム分布で、最大頻度となる動きベクトルをグローバルベクトルとする。
【００９４】
また、これ以外にも、このグローバルベクトルを検出（算出）する手法として、「上倉一人　等，“動画像符号化におけるグローバル動き補償法”，電子情報通信学会論文誌Ｂ−Ｉ，Ｖｏｌ．Ｊ７６−Ｂ−Ｉ，Ｎｏ．１２，ｐ．９４４−９５２，１９９３年１２月」や、カメラの動き情報やズーム情報等のカメラデータ（メタデータ）からグローバルベクトルを求める「鄭文濤　等，“Ａ　Ｈｉｇｈ−Ｐｒｉｃｉｓｉｏｎ　Ｃａｍｅｒａ　Ｏｐｅｒａｔｉｏｎ　Ｐａｒａｍｅｔｅｒ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｓｙｓｔｅｍ　ａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　Ｉｍａｇｅ　Ｍｏｔｉｏｎ　Ｉｎｆｅｒｒｉｎｇ”，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．４７，Ｎｏ．１，ｐ．４６−５５，Ｍａｒｃｈ　２００１」で開示されている技術を用いることができる。
【００９５】
例えば、カメラデータによってグローバルベクトルを求めるには、グローバルベクトル算出手段８０に、図示していないカメラデータ入力手段を備え、カメラの動き（パン、チルト、ズーム等）によって、映像フレーム内のあるマクロブロックが当該映像フレームのどこに移動するかを算出し、そのマクロブロックの移動方向及び移動量を統計した量をグローバルベクトルとする。例えば、カメラを画面の右方向にパンすると、背景として映っている領域は左方向に移動したように見える。この移動した領域は映像フレーム内では動きを持っているが、実際には背景領域となるものである。このように、カメラデータによって、グローバルベクトルを求める場合は、映像フレーム間でマクロブロック単位の動きベクトルを算出する必要はない。
図１３に戻って説明を続ける。
【００９６】
係数選択手段９０は、被写体動きベクトル算出手段２０で算出された被写体動きベクトルと、グローバルベクトル算出手段８０で算出されたグローバルベクトル（背景の動きベクトル）との差を算出し、その差に基づいて、フィルタ係数を選択するための係数選択信号を出力するものである。なお、この係数選択信号は映像フレーム合成手段４０Ｂへ出力される。
【００９７】
この係数選択手段９０については、さらに、図１５を参照（適宜図１３）して説明を行う。図１５は、係数選択手段９０の内部構成の一例を示したブロック図である。図１５に示すように係数選択手段９０は、動きベクトル遅延部９１（９１ａ，９１ｂ，９１ｃ）と、移動量差算出部９２（９２ａ，９２ｂ，９２ｃ，９２ｄ）と、加算部９３（９３ａ，９３ｂ）と、係数選択判定部９４とを備えて構成した。
【００９８】
この係数選択手段９０は、連続した５つの映像フレームにおいて、その真中（３番目）の映像フレームを特定映像フレームとし、各映像フレーム間における被写体動きベクトルとグローバルベクトルとの差に基づいて、係数選択信号を出力するものである。ここでは、特定映像フレームをｎ番目の映像フレームとし、それより前に入力された２つの映像フレームをそれぞれ（ｎ−２）番目、（ｎ−１）番目の映像フレームとする。また、特定映像フレームよりも後に入力された２つの映像フレームをそれぞれ（ｎ＋１）番目、（ｎ＋２）番目の映像フレームとする。
【００９９】
動きベクトル遅延部９１は、入力された被写体動きベクトル及びグローバルベクトルを映像フレーム単位で遅延させるものである。ここで、動きベクトル遅延部９１ｃからの出力を、（ｎ−２）番目の映像フレームと（ｎ−１）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとすると、動きベクトル遅延部９１ｂからの出力は、（ｎ−１）番目の映像フレームとｎ番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。また、動きベクトル遅延部９１ａからの出力は、ｎ番目の映像フレームと（ｎ＋１）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。さらに、動きベクトル遅延部９１ａへの入力は、（ｎ＋１）番目の映像フレームと（ｎ＋２）番目の映像フレームとの間で算出された被写体動きベクトル及びグローバルベクトルとなる。
【０１００】
移動量差算出部９２は、入力された被写体動きベクトルとグローバルベクトルとの差を算出し、移動量差（ベクトル量）として出力するものである。すなわち、移動量差算出部９２ａは、（ｎ＋１）番目の映像フレームと（ｎ＋２）番目の映像フレームとの間の移動量差ｄ_ｎ＋２を算出するものである。また、移動量差算出部９２ｂは、ｎ番目の映像フレームと（ｎ＋１）番目の映像フレームとの間の移動量差ｄ_ｎ＋１を算出するものである。また、移動量差算出部９２ｃは、（ｎ−１）番目の映像フレームとｎ番目の映像フレームとの間の移動量差ｄ_ｎ−１を算出するものである。さらに、移動量差算出部９２ｄは、（ｎ−２）番目の映像フレームと（ｎ−１）番目の映像フレームとの間の移動量差ｄ_ｎ−２を算出するものである。
【０１０１】
加算部９３は、入力される２つの信号量を加算した新たな信号を生成するものである。加算部９３ａは、移動量算出部９２ａから出力される移動量差ｄ_ｎ＋２と、移動量算出部９２ｂから出力される移動量差ｄ_ｎ＋１とを加算することで、ｎ番目の映像フレームと（ｎ＋２）番目の映像フレームとの間の移動量差ｄ_ｎ２を出力するものである。加算部９３ｂは、移動量算出部９２ｃから出力される移動量差ｄ_ｎ−１と、移動量算出部９２ｄから出力される移動量差ｄ_ｎ−２とを加算することで、ｎ番目の映像フレームと（ｎ−２）番目の映像フレームとの間の移動量差ｄ_ｎ１を出力するものである。
【０１０２】
係数選択判定部９４は、特定映像フレームに対する前後の映像フレームの移動量差（被写体動きベクトルとグローバルベクトルとの差）に基づいて、フィルタ係数を選択するための係数選択信号を生成するものである。すなわち、係数選択判定部９４は、特定映像フレームを基準として、２映像フレーム前の移動量差ｄ_ｎ１と、１映像フレーム前の移動量差ｄ_ｎ−１と、１映像フレーム後の移動量差ｄ_ｎ＋１と、２映像フレーム後の移動量差ｄ_ｎ２とに基づいて、係数選択信号を生成する。例えば、係数選択判定部９４は、（１）式に示すような二乗和の平均又は（２）式に示すような絶対値和の平均によって判定基準となる判定基準値αを算出し、その判定基準値αに基づいて係数選択信号を生成する。なお、（１）式及び（２）式における分母の５は、映像フレーム数（フィルタ係数長）を示す。
【０１０３】
α＝（ｄ_ｎ１ ^２＋ｄ_ｎ−１ ^２＋ｄ_ｎ＋１ ^２＋ｄ_ｎ２ ^２）／５　…（１）式
【０１０４】
α＝（｜ｄ_ｎ１｜＋｜ｄ_ｎ−１｜＋｜ｄ_ｎ＋１｜＋｜ｄ_ｎ２｜）／５　…（２）式
【０１０５】
ここで係数選択を行うレベルを２段階とし、その閾値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）とすると、係数選択判定部９４は、（α＜Ｔｈ１）の場合には０、（α≧Ｔｈ１）の場合には１、（α≧Ｔｈ２）の場合には２といった係数選択信号を出力する。なお、（α＜Ｔｈ１）の場合、すなわち、映像フレーム内における注目被写体及び背景の動きが小さい場合は、フィルタリングの対象となる映像フレームを指定するフレーム番号を映像フレーム合成手段４０Ｂ（図１３）へ通知して、その指定された映像フレームに対して従来の空間フィルタリングを行うこととしてもよい。
図１３に戻って説明を続ける。
【０１０６】
映像フレーム合成手段４０Ｂは、係数選択手段９０から通知される係数選択信号に基づいて、映像フレーム位置補正手段３０で補正された連続した映像フレーム分の補正映像信号を合成することで、映像信号（映像）に特殊効果を付した特殊効果映像信号（特殊効果映像）を生成するものである。この映像フレーム合成手段４０Ｂについては、さらに、図１６を参照（適宜図１３参照）して説明を行う。図１６は、映像フレーム合成手段４０Ｂの内部構成を示したブロック図である。図１６に示すよう映像フレーム合成手段４０Ｂは、係数設定部４１Ｂと、乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）と、加算部４３と、係数記憶部４４とを備えて構成した。乗算部４２及び加算部４３は、図４に示したものと同一のものであるので、同一の符号を付し、説明を省略する。
【０１０７】
係数設定部（係数設定手段）４１Ｂは、係数選択手段９０から通知される係数選択信号に基づいて、各補正映像信号に乗ずるフィルタ係数を係数記憶部４４から読み込んで、各補正映像信号に対応した乗算部４２（４２ａ，４２ｂ，４２ｃ，４２ｄ，４２ｅ）に出力するものである。
【０１０８】
係数記憶部４４は、予め各補正映像信号に乗ずる複数のフィルタ係数を記憶しておくもので、一般的なメモリ等で構成されるものである。例えば、この係数記憶部４４に記憶しておくフィルタ係数として、｛１／５、１／５、１／５、１／５、１／５｝、｛１／７、１／７、３／７、１／７、１／７｝｛１／９、１／９、５／９、１／９、１／９｝等の組み合わせとする。これによって、注目被写体と背景との動きの差に応じて、解像度の変動を小さくするようにフィルタ係数を選択することが可能になる。
【０１０９】
以上、特殊効果映像生成装置１Ｃの構成について説明したが、特殊効果映像生成装置１Ｃは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【０１１０】
（特殊効果映像生成装置：第四の実施の形態）
次に、図１３、図１５及び図１６を参照して、本発明における第四の実施の形態である特殊効果映像生成装置１Ｄについて説明する。この特殊効果映像生成装置１Ｄは、特殊効果映像生成装置１Ｃと同様に、入力映像（映像信号）の中で注目すべき被写体（注目被写体）を指定することで、その注目被写体の解像度を保持したままで、注目被写体以外の領域の解像度を低下させる特殊効果を施した特殊効果映像（特殊効果映像信号）を生成するものである。ここで、映像フレーム合成手段４０Ｃ及び係数選択手段９０Ｂ以外の構成は、特殊効果映像生成装置１Ｃと同じであるので、説明を省略する。
【０１１１】
映像フレーム合成手段４０Ｃは、図１６に示した映像フレーム合成手段４０Ｂにおける係数設定部４１Ｂを、乗算部４２に出力しているフィルタ係数を係数選択手段９０Ｂへ通知する機能を付加した係数設定部４１Ｃに変更したものである。
係数選択手段９０Ｂは、図１５に示した係数選択手段９０の係数選択判定部９４を以下に説明する機能に変更した係数選択判定部９４Ｂとして構成したものである。
【０１１２】
すなわち、係数選択判定部９４Ｂは、映像フレーム合成手段４０Ｃから通知されるフィルタ係数と特定映像フレームに対する前後の映像フレームの移動量差とに基づいて、フィルタ係数を選択するための係数選択信号を生成するものとする。例えば、係数選択判定部９４Ｂは、（３）式に示すような重み付き二乗和又は（４）式に示すようなフィルタ係数による重み付き絶対値和によって判定基準となる判定基準値αを算出し、その判定基準値αに基づいて係数選択信号を生成する。なお、（３）式及び（４）式におけるａ_−２、ａ_−１、ａ_１及びａ_２は、フィルタ係数を示している。
【０１１３】
α＝ａ_−２ ^２・ｄ_ｎ１ ^２＋ａ_−１ ^２・ｄ_ｎ−１ ^２＋ａ_１ ^２・ｄ_ｎ＋１ ^２＋ａ_２ ^２・ｄ_ｎ２ ^２…（３）式
【０１１４】
α＝｜ａ_−２｜・｜ｄ_ｎ１｜＋｜ａ_−１｜・｜ｄ_ｎ−１｜＋｜ａ_１｜・｜ｄ_ｎ＋１｜＋｜ａ_２｜・｜ｄ_ｎ２｜　　…（４）式
【０１１５】
ここでフィルタ係数の係数選択を行うレベルを２段階とし、その閾値をＴｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）とすると、係数選択判定部９４Ｂは、（α＜Ｔｈ１）の場合には０、（α≧Ｔｈ１）の場合には１、（α≧Ｔｈ２）の場合には２といった係数選択信号を出力する。
【０１１６】
これにより、例えば、映像フレーム内における注目被写体及び背景の動きが大きく、判定基準値αの値が大きいときは、映像フレーム合成手段４０Ｃ（図１３）において、フィルタのタップ数を減らして動作させることが可能になる。また、判定基準値αが小さいときは、フィルタリングの対象となる映像フレームを指定するフレーム番号を映像フレーム合成手段４０Ｃ（図１３）へ通知して、その指定された映像フレームに対して従来の空間フィルタリングを行うこととしてもよい。これによって、特殊効果映像生成装置１Ｄは、注目被写体及び背景映像の動きの差とフィルタ係数とによって、注目被写体以外の領域の解像度の変動を軽減させることができる。
【０１１７】
以上、特殊効果映像生成装置１Ｄの構成及び機能について説明したが、特殊効果映像生成装置１Ｄは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して特殊効果映像生成プログラムとして動作させることも可能である。
【０１１８】
【発明の効果】
以上説明したとおり、本発明に係る特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラムでは、以下に示す優れた効果を奏する。
【０１１９】
請求項１、請求項６又は請求項７に記載の発明によれば、入力映像に含まれる注目する被写体の動き情報（動きベクトル）を利用した、時間方向のフィルタリング処理による簡易な手法によって、動きのある注目被写体の解像度を保持したまま、それ以外の領域の解像度を低下させることが可能になる。これによって、従来の特殊効果映像生成手法に、本発明を付加することで低コストで新たな特殊効果映像を生成させることができ、放送番組等の番組制作の幅を広げることができる。
【０１２０】
請求項２に記載の発明によれば、注目被写体の位置を補正した複数の映像フレームの各画素値を、映像フレーム毎に特定のフィルタ係数を乗じて同一画素位置毎に加算するという簡易な手法で、注目被写体以外の領域の解像度を低下させることが可能になる。
【０１２１】
請求項３に記載の発明によれば、複数の映像フレームの各画素値を、映像フレーム毎に乗ずるフィルタ係数の値を可変にできるため、注目被写体以外の領域の解像度を変化させることが可能になる。これによって、同一映像であっても、特殊効果の異なる特殊効果映像を生成させることができ、放送番組等の番組制作の幅を広げることができる。
【０１２２】
請求項４に記載の発明によれば、注目被写体と同じ動きをする被写体（非注目被写体）が映像上に存在していても、その非注目被写体を含んだ矩形領域を指定するだけで非注目被写体の解像度を低下させることができ、注目被写体以外の領域の解像度を低下させることが可能になる。
【０１２３】
請求項５に記載の発明によれば、注目被写体と背景映像との動きの差によって、注目被写体以外の領域における解像度を低下させることができるので、注目被写体から離れた背景の解像度を低下させることができ、注目被写体の動きによる注目被写体以外の領域における解像度の変動を抑えることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態に係る特殊効果映像生成装置の被写体動きベクトル算出手段の構成例を示すブロック図である。
【図３】本発明の第一の実施の形態に係る特殊効果映像生成装置の映像フレーム位置補正手段の構成例を示すブロック図である。
【図４】本発明の第一の実施の形態に係る特殊効果映像生成装置の映像フレーム合成手段の構成例を示すブロック図である。
【図５】注目被写体指定手段における注目被写体領域を指定するための画面例を示した図である。
【図６】映像フレーム位置補正手段における映像フレームの画素位置をずらす動作を模式的に示した模式図である。
【図７】映像フレーム位置補正手段における画素の欠落部分の補填を行う動作を模式的に示した模式図である。
【図８】特殊効果映像生成装置によって特殊効果映像信号として出力される画面例を示した図である。
【図９】映像フレームに乗ずるフィルタ係数と、注目被写体以外の領域の解像度との関係を示した図である。
【図１０】本発明の第一の実施の形態に係る特殊効果映像生成装置の動作を示すフローチャートである。
【図１１】本発明の第二の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図１２】非注目被写体設定手段における非注目被写体領域を設定するための画面例を示した図である。
【図１３】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の全体構成を示すブロック図である。
【図１４】本発明の第三の実施の形態に係る特殊効果映像生成装置のグローバルベクトル算出手段の構成例を示すブロック図である。
【図１５】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の係数選択手段の構成例を示すブロック図である。
【図１６】本発明の第三及び第四の実施の形態に係る特殊効果映像生成装置の映像フレーム合成手段の構成例を示すブロック図である。
【符号の説明】
１、１Ｂ、１Ｃ、１Ｄ……特殊効果映像生成装置
１０　　　　　　　　……注目被写体指定手段
２０、２０Ｂ　　　　……被写体動きベクトル算出手段
３０　　　　　　　　……映像フレーム位置補正手段
４０、４０Ｂ、４０Ｃ……映像フレーム合成手段
４１、４１Ｂ、４１Ｃ……係数設定部（係数設定手段）
４４　　　　　　　　……係数記憶部（係数記憶手段）
５０　　　　　　　　……非注目被写体設定手段
６０　　　　　　　　……非注目被写体追跡手段
７０　　　　　　　　……解像度低下処理手段
８０　　　　　　　　……グローバルベクトル算出手段
９０、９０Ｂ　　　　……係数選択手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a special effect image generation device, a special effect image generation method, and a special effect image generation program for generating a special effect image with a reduced resolution other than a subject of interest in an image.
[0002]
[Prior art]
Conventionally, in order to generate a special effect image that emphasizes a focused subject in a video, a focused subject and a region other than the subject are divided, and a difference in resolution between the focused subject and a region other than the subject is generated. The subject of interest is emphasized by adding.
[0003]
At this time, in order to extract a subject from a video image of a moving image, there is a technique for identifying and extracting a subject from a video image by utilizing a large and fast moving subject of interest (for example, see Non-Patent Document 1). .).
[0004]
Then, in order to make a difference in resolution between the object of interest and the other area, the video frame is divided into the object and the other area for each image frame, and the divided area other than the object is Thus, for example, the resolution of an area other than the subject is reduced by a spatial filtering process in which several adjacent pixels are collectively set to the same pixel value.
[0005]
Further, when the subject of interest is stationary and the video in the other area is moving, filtering processing in the time direction, for example, each pixel value obtained by adding a plurality of video frames continuous in the time direction is added. By dividing the image by the number of video frames to smooth the moving image other than the subject (noise reduction function), the resolution of the area other than the subject is reduced (for example, see Non-Patent Document 2). .
[0006]
[Non-patent document 1]
Lee Saikichi et al., "A gymnast player's form / trajectory display system-multi motion-", Journal of the Institute of Image Information and Television Engineers, vol. 51, No. 11,
1997
[Non-patent document 2]
Isamu Yawazawa, "Psychophysical experiment on image quality improvement effect of time axis filter", Technical Report of the Institute of Television Engineers of Japan, VVI37-1, pp. 146-64 19-24, July, 1980
[0007]
[Problems to be solved by the invention]
However, in the above-described conventional technique, in a method of dividing a video frame into a subject and other areas and giving a difference in resolution, a process of performing the region division is complicated, and furthermore, the region division process is performed by one sheet. Since the processing has to be performed for each video frame, there is a problem that the time required for the processing becomes long.
[0008]
Further, in the method of reducing the resolution of an area other than the stationary subject by filtering in the time direction, there is a problem that the resolution of the subject itself is reduced in the video in which the subject of interest moves.
As described above, in the moving image, there is no effective method for maintaining the resolution of the moving subject and realizing the special effect of reducing the resolution of the video other than the subject.
[0009]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and holds the resolution of a moving subject of interest in a video and reduces the resolution of other video by performing filtering in a time direction. It is an object of the present invention to provide a special effect video generation device, a special effect video generation method, and a special effect video generation program which can generate a special effect video.
[0010]
[Means for Solving the Problems]
SUMMARY OF THE INVENTION The present invention has been made to achieve the above object. First, a special effect video generation device according to claim 1 is configured to detect a subject of a specific video frame having motion in an input video from the input video. A special effect video generating apparatus that generates a special effect video in which the resolution of other video is reduced, in the input video, a target subject designating unit that specifies the target subject, and a continuous video frame of the input video. A subject motion vector calculation unit that calculates a subject motion vector that is a motion vector of the subject of interest between the video frames, and a plurality of continuous video frames based on the subject motion vector calculated by the subject motion vector calculation unit. The position of the subject of interest other than the specific video frame is changed to the position of the subject of interest of the specific video frame. A video frame position correcting means for correcting a pixel position of the video frame, a video frame synthesizing means for generating a special effect video by synthesizing a plurality of video frames corrected by the video frame position correcting means, The configuration was provided with.
[0011]
According to this configuration, the special effect video generation device specifies the target subject of the specific video frame in the input video by the target subject specifying unit. For example, a rectangular area included in the subject of interest in the specific video frame is designated by input means such as a mouse. Here, the subject of interest refers to a subject to which the operator pays attention in order to generate a special effect video in which only the resolution of a specific subject is kept on the video and the resolution of other areas is reduced.
[0012]
Then, the special effect video generation device calculates a motion vector (subject motion vector) of the subject of interest between the video frames from continuous video frames of the input video by the subject motion vector calculation means. For example, in a continuous video frame, a rectangular area specified as a target subject by a target subject specifying unit is detected by a block matching method to calculate a subject motion vector.
[0013]
Further, the special effect video generation device specifies the position of the target subject other than the specific video frame in a plurality of continuous video frames based on the subject motion vector calculated by the subject motion vector calculation unit by the video frame position correction unit. The pixel position of a video frame other than the specific video frame is corrected so as to match the position of the target subject in the video frame. For example, in a plurality of continuous video frames, the pixel position of another video frame is set such that the center video frame is a specific video frame, and the position of the target subject of the other video frame is adjusted to the position of the target subject of the specific video frame. Stagger.
Then, the special effect video generation device generates the special effect video by synthesizing the plurality of video frames corrected by the video frame position correcting unit by the video frame synthesizing unit.
[0014]
According to a second aspect of the present invention, in the special effect video generating apparatus according to the first aspect, the video frame synthesizing unit corrects each pixel value of the plurality of video frames corrected by the video frame position correcting unit. Is multiplied by a specific filter coefficient for each video frame and added at the same pixel position.
[0015]
According to this configuration, the special effect video generation device multiplies the plurality of video frames corrected by the video frame position correcting unit by the video frame synthesizing unit by a specific filter coefficient for each video frame, and adds the plurality of video frames for each pixel position. I do. The filter coefficient is a ratio when the respective video frames are combined, and if the value obtained by adding the ratio is 1, the average value of the luminance and color of the target subject and the video frame is held.
[0016]
Furthermore, the special effect video generation device according to claim 3 is the special effect video generation device according to claim 2, wherein the video frame synthesizing unit includes a coefficient setting unit that sets a filter coefficient to be multiplied for each video frame. The resolution of an image other than the subject of interest is changed by changing a filter coefficient by which a pixel value of the image frame is multiplied.
[0017]
According to this configuration, the special effect video generation device includes a coefficient setting unit that sets a filter coefficient that the video frame synthesizing unit multiplies for each video frame, and changes a filter coefficient by which a pixel value of the video frame is multiplied. Change the resolution of images other than the subject of interest. For example, by increasing the value of a filter coefficient by which a pixel value of a video frame other than the specific video frame for matching the position of the target subject is multiplied, the resolution of an area other than the target subject is reduced.
[0018]
Furthermore, the special effect video generation device according to claim 4 is the special effect video generation device according to any one of claims 1 to 3, wherein the special effect video generation device includes a non-target subject that moves in the same manner as the target subject. Non-interest subject setting means for setting an area, non-interest subject tracking means for tracking the non-interest subject area set by the non-interest subject setting means based on the subject motion vector, and output from the video frame synthesizing means. Resolution reduction processing means for reducing the resolution of the non-target subject area in the special effect video.
[0019]
According to this configuration, in the special effect video generation device, the non-target subject setting unit sets an area of the non-target subject that moves in the same manner as the target subject. For example, a rectangular area including the non-interest subject is set by input means such as a mouse. Then, the special effect video generation device tracks the non-target subject area set by the non-target subject setting unit based on the subject motion vector calculated by the subject motion vector calculation unit by the non-target subject tracking unit. Since the target subject and the non-target subject make the same movement, it is possible to track the area of the non-target subject by referring to the subject motion vector of the target subject.
[0020]
Then, the special effect video generation device lowers only the resolution of the region of the non-target subject in the special effect video output from the video frame synthesizing unit by the resolution lowering processing unit. For example, the resolution of an area other than the subject can be reduced by a spatial filtering process in which several adjacent pixels are collectively set to the same pixel value.
[0021]
According to a fifth aspect of the present invention, in the special effect video generation apparatus according to the second or third aspect, a background motion between the video frames from a continuous video frame of the input video. A global vector calculating means for calculating a global vector indicating: a coefficient storing means storing a plurality of the filter coefficients; and a filter stored in the coefficient storing means based on a difference between the subject motion vector and the global vector. Coefficient selecting means for selecting a filter coefficient to be multiplied by the video frame from among coefficients, wherein the video frame synthesizing means synthesizes the video frame based on the filter coefficient selected by the coefficient selecting means. It is characterized by.
[0022]
According to this configuration, the special effect video generation device calculates, from the continuous video frames of the input video, the global vector that is the motion of the background between the video frames by the global vector calculation unit. Generally, the ratio of the background to the video frame is large, and thus the global vector can be regarded as a motion vector in which the background moves.
[0023]
Then, the special effect video generation device selects the filter coefficient stored in the coefficient storage unit in advance by the coefficient selection unit based on the difference between the subject motion vector and the global vector. For example, when the difference between the motion of the subject of interest and the background is large, a filter coefficient that does not significantly reduce the resolution of the background is selected. This makes it possible to select a filter coefficient so as to reduce the variation in the resolution of the background other than the subject of interest in successive video frames. Therefore, when the video frame combining means combines the video frames, the magnitude of the motion of the subject of interest is large. It is possible to generate a special effect image in which the decrease in the background resolution is constant without being affected by the effect.
[0024]
A special effect video generating method according to claim 6, wherein a special effect video is generated from an input video in which the resolution of a video other than the subject of interest in a moving specific video frame in the video is reduced. In the generation method, in the input video, a target subject specifying step of specifying the target subject, and a subject motion vector that is a motion vector of the target subject between the video frames from a continuous video frame of the input video. Calculating a subject motion vector to be calculated, and, based on the subject motion vector calculated in the subject motion vector calculation step, determining a position of a target subject other than the specific video frame in a plurality of continuous video frames; Pixel position of the video frame so as to match the position of the subject A video frame position correcting step of correcting the, characterized in that it comprises a video frame synthesis step of generating a special effect image by synthesizing a plurality of video frames corrected by the video frame position correcting step.
[0025]
According to this method, in the special effect video generation method, the target subject of the specific video frame in the input video is specified in the target subject specifying step. For example, a rectangular area included in the subject of interest in the specific video frame is designated by input means such as a mouse. Then, in the subject motion vector calculation step, a motion vector (subject motion vector) of the subject of interest between the video frames is calculated from consecutive video frames of the input video. For example, in a continuous video frame, a rectangular area specified as a target subject by a target subject specifying unit is detected by a block matching method to calculate a subject motion vector.
[0026]
Further, in the special effect video generation method, in the video frame position correction step, based on the subject motion vector calculated in the subject motion vector calculation step, the position of the target subject other than the specific video frame is specified in a plurality of continuous video frames. The pixel position of a video frame other than the specific video frame is corrected so as to match the position of the target subject in the video frame. For example, in a plurality of continuous video frames, the pixel position of another video frame is set such that the center video frame is a specific video frame, and the position of the target subject of the other video frame is adjusted to the position of the target subject of the specific video frame. Stagger.
Then, in the video frame synthesizing step, a plurality of video frames corrected in the video frame position correction step are synthesized to generate a special effect video.
[0027]
Further, the special effect video generation program according to claim 7 is configured to generate, from the input video, a special effect video in which the resolution of the video other than the subject of interest in the specific video frame having motion in the video is reduced. The computer was configured to function by the following means.
[0028]
That is, in the input video, a subject-of-interest specifying means for specifying the subject of interest, and a subject motion vector for calculating a subject motion vector that is a motion vector of the subject of interest between the video frames from consecutive video frames of the input video A calculating unit that, based on the motion vector calculated by the subject motion vector calculating unit, adjusts a position of a target subject other than the specific video frame to a position of a target subject in the specific video frame in a plurality of continuous video frames. A video frame position correcting means for correcting the pixel position of the video frame; and a video frame synthesizing means for generating one video frame by synthesizing a plurality of video frames corrected by the video frame position correcting means.
[0029]
According to this configuration, the special effect video generation program specifies the target subject of the specific video frame in the input video by the target subject specifying unit. For example, a rectangular area included in the subject of interest in the specific video frame is designated by input means such as a mouse. Then, the subject motion vector calculating means calculates a motion vector (subject motion vector) of the subject of interest between the video frames from consecutive video frames of the input video. For example, in a continuous video frame, a rectangular area specified as a target subject by a target subject specifying unit is detected by a block matching method to calculate a subject motion vector.
[0030]
Further, the special effect video generation program specifies the position of the target subject other than the specific video frame in a plurality of continuous video frames based on the subject motion vector calculated by the subject motion vector calculation unit by the video frame position correction unit. The pixel position of a video frame other than the specific video frame is corrected so as to match the position of the target subject in the video frame. For example, in a plurality of continuous video frames, the pixel position of another video frame is set such that the center video frame is a specific video frame, and the position of the target subject of the other video frame is adjusted to the position of the target subject of the specific video frame. Stagger.
Then, the video frame synthesizing unit synthesizes the plurality of video frames corrected by the video frame position correcting unit to generate a special effect video.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Configuration of Special Effect Video Generating Device: First Embodiment)
FIG. 1 is a block diagram showing a configuration of a special effect video generation device 1 according to a first embodiment of the present invention. The special effect video generation device 1 specifies a subject to be noted (hereinafter, referred to as a subject of interest) in an input video (video signal), and maintains the resolution of the subject of interest, while maintaining the resolution of the subject of interest. This generates a special effect video (special effect video signal) to which a special effect for lowering the resolution of the image is applied.
[0032]
This special effect video generation device 1 is configured to include a subject-of-interest designation unit 10, a subject motion vector calculation unit 20, a video frame position correction unit 30, and a video frame synthesis unit 40.
[0033]
The subject-of-interest designation means 10 designates a rectangular area included in the subject of interest in a video frame input as a video signal as an object-of-interest area by input means such as a mouse and a keyboard (not shown). The attention subject designating means 10 outputs the position and size of the designated attention subject area to the subject motion vector calculation means 20 as attention subject area information. It is assumed that a video frame displayed for designating a target subject and a target subject region are displayed by display means (not shown).
[0034]
The subject motion vector calculation means 20 calculates, as a subject motion vector, a motion vector of a rectangular area specified by the target subject area information input from the target subject specifying means 10 from video frames (video signals) continuously input. Is what you do. The subject motion vector calculated here is output to the video frame position correcting means 30.
[0035]
The subject motion vector calculating means 20 will be further described with reference to FIG. 2 (see FIG. 1 as appropriate). FIG. 2 is a block diagram showing the internal configuration of the subject motion vector calculation means 20. As shown in FIG. 2, the subject motion vector calculation means 20 includes an image delay unit 21 and a motion vector detection unit 22.
[0036]
The video delay unit 21 delays an input video signal in video frame units. The video signal delayed by one video frame in the video delay unit 21 is output to the motion vector detection unit 22.
[0037]
The motion vector detection unit 22 is input from the subject-of-interest specifying unit 10 based on a video signal input from the outside and a video signal input one video frame before delayed by the video delay unit 21. The motion vector indicating the movement amount and the direction of the target subject area indicated by the target subject area information is calculated. For example, the motion vector detecting unit 22 determines which region in the video frame of the video signal input from the outside the target subject region in the video frame input from the video delay unit 21 has been correlated with the luminance signal level. Is calculated based on a block matching method for examining.
Returning to FIG. 1, the description will be continued.
[0038]
The video frame position correcting unit 30 determines the position of the target subject in a plurality of continuous video frames based on the video signal input from the outside and the subject motion vector input from the subject motion vector calculating unit 20. A corrected video signal is generated by correcting the pixel position of a video frame other than the specific video frame so as to match the position of the subject of interest in the frame.
[0039]
The video frame position correcting means 30 will be further described with reference to FIG. 3 (see FIG. 1 as appropriate). FIG. 3 is a block diagram showing an example of the internal configuration of the video frame position correcting means 30. As shown in FIG. 3, the video frame position correcting means 30 includes a video delay unit 31 (31a, 31b, 31c, 31d), a positioning unit 32 (32a, 32b, 32c, 32d), and a sign inverting unit 33 (33a , 33b), an adder 34 (34a, 34b), and a motion vector delayer 35 (35a, 35b, 35c).
[0040]
The video frame position correcting means 30 corrects the pixel position of a video frame other than the specific video frame using the middle (third) video frame as a specific video frame based on the five consecutive video frames. The two correction video signals A, B, C, D and E are generated and output.
[0041]
The video delay unit 31 delays a video signal in video frame units. In addition, the positioning unit 32 moves the pixel position of the video frame input by the video signal by the subject motion vector based on the video signal and the subject motion vector, thereby shifting the position of the target subject to the specific video frame. The same position as that of the subject of interest is performed, and the missing portion of the pixel in the video frame generated by moving the subject by the motion vector is compensated.
[0042]
The sign inverting unit 33 inverts the sign of the value of the subject motion vector, and the adding unit 34 generates a new signal by adding two input signal amounts. Further, the motion vector delay unit 35 delays the input subject motion vector in video frame units.
[0043]
With this configuration, the corrected video signal A is generated as follows.
First, the subject motion vector between the first video frame and the second video frame output from the motion vector delay unit 35c, the second video frame and the third video frame output from the motion vector delay unit 35b The addition unit 34b adds the subject motion vector to the (specific video frame). As a result, the subject motion vector between the first video frame and the third video frame (specific video frame) is calculated.
[0044]
Then, based on the subject motion vector output from the adding unit 34b and the first video frame output from the video delay unit 31d, the positioning unit 32d moves the pixel position of the first video frame by the subject motion vector. At the same time, a missing pixel portion in the first video frame generated by moving the pixel by the subject motion vector is compensated, and the corrected video signal A is generated and output.
[0045]
The corrected video signal B is generated as follows.
Based on the subject motion vector between the second video frame and the third video frame (specific video frame) output from the motion vector delay unit 35b, and the second video frame output from the video delay unit 31c Then, the positioning unit 32c moves the pixel position of the second video frame by the subject motion vector and compensates for the missing portion of the pixel in the second video frame generated by moving the subject motion vector pixel. Then, a corrected video signal B is generated and output.
[0046]
The corrected video signal D is generated as follows.
The sign inverting unit 33b inverts the sign of the subject motion vector between the third video frame (specific video frame) and the fourth video frame output from the motion vector delay unit 35a. Based on the subject motion vector whose sign is inverted by the sign inverting unit 33b and the fourth video frame output from the video delay unit 31a, the positioning unit 32b determines the pixel position of the fourth video frame as the subject motion. In addition to moving the pixel by the vector, the missing pixel portion in the fourth video frame generated by moving the pixel by the motion vector of the subject is compensated, and a corrected video signal D is generated and output.
[0047]
The corrected video signal E is generated as follows.
First, the subject motion vector between the third video frame (specific video frame) output from the motion vector delay unit 35a and the fourth video frame, and the fourth video input from the subject motion vector calculation unit 20 The adder 34a adds the subject motion vector between the frame and the fifth video frame. As a result, a subject motion vector between the third video frame (specific video frame) and the fifth video frame is calculated.
[0048]
Then, based on the subject motion vector obtained by inverting the sign of the subject motion vector output from the adding unit 34a by the sign inverting unit 33a and the fifth video frame, the positioning unit 32a outputs the fifth video frame. The pixel position is moved by the subject motion vector, and the missing portion of the pixel in the fifth video frame generated by moving the pixel by the subject motion vector is compensated to generate and output a corrected video signal E.
[0049]
Note that the corrected video signal C is delayed by the video delay unit 31a and the video delay unit 31b, and the third video frame (specific video frame) output from the video delay unit 31b is output as it is.
[0050]
Here, the video frame position correcting means 30 is configured to generate a corrected video signal from five consecutive video frames, but is not limited to this configuration. For example, by removing the video delay units 31a and 31d, the alignment units 32a and 32d, the sign inversion unit 33a, the addition units 34a and 34b, and the motion vector delay units 35a and 35c from the video frame position correction unit 30, It is also possible to generate a corrected video signal from three consecutive video frames.
[0051]
The video frame position correcting means 30 increases the number of video delay units 31, the positioning unit 32, the sign inversion unit 33, the addition unit 34, and the motion vector delay unit 35 so that five or more It is also possible to generate a corrected video signal from a frame. Note that the specific video frame serving as a reference for the position of the subject of interest need not necessarily be in the middle of consecutive video frames.
Returning to FIG. 1, the description will be continued.
[0052]
The video frame synthesizing unit 40 receives the corrected video signals for the continuous video frames corrected by the video frame position correcting unit 30 and combines the corrected video signals to add a special effect to the video signal (video). The special effect image signal (special effect image) is generated. The video frame synthesizing means 40 will be further described with reference to FIG. 4 (see FIG. 1 as appropriate). FIG. 4 is a block diagram showing the internal configuration of the video frame combining means 40. As shown in FIG. 4, the video frame synthesizing unit 40 includes a coefficient setting unit 41, multiplication units 42 (42a, 42b, 42c, 42d, 42e), and an addition unit 43.
[0053]
The video frame synthesizing unit 40 multiplies the corrected video signals A, B, C, D, and E for continuous video frames corrected by the video frame position correcting unit 30 by a specific filter coefficient, and The correction video signal is added to generate a special effect video signal (special effect video). Note that this filter coefficient is a ratio when each video frame is synthesized, and if the value obtained by adding this ratio is 1, the average value of the luminance and color of the subject of interest and the video frame is held.
[0054]
The coefficient setting section (coefficient setting means) 41 sets a filter coefficient by which each corrected video signal is multiplied by input means such as a keyboard (not shown). The filter coefficients set here are output to the multipliers 42 (42a, 42b, 42c, 42d, 42e) corresponding to the respective corrected video signals.
[0055]
The multiplication unit 42 generates a new signal by multiplying the two input signal amounts. For example, the multiplying unit 42 (42a) generates a signal obtained by multiplying the corrected video signal A by the filter coefficient set by the coefficient setting unit 41. The signal generated by the multiplier 42 is output to the adder 43.
[0056]
The adder 43 adds the signals output from the multipliers 42 (42a, 42b, 42c, 42d, 42e) and outputs the result as a special effect video signal (special effect video).
[0057]
In the video frame synthesizing means 40, the filter coefficients set by the coefficient setting unit 41 are set to 1/5, 1/5, 1/5, 1/5, Set to 1/5. As a result, the subject of interest is present at the same position in a continuous video frame (corrected video signal). Therefore, each corrected video signal is reduced to 1/5 by the multiplier 42, and all the corrected video signals are added by the adder 43. Thus, the original resolution can be reproduced. In addition, since an area other than the subject of interest has a “shift” in each video frame (corrected video signal), each corrected video signal is reduced to 1/5 by the multiplier 42, and all corrections are performed by the adder 43. Even if the video signals are added, the original resolution is not reproduced, and the resolution can be reduced.
[0058]
The filter coefficient set by the coefficient setting unit 41 increases the ratio of the filter coefficient multiplied by the corrected video signal C (here, the video signal of the specific video frame). By setting / 9, 1/9, 5/9, 1/9, and 1/9, it is possible to reduce a decrease in the resolution of a region other than the subject of interest. Note that the relationship between the filter coefficient set by the coefficient setting unit 41 and the resolution of the region other than the subject of interest is, as shown in FIG. 9, the filter coefficient by which the specific video frame (corrected video signal A in FIG. 4) is multiplied. When the filter coefficient is multiplied and the filter coefficient by which the other video frames (corrected video signals A, B, D, and E in FIG. 4) are multiplied is reduced, the resolution of the region other than the subject of interest is increased. If the filter coefficient for multiplying a specific video frame is reduced and the filter coefficient for multiplying another video frame is increased, the resolution of the region other than the subject of interest is reduced.
[0059]
Here, the video frame synthesizing means 40 is configured to generate a special effect video signal based on five consecutive corrected video signals. However, by increasing or decreasing the multiplication unit 42, an arbitrary number of corrected video signals can be obtained. It is also possible to generate a special effect video signal from the video signal.
[0060]
The configuration of the special effect video generation apparatus 1 has been described above. However, in the special effect video generation apparatus 1, each unit can be realized as a function program in a computer. It is also possible to operate as a generation program.
[0061]
(Operation of special effect video generation device)
Next, the operation of the special effect video generation device 1 will be described with reference to FIGS. FIG. 10 is a flowchart showing the operation of the special effect video generation device 1.
[0062]
[Attention subject specifying step]
First, a target subject in a video frame input as a video signal is specified by the target subject specifying unit 10 (step S1). For example, as shown in FIG. 5, when the car C1 is designated as the subject of interest on the first video frame of the video to be processed, the rectangular area included in the car C1 is designated as the subject of interest P1.
[0063]
[Subject motion vector calculation step]
Next, a motion vector (subject motion vector) of a rectangular area indicating the target subject specified by the target subject specifying unit 10 is calculated from the video frames (video signals) continuously input by the subject motion vector calculation unit 20. (Step S2). In the subject motion vector calculation step, each time a video frame is input, the subject motion vector is calculated based on the video frame input first and the video frame input later.
[0064]
[Video frame position correction step]
Then, based on the video frame (video signal) continuously inputted by the video frame position correcting means 30 and the subject motion vector calculated by the subject motion vector calculating means 20, the attention is paid to a plurality of continuous video frames. The pixel position is shifted so that the position of the subject matches the position of the subject of interest in the specific video frame (step S3). Then, in step S3, a corrected video signal is generated for a plurality of video frames in which a missing portion of a pixel generated by shifting the pixel position of the video frame is compensated (step S4). It should be noted that the video signal of the specific video frame is not corrected and is used as it is as a corrected video signal.
[0065]
Here, the operation of the video frame position correcting means 30 will be visually described with reference to FIGS. 6 and 7 (referring to FIG. 1 as appropriate) using a specific video as an example. FIG. 6 shows the content of a continuous video frame and the content of a video frame whose pixel position is shifted so that the position of the subject of interest in the continuous video frame is matched. FIG. 7 is a diagram illustrating an example of a method of compensating for a missing portion of a pixel of a video frame whose pixel position is shifted. Here, an operation of generating a corrected video signal using three consecutive video frames for the sake of simplicity will be described, but the operation is the same for other consecutive video frames.
[0066]
FIG. 6A shows the contents of three consecutive video frames that elapse in time in the order of (a-1), (a-2), and (a-3). Here, it is assumed that the car C1, which is the subject of interest, is moving from right to left on the display screen. FIG. 6B shows a video frame (a-2) in FIG. 6A as a specific video frame, a video frame (a-1) immediately before the video frame (a-1), and a video frame (a) 3 shows that the pixel position is shifted so that the pixel position of (-3) matches the position of the target subject (car C1) in the specific video frame (a-2).
[0067]
Here, (b-2) shows the contents of the specific video frame in the same video frame as the video frame (a-2). Further, (b-1) shows the video frame (a-1) and the position of the subject of interest (car C1) in the video frame corresponding to the video frame (a-2) in the specific video frame (b-2) one video frame later. The object is moved by the subject motion vector calculated by the subject motion vector calculation means 20 so as to match the target subject. Here, since the movement has been performed from right to left, a missing pixel portion (SP1) has occurred on the right side in the video frame (b-1).
[0068]
Also, (b-3) shows the video frame (a-3) as the corresponding target in the specific video frame (b-2) one video frame before the position of the subject (car C1) of interest in the video frame. It is obtained by moving by the subject motion vector calculated by the subject motion vector calculation means 20 so as to match the subject. Here, since the movement has been performed from the left to the right, a missing pixel portion (SP2) is generated on the left side in the video frame (b-3).
[0069]
Then, the video frame position correcting means 30 compensates for the missing portion of the pixel as shown in FIG. In FIG. 7A, FR1 indicates the content of the original video frame, and FR2 indicates the position where the pixel position is shifted to perform the alignment. As described above, when the subject C1 in the original video frame FR1 moves, a missing portion SP of a pixel is generated. The missing portion SP of the pixel can be compensated by various extrapolation methods. Here, an example using a mirror image will be described.
[0070]
As shown in FIG. 7 (b), when a missing portion of a pixel occurs on the left and right of the original video frame FR1, a line symmetric video MI1 obtained by inverting the video frame FR1 left and right is created (here, only the right side is created). If there is a missing portion of pixels above and below the original video frame FR1, a line-symmetric video MI2 obtained by inverting the video frame FR1 up and down is created (here, created only on the lower side). In addition, when a missing pixel portion occurs at an oblique upper right, lower right, upper left, or lower left of the original video frame FR1, a point symmetric video MI3 obtained by inverting the video frame FR1 up, down, left, and right (here, only the lower right is used) Created). By cutting out the aligned region FR2 from the mirror image created in this way, an image (corrected image signal) in which the missing portion of the pixel is compensated as shown in FIG. 7C is generated.
It should be noted that other extrapolation methods, for example, a method of directly using the contents of the original video frame (zero-order hold) can be used to compensate for the missing portion of the pixel.
Returning to the flowchart of FIG. 10, the description will be continued.
[0071]
[Video frame synthesis step]
The video frame synthesizing unit 40 multiplies each of the corrected video signals of the plurality of video frames generated in step S4 by a specific coefficient (filter coefficient) (step S5). Then, the corrected video signal multiplied by the filter coefficient is added for a plurality of video frames (step S6) and output as a special effect video signal (step S7).
[0072]
FIG. 8 shows an example of the special effect video signal output from the video frame combining means 40. FIG. 8 schematically shows a video output as a special effect video signal. A video frame of a special effect video signal as shown in FIG. 8B is generated from a video frame continuous before and after the video signal as shown in FIG. Here, an example is shown in which a video frame of a special effect video signal is generated from three consecutive video frames, but as shown in FIG. 8B, the subject of interest (car C1) retains the resolution, The area other than the subject of interest (vehicle C1) is an image with reduced resolution. The degree of the decrease in resolution can be changed by a filter coefficient multiplied by the video frame synthesizing unit 40.
[0073]
Through the above steps, a special effect image (special effect image) in which the resolution of a region other than the object of interest is reduced while the resolution of the object of interest specified in the input image (video signal) is maintained. Video signal).
[0074]
(Special effect image generation device: second embodiment)
Next, a special effect video generation device 1B according to a second embodiment of the present invention will be described with reference to FIG. FIG. 11 is a block diagram showing a configuration of the special effect video generation device 1B. As shown in FIG. 11, the special effect video generation device 1 B specifies a target subject and an unfocused subject (hereinafter, referred to as a non-target subject) performing the same movement as the target subject in the input video (video signal). Thus, while maintaining the resolution of only the subject of interest, a special effect video is generated in which a special effect of reducing the resolution of the area other than the subject of interest (including the non-subject of interest) is generated.
[0075]
The special-effect image generation device 1 (FIG. 1) attempts to reduce the resolution of an area other than the object of interest when an input image (video signal) includes a non-object of interest that moves in the same manner as the object of interest. The resolution of the non-attention subject is maintained. Therefore, the special effect video generation device 1B lowers the resolution of a region other than the target subject and a non-target subject that moves in the same manner as the target subject included in the region.
[0076]
This special effect video generation device 1B is configured by adding a non-target subject setting unit 50, a non-target subject tracking unit 60, and a resolution reduction processing unit 70 to the special effect video generation device 1.
[0077]
The configuration other than the subject motion vector calculation unit 20 (20B), the non-target subject setting unit 50, the non-target subject tracking unit 60, and the resolution reduction processing unit 70 in the special effect video generation device 1 is the same as that shown in FIG. Therefore, the same reference numerals are given and the description is omitted.
[0078]
The subject motion vector calculation means 20B calculates a motion vector of a rectangular area specified by the input target subject area information as a subject motion vector. The motion vector calculated here is output to the video frame position correcting unit 30 and the non-target subject tracking unit 60. The function of the subject motion vector calculating means 20B is the same as that of the subject motion vector calculating means 20 (FIG. 1) except that the output destination is increased.
[0079]
The non-target subject setting means 50 sets an area of the non-target subject that moves in the same manner as the target subject in a video frame input as a video signal by input means such as a mouse and a keyboard (not shown). The non-target subject setting unit 50 outputs the set position and size of the non-target subject region to the non-target subject tracking unit 60 as non-target subject region information.
[0080]
Note that the non-interest subject area is a rectangular area including the non-interest subject. For example, as shown in FIG. 12, on the first video frame of the video to be processed, a rectangular area including a bicycle that moves in the same way as the target subject (car C1) is set as the non-target subject region B1.
[0081]
The non-attention subject tracking unit 60 calculates the non-attention subject area based on the non-attention subject region set by the non-attention subject setting unit 50 and the subject motion vector of the attention subject calculated by the subject motion vector calculation unit 20B. The position of the (non-target subject area) is tracked on the video. The non-target subject area tracked here is held in the non-target subject tracking means 60 and is output to the resolution reduction processing means 70.
[0082]
Since the non-target subject tracking means 60 is based on the premise that the non-target subject moves in the same manner as the target subject, the subject motion vector of the target subject input from the subject motion vector calculation means 20B is the same as the non-target subject. It becomes equal to the motion vector of the included non-attention subject area. Thereby, the non-target subject tracking means 60 can track the non-target subject by sequentially updating the position of the held non-target subject area.
[0083]
The resolution reduction processing unit 70 is configured to output a video input as a special effect video signal based on the special effect video signal input from the video frame synthesizing unit 40 and the non-target subject area input from the non-target subject tracking unit 60. This is to generate and output a new special effect video signal in which the resolution of the non-target subject area in the frame is reduced.
[0084]
In the resolution reduction processing means 70, in order to reduce the resolution of the non-target subject area, for example, the resolution of the area other than the subject is reduced by performing spatial filtering processing such that several adjacent pixels are collectively set to the same pixel value. Let it.
[0085]
In this case, instead of strictly specifying the non-target subject and lowering the resolution, the resolution lowering process is performed on the non-target subject region including the non-target subject, so that the resolution can be more easily reduced than in the related art. Can be reduced. When the non-target subject moves differently from the target subject, the operator of the special effect video generation device 1B releases the non-target subject area by the non-target subject setting unit 50.
[0086]
Accordingly, the special effect video generation device 1B specifies the target subject and the non-target subject performing the same movement as the target subject in the input video (video signal), thereby maintaining the resolution of only the target subject. Thus, it is possible to generate a special effect video (special effect video signal) to which a special effect for reducing the resolution of an area other than the subject of interest is applied.
[0087]
The configuration of the special effect video generating apparatus 1B has been described above. However, the special effect video generating apparatus 1B can realize each unit as a functional program in a computer, and combine the functional programs to generate a special effect video. It is also possible to operate as a generation program.
[0088]
(Special effect image generation device: Third embodiment)
Next, a special effect video generation device 1C according to a third embodiment of the present invention will be described with reference to FIG. FIG. 13 is a block diagram showing a configuration of the special effect video generation device 1C. As shown in FIG. 13, the special effect video generation device 1 C specifies a subject (attention subject) in the input video (video signal), and maintains the resolution of the attention subject while maintaining the resolution of the attention subject. A special effect video (special effect video signal) to which a special effect for lowering the resolution of the other area is applied is generated.
[0089]
Here, the special effect video generation device 1C includes a subject-of-interest designation unit 10, a subject motion vector calculation unit 20, a video frame position correction unit 30, a video frame synthesis unit 40B, a global vector calculation unit 80, a coefficient selection unit And means 90. The subject-of-interest designation unit 10, the subject motion vector calculation unit 20, and the video frame position correction unit 30 are the same as those shown in FIG. 1, and therefore are denoted by the same reference numerals and description thereof will be omitted.
[0090]
The global vector calculation means 80 calculates a global vector to be a background motion vector from continuously input video frames (video signals). The global vector calculated here is output to the coefficient selecting means 90. The global vector calculation means 80 will be further described with reference to FIG. 14 (see FIG. 13 as appropriate). FIG. 14 is a block diagram showing the internal configuration of the global vector calculation means 80. As shown in FIG. 14, the global vector calculation means 80 includes a video delay unit 81 and a motion vector detection unit 82.
[0091]
The video delay unit 81 delays an input video signal in video frame units. The video signal delayed by one video frame in the video delay unit 81 is output to the motion vector detection unit 82.
[0092]
The motion vector detection unit 82 calculates a motion vector in which the background in the video frame has moved based on the input video signal and the video signal input one video frame earlier delayed by the video delay unit 81. This is to calculate a certain global vector. In general, the ratio of the background to the video frame is large, so the global vector can be regarded as a motion vector in which the background in the video frame moves.
[0093]
The motion vector detecting unit 82 calculates, for example, in a continuous video frame, a motion vector in a macroblock unit having a specific size (for example, 16 × 16 pixels or the like) by a block matching method, and calculates a macro vector in the video frame. The motion vector having the highest frequency in the histogram distribution of the motion vectors of the blocks is defined as a global vector.
[0094]
In addition, other techniques for detecting (calculating) this global vector include "Hitokura Uekura, et al.," Global motion compensation method in video coding ", IEICE Transactions on Information Engineering, BI, Vol. BI, No. 12, p. 944-952, December 1993, and “A High-Prication,” which describes a global vector from camera data (metadata) such as camera motion information and zoom information. Camera \ Parameter \ Measurement \ System \ ands \ Its \ Application \ to \ Image \ Motion \ Inferring, IEEE Transactions on Broadcasting, Vol. Can be used 55, March technique disclosed in 2001 ".
[0095]
For example, in order to obtain a global vector from camera data, the global vector calculation means 80 is provided with a camera data input means (not shown), and a certain macro block in a video frame is determined by camera movement (pan, tilt, zoom, etc.). Is calculated in the video frame, and the amount obtained by statistically calculating the moving direction and the moving amount of the macroblock is defined as a global vector. For example, when the camera is panned to the right of the screen, the area reflected as the background appears to move to the left. The moved area has a motion in the video frame, but is actually a background area. As described above, when a global vector is obtained from camera data, it is not necessary to calculate a motion vector in macroblock units between video frames.
Returning to FIG. 13, the description will be continued.
[0096]
The coefficient selection unit 90 calculates a difference between the subject motion vector calculated by the subject motion vector calculation unit 20 and the global vector (background motion vector) calculated by the global vector calculation unit 80, and based on the difference. , And outputs a coefficient selection signal for selecting a filter coefficient. This coefficient selection signal is output to the video frame combining means 40B.
[0097]
This coefficient selecting means 90 will be further described with reference to FIG. 15 (FIG. 13 as appropriate). FIG. 15 is a block diagram showing an example of the internal configuration of the coefficient selection means 90. As shown in FIG. 15, the coefficient selection unit 90 includes a motion vector delay unit 91 (91a, 91b, 91c), a movement amount difference calculation unit 92 (92a, 92b, 92c, 92d), and an addition unit 93 (93a, 93b). ), And a coefficient selection determination unit 94.
[0098]
The coefficient selecting means 90 sets the middle (third) video frame among the five consecutive video frames as the specific video frame, and selects the coefficient based on the difference between the subject motion vector and the global vector between the respective video frames. It outputs a signal. Here, it is assumed that the specific video frame is an n-th video frame, and two video frames input earlier than the n-th video frame are (n-2) -th and (n-1) -th video frames, respectively. Also, two video frames input after the specific video frame are (n + 1) th and (n + 2) th video frames, respectively.
[0099]
The motion vector delay unit 91 delays the input subject motion vector and global vector in video frame units. Here, assuming that the output from the motion vector delay unit 91c is a subject motion vector and a global vector calculated between the (n-2) th video frame and the (n-1) th video frame, the motion vector The output from the delay unit 91b is a subject motion vector and a global vector calculated between the (n-1) th video frame and the nth video frame. The output from the motion vector delay unit 91a is a subject motion vector and a global vector calculated between the nth video frame and the (n + 1) th video frame. Further, the inputs to the motion vector delay unit 91a are the subject motion vector and the global vector calculated between the (n + 1) th video frame and the (n + 2) th video frame.
[0100]
The movement amount difference calculation unit 92 calculates a difference between the input subject motion vector and the global vector, and outputs the difference as a movement amount difference (vector amount). That is, the moving amount difference calculating unit 92a calculates the moving amount difference d between the (n + 1) th video frame and the (n + 2) th video frame._{n + 2}Is calculated. The moving amount difference calculating unit 92b calculates a moving amount difference d between the n-th video frame and the (n + 1) -th video frame._{n + 1}Is calculated. The moving amount difference calculator 92c calculates a moving amount difference d between the (n-1) th video frame and the nth video frame._n-1Is calculated. Further, the moving amount difference calculating unit 92d calculates the moving amount difference d between the (n-2) th video frame and the (n-1) th video frame._n-2Is calculated.
[0101]
The adder 93 generates a new signal by adding two input signal amounts. The adding unit 93a calculates the moving amount difference d output from the moving amount calculating unit 92a._{n + 2}And the moving amount difference d output from the moving amount calculating section 92b._{n + 1}Are added to obtain the movement amount difference d between the n-th video frame and the (n + 2) -th video frame._n2Is output. The adding unit 93b calculates the moving amount difference d output from the moving amount calculating unit 92c._n-1And the moving amount difference d output from the moving amount calculating unit 92d._n-2Is added to obtain the movement amount difference d between the n-th video frame and the (n-2) -th video frame._n1Is output.
[0102]
The coefficient selection determination unit 94 generates a coefficient selection signal for selecting a filter coefficient based on the difference in the amount of movement between the preceding and succeeding video frames with respect to the specific video frame (the difference between the subject motion vector and the global vector). . That is, the coefficient selection determination unit 94 determines the moving amount difference d two video frames before the specific video frame as a reference._n1And the moving amount difference d one video frame before_n-1And the movement amount difference d after one video frame_{n + 1}And the movement amount difference d after two video frames_n2, A coefficient selection signal is generated. For example, the coefficient selection determining unit 94 calculates a criterion value α as a criterion based on the average of the sum of squares as shown in Expression (1) or the average of the sum of absolute values as shown in Expression (2). A coefficient selection signal is generated based on the reference value α. The denominator 5 in the equations (1) and (2) indicates the number of video frames (filter coefficient length).
[0103]
α = (d_n1 ²+ D_n-1 ²+ D_{n + 1} ²+ D_n2 ²) / 5 ... Equation (1)
[0104]
α = (| d_n1| + | D_n-1| + | D_{n + 1}| + | D_n2|) / 5 ... Equation (2)
[0105]
Here, when the coefficient selection level is set to two levels and the threshold values are Th1 and Th2 (Th1 <Th2), the coefficient selection determination unit 94 determines that 0 (α ≦ Th1) when (α <Th1) and 0 (α ≧ Th1). A coefficient selection signal such as 1 in the case and 2 in the case of (α ≧ Th2) is output. If (α <Th1), that is, if the movement of the subject of interest and the background in the video frame is small, the frame number specifying the video frame to be filtered is sent to the video frame synthesizing unit 40B (FIG. 13). The notification may be performed to perform the conventional spatial filtering on the specified video frame.
Returning to FIG. 13, the description will be continued.
[0106]
The video frame synthesizing unit 40B synthesizes the corrected video signals of the continuous video frames corrected by the video frame position correcting unit 30 based on the coefficient selection signal notified from the coefficient selecting unit 90, thereby obtaining the video signal ( A special effect video signal (special effect video) in which a special effect is added to a video is generated. The video frame synthesizing means 40B will be further described with reference to FIG. 16 (see FIG. 13 as appropriate). FIG. 16 is a block diagram showing the internal configuration of the video frame combining means 40B. As shown in FIG. 16, the video frame synthesizing unit 40B includes a coefficient setting unit 41B, a multiplication unit 42 (42a, 42b, 42c, 42d, 42e), an addition unit 43, and a coefficient storage unit 44. Since the multiplying section 42 and the adding section 43 are the same as those shown in FIG. 4, the same reference numerals are given and the description is omitted.
[0107]
The coefficient setting unit (coefficient setting unit) 41B reads, from the coefficient storage unit 44, a filter coefficient by which each correction video signal is multiplied based on the coefficient selection signal notified from the coefficient selection unit 90, and handles the correction video signal. The signals are output to the multipliers 42 (42a, 42b, 42c, 42d, 42e).
[0108]
The coefficient storage unit 44 previously stores a plurality of filter coefficients by which each corrected video signal is multiplied, and is configured by a general memory or the like. For example, as filter coefficients stored in the coefficient storage unit 44, {1/5, 1/5, 1/5, 1/5, 1/5}, {1/7, 1/7, 3/7} , 1/7, 1/7 {1/9, 1/9, 5/9, 1/9, 1/9}, etc. This makes it possible to select a filter coefficient so as to reduce the change in resolution according to the difference in motion between the subject of interest and the background.
[0109]
The configuration of the special effect video generating apparatus 1C has been described above. However, in the special effect video generating apparatus 1C, each unit can be realized as a function program in a computer. It is also possible to operate as a generation program.
[0110]
(Special Effect Video Generation Apparatus: Fourth Embodiment)
Next, a special effect video generation device 1D according to a fourth embodiment of the present invention will be described with reference to FIGS. As in the special effect video generation device 1C, the special effect video generation device 1D retains the resolution of the target subject by designating a target (target subject) in the input video (video signal). As it is, a special effect video (special effect video signal) to which a special effect for lowering the resolution of an area other than the subject of interest is applied is generated. Here, the configuration other than the video frame synthesizing unit 40C and the coefficient selecting unit 90B is the same as that of the special effect video generation device 1C, and thus the description is omitted.
[0111]
The video frame synthesizing unit 40C is configured such that the coefficient setting unit 41B of the video frame synthesizing unit 40B shown in FIG. 16 is replaced with a coefficient setting unit 41C having a function of notifying the coefficient selecting unit 90B of the filter coefficient output to the multiplier 42. It has been changed to.
The coefficient selection unit 90B is configured as a coefficient selection determination unit 94B obtained by changing the coefficient selection determination unit 94 of the coefficient selection unit 90 shown in FIG. 15 to a function described below.
[0112]
That is, the coefficient selection determination unit 94B generates a coefficient selection signal for selecting a filter coefficient based on the filter coefficient notified from the video frame combining unit 40C and the difference between the moving amounts of the preceding and succeeding video frames with respect to the specific video frame. It shall be. For example, the coefficient selection determination unit 94B calculates a determination reference value α as a determination reference by a weighted sum of squares as shown in Expression (3) or a weighted sum of absolute values using filter coefficients as shown in Expression (4). , A coefficient selection signal is generated based on the determination reference value α. Note that a in equations (3) and (4)_-2, A_-1, A₁And a₂Indicates a filter coefficient.
[0113]
α = a_-2 ²・ D_n1 ²+ A_-1 ²・ D_n-1 ²+ A₁ ²・ D_{n + 1} ²+ A₂ ²・ D_n2 ²… (3)
[0114]
α = | a_-2│ ・｜ d_n1| + | A_-1│ ・｜ d_n-1| + | A₁│ ・｜ d_{n + 1}| + | A₂│ ・｜ d_n2|… Equation (4)
[0115]
Here, assuming that there are two levels at which the coefficient selection of the filter coefficient is performed and the thresholds are Th1 and Th2 (Th1 <Th2), the coefficient selection determination unit 94B sets 0 (α ≧ Th1) and (α ≧ Th1). A coefficient selection signal such as 1 in the case of (Th1) and 2 in the case of (α ≧ Th2) is output.
[0116]
Thus, for example, when the movement of the subject of interest and the background in the video frame is large and the value of the determination reference value α is large, the video frame synthesizing unit 40C (FIG. 13) operates with a reduced number of filter taps. Becomes possible. When the criterion value α is small, the frame number designating the video frame to be filtered is notified to the video frame synthesizing means 40C (FIG. 13), and the designated video frame is compared with the conventional space. Filtering may be performed. Thereby, the special effect video generation device 1D can reduce the fluctuation of the resolution of the region other than the target subject by the difference between the motion of the target subject and the background video and the filter coefficient.
[0117]
The configuration and functions of the special effect video generation apparatus 1D have been described above. However, in the special effect video generation apparatus 1D, each unit can be realized as a function program in a computer. It is also possible to operate as an effect video generation program.
[0118]
【The invention's effect】
As described above, the special effect video generation device, the special effect video generation method, and the special effect video generation program according to the present invention provide the following excellent effects.
[0119]
According to the first, sixth, or seventh aspect of the present invention, the motion of the subject of interest included in the input video is calculated by a simple method using temporal direction filtering processing. It is possible to reduce the resolution of other regions while maintaining the resolution of the subject of interest having a certain size. Thus, by adding the present invention to the conventional special effect video generation method, a new special effect video can be generated at low cost, and the range of producing a broadcast program or the like can be expanded.
[0120]
According to the second aspect of the present invention, a simple method of multiplying each pixel value of a plurality of video frames in which the position of the subject of interest has been corrected by a specific filter coefficient for each video frame and adding the same for each same pixel position. Thus, it is possible to reduce the resolution of an area other than the subject of interest.
[0121]
According to the third aspect of the present invention, the value of a filter coefficient by which each pixel value of a plurality of video frames is multiplied for each video frame can be made variable, so that the resolution of an area other than the subject of interest can be changed. Become. As a result, even for the same video, special effect video with different special effects can be generated, and the range of program production such as a broadcast program can be expanded.
[0122]
According to the fourth aspect of the present invention, even if a subject (non-target subject) that moves in the same manner as the target subject exists on the video, the non-target is only specified by specifying the rectangular area including the non-target subject. The resolution of the subject can be reduced, and the resolution of an area other than the subject of interest can be reduced.
[0123]
According to the fifth aspect of the present invention, it is possible to reduce the resolution in an area other than the subject of interest due to a difference in motion between the subject of interest and the background image. Thus, it is possible to suppress a change in resolution in a region other than the subject of interest due to the movement of the subject of interest.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a special effect video generation device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a subject motion vector calculation unit of the special effect video generation device according to the first embodiment of the present invention.
FIG. 3 is a block diagram illustrating a configuration example of a video frame position correction unit of the special effect video generation device according to the first embodiment of the present invention.
FIG. 4 is a block diagram illustrating a configuration example of a video frame combining unit of the special effect video generation device according to the first embodiment of the present invention.
FIG. 5 is a diagram showing an example of a screen for designating a target subject area in a target subject designating unit.
FIG. 6 is a schematic diagram schematically showing an operation of shifting a pixel position of a video frame in a video frame position correction unit.
FIG. 7 is a schematic diagram schematically showing an operation of compensating for a missing portion of a pixel in a video frame position correcting unit.
FIG. 8 is a diagram showing an example of a screen output as a special effect video signal by the special effect video generation device.
FIG. 9 is a diagram illustrating a relationship between a filter coefficient by which a video frame is multiplied and a resolution of an area other than a subject of interest.
FIG. 10 is a flowchart showing an operation of the special effect video generation device according to the first embodiment of the present invention.
FIG. 11 is a block diagram showing an overall configuration of a special effect video generation device according to a second embodiment of the present invention.
FIG. 12 is a diagram showing an example of a screen for setting a non-target subject area in a non-target subject setting unit.
FIG. 13 is a block diagram showing an overall configuration of a special effect video generation device according to the third and fourth embodiments of the present invention.
FIG. 14 is a block diagram illustrating a configuration example of a global vector calculation unit of a special effect video generation device according to a third embodiment of the present invention.
FIG. 15 is a block diagram illustrating a configuration example of a coefficient selection unit of the special effect video generation device according to the third and fourth embodiments of the present invention.
FIG. 16 is a block diagram showing a configuration example of a video frame synthesizing unit of the special effect video generation device according to the third and fourth embodiments of the present invention.
[Explanation of symbols]
1, 1B, 1C, 1D ... special effect image generation device
10 ... attention subject designating means
20, 20B: subject motion vector calculating means
30 °: image frame position correcting means
40, 40B, 40C ... video frame synthesizing means
41, 41B, 41C... Coefficient setting unit (coefficient setting means)
44... Coefficient storage unit (coefficient storage means)
50 ° non-interest subject setting means
60 ° ... non-attention subject tracking means
70 °: resolution reduction processing means
80: Global vector calculation means
90, 90B... Coefficient selecting means

Claims

A special effect video generation device that generates a special effect video in which the resolution of a video other than a subject of interest in a specific video frame having motion in the video is reduced from the input video,
A subject-of-interest specifying means for specifying the subject of interest in the input video;
Subject motion vector calculation means for calculating a subject motion vector that is a motion vector of the subject of interest between the video frames, from consecutive video frames of the input video,
Based on the subject motion vector calculated by the subject motion vector calculation means, in a plurality of continuous video frames, the position of the subject of interest other than the specific video frame is adjusted to the position of the subject of interest in the specific video frame, Video frame position correction means for correcting the pixel position of the video frame,
Video frame synthesizing means for generating the special effect video by synthesizing a plurality of video frames corrected by the video frame position correcting means,
A special effect video generation device, comprising:

The video frame synthesizing unit multiplies each pixel value of a plurality of video frames corrected by the video frame position correction unit by a specific filter coefficient for each video frame, and adds the pixel values at the same pixel position. The special effect image generation device according to claim 1.

The video frame synthesizing unit includes a coefficient setting unit that sets the filter coefficient,
3. The special effect video generation apparatus according to claim 2, wherein the resolution of the video other than the subject of interest is changed by changing a filter coefficient by which a pixel value of the video frame is multiplied.

A non-target subject setting unit that sets an area of the non-target subject that moves in the same manner as the target subject;
A non-target subject tracking unit that tracks the non-target subject area set by the non-target subject setting unit based on the subject motion vector;
In a special effect video output from the video frame synthesizing unit, a resolution reduction processing unit that reduces the resolution of the non-target subject area,
The special effect video generation device according to claim 1, further comprising:

Global vector calculation means for calculating a global vector indicating a motion of a background between the video frames from a continuous video frame of the input video,
Coefficient storage means for storing a plurality of the filter coefficients,
Based on a difference between the subject motion vector and the global vector, from among the filter coefficients stored in the coefficient storage means, a coefficient selecting means for selecting a filter coefficient by which the video frame is multiplied,
4. The special effect video generation apparatus according to claim 2, wherein the video frame synthesizing unit synthesizes the video frames based on the filter coefficient selected by the coefficient selecting unit.

A special effect video generation method for generating, from an input video, a special effect video in which a resolution of a video other than a subject of interest in a specific video frame having motion in the video is reduced,
In the input video, a subject of interest designation step of designating the subject of interest,
From a continuous video frame of the input video, a subject motion vector calculation step of calculating a subject motion vector that is a motion vector of the subject of interest between the video frames,
Based on the subject motion vector calculated in the subject motion vector calculation step, in a plurality of continuous video frames, the position of the subject of interest other than the specific video frame is adjusted to the position of the subject of interest in the specific video frame, A video frame position correction step of correcting a pixel position of the video frame;
A video frame synthesis step of synthesizing a plurality of video frames corrected in the video frame position correction step to generate the special effect video,
A special effect video generation method characterized by including:

From the input video, a computer to generate a special effect video in which the resolution of the video other than the subject of interest in the moving specific video frame in the video is reduced,
A subject-of-interest specifying means for specifying the subject of interest in the input video;
Subject motion vector calculation means for calculating a subject motion vector that is a motion vector of the subject of interest between the video frames, from consecutive video frames of the input video,
Based on the subject motion vector calculated by the subject motion vector calculation means, in a plurality of continuous video frames, the position of the subject of interest other than the specific video frame is adjusted to the position of the subject of interest in the specific video frame, Video frame position correction means for correcting the pixel position of the video frame,
Video frame synthesizing means for synthesizing a plurality of video frames corrected by the video frame position correcting means to generate the special effect video,
A special effect video generation program characterized by functioning as: