JP2004032496A - 映像コマ数削減装置および映像コマ数削減方法 - Google Patents
映像コマ数削減装置および映像コマ数削減方法 Download PDFInfo
- Publication number
- JP2004032496A JP2004032496A JP2002187574A JP2002187574A JP2004032496A JP 2004032496 A JP2004032496 A JP 2004032496A JP 2002187574 A JP2002187574 A JP 2002187574A JP 2002187574 A JP2002187574 A JP 2002187574A JP 2004032496 A JP2004032496 A JP 2004032496A
- Authority
- JP
- Japan
- Prior art keywords
- video
- motion vector
- extracted
- frame
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】入力映像信号の映像コマ数を削減した際に、動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減することができる映像コマ数削減装置および映像コマ数削減方法を提供する。
【解決手段】制御情報作成部４では、誘目領域検出部３で検出された誘目領域における相対動きベクトル量ＭＶの平均値を基に、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔を示す制御情報ＳＣを作成する。そして、低コマ数映像信号作成部５では、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦと、制御情報作成部４から入力された制御情報ＳＣとに基づいて、カット毎に、入力映像信号ＩＭから制御情報ＳＣに示された映像コマを制御情報ＳＣに示された間隔で抽出して、入力映像信号ＩＭの映像コマ数を削減した低コマ数映像信号ＬＭを作成する。
【選択図】 図１
【解決手段】制御情報作成部４では、誘目領域検出部３で検出された誘目領域における相対動きベクトル量ＭＶの平均値を基に、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔を示す制御情報ＳＣを作成する。そして、低コマ数映像信号作成部５では、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦと、制御情報作成部４から入力された制御情報ＳＣとに基づいて、カット毎に、入力映像信号ＩＭから制御情報ＳＣに示された映像コマを制御情報ＳＣに示された間隔で抽出して、入力映像信号ＩＭの映像コマ数を削減した低コマ数映像信号ＬＭを作成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、映像コマ数削減装置および映像コマ数削減方法に関し、特に、一定のフレームレートで入力される複数の映像コマからなる映像信号の映像コマ数を削減するための映像コマ数削減装置および映像コマ数削減方法に関する。
【０００２】
【従来の技術】
近年、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯端末を対象に、小さな画面での映像提供サービスが実施されている。このような映像提供サービスでは、伝送路の帯域に制限があるため、映像を構成している映像コマを間引いて削減する、いわゆる「コマ落とし」が行われている。この「コマ落とし」には、（１）映像コマを単純に一定の間隔で間引く方法と、（２）被写体の動きが大きい映像コマはあまり間引かずに、被写体の動きが小さい映像コマを多く間引く方法と、（３）ＭＰＥＧ−４の符号化・復号化装置で発生したビット量がバッファの占有量の規定を超えると、フレームをスキップして可変フレームレート映像を作成する方法等がある。
【０００３】
（２）の方法としては、フレーム間の対応画素のレベル差が、予め設定した閾値を超える変化画素総数によってフレームレートを変化させて、可変フレームレートの映像を作成する方法がある。このような方法は、文献（「フレームレートの変化が映像品質に及ぼす影響」電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ７９−Ａ、Ｎｏ．４、ｐｐ．９９１−１０００、１９９６，林孝典 他）に開示されている。
【０００４】
また、（３）の方法は、例えば、文献（ＭＰＥＧ−４ ＶＭ ソフトウェア、Ｅｕｒｏｐｅａｎ ＡＣＴＳ ｐｒｏｊｅｃｔ ＭｏＭｕＳｙｓ）に開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、（１）の映像コマを単純に一定の間隔で間引く方法や、（３）のＭＰＥＧ−４の符号化・復号化装置で発生したビット量がバッファの占有量の規定を超えると、フレームをスキップして可変フレームレート映像を製作する方法では、コマ落としした映像を一定のフレームレートで表示する際に同一の映像コマを繰り返す部分が生じるため、各映像コマ間における被写体の移動量が大きくなり、映像内容の連続性が喪失するという問題があった。
【０００６】
また、（２）のフレーム間の対応画素のレベル差が、予め設定した閾値を超える変化画素総数によってフレームレートを変化させて、可変フレームレートの映像を作成する方法では、その映像コマに含まれる被写体の動きの大きさについては考慮していないため、被写体の動きが複雑である場合は、映像内容の連続性が喪失するという問題があった。
【０００７】
そこで、本発明は、前記した従来の技術が有する課題を解消し、一定のフレームレートで入力される複数の映像コマからなる映像信号の映像コマ数を削減した際に、動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減することができる映像コマ数削減装置および映像コマ数削減方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の映像コマ数削減装置は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを削減するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する相対動きベクトル量算出部と、前記相対動きベクトル量を基に、前記抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する誘目領域検出部と、前記相対動きベクトル量の平均値を基に前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部とを備えて構成されることを特徴とする。
【０００９】
請求項１に記載の映像コマ数削減装置によれば、まず、映像コマ抽出部では、外部から入力されたカット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、相対動きベクトル量算出部では、映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する。次に、誘目領域検出部では、相対動きベクトル量算出部で算出された相対動きベクトル量を基に、抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する。次に、制御情報作成部では、相対動きベクトル量の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成部では、外部から入力されたカット情報および目標コマ数情報と、制御情報作成部から入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００１０】
なお、「カット情報」とは、一台のカメラでいったん写し始めてから写し終わるまでの一場面を“カット”と定義した際の、入力映像信号の映像におけるカットの切り替わりを示す情報である。
【００１１】
また、「目標コマ数情報」とは、入力映像信号から映像コマを抽出するコマ数を示す情報である。例えば、入力映像信号のフレームレートがｎ［コマ／秒］で、入力映像信号から映像コマを抽出して作成する低コマ数映像信号のフレームレートをｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）としたい場合は、入力映像信号から映像コマを抽出する間隔を示す係数であるｒが目標コマ数情報となる。
【００１２】
また、「動きベクトル量」とは、被写体の動き量をベクトル量で表したものである。例えば、被写体が動いていないところでは、ベクトル量は“０”に近づき、被写体が動いていればどの程度動いたかを“動き量”として表す。この動き量”は、被写体の動きが激しくなればなるほど“大きくなる。また、「相対動きベクトル量」とは、背景の動きベクトル量に対する相対値である。
【００１３】
そして、「制御情報」とは、入力映像信号から抽出する映像コマと、その抽出する間隔を示す情報である。本発明では、入力映像信号から映像コマを抽出する間隔は、映像コマ群毎に異なるので、その映像コマ群における先頭および最後尾のコマ番号と、その映像コマ群における抽出間隔を示す制御信号とを制御情報としている。なお、映像コマ群とは、映像コマがあるコマ数で連続しているものである。
【００１４】
また、請求項２に記載の映像コマ数削減装置は、請求項１に記載された映像コマ数削減装置において、前記誘目領域検出部は、前記相対動きベクトル量を予め設定した閾値と比較し、前記相対動きベクトル量が前記閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出することを特徴とする。
【００１５】
請求項２に記載の映像コマ数削減装置によれば、誘目領域検出部では、各マクロブロックの相対動きベクトル量を予め設定した閾値と比較し、相対動きベクトル量が閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出する。このように構成することにより、誘目領域を容易にかつ精度良く検出することができる。
【００１６】
また、請求項３に記載の映像コマ数削減装置は、請求項１または請求項２に記載された映像コマ数削減装置において、前記制御情報作成部は、前記相対動きベクトル量の平均値を、前記相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、前記相対動きベクトル量の平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記相対動きベクトル量の平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００１７】
請求項３に記載の映像コマ数削減装置によれば、制御情報作成部では、相対動きベクトル量の平均値を、相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、相対動きベクトル量の平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、相対動きベクトル量の平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このように構成すると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。なお、ここでいう、「目標コマ数情報に基づいて一定の間隔で抽出する際の間隔」とは、入力映像信号から映像コマを、目標コマ数情報に示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００１８】
また、請求項４に記載の映像コマ数削減装置は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを削減するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、前記動きベクトル量とその抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する誘目領域検出部と、前記動きベクトル量とグローバルベクトル量との差の平均値を基に前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部とを備えて構成されることを特徴とする。
【００１９】
請求項４に記載の映像コマ数削減装置によれば、まず、映像コマ抽出部では、外部から入力されたカット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、動きベクトル量算出部では、映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量を算出する。次に、誘目領域検出部では、動きベクトル量算出部で算出された動きベクトル量と、その抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する。次に、制御情報作成部では、誘目領域検出部で検出された誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成部では、外部から入力されたカット情報および目標コマ数情報と、制御情報作成部から入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００２０】
また、請求項５に記載の映像コマ数削減装置は、請求項５に記載された映像コマ数削減装置において、前記制御情報作成部は、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００２１】
請求項５に記載の映像コマ数削減装置によれば、制御情報作成部では、動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出する。このように構成すると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２２】
請求項６に記載の映像コマ数削減方法は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する相対動きベクトル量算出ステップと、前記相対動きベクトル量を基に、前記抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する誘目領域検出ステップと、前記相対動きベクトル量の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップとを含むことを特徴とする。
【００２３】
請求項６に記載の映像コマ数削減方法によれば、まず、映像コマ抽出ステップでは、カット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、相対動きベクトル量算出ステップでは、映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する。次に、誘目領域検出ステップでは、相対動きベクトル量算出ステップで算出された相対動きベクトル量を基に、抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する。次に、制御情報作成ステップでは、誘目領域検出ステップで検出された誘目領域における相対動きベクトル量の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成ステップでは、カット情報および目標コマ数情報と、制御情報作成ステップで作成された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００２４】
また、請求項７に記載の映像コマ数削減方法は、請求項６に記載された映像コマ数削減方法において、前記誘目領域検出ステップは、前記相対動きベクトル量を予め設定した閾値と比較し、前記相対動きベクトル量が前記閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出することを特徴とする。
【００２５】
請求項７に記載の映像コマ数削減方法によれば、誘目領域検出ステップでは、各マクロブロックの相対動きベクトル量を予め設定した閾値と比較し、相対動きベクトル量が閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出する。このようにすると、誘目領域を容易にかつ精度良く検出することができる。
【００２６】
また、請求項８に記載の映像コマ数削減方法は、請求項６または請求項７に記載された映像コマ数削減方法において、前記制御情報作成ステップは、前記相対動きベクトル量の平均値を、前記相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、前記相対動きベクトル量の平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記相対動きベクトル量の平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００２７】
請求項８に記載の映像コマ数削減方法によれば、制御情報作成ステップでは、相対動きベクトル量の平均値を、相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、相対動きベクトル量の平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、相対動きベクトル量の平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このようにすると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２８】
また、請求項９に記載の映像コマ数削減方法は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、前記動きベクトル量とその抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する誘目領域検出ステップと、前記動きベクトル量とグローバルベクトル量との差の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップとを含むことを特徴とする。
【００２９】
請求項９に記載の映像コマ数削減方法によれば、まず、映像コマ抽出ステップでは、カット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、動きベクトル量算出ステップでは、映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、マクロブロック毎に、そのマクロブロックにおける動きベクトル量を算出する。次に、誘目領域検出ステップでは、動きベクトル量算出ステップで算出された動きベクトル量と、その抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する。次に、制御情報作成ステップでは、誘目領域検出部で検出された誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成ステップでは、カット情報および目標コマ数情報と、制御情報作成ステップで作成された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００３０】
また、請求項１０に記載の映像コマ数削減方法は、請求項９に記載された映像コマ数削減方法において、前記制御情報作成ステップは、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００３１】
請求項１０に記載の映像コマ数削減方法によれば、制御情報作成ステップでは、動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このようにすると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００３２】
【発明の実施の形態】
以下、本発明の一実施の形態を、適宜図面を参照して説明する。本発明に係る映像コマ数削減装置および映像コマ数削減方法は、各映像コマの誘目領域に注目することにより、入力映像信号から映像コマ数を削減した際に動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減させたことを特徴とする。なお、ここでいう「誘目領域」とは、その映像コマにおける動きの大きい領域、すなわち目を誘う領域である。ここでは、背景とは異なる部分の映像領域すなわち被写体が含まれる部分の映像領域を誘目領域とした。
【００３３】
（映像コマ数削減装置の構成）
図１は、本発明の一実施の形態に係る映像コマ数削減装置の全体構成を示すブロック図である。以下、本実施の形態に係る映像コマ数削減装置の構成を説明する。
【００３４】
図１に示すように、映像コマ数削減装置は、コマ落とし映像信号作成部１と、相対動きベクトル量算出部２と、誘目領域検出部３と、制御情報作成部４と、低コマ数映像信号作成部５とを備えて構成されている。コマ落とし映像信号作成部１と低コマ数映像信号作成部５には、カット情報ＣＩ、入力映像信号ＩＭおよび目標コマ数情報ＴＦが入力され、相対動きベクトル量算出部２には、入力映像信号ＩＭが入力される。
【００３５】
コマ落とし映像信号作成部１は、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから映像コマを一定の間隔で抽出したコマ落とし映像信号ＬＦを作成する。このコマ落とし映像信号作成部１は、特許請求の範囲における「映像コマ抽出部」に相当する。なお、カット情報ＣＩとは、一台のカメラでいったん写し始めてから写し終わるまでの一場面を「カット」と定義した際の、入力映像信号の映像におけるカットの切り替わりを示す情報である。また、目標コマ数情報ＴＦとは、入力映像信号ＩＭから映像コマを抽出するコマ数を示す情報である。
【００３６】
図２は、コマ落とし映像信号作成部１の構成を示すブロック図である。図２に示すように、コマ落とし映像信号作成部１は、コマ落とし部１１と映像遅延部１２から構成されている。
【００３７】
コマ落とし部１１は、カット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから映像コマを一定の間隔で抽出する。コマ落とし部１１で抽出された映像コマは、図示しない記憶部に記憶される。
【００３８】
映像遅延部１２は、目標コマ数情報ＴＦに基づいて、コマ落とし部１１で抽出された映像コマを遅延させ、一定のフレームレートのコマ落とし映像信号ＬＦを作成する。映像遅延部１２で作成されたコマ落とし映像信号ＬＦは、相対動きベクトル量算出部２へ出力される。なお、このコマ落とし映像信号ＬＦは、特許請求の範囲における「抽出映像コマ」に相当する。
【００３９】
例えば、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、入力映像信号ＩＭから映像コマを削減した後の目標フレームレートがｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）である場合は、コマ落とし部１１は、入力映像信号ＩＭから（１／ｒ）コマ毎に映像コマを抽出する。そして、映像遅延部１２は、コマ落とし部１１で映像コマを（１／ｒ）コマ遅延させ、フレームレートがｒｎ［コマ／秒］のコマ落とし映像信号ＬＦを作成する。
【００４０】
図３は、コマ落とし映像信号作成部１に入力された入力映像信号ＩＭと、コマ落とし映像信号作成部１から出力されたコマ落とし映像信号ＬＦとの対応関係の一例を示すタイムチャートである。図３では、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、コマ落とし映像信号ＬＦの目標フレームレートが０．２５ｎ［コマ／秒］である場合を示している。
【００４１】
図３に示すように、目標フレームレートが０．２５ｎである場合は、映像コマは４コマ毎に抽出されている。そして、抽出された映像コマは、４コマ遅延させて出力されている。
【００４２】
図１に戻って説明を続けると、相対動きベクトル量算出部２は、外部から入力されたコマ落とし映像信号ＬＦと入力映像信号ＩＭから、マクロブロック毎に、そのマクロブロックにおける相対動きベクトル量ＭＶを算出する。なお、相対動きベクトル量ＭＶとは、動きベクトル量の背景の動きベクトル量に対する相対値である。また、動きベクトル量とは、被写体の動きの大きさをベクトル量で表したものである。
【００４３】
図４は、相対動きベクトル量算出部２の構成を示すブロック図である。図４に示すように、相対動きベクトル量算出部２は、動きベクトル量算出部２１と動きベクトル量変換部２２から構成されている。
【００４４】
動きベクトル量算出部２１は、コマ落とし映像信号作成部１から入力されたコマ落とし映像信号ＬＦと、外部から入力された入力映像信号ＩＭとの各映像コマを、マクロブロックと呼ばれるｍｂ×ｎｂ画素（ｍ，ｎは正の定数）の矩形領域に分割し、マクロブロック毎に、動きベクトル量を算出する。具体的には、例えば、ブロックマッチング法を用いて、ｍｂ×ｍｂ画素の矩形領域に分割されたマクロブロック毎に、動きベクトル量を算出する。動きベクトル量算出部２１で算出された各マクロブロックの動きベクトル量は、動きベクトル量変換部２２へ出力される。
【００４５】
動きベクトル量変換部２２は、動きベクトル量算出部２１で算出された動きベクトル量と背景の動きベクトル量を比較して、動きベクトル量を相対動きベクトル量ＭＶに変換する。動きベクトル量変換部２２で求められた相対動きベクトル量ＭＶは、誘目領域検出部３へ出力される。
【００４６】
なお、背景の動きベクトル量を求める方法としては、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐｐ．９９４−９５２、１９９３，上倉一人 他）に開示されている方法を用いることができる。
【００４７】
また、背景の動きベクトル量は、カメラの動き情報やズーム情報等のメタデータを用いて求めることもできる。このような方法は、例えば、文献（「Ａ Ｈｉｇｈ‐Ｐｒｅｃｉｓｉｏｎ Ｃａｍｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｒｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｉｎｆｅｒｒｉｎｇ」ＩＥＥＥ Ｔｒａｎｓａｃａｔｉｏｎ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ、Ｖｏｌ．４７、Ｎｏ．１、ｐｐ．４６−５５、２００１）に開示されている。
【００４８】
図１に戻って説明を続けると、誘目領域検出部３は、相対動きベクトル量算出部２で求められた各マクロブロックの相対動きベクトル量ＭＶを基に、各映像コマにおける誘目領域を検出する。具体的には、各マクロブロックの相対動きベクトル量ＭＶを予め設定した閾値と比較して、相対動きベクトル量ＭＶが前記閾値を超えるマクロブロックを誘目マクロブロックとする。本実施の形態では、複数の誘目マクロブロックから構成される映像領域を、その映像コマにおける誘目領域としている。誘目領域が検出されると、各誘目マクロブロックの相対動きベクトル量ＭＶから、誘目領域における相対動きベクトル量ＭＶの平均値を算出する。誘目領域検出部３で求められた誘目領域における相対動きベクトル量ＭＶの平均値は制御情報作成部４へ出力される。
【００４９】
なお、本実施の形態では、複数の誘目マクロブロックから構成される映像領域をその映像コマにおける誘目領域としたが、複数の誘目マクロブロックに対して、水平および垂直方向の座標の最小値（Ｘｍｉｎ，Ｙｍｉｎ）と最大値（Ｘｍａｘ，Ｙｍｉｎ）を検出し、これらの座標で囲まれる四角領域（背景も含まれる領域）を、その映像コマにおける誘目領域とすることもできる。あるいは、その映像コマにおける背景以外の部分（被写体を含む部分）検出し、検出された部分をその映像コマにおける誘目領域とすることもできる。
【００５０】
制御情報作成部４は、誘目領域検出部３で求められた各誘目領域における相対動きベクトル量ＭＶの平均値を、相対動きベクトル量ＭＶの平均値のカット全体における平均と分散から決定される閾値と比較し、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔（抽出間隔）を示す制御情報ＳＣを作成する。制御情報ＳＣは、具体的には、入力映像信号ＩＭから抽出する映像コマのコマ番号と、その抽出間隔を示す制御信号とからなる。
【００５１】
なお、本実施の形態では、制御信号は、目標コマ数情報ＴＦに基づいた間隔で抽出する場合は“０”、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔で抽出する場合は“１”、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔で抽出する場合は“２”と設定している。なお、ここでいう「目標コマ数情報ＴＦに基づいた間隔」とは、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００５２】
図５は、制御情報作成部４の構成を示すブロック図である。図５に示すように、制御情報作成部４は、平均・分散算出部４１と、抽出映像コマ判定部４２と、制御情報記憶部４３とから構成されている。
【００５３】
平均・分散算出部４１は、誘目領域検出部３で求められた各誘目領域における相対動きベクトル量ＭＶの平均値から、そのカットにおける相対動きベクトル量ＭＶの平均Ａｖｅｉ（ｉ＝Ｈ（水平），Ｖ（垂直））と、分散σｉ２（ｉ＝Ｈ（水平），Ｖ（垂直））を算出する。
【００５４】
抽出映像コマ判定部４２は、平均・分散算出部４１で算出された平均Ａｖｅｉおよび分散σｉ２を、予め設定した基準値Ａｖｅ０および基準値σ０と比較して、入力映像信号ＩＭから抽出する映像コマとその抽出間隔を判定する。判定結果としては、入力映像信号ＩＭから抽出する映像コマと、抽出間隔を示す制御信号とからなる制御情報ＳＣが得られる。ここでは、入力映像信号ＩＭから映像コマを抽出する間隔は、映像コマ群毎に異なるので、その映像コマ群における先頭のコマ番号と最後尾のコマ番号と、その映像コマ群における抽出間隔を示す制御信号を制御情報ＳＣとしている。なお、映像コマ群とは、映像コマがあるコマ数連続しているものである。
【００５５】
抽出映像コマ判定部４２で求められた制御情報ＳＣは制御情報記憶部４３に記憶され、後記する低コマ数映像信号作成部５から入力されるタイミング情報ＴＭに基づいて、低コマ数映像信号作成部５へ出力される。
【００５６】
以下、抽出映像コマ判定部４２の一実施例について図６、図７及び図８に示すフローチャートを参照して説明する。図６は、抽出映像コマ判定部４２の一実施例を説明するためのフローチャートである。また、図７は、図６のフローチャートにおけるＳ８以降を説明するためのフローチャート、図８は、図６のフローチャートにおけるＳ９以降を説明するためのフローチャートである。
【００５７】
図６のフローチャートを参照して説明すると、まず、水平方向の平均ＡｖｅＨと基準値Ａｖｅ０、および、垂直方向の平均ＡｖｅＶと基準値Ａｖｅ０をそれぞれ比較する（Ｓ１）。
【００５８】
ＡｖｅＨ≦Ａｖｅ０、かつ、ＡｖｅＶ≦Ａｖｅ０の場合は、そのカットの先頭のコマ番号と制御信号０を制御情報記憶部４３に記憶させる（Ｓ２）。
【００５９】
ＡｖｅＨ＞Ａｖｅ０、または、ＡｖｅＶ＞Ａｖｅ０の場合は、Ａｖｅｉ＞Ａｖｅ０となるｉについて、Ａｖｅｉ＋ｃ・σｉ（ｃは正の定数）より大きな平均値（各誘目領域における相対動きベクトル量ＭＶの平均値）が、予め設定したコマ数以上連続する数をＰｉ、そのときの連続するコマ数をｐｉｋ（ｋは識別番号、１からＰｉまでの整数）とする。また、Ａｖｅｉ＞Ａｖｅ０となるｉについて、Ａｖｅｉ−ｃ´σｉ（ｃ´は正の定数）より小さな平均値（各誘目領域における相対動きベクトル量ＭＶの平均値）が予め設定したコマ数以上連続する数をＱｉ、そのとき連続するコマ数をｑｉｋ（ｋは識別番号、１からＱｉまでの整数）とする（Ｓ３）。
【００６０】
次に、ΣＰｉとΣＱｉとを調べ（Ｓ４）、ΣＰｉ＝０、または、ΣＱｉ＝０の場合は、そのカットの先頭のコマ番号と制御信号０を制御情報記憶部４３に記憶させる（Ｓ５）。
【００６１】
ΣＰｉ≧１、かつ、ΣＱｉ≧１の場合は、ｆＨ＝Ｍｉｎ（ΣｐＨｋ，ΣｑＨｋ）、および、ｆＶ＝Ｍｉｎ（ΣｐＶｋ，ΣｑＶｋ）を調べる（Ｓ６）。つまり、ΣｐＨｋとΣｑＨｋとを比較して、小さい方をｆＨとする。また、ΣｐＶｋとΣｑＶｋとを比較し、小さい方をｆＶとする。
【００６２】
そして、ｆＨとｆＶとを比較して、大きい方をｆｉ´として選択する（Ｓ７）。なお、ｆＨとｆＶとが同じ値の場合は、ｆＨを選択する。そして、その映像コマ群における先頭のコマ番号と、ｐｉ´ｋまたはｑｉ´ｋに対応する制御信号とを、対にして制御情報記憶部４３に記憶させる。また、その映像コマ群における「最後尾のコマ番号＋１／ｒ」と、制御信号０とを対にして制御情報記憶部４３に記憶させる（Ｓ８、Ｓ９）。なお、制御信号は、ｐｉ´ｋに対しては、制御信号１を割り当て、ｑｉ´ｋに対しては制御信号２を割り当てる。
【００６３】
図７のフローチャートを参照して、Ｓ８の次は、Ｍａｘｑｉ´ｋを満たすｋ´に関して、条件ｆｉ´−ｑｉ´ｋ´＞０を調べる（Ｓ８１）。この条件が成立している場合は、該当するｋ´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部４３に記憶させる。また、「最後尾の番号＋１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させる（Ｓ８２）。そして、この条件が成立していない場合は、次のステップＳ８４へ進む。
【００６４】
条件ｆｉ´−ｑｉ´ｋ´＞０が成立している場合は、ｋ´を除去してから、Ｍａｘｑｉ´ｋを満たすｋ´´に関して、条件（ｆｉ´−ｑｉ´ｋ´）−ｑｉ´ｋ´´＞０を調べ、この条件が成立しなくなるまで続ける（Ｓ８３）。そして、この条件が成立しなくなると、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部４３に記憶させる。また、「先頭のコマ番号＋（ｆｉ´−ｑｉ´ｋ）×１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させて（Ｓ８４）、処理を終了する。
【００６５】
図８のフローチャートを参照して、Ｓ９の次は、Ｍａｘｐｉ´ｋを満たすｋ´に関して、条件ｆｉ´−ｐｉ´ｋ´＞０を調べる（Ｓ９１）。この条件が成立している場合は、該当するｋ´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部４３に記憶させる。また、「最後尾の番号＋１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させる（Ｓ９２）。そして、この条件が成立していない場合は、次のステップＳ９４へ進む。
【００６６】
条件ｆｉ´−ｐｉ´ｋ´＞０が成立している場合は、ｋ´を除去してから、Ｍａｘｐｉ´ｋを満たすｋ´´に関して、条件（ｆｉ´−ｐｉ´ｋ´）−ｐｉ´ｋ´´＞０を調べ、この条件が成立しなくなるまで続ける（Ｓ９３）。そして、この条件が成立しなくなると、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部４３に記憶させる。また、「先頭のコマ番号＋（ｆｉ´−ｐｉ´ｋ）×１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させて（Ｓ９４）、処理を終了する。
【００６７】
そして、全てのステップが終了すると、Ｓ７で選択したｆｉ´と逆のｆｉ´´について、Ｓ７以降の手順を繰り返す。つまり、Ｓ７でｆＨが選択された場合は、ｆＶについてＳ７以降の手順を繰り返す。また、Ｓ７でｆＶが選択された場合は、ｆＨについてＳ７以降の手順を繰り返す。
【００６８】
図１に戻って説明を続けると、低コマ数映像信号作成部５は、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦと、制御情報作成部４から入力される制御情報ＳＣとに基づいて、カット毎に、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔、目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔よりも短い間隔および目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔よりも長い間隔のいずれかの間隔で抽出して低コマ数映像信号ＬＭを作成する。なお、低コマ数映像信号ＬＭとは、入力映像信号ＩＭの映像コマ数を目標コマ数情報ＴＦに基づいて削減した映像信号のことである。
【００６９】
図９は、低コマ数映像信号作成部５の構成を示すブロック図である。図９に示すように、低コマ数映像信号作成部５は、第１の映像遅延部５１と、第２の映像遅延部５２と、コマ落とし部５３とからなる。
【００７０】
第１の映像遅延部５１は、新たなカット情報ＣＩが入力されるまで、現在の入力映像信号ＩＭを遅延させる。
【００７１】
第２の映像遅延部５２は、制御情報作成部４が制御情報ＳＣを作成するまで、現在の入力映像信号ＩＭを遅延させ、必要に応じて、タイミング情報ＴＭを制御情報作成部４の制御情報記憶部４３に出力する。なお、タイミング情報ＴＭとは、制御情報記憶部４３が制御情報ＳＣを出力するタイミングを示す情報である。
【００７２】
コマ落とし部５３は、制御情報記憶部４３から入力された制御情報ＳＣに基づいて、入力映像信号ＩＭから映像コマを抽出して低コマ数映像信号ＬＭを作成する。具体的には、制御信号に示されている抽出間隔に基づいて、映像コマ群毎に映像コマを抽出して、低コマ数映像信号ＬＭを作成する。
【００７３】
次に、コマ落とし部５３の一実施例について図１０および図１１を参照して説明する。図１０は、制御情報作成部４の制御情報記憶部４３に記憶された制御情報ＳＣの一例を示す表である。また、図１１は、コマ落とし部５３が図１０に示す制御情報ＳＣに基づいて作成した低コマ数映像信号ＬＭを説明するための説明図である。
【００７４】
図１０に示す制御情報ＳＣに基づいて、入力映像信号ＩＭから低コマ数映像信号ＬＭを作成する際は、図１１に示すように、先頭のコマ番号が１８０、最後尾のコマ番号が２２０である映像コマ群では、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔（ｒ＝０．５）で映像コマを抽出する。また、先頭のコマ番号が４２０、最後尾のコマ番号が４６０である映像コマ群では、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔（ｒ＝０．１２５）で映像コマを抽出する。そして、その他の部分では、目標コマ数情報ＴＦに基づいた間隔（ｒ＝０．２５）で抽出する。なお、「目標コマ数情報ＴＦに基づいた間隔」とは、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００７５】
低コマ数映像信号作成部５で作成された低コマ数映像信号ＬＭは、フラグ情報ＦＩと共に、表示部６に多重して出力される。なお、フラグ情報ＦＩとは、映像コマをホールドするコマ数を示す情報である。
【００７６】
図１２は表示部６の構成を示すブロック図である。図１２に示すように、表示部６は、分離部６１とコマホールド部６２から構成されている。
【００７７】
分離部６１は、低コマ数映像信号作成部５から多重されて入力される低コマ数映像信号ＬＭとフラグ情報ＦＩを分離する。低コマ数映像信号作成部５で分離された低コマ数映像信号ＬＭとフラグ情報ＦＩは、コマホールド部６２へ出力される。
【００７８】
コマホールド部６２は、フラグ情報ＦＩに基づいて、低コマ数映像信号ＬＭの映像コマをホールドする。なお、本実施の形態では、映像コマをホールドするコマ数は、フラグ情報が０の場合は１／ｒコマ、フラグ情報が１の場合は１／２ｒコマ、フラグ情報が２の場合は２／ｒコマと設定している。
【００７９】
（映像コマ数削減装置の動作）
次に、図１３に示す映像コマ数削減装置の動作を示すフローチャートを参照して映像コマ数削減装置の動作を説明する。なお、以下の説明では、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、目標フレームレートがｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）である場合を想定している。
【００８０】
まず、コマ落とし映像信号作成部１では、コマ落とし部１１で、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから（１／ｒ）コマ毎に映像コマを抽出する（Ｓ１１）。そして、映像遅延部１２で、抽出された映像コマを（１／ｒ）コマ遅延させ、フレームレートがｒｎ［コマ／秒］のコマ落とし映像信号ＬＦを作成する（Ｓ１２）。作成されたコマ落とし映像信号ＬＦは、相対動きベクトル量算出部２へ出力される。
【００８１】
続いて、相対動きベクトル量算出部２では、動きベクトル量算出部２１で、コマ落とし映像信号作成部１から入力されたコマ落とし映像信号ＬＦと、外部から入力された入力映像信号ＩＭとの各映像コマを、マクロブロックと呼ばれるｍｂ×ｎｂ画素（ｍ，ｎは正の定数）の矩形領域に分割し、マクロブロック毎に、動きベクトル量を算出する（Ｓ１３）。そして、動きベクトル量変換部２２で、動きベクトル量算出部２１で算出された動きベクトル量と、背景の動きベクトル量とを比較して、動きベクトル量を相対動きベクトル量ＭＶに変換する（Ｓ１４）。相対動きベクトル量算出部２で求められた相対動きベクトル量ＭＶは、誘目領域検出部３へ出力される。
【００８２】
次に、誘目領域検出部３では、相対動きベクトル量算出部２で求められた相対動きベクトル量ＭＶを基に、各映像コマにおける誘目領域を検出する（Ｓ１５）。そして、誘目領域が検出されると、各誘目マクロブロックの相対動きベクトル量ＭＶから、各映像コマにおける相対動きベクトル量ＭＶの平均値を算出する（Ｓ１６）。誘目領域検出部３で求められた各映像コマにおける相対動きベクトル量ＭＶの平均値は、制御情報作成部４へ出力される。
【００８３】
そして、制御情報作成部４では、平均・分散算出部４１で、誘目領域検出部３で求められた各映像コマにおける相対動きベクトル量ＭＶの平均値から、カット全体における相対動きベクトル量ＭＶの平均Ａｖｅｉ（ｉ＝Ｈ（水平），Ｖ（垂直））と、分散σｉ２（ｉ＝Ｈ（水平），Ｖ（垂直））を算出する（Ｓ１７）。そして、抽出映像コマ判定部４２で、平均・分散算出部４１で算出された平均Ａｖｅｉおよび分散σｉ２を、予め設定した基準値Ａｖｅ０および基準値σ０と比較して、入力映像信号ＩＭから抽出する映像コマと、その抽出間隔を判定する（Ｓ１８）。判定結果としては、入力映像信号ＩＭから抽出する映像コマと、抽出間隔を示す制御信号とからなる制御情報ＳＣが得られる。抽出映像コマ判定部４２で求められた制御情報ＳＣは制御情報記憶部４３に記憶される（Ｓ１９）。
【００８４】
低コマ数映像信号作成部５では、第１の映像遅延部５１は、新たなカット情報ＣＩが入力されるまで、現在の入力映像信号ＩＭを遅延させる（Ｓ２０）。また、第２の映像遅延部５２は、制御情報作成部４で制御情報ＳＣが作成されるまで、現在の入力映像信号ＩＭを遅延させ、必要に応じて、タイミング情報ＴＭを制御情報作成部４の制御情報記憶部４３へ出力する（Ｓ２１）。そして、第２の映像遅延部５２からタイミング情報ＴＭが出力されると、制御情報記憶部４３に記憶されている制御情報ＳＣが低コマ数映像信号作成部５のコマ落とし部５３へ入力される（Ｓ２２）。
【００８５】
そして、コマ落とし部５３では、制御情報記憶部４３から入力された制御情報ＳＣに基づいて、入力映像信号ＩＭから映像コマを抽出して低コマ数映像信号ＬＭを作成する（Ｓ２３）。具体的には、制御情報に示された映像コマを制御情報に示された間隔で抽出して、低コマ数映像信号ＬＭを作成する。低コマ数映像信号作成部５で作成された低コマ数映像信号ＬＭは、フラグ情報ＦＩと共に、表示部６に多重して出力される（Ｓ２４）。
【００８６】
以上説明したように、本発明に係る映像コマ数削減装置および映像コマ数削減方法によれば、カット毎に、被写体の動きの大きい映像コマ群では、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔で抽出し、被写体の動きの小さい映像コマ群では、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔で抽出することができる。
【００８７】
以上、本発明の実施の形態について説明したが、本発明はこのような実施例にのみ限定されるものではなく、本発明の技術的思想に基づく限りにおいて、種々の変形が可能である。
【００８８】
例えば、本実施の形態では、相対動きベクトル量算出部２で相対動きベクトル量ＭＶを算出した後、誘目領域検出部３で相対動きベクトル量ＭＶを利用して誘目領域を検出したが、相対動きベクトル量算出部２の動きベクトル量算出部２１で算出された動きベクトル量と、その映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が、予め設定した閾値も超えるマクロブロックから構成される領域を各映像コマにおける誘目領域として検出するように構成することもできる。
【００８９】
その場合は、その誘目領域を構成するマクロブロックの各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出して制御情報作成部４に入力する。そして、制御情報作成部４では、誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号ＩＭから抽出する映像コマおよびその抽出抽出間隔を示す制御情報ＳＣを作成する。
【００９０】
なお、グローバルベクトル量とは、その抽出映像コマにおいて所定の手順で検出（算出）される。グローバルベクトル量を算出する方法には、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐｐ．９９４−９５２、１９９３，上倉一人 他）に提案されている手法を利用することができる。また、グローバルベクトル量としては、各抽出映像コマにおける動きベクトル量の大きさの平均値を利用することもできるし、抽出映像コマにおいて最も多く検出された動きベクトル量の大きさを利用することもできる。
【００９１】
【発明の効果】
請求項１および請求項６に記載された発明によれば、誘目領域における相対動きベクトル量の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成し、この制御情報に基づいて低コマ数映像信号を作成するので、映像コマ数を削減する際に動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減させることができる。
【００９２】
また、請求項２および請求項７に記載された発明によれば、各マクロブロックの相対動きベクトル量を予め設定した閾値と比較し、相対動きベクトル量が閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出するので、誘目領域を容易にかつ精度良く検出することができる。したがって、精度の高い制御情報を作成することができる。
【００９３】
また、請求項３および請求項８に記載された発明によれば、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成するので、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。したがって、精度の高い制御情報を作成することができる。
【００９４】
また、請求項４および請求項９に記載された発明によれば、誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出間隔を示す制御情報を作成し、この制御情報に基づいて低コマ数映像信号を作成するので、映像コマ数を削減する際に動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減させることができる。
【００９５】
また、請求項５および請求項１０に記載された発明によれば、動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成するので、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。したがって、精度の高い制御情報を作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像コマ数削減装置の全体構成を示すブロック図である。
【図２】コマ落とし映像信号作成部１の構成を示すブロック図である。
【図３】コマ落とし映像信号作成部１に入力された入力映像信号ＩＭと、コマ落とし映像信号作成部１から出力されたコマ落とし映像信号ＬＦとの対応関係の一例を示すタイムチャートである。
【図４】相対動きベクトル量算出部２の構成を示すブロック図である。
【図５】制御情報出力部４の構成を示すブロック図である。
【図６】抽出映像コマ判定部４２の一実施例を説明するためのフローチャートである。
【図７】図６のフローチャートにおけるＳ８以降の手順を説明するためのフローチャートである。
【図８】図６のフローチャートにおけるＳ９以降の手順を説明するためのフローチャートである。
【図９】低コマ数映像信号作成部５の構成を示すブロック図である。
【図１０】制御情報作成部４の制御情報記憶部４３に記憶された制御情報ＳＣの一例を示す表である。
【図１１】コマ落とし部５３が図１０に示す制御情報ＳＣに基づいて作成した低コマ数映像信号ＬＭを説明するための説明図である。
【図１２】表示部６の構成を示すブロック図である。
【図１３】映像コマ数削減装置の動作を示すフローチャートである。
【符号の説明】
１ コマ落とし映像信号作成部
２ 動きベクトル量算出部
３ 誘目領域検出部
４ 制御情報作成部
５ 低コマ数映像信号作成部
ＣＩ カット情報
ＩＭ 入力映像信号
ＴＦ 目標コマ数情報
ＭＶ 相対動きベクトル量
ＳＣ 制御情報
ＬＦ コマ落とし映像信号
【発明の属する技術分野】
本発明は、映像コマ数削減装置および映像コマ数削減方法に関し、特に、一定のフレームレートで入力される複数の映像コマからなる映像信号の映像コマ数を削減するための映像コマ数削減装置および映像コマ数削減方法に関する。
【０００２】
【従来の技術】
近年、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯端末を対象に、小さな画面での映像提供サービスが実施されている。このような映像提供サービスでは、伝送路の帯域に制限があるため、映像を構成している映像コマを間引いて削減する、いわゆる「コマ落とし」が行われている。この「コマ落とし」には、（１）映像コマを単純に一定の間隔で間引く方法と、（２）被写体の動きが大きい映像コマはあまり間引かずに、被写体の動きが小さい映像コマを多く間引く方法と、（３）ＭＰＥＧ−４の符号化・復号化装置で発生したビット量がバッファの占有量の規定を超えると、フレームをスキップして可変フレームレート映像を作成する方法等がある。
【０００３】
（２）の方法としては、フレーム間の対応画素のレベル差が、予め設定した閾値を超える変化画素総数によってフレームレートを変化させて、可変フレームレートの映像を作成する方法がある。このような方法は、文献（「フレームレートの変化が映像品質に及ぼす影響」電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ７９−Ａ、Ｎｏ．４、ｐｐ．９９１−１０００、１９９６，林孝典 他）に開示されている。
【０００４】
また、（３）の方法は、例えば、文献（ＭＰＥＧ−４ ＶＭ ソフトウェア、Ｅｕｒｏｐｅａｎ ＡＣＴＳ ｐｒｏｊｅｃｔ ＭｏＭｕＳｙｓ）に開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、（１）の映像コマを単純に一定の間隔で間引く方法や、（３）のＭＰＥＧ−４の符号化・復号化装置で発生したビット量がバッファの占有量の規定を超えると、フレームをスキップして可変フレームレート映像を製作する方法では、コマ落としした映像を一定のフレームレートで表示する際に同一の映像コマを繰り返す部分が生じるため、各映像コマ間における被写体の移動量が大きくなり、映像内容の連続性が喪失するという問題があった。
【０００６】
また、（２）のフレーム間の対応画素のレベル差が、予め設定した閾値を超える変化画素総数によってフレームレートを変化させて、可変フレームレートの映像を作成する方法では、その映像コマに含まれる被写体の動きの大きさについては考慮していないため、被写体の動きが複雑である場合は、映像内容の連続性が喪失するという問題があった。
【０００７】
そこで、本発明は、前記した従来の技術が有する課題を解消し、一定のフレームレートで入力される複数の映像コマからなる映像信号の映像コマ数を削減した際に、動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減することができる映像コマ数削減装置および映像コマ数削減方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の映像コマ数削減装置は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを削減するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する相対動きベクトル量算出部と、前記相対動きベクトル量を基に、前記抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する誘目領域検出部と、前記相対動きベクトル量の平均値を基に前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部とを備えて構成されることを特徴とする。
【０００９】
請求項１に記載の映像コマ数削減装置によれば、まず、映像コマ抽出部では、外部から入力されたカット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、相対動きベクトル量算出部では、映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する。次に、誘目領域検出部では、相対動きベクトル量算出部で算出された相対動きベクトル量を基に、抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する。次に、制御情報作成部では、相対動きベクトル量の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成部では、外部から入力されたカット情報および目標コマ数情報と、制御情報作成部から入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００１０】
なお、「カット情報」とは、一台のカメラでいったん写し始めてから写し終わるまでの一場面を“カット”と定義した際の、入力映像信号の映像におけるカットの切り替わりを示す情報である。
【００１１】
また、「目標コマ数情報」とは、入力映像信号から映像コマを抽出するコマ数を示す情報である。例えば、入力映像信号のフレームレートがｎ［コマ／秒］で、入力映像信号から映像コマを抽出して作成する低コマ数映像信号のフレームレートをｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）としたい場合は、入力映像信号から映像コマを抽出する間隔を示す係数であるｒが目標コマ数情報となる。
【００１２】
また、「動きベクトル量」とは、被写体の動き量をベクトル量で表したものである。例えば、被写体が動いていないところでは、ベクトル量は“０”に近づき、被写体が動いていればどの程度動いたかを“動き量”として表す。この動き量”は、被写体の動きが激しくなればなるほど“大きくなる。また、「相対動きベクトル量」とは、背景の動きベクトル量に対する相対値である。
【００１３】
そして、「制御情報」とは、入力映像信号から抽出する映像コマと、その抽出する間隔を示す情報である。本発明では、入力映像信号から映像コマを抽出する間隔は、映像コマ群毎に異なるので、その映像コマ群における先頭および最後尾のコマ番号と、その映像コマ群における抽出間隔を示す制御信号とを制御情報としている。なお、映像コマ群とは、映像コマがあるコマ数で連続しているものである。
【００１４】
また、請求項２に記載の映像コマ数削減装置は、請求項１に記載された映像コマ数削減装置において、前記誘目領域検出部は、前記相対動きベクトル量を予め設定した閾値と比較し、前記相対動きベクトル量が前記閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出することを特徴とする。
【００１５】
請求項２に記載の映像コマ数削減装置によれば、誘目領域検出部では、各マクロブロックの相対動きベクトル量を予め設定した閾値と比較し、相対動きベクトル量が閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出する。このように構成することにより、誘目領域を容易にかつ精度良く検出することができる。
【００１６】
また、請求項３に記載の映像コマ数削減装置は、請求項１または請求項２に記載された映像コマ数削減装置において、前記制御情報作成部は、前記相対動きベクトル量の平均値を、前記相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、前記相対動きベクトル量の平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記相対動きベクトル量の平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００１７】
請求項３に記載の映像コマ数削減装置によれば、制御情報作成部では、相対動きベクトル量の平均値を、相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、相対動きベクトル量の平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、相対動きベクトル量の平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このように構成すると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。なお、ここでいう、「目標コマ数情報に基づいて一定の間隔で抽出する際の間隔」とは、入力映像信号から映像コマを、目標コマ数情報に示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００１８】
また、請求項４に記載の映像コマ数削減装置は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを削減するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、前記動きベクトル量とその抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する誘目領域検出部と、前記動きベクトル量とグローバルベクトル量との差の平均値を基に前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部とを備えて構成されることを特徴とする。
【００１９】
請求項４に記載の映像コマ数削減装置によれば、まず、映像コマ抽出部では、外部から入力されたカット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、動きベクトル量算出部では、映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量を算出する。次に、誘目領域検出部では、動きベクトル量算出部で算出された動きベクトル量と、その抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する。次に、制御情報作成部では、誘目領域検出部で検出された誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成部では、外部から入力されたカット情報および目標コマ数情報と、制御情報作成部から入力された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００２０】
また、請求項５に記載の映像コマ数削減装置は、請求項５に記載された映像コマ数削減装置において、前記制御情報作成部は、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００２１】
請求項５に記載の映像コマ数削減装置によれば、制御情報作成部では、動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出する。このように構成すると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２２】
請求項６に記載の映像コマ数削減方法は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する相対動きベクトル量算出ステップと、前記相対動きベクトル量を基に、前記抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する誘目領域検出ステップと、前記相対動きベクトル量の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップとを含むことを特徴とする。
【００２３】
請求項６に記載の映像コマ数削減方法によれば、まず、映像コマ抽出ステップでは、カット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、相対動きベクトル量算出ステップでは、映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する。次に、誘目領域検出ステップでは、相対動きベクトル量算出ステップで算出された相対動きベクトル量を基に、抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する。次に、制御情報作成ステップでは、誘目領域検出ステップで検出された誘目領域における相対動きベクトル量の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成ステップでは、カット情報および目標コマ数情報と、制御情報作成ステップで作成された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００２４】
また、請求項７に記載の映像コマ数削減方法は、請求項６に記載された映像コマ数削減方法において、前記誘目領域検出ステップは、前記相対動きベクトル量を予め設定した閾値と比較し、前記相対動きベクトル量が前記閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出することを特徴とする。
【００２５】
請求項７に記載の映像コマ数削減方法によれば、誘目領域検出ステップでは、各マクロブロックの相対動きベクトル量を予め設定した閾値と比較し、相対動きベクトル量が閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出する。このようにすると、誘目領域を容易にかつ精度良く検出することができる。
【００２６】
また、請求項８に記載の映像コマ数削減方法は、請求項６または請求項７に記載された映像コマ数削減方法において、前記制御情報作成ステップは、前記相対動きベクトル量の平均値を、前記相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、前記相対動きベクトル量の平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記相対動きベクトル量の平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００２７】
請求項８に記載の映像コマ数削減方法によれば、制御情報作成ステップでは、相対動きベクトル量の平均値を、相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、相対動きベクトル量の平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、相対動きベクトル量の平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このようにすると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００２８】
また、請求項９に記載の映像コマ数削減方法は、一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、前記動きベクトル量とその抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する誘目領域検出ステップと、前記動きベクトル量とグローバルベクトル量との差の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップとを含むことを特徴とする。
【００２９】
請求項９に記載の映像コマ数削減方法によれば、まず、映像コマ抽出ステップでは、カット情報および目標コマ数情報に基づいて、カット毎に、入力映像信号から映像コマを一定の間隔で抽出して抽出映像コマとする。続いて、動きベクトル量算出ステップでは、映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、マクロブロック毎に、そのマクロブロックにおける動きベクトル量を算出する。次に、誘目領域検出ステップでは、動きベクトル量算出ステップで算出された動きベクトル量と、その抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する。次に、制御情報作成ステップでは、誘目領域検出部で検出された誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する。そして、低コマ数映像信号作成ステップでは、カット情報および目標コマ数情報と、制御情報作成ステップで作成された制御情報とに基づいて、カット毎に、入力映像信号から制御情報に示された映像コマを制御情報に示された間隔で抽出して、入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する。
【００３０】
また、請求項１０に記載の映像コマ数削減方法は、請求項９に記載された映像コマ数削減方法において、前記制御情報作成ステップは、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする。
【００３１】
請求項１０に記載の映像コマ数削減方法によれば、制御情報作成ステップでは、動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成する。このようにすると、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。
【００３２】
【発明の実施の形態】
以下、本発明の一実施の形態を、適宜図面を参照して説明する。本発明に係る映像コマ数削減装置および映像コマ数削減方法は、各映像コマの誘目領域に注目することにより、入力映像信号から映像コマ数を削減した際に動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減させたことを特徴とする。なお、ここでいう「誘目領域」とは、その映像コマにおける動きの大きい領域、すなわち目を誘う領域である。ここでは、背景とは異なる部分の映像領域すなわち被写体が含まれる部分の映像領域を誘目領域とした。
【００３３】
（映像コマ数削減装置の構成）
図１は、本発明の一実施の形態に係る映像コマ数削減装置の全体構成を示すブロック図である。以下、本実施の形態に係る映像コマ数削減装置の構成を説明する。
【００３４】
図１に示すように、映像コマ数削減装置は、コマ落とし映像信号作成部１と、相対動きベクトル量算出部２と、誘目領域検出部３と、制御情報作成部４と、低コマ数映像信号作成部５とを備えて構成されている。コマ落とし映像信号作成部１と低コマ数映像信号作成部５には、カット情報ＣＩ、入力映像信号ＩＭおよび目標コマ数情報ＴＦが入力され、相対動きベクトル量算出部２には、入力映像信号ＩＭが入力される。
【００３５】
コマ落とし映像信号作成部１は、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから映像コマを一定の間隔で抽出したコマ落とし映像信号ＬＦを作成する。このコマ落とし映像信号作成部１は、特許請求の範囲における「映像コマ抽出部」に相当する。なお、カット情報ＣＩとは、一台のカメラでいったん写し始めてから写し終わるまでの一場面を「カット」と定義した際の、入力映像信号の映像におけるカットの切り替わりを示す情報である。また、目標コマ数情報ＴＦとは、入力映像信号ＩＭから映像コマを抽出するコマ数を示す情報である。
【００３６】
図２は、コマ落とし映像信号作成部１の構成を示すブロック図である。図２に示すように、コマ落とし映像信号作成部１は、コマ落とし部１１と映像遅延部１２から構成されている。
【００３７】
コマ落とし部１１は、カット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから映像コマを一定の間隔で抽出する。コマ落とし部１１で抽出された映像コマは、図示しない記憶部に記憶される。
【００３８】
映像遅延部１２は、目標コマ数情報ＴＦに基づいて、コマ落とし部１１で抽出された映像コマを遅延させ、一定のフレームレートのコマ落とし映像信号ＬＦを作成する。映像遅延部１２で作成されたコマ落とし映像信号ＬＦは、相対動きベクトル量算出部２へ出力される。なお、このコマ落とし映像信号ＬＦは、特許請求の範囲における「抽出映像コマ」に相当する。
【００３９】
例えば、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、入力映像信号ＩＭから映像コマを削減した後の目標フレームレートがｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）である場合は、コマ落とし部１１は、入力映像信号ＩＭから（１／ｒ）コマ毎に映像コマを抽出する。そして、映像遅延部１２は、コマ落とし部１１で映像コマを（１／ｒ）コマ遅延させ、フレームレートがｒｎ［コマ／秒］のコマ落とし映像信号ＬＦを作成する。
【００４０】
図３は、コマ落とし映像信号作成部１に入力された入力映像信号ＩＭと、コマ落とし映像信号作成部１から出力されたコマ落とし映像信号ＬＦとの対応関係の一例を示すタイムチャートである。図３では、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、コマ落とし映像信号ＬＦの目標フレームレートが０．２５ｎ［コマ／秒］である場合を示している。
【００４１】
図３に示すように、目標フレームレートが０．２５ｎである場合は、映像コマは４コマ毎に抽出されている。そして、抽出された映像コマは、４コマ遅延させて出力されている。
【００４２】
図１に戻って説明を続けると、相対動きベクトル量算出部２は、外部から入力されたコマ落とし映像信号ＬＦと入力映像信号ＩＭから、マクロブロック毎に、そのマクロブロックにおける相対動きベクトル量ＭＶを算出する。なお、相対動きベクトル量ＭＶとは、動きベクトル量の背景の動きベクトル量に対する相対値である。また、動きベクトル量とは、被写体の動きの大きさをベクトル量で表したものである。
【００４３】
図４は、相対動きベクトル量算出部２の構成を示すブロック図である。図４に示すように、相対動きベクトル量算出部２は、動きベクトル量算出部２１と動きベクトル量変換部２２から構成されている。
【００４４】
動きベクトル量算出部２１は、コマ落とし映像信号作成部１から入力されたコマ落とし映像信号ＬＦと、外部から入力された入力映像信号ＩＭとの各映像コマを、マクロブロックと呼ばれるｍｂ×ｎｂ画素（ｍ，ｎは正の定数）の矩形領域に分割し、マクロブロック毎に、動きベクトル量を算出する。具体的には、例えば、ブロックマッチング法を用いて、ｍｂ×ｍｂ画素の矩形領域に分割されたマクロブロック毎に、動きベクトル量を算出する。動きベクトル量算出部２１で算出された各マクロブロックの動きベクトル量は、動きベクトル量変換部２２へ出力される。
【００４５】
動きベクトル量変換部２２は、動きベクトル量算出部２１で算出された動きベクトル量と背景の動きベクトル量を比較して、動きベクトル量を相対動きベクトル量ＭＶに変換する。動きベクトル量変換部２２で求められた相対動きベクトル量ＭＶは、誘目領域検出部３へ出力される。
【００４６】
なお、背景の動きベクトル量を求める方法としては、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐｐ．９９４−９５２、１９９３，上倉一人 他）に開示されている方法を用いることができる。
【００４７】
また、背景の動きベクトル量は、カメラの動き情報やズーム情報等のメタデータを用いて求めることもできる。このような方法は、例えば、文献（「Ａ Ｈｉｇｈ‐Ｐｒｅｃｉｓｉｏｎ Ｃａｍｅｒａ Ｏｐｅｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｒｉｃａｔｉｏｎ ｔｏ Ｉｍａｇｅ Ｍｏｔｉｏｎ Ｉｎｆｅｒｒｉｎｇ」ＩＥＥＥ Ｔｒａｎｓａｃａｔｉｏｎ ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ、Ｖｏｌ．４７、Ｎｏ．１、ｐｐ．４６−５５、２００１）に開示されている。
【００４８】
図１に戻って説明を続けると、誘目領域検出部３は、相対動きベクトル量算出部２で求められた各マクロブロックの相対動きベクトル量ＭＶを基に、各映像コマにおける誘目領域を検出する。具体的には、各マクロブロックの相対動きベクトル量ＭＶを予め設定した閾値と比較して、相対動きベクトル量ＭＶが前記閾値を超えるマクロブロックを誘目マクロブロックとする。本実施の形態では、複数の誘目マクロブロックから構成される映像領域を、その映像コマにおける誘目領域としている。誘目領域が検出されると、各誘目マクロブロックの相対動きベクトル量ＭＶから、誘目領域における相対動きベクトル量ＭＶの平均値を算出する。誘目領域検出部３で求められた誘目領域における相対動きベクトル量ＭＶの平均値は制御情報作成部４へ出力される。
【００４９】
なお、本実施の形態では、複数の誘目マクロブロックから構成される映像領域をその映像コマにおける誘目領域としたが、複数の誘目マクロブロックに対して、水平および垂直方向の座標の最小値（Ｘｍｉｎ，Ｙｍｉｎ）と最大値（Ｘｍａｘ，Ｙｍｉｎ）を検出し、これらの座標で囲まれる四角領域（背景も含まれる領域）を、その映像コマにおける誘目領域とすることもできる。あるいは、その映像コマにおける背景以外の部分（被写体を含む部分）検出し、検出された部分をその映像コマにおける誘目領域とすることもできる。
【００５０】
制御情報作成部４は、誘目領域検出部３で求められた各誘目領域における相対動きベクトル量ＭＶの平均値を、相対動きベクトル量ＭＶの平均値のカット全体における平均と分散から決定される閾値と比較し、入力映像信号ＩＭから抽出する映像コマおよびその抽出する間隔（抽出間隔）を示す制御情報ＳＣを作成する。制御情報ＳＣは、具体的には、入力映像信号ＩＭから抽出する映像コマのコマ番号と、その抽出間隔を示す制御信号とからなる。
【００５１】
なお、本実施の形態では、制御信号は、目標コマ数情報ＴＦに基づいた間隔で抽出する場合は“０”、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔で抽出する場合は“１”、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔で抽出する場合は“２”と設定している。なお、ここでいう「目標コマ数情報ＴＦに基づいた間隔」とは、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００５２】
図５は、制御情報作成部４の構成を示すブロック図である。図５に示すように、制御情報作成部４は、平均・分散算出部４１と、抽出映像コマ判定部４２と、制御情報記憶部４３とから構成されている。
【００５３】
平均・分散算出部４１は、誘目領域検出部３で求められた各誘目領域における相対動きベクトル量ＭＶの平均値から、そのカットにおける相対動きベクトル量ＭＶの平均Ａｖｅｉ（ｉ＝Ｈ（水平），Ｖ（垂直））と、分散σｉ２（ｉ＝Ｈ（水平），Ｖ（垂直））を算出する。
【００５４】
抽出映像コマ判定部４２は、平均・分散算出部４１で算出された平均Ａｖｅｉおよび分散σｉ２を、予め設定した基準値Ａｖｅ０および基準値σ０と比較して、入力映像信号ＩＭから抽出する映像コマとその抽出間隔を判定する。判定結果としては、入力映像信号ＩＭから抽出する映像コマと、抽出間隔を示す制御信号とからなる制御情報ＳＣが得られる。ここでは、入力映像信号ＩＭから映像コマを抽出する間隔は、映像コマ群毎に異なるので、その映像コマ群における先頭のコマ番号と最後尾のコマ番号と、その映像コマ群における抽出間隔を示す制御信号を制御情報ＳＣとしている。なお、映像コマ群とは、映像コマがあるコマ数連続しているものである。
【００５５】
抽出映像コマ判定部４２で求められた制御情報ＳＣは制御情報記憶部４３に記憶され、後記する低コマ数映像信号作成部５から入力されるタイミング情報ＴＭに基づいて、低コマ数映像信号作成部５へ出力される。
【００５６】
以下、抽出映像コマ判定部４２の一実施例について図６、図７及び図８に示すフローチャートを参照して説明する。図６は、抽出映像コマ判定部４２の一実施例を説明するためのフローチャートである。また、図７は、図６のフローチャートにおけるＳ８以降を説明するためのフローチャート、図８は、図６のフローチャートにおけるＳ９以降を説明するためのフローチャートである。
【００５７】
図６のフローチャートを参照して説明すると、まず、水平方向の平均ＡｖｅＨと基準値Ａｖｅ０、および、垂直方向の平均ＡｖｅＶと基準値Ａｖｅ０をそれぞれ比較する（Ｓ１）。
【００５８】
ＡｖｅＨ≦Ａｖｅ０、かつ、ＡｖｅＶ≦Ａｖｅ０の場合は、そのカットの先頭のコマ番号と制御信号０を制御情報記憶部４３に記憶させる（Ｓ２）。
【００５９】
ＡｖｅＨ＞Ａｖｅ０、または、ＡｖｅＶ＞Ａｖｅ０の場合は、Ａｖｅｉ＞Ａｖｅ０となるｉについて、Ａｖｅｉ＋ｃ・σｉ（ｃは正の定数）より大きな平均値（各誘目領域における相対動きベクトル量ＭＶの平均値）が、予め設定したコマ数以上連続する数をＰｉ、そのときの連続するコマ数をｐｉｋ（ｋは識別番号、１からＰｉまでの整数）とする。また、Ａｖｅｉ＞Ａｖｅ０となるｉについて、Ａｖｅｉ−ｃ´σｉ（ｃ´は正の定数）より小さな平均値（各誘目領域における相対動きベクトル量ＭＶの平均値）が予め設定したコマ数以上連続する数をＱｉ、そのとき連続するコマ数をｑｉｋ（ｋは識別番号、１からＱｉまでの整数）とする（Ｓ３）。
【００６０】
次に、ΣＰｉとΣＱｉとを調べ（Ｓ４）、ΣＰｉ＝０、または、ΣＱｉ＝０の場合は、そのカットの先頭のコマ番号と制御信号０を制御情報記憶部４３に記憶させる（Ｓ５）。
【００６１】
ΣＰｉ≧１、かつ、ΣＱｉ≧１の場合は、ｆＨ＝Ｍｉｎ（ΣｐＨｋ，ΣｑＨｋ）、および、ｆＶ＝Ｍｉｎ（ΣｐＶｋ，ΣｑＶｋ）を調べる（Ｓ６）。つまり、ΣｐＨｋとΣｑＨｋとを比較して、小さい方をｆＨとする。また、ΣｐＶｋとΣｑＶｋとを比較し、小さい方をｆＶとする。
【００６２】
そして、ｆＨとｆＶとを比較して、大きい方をｆｉ´として選択する（Ｓ７）。なお、ｆＨとｆＶとが同じ値の場合は、ｆＨを選択する。そして、その映像コマ群における先頭のコマ番号と、ｐｉ´ｋまたはｑｉ´ｋに対応する制御信号とを、対にして制御情報記憶部４３に記憶させる。また、その映像コマ群における「最後尾のコマ番号＋１／ｒ」と、制御信号０とを対にして制御情報記憶部４３に記憶させる（Ｓ８、Ｓ９）。なお、制御信号は、ｐｉ´ｋに対しては、制御信号１を割り当て、ｑｉ´ｋに対しては制御信号２を割り当てる。
【００６３】
図７のフローチャートを参照して、Ｓ８の次は、Ｍａｘｑｉ´ｋを満たすｋ´に関して、条件ｆｉ´−ｑｉ´ｋ´＞０を調べる（Ｓ８１）。この条件が成立している場合は、該当するｋ´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部４３に記憶させる。また、「最後尾の番号＋１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させる（Ｓ８２）。そして、この条件が成立していない場合は、次のステップＳ８４へ進む。
【００６４】
条件ｆｉ´−ｑｉ´ｋ´＞０が成立している場合は、ｋ´を除去してから、Ｍａｘｑｉ´ｋを満たすｋ´´に関して、条件（ｆｉ´−ｑｉ´ｋ´）−ｑｉ´ｋ´´＞０を調べ、この条件が成立しなくなるまで続ける（Ｓ８３）。そして、この条件が成立しなくなると、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号２を対にして制御情報記憶部４３に記憶させる。また、「先頭のコマ番号＋（ｆｉ´−ｑｉ´ｋ）×１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させて（Ｓ８４）、処理を終了する。
【００６５】
図８のフローチャートを参照して、Ｓ９の次は、Ｍａｘｐｉ´ｋを満たすｋ´に関して、条件ｆｉ´−ｐｉ´ｋ´＞０を調べる（Ｓ９１）。この条件が成立している場合は、該当するｋ´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部４３に記憶させる。また、「最後尾の番号＋１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させる（Ｓ９２）。そして、この条件が成立していない場合は、次のステップＳ９４へ進む。
【００６６】
条件ｆｉ´−ｐｉ´ｋ´＞０が成立している場合は、ｋ´を除去してから、Ｍａｘｐｉ´ｋを満たすｋ´´に関して、条件（ｆｉ´−ｐｉ´ｋ´）−ｐｉ´ｋ´´＞０を調べ、この条件が成立しなくなるまで続ける（Ｓ９３）。そして、この条件が成立しなくなると、該当するｋ´´に対応する映像コマ群における先頭のコマ番号と制御信号１を対にして制御情報記憶部４３に記憶させる。また、「先頭のコマ番号＋（ｆｉ´−ｐｉ´ｋ）×１／ｒ」と制御信号０を対にして制御情報記憶部４３に記憶させて（Ｓ９４）、処理を終了する。
【００６７】
そして、全てのステップが終了すると、Ｓ７で選択したｆｉ´と逆のｆｉ´´について、Ｓ７以降の手順を繰り返す。つまり、Ｓ７でｆＨが選択された場合は、ｆＶについてＳ７以降の手順を繰り返す。また、Ｓ７でｆＶが選択された場合は、ｆＨについてＳ７以降の手順を繰り返す。
【００６８】
図１に戻って説明を続けると、低コマ数映像信号作成部５は、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦと、制御情報作成部４から入力される制御情報ＳＣとに基づいて、カット毎に、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔、目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔よりも短い間隔および目標コマ数情報ＴＦに基づいて一定の間隔で抽出する際の間隔よりも長い間隔のいずれかの間隔で抽出して低コマ数映像信号ＬＭを作成する。なお、低コマ数映像信号ＬＭとは、入力映像信号ＩＭの映像コマ数を目標コマ数情報ＴＦに基づいて削減した映像信号のことである。
【００６９】
図９は、低コマ数映像信号作成部５の構成を示すブロック図である。図９に示すように、低コマ数映像信号作成部５は、第１の映像遅延部５１と、第２の映像遅延部５２と、コマ落とし部５３とからなる。
【００７０】
第１の映像遅延部５１は、新たなカット情報ＣＩが入力されるまで、現在の入力映像信号ＩＭを遅延させる。
【００７１】
第２の映像遅延部５２は、制御情報作成部４が制御情報ＳＣを作成するまで、現在の入力映像信号ＩＭを遅延させ、必要に応じて、タイミング情報ＴＭを制御情報作成部４の制御情報記憶部４３に出力する。なお、タイミング情報ＴＭとは、制御情報記憶部４３が制御情報ＳＣを出力するタイミングを示す情報である。
【００７２】
コマ落とし部５３は、制御情報記憶部４３から入力された制御情報ＳＣに基づいて、入力映像信号ＩＭから映像コマを抽出して低コマ数映像信号ＬＭを作成する。具体的には、制御信号に示されている抽出間隔に基づいて、映像コマ群毎に映像コマを抽出して、低コマ数映像信号ＬＭを作成する。
【００７３】
次に、コマ落とし部５３の一実施例について図１０および図１１を参照して説明する。図１０は、制御情報作成部４の制御情報記憶部４３に記憶された制御情報ＳＣの一例を示す表である。また、図１１は、コマ落とし部５３が図１０に示す制御情報ＳＣに基づいて作成した低コマ数映像信号ＬＭを説明するための説明図である。
【００７４】
図１０に示す制御情報ＳＣに基づいて、入力映像信号ＩＭから低コマ数映像信号ＬＭを作成する際は、図１１に示すように、先頭のコマ番号が１８０、最後尾のコマ番号が２２０である映像コマ群では、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔（ｒ＝０．５）で映像コマを抽出する。また、先頭のコマ番号が４２０、最後尾のコマ番号が４６０である映像コマ群では、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔（ｒ＝０．１２５）で映像コマを抽出する。そして、その他の部分では、目標コマ数情報ＴＦに基づいた間隔（ｒ＝０．２５）で抽出する。なお、「目標コマ数情報ＴＦに基づいた間隔」とは、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに示されたコマ数だけ一定の間隔で抽出する際の間隔のことである。
【００７５】
低コマ数映像信号作成部５で作成された低コマ数映像信号ＬＭは、フラグ情報ＦＩと共に、表示部６に多重して出力される。なお、フラグ情報ＦＩとは、映像コマをホールドするコマ数を示す情報である。
【００７６】
図１２は表示部６の構成を示すブロック図である。図１２に示すように、表示部６は、分離部６１とコマホールド部６２から構成されている。
【００７７】
分離部６１は、低コマ数映像信号作成部５から多重されて入力される低コマ数映像信号ＬＭとフラグ情報ＦＩを分離する。低コマ数映像信号作成部５で分離された低コマ数映像信号ＬＭとフラグ情報ＦＩは、コマホールド部６２へ出力される。
【００７８】
コマホールド部６２は、フラグ情報ＦＩに基づいて、低コマ数映像信号ＬＭの映像コマをホールドする。なお、本実施の形態では、映像コマをホールドするコマ数は、フラグ情報が０の場合は１／ｒコマ、フラグ情報が１の場合は１／２ｒコマ、フラグ情報が２の場合は２／ｒコマと設定している。
【００７９】
（映像コマ数削減装置の動作）
次に、図１３に示す映像コマ数削減装置の動作を示すフローチャートを参照して映像コマ数削減装置の動作を説明する。なお、以下の説明では、入力映像信号ＩＭのフレームレートがｎ［コマ／秒］で、目標フレームレートがｒｎ［コマ／秒］（ｒは映像コマを抽出する間隔を示す係数、０＜ｒ＜１）である場合を想定している。
【００８０】
まず、コマ落とし映像信号作成部１では、コマ落とし部１１で、外部から入力されたカット情報ＣＩおよび目標コマ数情報ＴＦに基づいて、カット毎に、入力映像信号ＩＭから（１／ｒ）コマ毎に映像コマを抽出する（Ｓ１１）。そして、映像遅延部１２で、抽出された映像コマを（１／ｒ）コマ遅延させ、フレームレートがｒｎ［コマ／秒］のコマ落とし映像信号ＬＦを作成する（Ｓ１２）。作成されたコマ落とし映像信号ＬＦは、相対動きベクトル量算出部２へ出力される。
【００８１】
続いて、相対動きベクトル量算出部２では、動きベクトル量算出部２１で、コマ落とし映像信号作成部１から入力されたコマ落とし映像信号ＬＦと、外部から入力された入力映像信号ＩＭとの各映像コマを、マクロブロックと呼ばれるｍｂ×ｎｂ画素（ｍ，ｎは正の定数）の矩形領域に分割し、マクロブロック毎に、動きベクトル量を算出する（Ｓ１３）。そして、動きベクトル量変換部２２で、動きベクトル量算出部２１で算出された動きベクトル量と、背景の動きベクトル量とを比較して、動きベクトル量を相対動きベクトル量ＭＶに変換する（Ｓ１４）。相対動きベクトル量算出部２で求められた相対動きベクトル量ＭＶは、誘目領域検出部３へ出力される。
【００８２】
次に、誘目領域検出部３では、相対動きベクトル量算出部２で求められた相対動きベクトル量ＭＶを基に、各映像コマにおける誘目領域を検出する（Ｓ１５）。そして、誘目領域が検出されると、各誘目マクロブロックの相対動きベクトル量ＭＶから、各映像コマにおける相対動きベクトル量ＭＶの平均値を算出する（Ｓ１６）。誘目領域検出部３で求められた各映像コマにおける相対動きベクトル量ＭＶの平均値は、制御情報作成部４へ出力される。
【００８３】
そして、制御情報作成部４では、平均・分散算出部４１で、誘目領域検出部３で求められた各映像コマにおける相対動きベクトル量ＭＶの平均値から、カット全体における相対動きベクトル量ＭＶの平均Ａｖｅｉ（ｉ＝Ｈ（水平），Ｖ（垂直））と、分散σｉ２（ｉ＝Ｈ（水平），Ｖ（垂直））を算出する（Ｓ１７）。そして、抽出映像コマ判定部４２で、平均・分散算出部４１で算出された平均Ａｖｅｉおよび分散σｉ２を、予め設定した基準値Ａｖｅ０および基準値σ０と比較して、入力映像信号ＩＭから抽出する映像コマと、その抽出間隔を判定する（Ｓ１８）。判定結果としては、入力映像信号ＩＭから抽出する映像コマと、抽出間隔を示す制御信号とからなる制御情報ＳＣが得られる。抽出映像コマ判定部４２で求められた制御情報ＳＣは制御情報記憶部４３に記憶される（Ｓ１９）。
【００８４】
低コマ数映像信号作成部５では、第１の映像遅延部５１は、新たなカット情報ＣＩが入力されるまで、現在の入力映像信号ＩＭを遅延させる（Ｓ２０）。また、第２の映像遅延部５２は、制御情報作成部４で制御情報ＳＣが作成されるまで、現在の入力映像信号ＩＭを遅延させ、必要に応じて、タイミング情報ＴＭを制御情報作成部４の制御情報記憶部４３へ出力する（Ｓ２１）。そして、第２の映像遅延部５２からタイミング情報ＴＭが出力されると、制御情報記憶部４３に記憶されている制御情報ＳＣが低コマ数映像信号作成部５のコマ落とし部５３へ入力される（Ｓ２２）。
【００８５】
そして、コマ落とし部５３では、制御情報記憶部４３から入力された制御情報ＳＣに基づいて、入力映像信号ＩＭから映像コマを抽出して低コマ数映像信号ＬＭを作成する（Ｓ２３）。具体的には、制御情報に示された映像コマを制御情報に示された間隔で抽出して、低コマ数映像信号ＬＭを作成する。低コマ数映像信号作成部５で作成された低コマ数映像信号ＬＭは、フラグ情報ＦＩと共に、表示部６に多重して出力される（Ｓ２４）。
【００８６】
以上説明したように、本発明に係る映像コマ数削減装置および映像コマ数削減方法によれば、カット毎に、被写体の動きの大きい映像コマ群では、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいた間隔よりも短い間隔で抽出し、被写体の動きの小さい映像コマ群では、入力映像信号ＩＭから映像コマを、目標コマ数情報ＴＦに基づいた間隔よりも長い間隔で抽出することができる。
【００８７】
以上、本発明の実施の形態について説明したが、本発明はこのような実施例にのみ限定されるものではなく、本発明の技術的思想に基づく限りにおいて、種々の変形が可能である。
【００８８】
例えば、本実施の形態では、相対動きベクトル量算出部２で相対動きベクトル量ＭＶを算出した後、誘目領域検出部３で相対動きベクトル量ＭＶを利用して誘目領域を検出したが、相対動きベクトル量算出部２の動きベクトル量算出部２１で算出された動きベクトル量と、その映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が、予め設定した閾値も超えるマクロブロックから構成される領域を各映像コマにおける誘目領域として検出するように構成することもできる。
【００８９】
その場合は、その誘目領域を構成するマクロブロックの各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出して制御情報作成部４に入力する。そして、制御情報作成部４では、誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号ＩＭから抽出する映像コマおよびその抽出抽出間隔を示す制御情報ＳＣを作成する。
【００９０】
なお、グローバルベクトル量とは、その抽出映像コマにおいて所定の手順で検出（算出）される。グローバルベクトル量を算出する方法には、例えば、文献（「動画像符号化におけるグローバル動き補償法」電子情報通信学会論文誌Ｂ‐Ｉ、Ｖｏｌ．Ｊ７６‐Ｂ‐Ｉ、Ｎｏ．１２、ｐｐ．９９４−９５２、１９９３，上倉一人 他）に提案されている手法を利用することができる。また、グローバルベクトル量としては、各抽出映像コマにおける動きベクトル量の大きさの平均値を利用することもできるし、抽出映像コマにおいて最も多く検出された動きベクトル量の大きさを利用することもできる。
【００９１】
【発明の効果】
請求項１および請求項６に記載された発明によれば、誘目領域における相対動きベクトル量の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成し、この制御情報に基づいて低コマ数映像信号を作成するので、映像コマ数を削減する際に動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減させることができる。
【００９２】
また、請求項２および請求項７に記載された発明によれば、各マクロブロックの相対動きベクトル量を予め設定した閾値と比較し、相対動きベクトル量が閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出するので、誘目領域を容易にかつ精度良く検出することができる。したがって、精度の高い制御情報を作成することができる。
【００９３】
また、請求項３および請求項８に記載された発明によれば、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成するので、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。したがって、精度の高い制御情報を作成することができる。
【００９４】
また、請求項４および請求項９に記載された発明によれば、誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を基に、入力映像信号から抽出する映像コマおよびその抽出間隔を示す制御情報を作成し、この制御情報に基づいて低コマ数映像信号を作成するので、映像コマ数を削減する際に動きの大きなシーンで生じ易い映像内容の連続性の喪失を軽減させることができる。
【００９５】
また、請求項５および請求項１０に記載された発明によれば、動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、平均値が閾値よりも大きい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、平均値が閾値よりも小さい場合は、入力映像信号から映像コマを、目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成するので、映像コマに含まれる被写体の動き量に応じた制御情報を作成することができる。したがって、精度の高い制御情報を作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る映像コマ数削減装置の全体構成を示すブロック図である。
【図２】コマ落とし映像信号作成部１の構成を示すブロック図である。
【図３】コマ落とし映像信号作成部１に入力された入力映像信号ＩＭと、コマ落とし映像信号作成部１から出力されたコマ落とし映像信号ＬＦとの対応関係の一例を示すタイムチャートである。
【図４】相対動きベクトル量算出部２の構成を示すブロック図である。
【図５】制御情報出力部４の構成を示すブロック図である。
【図６】抽出映像コマ判定部４２の一実施例を説明するためのフローチャートである。
【図７】図６のフローチャートにおけるＳ８以降の手順を説明するためのフローチャートである。
【図８】図６のフローチャートにおけるＳ９以降の手順を説明するためのフローチャートである。
【図９】低コマ数映像信号作成部５の構成を示すブロック図である。
【図１０】制御情報作成部４の制御情報記憶部４３に記憶された制御情報ＳＣの一例を示す表である。
【図１１】コマ落とし部５３が図１０に示す制御情報ＳＣに基づいて作成した低コマ数映像信号ＬＭを説明するための説明図である。
【図１２】表示部６の構成を示すブロック図である。
【図１３】映像コマ数削減装置の動作を示すフローチャートである。
【符号の説明】
１ コマ落とし映像信号作成部
２ 動きベクトル量算出部
３ 誘目領域検出部
４ 制御情報作成部
５ 低コマ数映像信号作成部
ＣＩ カット情報
ＩＭ 入力映像信号
ＴＦ 目標コマ数情報
ＭＶ 相対動きベクトル量
ＳＣ 制御情報
ＬＦ コマ落とし映像信号
Claims (10)
- 一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、
前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する相対動きベクトル量算出部と、
前記相対動きベクトル量を基に、前記抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する誘目領域検出部と、
前記相対動きベクトル量の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部と、
を備えて構成されることを特徴とする映像コマ数削減装置。 - 前記誘目領域検出部は、前記相対動きベクトル量を予め設定した閾値と比較し、前記相対動きベクトル量が前記閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出することを特徴とする請求項１に記載の映像コマ数削減装置。
- 前記制御情報作成部は、前記相対動きベクトル量の平均値を、前記相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、
前記相対動きベクトル量の平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記相対動きベクトル量の平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項１または請求項２に記載の映像コマ数削減装置。 - 一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減装置であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出部と、
前記映像コマ抽出部で抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出部と、
前記動きベクトル量とその抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する誘目領域検出部と、
前記動きベクトル量とグローバルベクトル量との差の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成部と、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成部と、
を備えて構成されることを特徴とする映像コマ数削減装置。 - 前記制御情報作成部は、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、
前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項４に記載の映像コマ数削減装置。 - 一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、
前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、そのマクロブロックにおける動きベクトル量と背景の動きベクトル量とを比較した相対値である相対動きベクトル量を算出する相対動きベクトル量算出ステップと、
前記相対動きベクトル量を基に、前記抽出映像コマ内において相対動きベクトル量が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各相対動きベクトル量から、その誘目領域における相対動きベクトル量の平均値を算出する誘目領域検出ステップと、
前記相対動きベクトル量の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップと、
を含むことを特徴とする映像コマ数削減方法。 - 前記誘目領域検出ステップは、前記相対動きベクトル量を予め設定した閾値と比較し、前記相対動きベクトル量が前記閾値を超えるマクロブロックから構成される領域をその抽出映像コマにおける誘目領域として検出することを特徴とする請求項６に記載の映像コマ数削減方法。
- 前記制御情報作成ステップは、前記相対動きベクトル量の平均値を、前記相対動きベクトル量の平均値のカット全体における平均と分散から決定される閾値と比較し、
前記相対動きベクトル量の平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記相対動きベクトル量の平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項６または請求項７に記載の映像コマ数削減方法。 - 一定のフレームレートで入力された複数の映像コマからなる入力映像信号の映像コマ数を、前記入力映像信号の映像におけるカットの切り替わりを示すカット情報および前記入力映像信号から前記映像コマを抽出するコマ数を示す目標コマ数情報に基づいて削減する映像コマ数削減方法であって、
前記カット情報および前記目標コマ数情報に基づいて、前記カット毎に、前記入力映像信号から一部の映像コマを一定の間隔で抽出して抽出映像コマとする映像コマ抽出ステップと、
前記映像コマ抽出ステップで抽出された抽出映像コマを所定領域のマクロブロックに分割し、前記マクロブロック毎に、動きベクトル量を算出する動きベクトル量算出ステップと、
前記動きベクトル量とその抽出映像コマにおいて所定の手順で検出されたグローバルベクトル量との差が予め設定した閾値を超えるマクロブロックから構成される領域を、その抽出映像コマにおける誘目領域として検出し、前記誘目領域を構成するマクロブロックに含まれる各動きベクトル量および各グローバルベクトル量から、その誘目領域における動きベクトル量とグローバルベクトル量との差の平均値を算出する誘目領域検出ステップと、
前記動きベクトル量とグローバルベクトル量との差の平均値を基に、前記入力映像信号から抽出する映像コマおよびその抽出する間隔を示す制御情報を作成する制御情報作成ステップと、
前記カット情報、前記目標コマ数情報および前記制御情報に基づいて、前記カット毎に、前記入力映像信号から前記映像コマを前記制御情報に示された間隔で抽出し、前記入力映像信号の映像コマ数を削減した低コマ数映像信号を作成する低コマ数映像信号作成ステップと、
を含むことを特徴とする映像コマ数削減方法。 - 前記制御情報作成ステップは、前記動きベクトル量とグローバルベクトル量との差の平均値を、予め設定した閾値と比較し、
前記平均値が前記閾値よりも大きい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも短い間隔で抽出し、
前記平均値が前記閾値よりも小さい場合は、前記入力映像信号から前記映像コマを、前記目標コマ数情報に基づいて一定の間隔で抽出する際の間隔よりも長い間隔で抽出することを指示する制御情報を作成することを特徴とする請求項９に記載の映像コマ数削減方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002187574A JP4039615B2 (ja) | 2002-06-27 | 2002-06-27 | 映像コマ数削減装置および映像コマ数削減方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002187574A JP4039615B2 (ja) | 2002-06-27 | 2002-06-27 | 映像コマ数削減装置および映像コマ数削減方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004032496A true JP2004032496A (ja) | 2004-01-29 |
| JP4039615B2 JP4039615B2 (ja) | 2008-01-30 |
Family
ID=31182571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002187574A Expired - Fee Related JP4039615B2 (ja) | 2002-06-27 | 2002-06-27 | 映像コマ数削減装置および映像コマ数削減方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4039615B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724492A (zh) * | 2012-06-28 | 2012-10-10 | 广东威创视讯科技股份有限公司 | 视频图像传输、播放方法和系统 |
-
2002
- 2002-06-27 JP JP2002187574A patent/JP4039615B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724492A (zh) * | 2012-06-28 | 2012-10-10 | 广东威创视讯科技股份有限公司 | 视频图像传输、播放方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4039615B2 (ja) | 2008-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
| US10390039B2 (en) | Motion estimation for screen remoting scenarios | |
| US8098733B2 (en) | Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables | |
| US9367616B2 (en) | Video descriptor generation device | |
| US11290714B2 (en) | Motion-constrained AV1 encoding method and apparatus for tiled streaming | |
| US10354394B2 (en) | Dynamic adjustment of frame rate conversion settings | |
| US8724912B2 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
| JP2008048243A (ja) | 画像処理装置、画像処理方法および監視カメラ | |
| CN108141634B (zh) | 用于产生预览图像的方法和设备以及计算机可读存储介质 | |
| CN114554285B (zh) | 视频插帧处理方法、视频插帧处理装置和可读存储介质 | |
| CA3057924A1 (en) | System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format | |
| US8509303B2 (en) | Video descriptor generation device | |
| US20110129012A1 (en) | Video Data Compression | |
| US11290735B1 (en) | Visual element encoding parameter tuning | |
| JP2004032496A (ja) | 映像コマ数削減装置および映像コマ数削減方法 | |
| JP2020120322A (ja) | 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム | |
| JP2009111647A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP2005109918A (ja) | 画像データへの秘匿データ挿入方式、秘匿データ検出方式および秘匿データが挿入された画像データの表示方式 | |
| JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP4039616B2 (ja) | 映像コマ数削減装置および映像コマ数削減方法 | |
| US9848133B2 (en) | Image generation device, imaging device, image generation method, and program for generating a new image from a captured image | |
| US11956441B2 (en) | Identifying long term reference frame using scene detection and perceptual hashing | |
| JP7017223B2 (ja) | 動画圧縮方法 | |
| JP2015041796A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、およびデータ構造 | |
| JP4100321B2 (ja) | セグメント単位画像符号化装置及びセグメント単位画像符号化プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071102 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |