JP2010028234A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】少ない演算量でカメラワークなどの映像効果を検出でき、複数種類の映像効果の検出も可能な映像処理装置及び映像処理方法を提供する。
【解決手段】映像処理装置１０は、入力映像信号Ｓａ１を遅延させるためのフレームメモリ１１と、入力映像信号Ｓａ１と遅延した入力映像信号Ｓａ２との差分映像信号Ｓａ３を生成する差分映像生成部１２と、差分映像信号Ｓａ３に基づく映像を複数のブロックに分割するブロック分割部１３と、ブロックごとに差分映像信号に基づくブロック代表値を決定するしきい値処理部１４と、ブロック代表値の平均値ＡＶＥを求める平均値計算部１５と、平均値ＡＶＥがしきい値ＴＨ＿ｃａｍ１及びＴＨ＿ｃａｍ２より大きいか否かを判定し、判定結果に基づいて、入力映像信号にカメラワーク又はシーンチェンジによる映像効果が存在することを示す判定信号Ｓａ７を出力する映像効果判定部１６とを有する。
【選択図】図１

Description

本発明は、入力映像信号から映像の変化（映像効果）を検出する映像処理装置及び映像処理方法に関するものである。

カメラ撮影された映像の変化の代表として、カメラワークによって生じる映像の連続的な変化（「カメラワーク映像」ともいう。）と、撮影シーンの切り替えなどによって生じる映像の切れ目（シーンチェンジ）である映像の不連続な変化（「シーンチェンジ映像」ともいう。）とがある。ここで、カメラワークとは、被写体を撮影しながら、被写体に対するカメラの位置、被写体に対するカメラの角度、又は被写体の撮影倍率などを変化させる動作を言い、ズームイン、ズームアウト、パンニング、チルトなどの動作を含む。

一般に、映像効果を検出する従来の方法では、演算量が多く、演算回路の負荷が大きくなり又は演算に時間がかかり、また、カメラワーク映像とシーンチェンジ映像を区別して検出することはできなかった。

演算量を軽減可能な方法として、例えば、ＭＰＥＧ方式で符号化された映像データのシーンチェンジを検出する方法（例えば、特許文献１参照）や、ＭＰＥＧ方式で符号化された映像データのカメラワークを検出する方法（例えば、特許文献２参照）がある。

特開平６−２５９０５２号公報（段落０００８、図１） 特開平１０−１１２８６４号公報（段落００４９、図２）

しかしながら、上記特許文献１及び２に記載の方法では、圧縮符号化された映像信号について処理を行なっているが、映像効果を検出するための演算量の低減が十分ではないという問題がある。また、上記特許文献１及び２に記載の方法は、非圧縮映像信号についての映像効果の検出には適用できないという問題がある。

また、上記特許文献１及び２は、複数種類の映像効果、例えば、カメラワーク映像とシーンチェンジ映像を区別して検出することを開示していない。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、非圧縮映像信号にも適用でき、少ない演算量で映像効果を検出でき、な映像処理装置及び映像処理方法を提供することにある。

本発明の映像処理装置は、入力映像信号を遅延させる遅延手段と、前記入力映像信号と、前記遅延手段から出力される時間的に遅延した入力映像信号との差分映像信号を生成する差分映像生成手段と、前記差分映像信号に基づく映像を複数のブロックに分割するブロック分割手段と、前記ブロックごとに前記差分映像信号に基づくブロック代表値を決定する代表値決定手段と、前記複数のブロックの前記ブロック代表値の平均値を求める平均値計算手段と、第１のしきい値を保持し、前記平均値が前記第１のしきい値より大きいか否かを判定し、前記平均値が前記第１のしきい値より大きいと判定したときに、入力映像信号に第１の映像効果が存在することを示す第１の判定信号を出力する映像効果判定手段とを有することを特徴としている。

また、本発明の映像処理方法は、入力映像信号を遅延させるステップと、前記入力映像信号と、時間的に遅延した入力映像信号との差分映像信号を生成するステップと、前記差分映像信号に基づく映像を複数のブロックに分割するステップと、前記ブロックごとに前記差分映像信号に基づくブロック代表値を決定するステップと、前記複数のブロックの前記ブロック代表値の平均値を求めるステップと、第１のしきい値を保持する映像効果判定手段によって、前記平均値が前記第１のしきい値より大きいか否かを判定し、前記平均値が前記第１のしきい値より大きいと判定したときに、入力映像信号に第１の映像効果が存在することを示す第１の判定信号を出力するステップとを有することを特徴としている。

本発明によれば、入力映像信号が非圧縮映像信号であっても、少ない演算量で映像効果を検出できるという効果がある。また、映像効果判定手段における判定に用いるしきい値を複数用いることによって、複数種類の映像効果の検出も可能になるという効果がある。

実施の形態１．
図１は、本発明の実施の形態１に係る映像処理装置（すなわち、実施の形態１に係る映像処理方法を実施する装置）１０の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る映像処理装置１０は、入力映像信号Ｓａ１を遅延させるために一時保存するフレームメモリ（遅延手段）１１と、入力映像信号Ｓａ１と該入力映像信号Ｓａ１の時間的に直前の入力映像信号（フレームメモリ１１に一時保存されて遅延した映像信号）Ｓａ２との差分映像信号Ｓａ３を生成する差分映像生成部１２と、生成された差分映像信号Ｓａ３に基づく映像を複数のブロックに分割するブロック分割部１３と、ブロック分割された差分映像信号Ｓａ４に基づくブロック代表値を決定してブロック代表値信号Ｓａ５を出力するしきい値処理部（代表値決定手段）１４と、複数のブロックのブロック代表値の平均値ＡＶＥ（信号Ｓａ６）を求める平均値計算部１５とを有する。また、実施の形態１に係る映像処理装置１０は、第１のしきい値ＴＨ＿ｃａｍ１及び第２のしきい値ＴＨ＿ｃａｍ２を保持し、平均値ＡＶＥを第１のしきい値ＴＨ＿ｃａｍ１及び第２のしきい値ＴＨ＿ｃａｍ２と比較し、この比較結果に基づいて、入力映像信号Ｓａ１にカメラワークによって生じる映像効果の存在又は映像シーンが切り替わったこと（シーンチェンジ）によって生じる映像効果の存在を検出して判定信号Ｓａ７を出力する映像効果判定部１６とを有する。

入力映像信号Ｓａ１は、テレビジョン方式で用いられている映像信号、例えば、非圧縮映像信号であり、その走査方式は、インターレース又はプログレッシブのいずれでもよい。また、入力映像信号Ｓａ１は、輝度信号、色差信号、又はＲＧＢ信号のいずれでもよく、また、これらの信号の内の複数の信号を含んでもよい。また、差分映像信号Ｓａ３の生成は、入力映像信号Ｓａ１がインターレース信号である場合には、フィールド単位の処理であってもよく、また、２フィールドを組み合わせたフレーム単位の処理であってもよい。なお、以下の説明においては、入力映像信号Ｓａ１が、プログレッシブ映像信号であり、横方向（水平走査方向）にＸ画素、縦方向（垂直走査方向）にＹ画素の輝度信号である場合を説明する。

先ず、入力映像信号Ｓａ１は、映像処理装置１０のフレームメモリ１１と差分映像生成部１２に入力する。映像処理装置１０がフレーム単位の信号処理を行なう場合は、フレームメモリ１１は、１フレームの入力映像信号Ｓａ１を保存する。また、映像処理装置１０がフィールド単位の信号処理を行なう場合は、フレームメモリ１１は、１フィールドの入力映像信号Ｓａ１を保存する。

差分映像生成部１２には、入力映像信号Ｓａ１と、該入力映像信号Ｓａ１の時間的に連続な直前の入力映像信号（フレームメモリ１１に一時保存され遅延した映像信号）Ｓａ２とが入力される。差分映像生成部１２は、入力映像信号Ｓａ１とフレームメモリ１１から送られる１フレーム時間前の映像信号Ｓａ２との差分映像信号Ｓａ３を生成し、出力する。ブロック分割部１３は、差分映像生成部１２から出力された差分映像信号Ｓａ３を受け取り、差分映像信号Ｓａ３に基づく映像（例えば、１フレームの映像）を任意ブロック形状に分割してブロック分割された差分映像信号Ｓａ４を出力する。しきい値処理部１４は、ブロック分割部１３でブロック分割されたブロック単位にしきい値処理を行い、しきい値処理された映像を平均値計算部１５に送る。しきい値処理の内容は後述する。平均値計算部１５は、しきい値処理された映像の平均値ＡＶＥ（信号Ｓａ６）を求め、映像効果判定部１６に送る。映像効果判定部１６は、平均値ＡＶＥに従って映像効果判定処理を行い、判定結果Ｓａ７を出力する。

次に、実施の形態１に係る映像処理装置１０の各構成の動作を詳細に説明する。差分映像生成部１２は、次式（１）に従う処理を行なう。
Ｓ_ｉｊ＝Ｃ_ｉｊ−Ｂ_ｉｊ 式（１）
ここで、図２に示されるように、ｉは、（０，０）を原点とする座標系における映像（例えば、１フレーム）の横方向（水平走査方向）の座標を示し、ｊは、映像の縦方向（垂直走査方向）の座標を示す。また、Ｃ_ｉｊは、入力映像信号Ｓａ１の座標（ｉ，ｊ）の画素の輝度値を示し、Ｂ_ｉｊは、入力映像信号Ｓａ１の座標（ｉ，ｊ）の画素の輝度値を示す。したがって、Ｓ_ｉｊは、差分映像信号Ｓａ３の座標（ｉ，ｊ）の画素値を示している。また、式（１）に代えて次式（２）を用いることもできる。
Ｓ_ｉｊ＝｜Ｃ_ｉｊ−Ｂ_ｉｊ｜ 式（２）
式（１）は、画素値Ｓ_ｉｊがマイナスになることを許容する式であり、式（２）は、画素値Ｓ_ｉｊが非負（Ｓ_ｉｊ≧０）であることを保証する（画素値Ｓ_ｉｊが絶対差分値である）式である。なお、以下の説明では、式（２）を用いた場合を説明する。

ブロック分割部１３は、入力された差分映像信号Ｓａ３に基づく映像（１フレーム）を、図３に示されるように、複数のブロックＢＬに分割する。差分映像信号Ｓａ３は入力映像信号Ｓａ１と同じ画素数を有する。図３は、ｎ画素×ｎ画素の正方形の複数のブロックＢＬに分割した場合を示している。ここで、ｎは、入力映像信号Ｓａ１に基づく映像の横サイズＸと縦サイズＹとの公約数になるように設定している。例えば、横サイズＸが７２０画素で、縦サイズＹが４８０画素である場合には、ｎは、例えば、１６画素とすることができる。また、ブロック分割部１３におけるブロック分割方法は、図３の例に限定されず、例えば、図４に示されるように、適当なサイズの長方形のブロックＢＬ１に分割してもよいし、また、図５に示されるように、長方形以外の自由な形状のブロックＢＬ２に分割してもよい。ただし、ブロックが他ブロックとオーバーラップする分割は行わない。一般には、図３のような正方形ブロックに分割する方法が採用される。以下の説明では、図３に示されるように、正方形ブロックに分割する場合を説明する。また、ｎとしては、１６画素以外に、例えば、２画素、４画素、８画素などを選択することができる。また、ブロック分割部１３は、１フレームを１ブロックとして扱ってもよい。

しきい値処理部１４は、ブロック分割部１３で分割したブロック単位にしきい値処理を行う。しきい値処理部１４は、しきい値（第３のしきい値）ＴＨ＿ｂｌｋと、しきい値（第４のしきい値）ＴＨ＿ｓｕｍとを図示しない記憶手段に保持している。図６は、実施の形態１に係る映像処理装置１０のしきい値処理部１４の動作を示すフローチャートである。図６に示されるように、しきい値処理部１４は、入力されたブロックごとに、しきい値ＴＨ＿ｂｌｋよりも大きな画素値を持つ画素の画素値の和ＳＵＭを求める（ステップＳ１０１）。

次に、しきい値処理部１４は、画素値の和ＳＵＭをしきい値ＴＨ＿ｓｕｍと比較して、式式（３）を満たすか否かを判定する（ステップＳ１０２）。
ＳＵＭ＞ＴＨ＿ｓｕｍ （３）
しきい値処理部１４は、ステップＳ１０２において、式（３）を満たす場合には、判定は「真」となり、処理をステップＳ１０３に進め、式（３）を満たさない場合には、判定は「偽」となり、処理をステップＳ１０４に進める。

しきい値処理部１４は、処理がステップＳ１０３に進んだ場合には、当該ブロックの代表値としてＬｍａｘを出力し、処理がステップＳ１０４に進んだ場合には、当該ブロックの代表値としてＬｍｉｎを出力する。ここで、Ｌｍａｘは、式（１）又は式（２）で示された差分映像信号Ｓ_ｉｊの最大値であり、Ｌｍｉｎは、式（１）又は式（２）で示された差分映像信号Ｓ_ｉｊの最小値である。例えば、入力映像信号Ｓａ１が８ｂｉｔの信号であり、式（２）を用いた場合、Ｌｍａｘは２５５となり、Ｌｍｉｎは０となる。

以上に説明したように、ステップＳ１０３及びＳ１０４においては、ブロック代表値として、１つの値を出力するので、しきい値処理部１４から出力される信号Ｓａ５は、ブロック形状に従って（ブロック分割によって）縮小されたものになる。例えば、入力映像信号Ｓａ１に基づく映像の横サイズＸが７２０画素であり、縦サイズＹが４８０画素であり、１ブロックの画素数が１６×１６画素である場合には、しきい値処理部１４から出力される映像信号Ｓａ５（画素値はＬｍａｘ又はＬｍｉｎ）は、横サイズＸ_１４が４５画素、縦サイズＹ_１４が３０画素に縮小された信号になる。なお、例えば、入力映像信号Ｓａ１が８ｂｉｔの輝度信号であった場合には、ＴＨ＿ｂｌｋ＝１０、ＴＨ＿ｓｕｍ＝８などの値としてもよい。

平均値計算部１５は、しきい値処理部１４から出力された映像の各画素の平均値ＡＶＥを求め、計算された平均値を映像効果判定部１６へ送る。

映像効果判定部１６は、入力映像信号Ｓａ１がどのような映像か判定する。図７は、実施の形態１に係る映像処理装置１０の映像効果判定部１６の動作を示すフローチャートである。映像効果判定部１６は、平均値計算部１５から送られた平均値ＡＶＥを、しきい値ＴＨ＿ｃａｍ１と比較し、次式
ＡＶＥ＞ＴＨ＿ｃａｍ１ （４）
を満たすか否かを判定する（ステップＳ１１１）。映像効果判定部１６は、式（４）を満たすと判定した場合（「真」の場合）、処理をステップＳ１１２に進め、平均値ＡＶＥを、しきい値ＴＨ＿ｃａｍ２と比較し、次式
ＡＶＥ＞ＴＨ＿ｃａｍ２ （５）
を満たすか否かを判定する（ステップＳ１１２）。なお、しきい値ＴＨ＿ｃａｍ１としきい値ＴＨ＿ｃａｍ２とは、次式（６）の関係を満たす。
ＴＨ＿ｃａｍ２＞ＴＨ＿ｃａｍ１ （６）

映像効果判定部１６は、ステップＳ１１１において、式（４）を満たさないと判定した場合（「偽」の場合）、入力映像信号が、シーンチェンジ映像及びカメラワーク映像のいずれでもない映像であることを判定結果として出力する（ステップＳ１１５）。

映像効果判定部１６は、ステップＳ１１２において、式（５）を満たさないと判定した場合（「偽」の場合）、入力映像信号が、カメラワーク映像であることを判定結果として出力する（ステップＳ１１４）。

映像効果判定部１６は、ステップＳ１１２において、式（５）を満たすと判定した場合（「真」の場合）、入力映像信号が、シーンチェンジ映像であることを判定結果として出力する。

ここで、「カメラワーク映像」とは、映像を撮影するカメラのカメラワークによって生じる映像の連続的な変化（映像効果）である。また、「カメラワーク」とは、被写体を撮影しながら、被写体に対するカメラの位置、被写体に対するカメラの角度、又は被写体の撮影倍率などを変化させる動作を言い、ズームイン、ズームアウト、パンニング、チルトなどの動作を含む。また、シーンチェンジ映像とは、撮影シーンの切り替えなどによって生じる映像の切れ目（シーンチェンジ）である映像の不連続な変化（映像効果）である。「シーンチェンジ」は、映像の制作者の意図によりシーンチェンジ部をなめらかにつなげるディゾルブなどの効果を含む。「ディゾルブ」とは、シーンの切り替わり時に前の画面が暗転し後の画面が徐々に明るくなりながら現れる映像効果をいう。入力映像信号Ｓａ１が８ｂｉｔの輝度信号である場合、例えば、ＴＨ＿ｃａｍ１＝８０、ＴＨ＿ｃａｍ２＝２００などとしてもよい。

以上に説明したように、実施の形態１に係る映像処理装置１０又はこの装置が実施する映像処理方法によれば、入力映像信号に基づく映像をブロック分割し、各ブロックの画素値をブロック代表値とて縮小された映像を生成し、縮小された映像の画素値であるブロック代表値の平均値をしきい値と比較するという簡単な処理によって、カメラワークによって生じる映像効果及びシーンチェンジによる映像効果を判定できる。このため、映像効果の検出に要する演算量を低減することができる。また、演算量低減により、消費電力の低減効果もある。

また、演算量の低減により、入力映像信号がＭＰＥＧのような圧縮映像の場合だけでなく、入力映像信号が非圧縮映像信号であっても、映像効果を検出することが可能になる。

実施の形態２．
図８は、本発明の実施の形態２に係る映像処理装置（実施の形態２に係る映像処理方法を実施する装置）２０の構成を概略的に示すブロック図である。図８に示されるように、実施の形態２に係る映像処理装置２０は、入力映像信号Ｓｂ１を遅延させるために一時保存するフレームメモリ（遅延手段）２１と、入力映像信号Ｓｂ１と該入力映像信号Ｓｂ１の時間的に直前の入力映像信号（フレームメモリ２１に一時保存されて遅延した映像信号）Ｓｂ２との差分映像信号Ｓｂ３を生成する差分映像生成部２２と、生成された差分映像信号Ｓｂ３に基づく映像を複数のブロックに分割し、ブロックごとのブロック代表値を決定してブロック代表値信号Ｓｂ５を出力するしきい値処理部（代表値決定手段）２４とを有する。また、実施の形態２に係る映像処理装置２０は、第１のしきい値ＴＨ＿ｃａｍ１及び第２のしきい値ＴＨ＿ｃａｍ２を保持し、複数のブロックのブロック代表値の平均値ＡＶＥを求め、平均値ＡＶＥを第１のしきい値ＴＨ＿ｃａｍ１及び第２のしきい値ＴＨ＿ｃａｍ２と比較し、この比較結果に基づいて、入力映像信号Ｓｂ１にカメラワークによって生じる映像効果の存在又は映像シーンが切り替わったこと（シーンチェンジ）によって生じる映像効果の存在を検出して判定信号Ｓｂ７を出力する映像効果判定部２６とを有する。

実施の形態２におけるフレームメモリ２１及び差分映像生成部２２は、実施の形態１におけるフレームメモリ１１及び差分映像生成部１２と同じ機能を持つ。また、実施の形態２におけるしきい値処理部２４は、実施の形態１におけるブロック分割部１３としきい値処理部１４の両方の機能を持つ。また、実施の形態２における映像効果判定部２６は、実施の形態１の平均値計算部１５と映像効果判定部１６の両方の機能を持つ。

図９は、実施の形態２に係る映像処理装置２０のしきい値処理部２４の動作を示すフローチャートである。しきい値処理部２４は、入力映像信号をブロック分割し（ステップＳ２００）、その後、ステップＳ２０１〜Ｓ２０４の処理を行なう。ここで、ステップＳ２０１〜Ｓ２０４における処理は、既に説明した図６におけるステップＳ１０１〜Ｓ１０４における処理と同じである。

図１０は、実施の形態２に係る映像処理装置２０の映像効果判定部２６の動作を示すフローチャートである。映像効果判定部２６は、ブロック代表値の平均値ＡＶＥを求め（ステップＳ２１０）、その後、ステップＳ２１１〜Ｓ２１５の処理を行なう。ここで、ステップＳ２１１〜Ｓ２１５における処理は、既に説明した図７におけるステップＳ１１１〜Ｓ１１５における処理と同じである。

以上に説明したように、実施の形態２に係る映像処理装置２０又はこの装置が実施する映像処理方法によれば、実施の形態１の場合と同様の効果を得ることができる。

また、実施の形態２に係る映像処理装置２０によれば、実施の形態１に係る映像処理装置１０よりも簡易な構成とすることができる。

実施の形態３．
図１１は、本発明の実施の形態３に係る映像処理装置（実施の形態３に係る映像処理方法を実施する装置）３０の構成を概略的に示すブロック図である。図１１に示されるように、実施の形態３に係る映像処理装置３０は、入力映像信号Ｓｃ１を遅延させるために一時保存するフレームメモリ（遅延手段）３１と、入力映像信号Ｓｃ１と該入力映像信号Ｓｃ１の時間的に直前の入力映像信号（フレームメモリ３１に一時保存されて遅延した映像信号）Ｓｃ２との差分映像信号Ｓｃ３を生成する差分映像生成部３２と、生成された差分映像信号Ｓｃ３に基づく映像を複数のブロックに分割し、ブロックごとのブロック代表値を決定してブロック代表値信号Ｓｃ５を出力するしきい値処理部（代表値決定手段）３４とを有する。また、実施の形態３に係る映像処理装置３０は、第１のしきい値ＴＨ＿ｃａｍ１を保持し、複数のブロックのブロック代表値の平均値ＡＶＥを求め、平均値ＡＶＥを第１のしきい値ＴＨ＿ｃａｍ１と比較し、この比較結果に基づいて、入力映像信号Ｓｃ１にカメラワークによって生じる映像効果の存在又は映像シーンが切り替わったこと（シーンチェンジ）によって生じる映像効果の存在を検出して判定信号Ｓｃ７を出力する映像効果判定部３６とを有する。

実施の形態３におけるフレームメモリ３１及び差分映像生成部３２は、実施の形態１におけるフレームメモリ１１及び差分映像生成部１２と同じ機能を持つ。また、実施の形態３におけるしきい値処理部２４は、実施の形態１におけるブロック分割部１３としきい値処理部１４の両方の機能を持つ。また、実施の形態３における映像効果判定部２６は、実施の形態１の平均値計算部１５と映像効果判定部１６の両方に対応する機能を持つが、第２のしきい値ＴＨ＿ｃａｍ２との比較を行なわない点において、実施の形態１と異なる。

図１２は、実施の形態３に係る映像処理装置３０の映像効果判定部３６の動作を示すフローチャートである。映像効果判定部３６は、ブロック代表値の平均値ＡＶＥを求め（ステップＳ３１０）、その後、ステップＳ３１１〜Ｓ３１３の処理を行なう。ここで、ステップＳ３１１、Ｓ１１２、Ｓ３１３における処理は、既に説明した図７におけるステップＳ１１１、Ｓ１１４、Ｓ１１５における処理と同様の処理である。実施の形態３に係る映像処理装置３０は、実施の形態２に係る映像処理装置２０から平均値ＡＶＥとしきい値ＴＨ＿ｃａｍ２との判定を省略した形態である。実施の形態３に係る映像処理装置３０は、シーンチェンジの判定はできなくなるが、シーンチェンジをカメラワークのような映像効果と同じと見なしてよい処理系に適用可能である。

以上に説明したように、実施の形態３に係る映像処理装置３０又はこの装置が実施する映像処理方法によれば、実施の形態１及び２の場合と同様の効果を得ることができる。

また、実施の形態３に係る映像処理装置３０によれば、実施の形態１及び２に係る映像処理装置１０及び２０よりも簡易な構成とすることができる。

本発明の実施の形態１に係る映像処理装置（すなわち、実施の形態１に係る映像処理方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態１乃至３における映像信号に対する座標設定を示す図である。 本発明の実施の形態１乃至３における映像のブロック分割の例を示す図である。 本発明の実施の形態１乃至３における映像のブロック分割の他の例を示す図である。 本発明の実施の形態１乃至３における映像のブロック分割の他の例を示す図である。 本発明の実施の形態１に係る映像処理装置のしきい値処理部の動作を示すフローチャートである。 本発明の実施の形態１に係る映像処理装置の映像効果判定部の動作を示すフローチャートである。 本発明の実施の形態２に係る映像処理装置（すなわち、実施の形態１に係る映像処理方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態２に係る映像処理装置のしきい値処理部の動作を示すフローチャートである。 本発明の実施の形態２に係る映像処理装置の映像効果判定部の動作を示すフローチャートである。 本発明の実施の形態３に係る映像処理装置（すなわち、実施の形態１に係る映像処理方法を実施する装置）の構成を概略的に示すブロック図である。 本発明の実施の形態３に係る映像処理装置の映像効果判定部の動作を示すフローチャートである。

符号の説明

１０，２０，３０ 映像処理装置、 １１，２１，３１ フレームメモリ、 １２，２２，３２ 差分映像生成部、 １３ ブロック分割部、 １４，２４，３４ しきい値処理部、 １５ 平均値計算部、 １６，２６，３６ 映像効果判定部、 ＢＬ ブロック、 第１のしきい値 ＴＨ＿ｃａｍ１、 第２のしきい値 ＴＨ＿ｃａｍ２、 第３のしきい値 ＴＨ＿ｂｌｋ、 第４のしきい値 ＴＨ＿ｓｕｍ。

Claims (13)

1. 入力映像信号を遅延させる遅延手段と、
   前記入力映像信号と、前記遅延手段から出力される時間的に遅延した入力映像信号との差分映像信号を生成する差分映像生成手段と、
   前記差分映像信号に基づく映像を複数のブロックに分割するブロック分割手段と、
   前記ブロックごとに前記差分映像信号に基づくブロック代表値を決定する代表値決定手段と、
   前記複数のブロックの前記ブロック代表値の平均値を求める平均値計算手段と、
   第１のしきい値を保持し、前記平均値が前記第１のしきい値より大きいか否かを判定し、前記平均値が前記第１のしきい値より大きいと判定したときに、入力映像信号に第１の映像効果が存在することを示す第１の判定信号を出力する映像効果判定手段と
   を有することを特徴とする映像処理装置。
2. 前記第１の映像効果は、前記入力映像信号を生成するためのカメラ撮影におけるカメラワークによって生じる映像の変化であることを特徴とする請求項１に記載の映像処理装置。
3. 前記映像効果判定手段は、前記第１のしきい値より大きい第２のしきい値を保持し、前記平均値が前記第２のしきい値より大きいか否かを判定し、前記平均値が前記第２のしきい値より大きいと判定したときに、入力映像信号に第２の映像効果が存在することを示す第２の判定信号を出力することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記第２の映像効果は、シーンチェンジによる映像の変化であることを特徴とする請求項３に記載の映像処理装置。
5. 前記遅延手段は、入力映像信号を一時保存する記憶手段であることを特徴とする請求項１乃至４のいずれか１項に記載の映像処理装置。
6. 前記代表値決定手段は、
   第３のしきい値と第４のしきい値を保持する手段と、
   前記ブロックごとに各画素値が前記第３のしきい値より大きいか否かを判定し、前記ブロックごとに前記画素値が前記第３のしきい値より大きい画素の画素値の和を計算する手段と、
   前記ブロックごとに前記画素値の和が前記第４のしきい値より大きいか否かを判定し、前記画素値の和が前記第４のしきい値より大きいと判定されたときには画素値の最大値を前記ブロック代表値として出力し、前記画素値の和が前記第４のしきい値以下と判定されたときには画素値の最小値を前記ブロック代表値として出力する手段と
   を有することを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
7. 前記入力映像信号は、輝度信号、色差信号、及びＲＧＢ信号の内の１つ以上の信号であることを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
8. 入力映像信号を遅延させるステップと、
   前記入力映像信号と、時間的に遅延した入力映像信号との差分映像信号を生成するステップと、
   前記差分映像信号に基づく映像を複数のブロックに分割するステップと、
   前記ブロックごとに前記差分映像信号に基づくブロック代表値を決定するステップと、
   前記複数のブロックの前記ブロック代表値の平均値を求めるステップと、
   第１のしきい値を保持する映像効果判定手段によって、前記平均値が前記第１のしきい値より大きいか否かを判定し、前記平均値が前記第１のしきい値より大きいと判定したときに、入力映像信号に第１の映像効果が存在することを示す第１の判定信号を出力するステップと
   を有することを特徴とする映像処理方法。
9. 前記第１の映像効果は、前記入力映像信号を生成するためのカメラ撮影におけるカメラワークによって生じる映像の変化であることを特徴とする請求項８に記載の映像処理方法。
10. 前記第１のしきい値より大きい第２のしきい値をさらに保持する前記映像効果判定手段によって、前記平均値が前記第２のしきい値より大きいか否かを判定し、前記平均値が前記第２のしきい値より大きいと判定したときに、入力映像信号に第２の映像効果が存在することを示す第２の判定信号を出力するステップを有することを特徴とする請求項８又は９に記載の映像処理方法。
11. 前記第２の映像効果は、シーンチェンジによる映像の変化であることを特徴とする請求項１０に記載の映像処理方法。
12. 前記ブロック代表値を決定するステップは、
    第３のしきい値と第４のしきい値を保持する代表値決定手段によって実行され、
    前記ブロックごとに各画素値が前記第３のしきい値より大きいか否かを判定し、前記ブロックごとに前記画素値が前記第３のしきい値より大きい画素の画素値の和を計算するステップと、
    前記ブロックごとに前記画素値の和が前記第４のしきい値より大きいか否かを判定し、前記画素値の和が前記第４のしきい値より大きいと判定されたときには画素値の最大値をブロック代表値として出力し、前記画素値の和が前記第４のしきい値以下と判定されたときには画素値の最小値をブロック代表値として出力するステップと
    を含むことを特徴とする請求項８乃至１１のいずれか１項に記載の映像処理方法。
13. 前記入力映像信号は、輝度信号、色差信号、及びＲＧＢ信号の内の１つ以上の信号であることを特徴とする請求項８乃至１２のいずれか１項に記載の映像処理方法。

Images