JP2013225728A - 画像処理装置、画像表示装置、シーンチェンジ発生検出方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】シーンチェンジの発生を精度良く簡易に判定する画像処理装置を提供する。
【解決手段】対象フレーム画像の第１画素の色成分の値と、第１画素と位置合わせされた参照フレーム画像の第２画素の色成分の値とから、対象フレーム画像の画素毎のコストを算出する画素単位コスト算出部１７０と、画素毎のコストに基づく対象フレーム画像全体のコストと所定の閾値とを比較してシーンチェンジの発生を判定するシーンチェンジ検出部１７１と、を備える。
【選択図】図６

Description

本発明は、動画像におけるシーンチェンジを検出する画像処理装置、画像表示装置、シーンチェンジ発生検出方法、コンピュータプログラム及び記録媒体に関する。

動画像（映像）を構成するフレーム画像（フレーム）に見られるランダムノイズ等のノイズ除去（低減）処理の例として、時間軸方向のフィルタ処理を行う方法が挙げられる。具体的には、複数の連続するフレームから成るフレーム列のうち、ノイズ除去処理の対象となるフレームとその周辺の複数フレームとに対して適切な重み係数を算出して重み付き平均処理を行う方法である。この方法では、予め動き補償処理により位置合わせされた複数フレーム間の対応画素同士において、被写体から得られる信号成分は近い値をとるという仮定の下で、ノイズ成分の除去を行う。

上記ノイズ除去（低減）処理のように、フレーム列に時間軸方向のフィルタ処理を適用する画像処理装置や方法などは、これまで多数提案されてきた。しかしながら、フィルタ処理の対象となるフレーム同士でシーンが異なる、すなわちシーンチェンジが発生している場合、異なるシーンのフレーム同士の重み付き平均を求めることで予期せぬ結果を生じる場合がある。例えば、人物の顔を大きく映したシーンから水中のシーンに切り替わる場合、その両方のシーンのフレームが使用されることで、被写体の人物の肌を構成する画素上に水の青色などの色が現われたり、あるいはその逆の現象が起こったりする場合が考えられる。こうした残像のような現象は画質を劣化させる一因となる。そのため、シーンチェンジを考慮したフィルタ処理を設計する必要がある。

一方で、時間軸方向のフィルタ処理を実行するにあたり、事前にフレーム間の動きを画素毎に検出して位置合わせをする動き補償処理を実行することがある。しかしながら、画像処理装置や画像表示装置に実装されている動き補償処理で検出できる動きの範囲は多くの場合制限されている。また、実装されている動き補償処理の内容や入力される映像の画質によっては、推定誤りが発生することがある。時間軸方向のフィルタ処理では入力フレーム数が減ると効果が低下する恐れもある。そのため、前述したような推定誤りが発生する度にシーンチェンジとして判定することは得策ではない。変化の激しい部分が特定の部分に集中している場合には、シーンチェンジとみなさず、部分的にフィルタの効果を調整する方が現実的である。さらに、残像が発生する期間は、フィルタの大きさにもよるが、数フレームほどである場合が多く、視認されるのは短時間となるため、前述した残像の例のように極端に色あいの異なる残像以外はあまり気にならないと考えられる。

特許文献１には、シーンチェンジを起因とする画像の画質劣化を抑制するための動きベクトルを生成する技術が開示されている。まず、処理対象フレーム内の領域ごとに、シーンチェンジがあるか否かを判定する。シーンチェンジがあると判定された場合、処理対象フレームに含まれる特定方向に連続して並ぶ複数ブロックにおいて、ブロック毎に、ゲイン値（動きベクトルを補正する値）を徐々に減少させるとともに、ゲイン値を１つのブロックに対応する動きベクトルに乗算することで、動画像に含まれる処理対象フレームを補正するための各動きベクトルを生成する。シーンチェンジがあるか否かの判定は、複数に分割されたブロックの相関度合いを示す相関値（ＳＡＤ値：Sum of Absolute Difference）を求め、１つの領域に対応する複数のＳＡＤ値の平均値である領域平均ＡＶと過去平均ＰＡＶ（処理対象フレームの直前の２枚のフレームにおける同じ位置の領域に対応する領域平均ＡＶの平均値）を比較することによって行う。

特開２０１１−１３９１２４号公報

しかしながら、特許文献１の技術のように、フレーム間で対応する画素のＳＡＤ値を評価値として利用する場合、フレーム内に含まれるノイズの強さに応じてＳＡＤ値は大きくなりがちである。例えば時間軸方向のフィルタ処理によってノイズ低減処理を行いたい場合、当然ながら入力される映像にはノイズが含まれている可能性が高いため、ノイズの影響を無視することはできない。また、入力される映像のコントラストの変化に伴い、算出される評価値も変化する。すなわち、コントラストが高い映像では評価値が大きく、コントラストが低い映像では評価値が小さくなる。従って、あらゆる画質の映像に対して柔軟に対応するには様々なパラメータを準備する必要がある。また、評価はフレーム全体に対する評価であり、画素単位でのシーンチェンジの可能性は評価されない。そのため、動きが速いなどの理由から動き補償処理で追跡しきれなかったり、エフェクトや光の入射などが発生したりして、部分的に差異の大きな領域が発生する場合に、その偏りはシーンチェンジの判定に反映されにくい。

そこで、本発明は、上記の問題点に鑑みてなされたものであって、その目的は、シーンチェンジが生じているか否かを精度良く簡易に判定することが可能な画像処理装置、画像形成装置、シーンチェンジ発生検出方法、コンピュータプログラム、並びに記録媒体を提供することにある。

本発明に係る画像処理装置は、上記課題を解決するために、複数のフレーム画像よりなる映像におけるシーンチェンジの発生を検出する画像処理装置であって、隣接する２つのフレーム画像間の移動量を画素毎に推定し、推定した当該移動量に基づいて当該隣接する２つのフレーム画像の位置合わせをする動き補償処理部と、上記隣接する２つのフレーム画像のうち、一方のフレーム画像である対象フレーム画像の注目画素である第１画素の色成分の値と、他方のフレーム画像である参照フレーム画像における上記第１画素と上記位置合わせされた第２画素の色成分の値とから算出される評価値を、上記対象フレーム画像の画素毎に算出する画素単位評価値算出部と、上記対象フレーム画像の画素毎に算出された評価値に基づいて、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示す評価量を算出し、算出された当該評価量と予め定められた閾値とを比較することでシーンチェンジが発生しているかを判定するシーンチェンジ検出部と、を備えることを特徴としている。

上記構成によると、隣接する２つのフレーム画像の位置合わせをし、隣接する２つのフレーム画像のうち、一方のフレーム画像である対象フレーム画像の注目画素である第１画素の色成分の値と、他方のフレーム画像である参照フレーム画像における上記第１画素と位置合わせされた第２画素の色成分の値とから算出される評価値を、対象フレーム画像の画素毎に算出する。そして、この評価値に基づいて、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示す評価量を算出し、算出された当該評価量と予め定められた閾値とを比較することでシーンチェンジが発生しているかを判定する。

上記のように算出された評価値は、コントラストが低い場合でも比較的色あいの差異を検知しやすく、ノイズの影響を受けにくい。よって、この評価値に基づいて算出された上記評価量を用いることで、シーンチェンジが発生しているか否かを精度よく簡易に判定することができる。そして、上記のように判定されたシーンチェンジの判定結果を考慮して、対象フレームと異なるシーンの参照フレームを使用しないように選択的に、時間軸方向のフィルタ処理（例えば、ノイズ低減処理やスケーラー処理）等の時間軸に沿った複数のフレーム画像を入力とする映像処理（以下、時間軸映像処理と記す）を実行することで、精度のよい適切な時間軸映像処理を実行することができる。

ここで、上記画素単位評価値算出部は、上記第１画素の上記対象フレーム画像の色成分の値を成分とする第１ベクトルと、上記第２画素の色成分の値を成分とする第２ベクトルとを求め、当該第１ベクトルと当該第２ベクトルのなす角の余弦値より、上記評価値を算出してもよい。このように算出することで、算出過程が少ないため、簡易にシーンチェンジが発生しているか否かの判定を行うことができる。

また、シーンチェンジ検出部は、上記評価量を、例えば、対象フレーム画像の全画素数に対する予め定められた閾値を超える上記評価値を有する画素数の割合から算出してもよい。あるいは、上記対象フレーム画像の全画素の上記評価値の平均値から算出してもよい。もちろん、これら以外から上記評価量を求めてもよい。

本発明に係る画像表示装置では、上記構成に加え、上記シーンチェンジ検出部は、上記判定の結果を、上記対象フレーム画像と上記参照フレーム画像とが同じシーンにある状態か、上記対象フレーム画像と上記参照フレーム画像との間でシーンチェンジが発生しているか、あるいは、上記対象フレーム画像と上記参照フレーム画像とがシーンチェンジ発生後の上記評価量が所定値以下になるまでの期間を表わす許容期間にある状態か、のいずれかの状態に分類してもよい。

上記構成によると、シーンチェンジの発生の有無に加え、シーンチェンジの発生が無い場合に、対象フレーム画像と参照フレーム画像とが同じシーンにある状態か、上記対象フレーム画像と上記参照フレーム画像とが上記許容期間にある状態か、の判定を行うことができる。

本発明に係る画像表示装置では、上記構成に加え、上記参照フレーム画像は、上記対象フレーム画像よりも表示順序が前の画像であり、上記シーンチェンジ検出部は、上記参照フレーム画像について既にシーンチェンジの発生を判定した結果である履歴情報を参照し、上記対象フレーム画像の上記評価量と上記予め定められた閾値とを比較してもよい。

隣接した(表示順序が連続する）フレーム画像は、前のフレーム画像の状態に依存する。そのため、上記構成によると、前のフレーム画像である参照フレーム画像のシーンチェンジの発生を判定した結果である履歴情報を参照するため、連続してシーンチェンジの発生が起こらないように精度よく判定することができる。

本発明に係る画像表示装置では、上記構成に加え、上記シーンチェンジ検出部にてシーンチェンジが発生していると判定された場合、上記対象フレーム画像の全ての画素の重み係数を０とし、シーンチェンジが発生していると判定されなかった場合、上記対象フレーム画像と上記参照フレーム画像との差異の大きさに対して負の相関を有する係数を重み係数として設定する、重み係数決定部と、上記重み係数決定部で設定された重み係数を用いて上記対象フレーム画像に対してフィルタ処理を行うノイズ低減フィルタ処理部と、を備えてもよい。

上記構成によると、シーンチェンジが発生しているか否かの判定結果に基づいて重み係数を設定して時間軸方向のフィルタ処理を行うことができる。よって、精度良くノイズを低減することができる。

本発明に係る画像表示装置では、上記構成に加え、上記画素単位評価値算出部は、上記画素毎に求められた余弦値に対して正の相関を有する第２評価値を画素毎に算出するようになっており、上記シーンチェンジ検出部にてシーンチェンジが発生していると判定された場合、上記対象フレーム画像の全ての画素の重み係数を０とし、シーンチェンジが発生していると判定されなかった場合、上記対象フレーム画像と上記参照フレーム画像との差異の大きさに対して負の相関を有する係数に上記第２評価値を乗算して重み係数を設定する、重み係数決定部と、上記重み係数決定部で設定された重み係数を用いて上記対象フレーム画像に対してフィルタ処理を行うノイズ低減フィルタ処理部と、を備えてもよい。

時間軸方向のフィルタ処理において、視認されやすい残像を発生させる原因として画素間の色あいの差異が挙げられ、よく使われる輝度差による重みづけだけでは色あいの大きく異なる画素同士の加算が避けられず画質劣化につながる。上記構成によると、シーンチェンジの発生の判定で用いる上記評価値を流用することで、回路構成の巨大化を抑えながら、残像の原因となる色あいの差異を考慮した時間軸フィルタ処理が可能となる。

ここで、上記対象フレーム画像と上記参照フレーム画像との差異の大きさは、注目画素を中心に切り取った部分画像同士の誤差の標準偏差であってもよいが、これには限定されない。

本発明に係る画像表示装置では、上記構成に加え、上記動き補償処理部は、上記隣接する２つのフレーム画像間の移動量を画素毎に推定するのに、上記隣接する２つのフレーム画像の差分の絶対値の和の最小値である第３評価値を算出するようになっており、記シーンチェンジ検出部は、上記カラー判定部にて上記映像がモノクロであると判定されると、上記評価値の代わりに、上記第３評価値に基づいて、上記対象フレーム画像についての上記評価量を算出し、算出された当該評価量と予め定められた第２閾値とを比較することでシーンチェンジが発生しているかを判定してもよい。

上記構成によると、入力映像がモノクロ（グレースケール）の映像であった場合、上記評価値の代わりに、２つのフレーム画像の差分の絶対値の和の最小値である第３評価値を用いて、この第３評価値に基づいて、上記対象フレーム画像についての上記評価量を算出し、算出された当該評価量と予め定められた第２閾値とを比較することで、シーンチェンジが発生しているか判定する。このことにより、モノクロの映像であっても、シーンチェンジの発生を精度よく判定することができる。

本発明に係る画像表示装置は、上記の課題を解決するために、上記いずれかの画像処理装置を備えることを特徴としている。本発明に係る画像表示装置は、本発明に係る画像処理装置を備えているため、シーンチェンジが発生しているかを精度よく簡易に判定することが可能であり、シーンチェンジの発生の判定結果を反映させて、精度のよい時間軸方向のフィルタ処理を実行することができる。よって、精度のよいノイズ低減処理やスケーラー処理を実行することができる。そのため、高品質な画像を表示することができ、ユーザに快適な視認環境を提供することが可能である。

本発明に係るシーンチェンジ発生検出方法は、上記の課題を解決するために、複数のフレーム画像よりなる映像におけるシーンチェンジの発生を検出するシーンチェンジ発生検出方法であって、隣接する２つのフレーム画像間の移動量を画素毎に推定し、推定した当該移動量に基づいて当該隣接する２つのフレーム画像の位置合わせをする動き補償処理ステップと、上記隣接する２つのフレーム画像のうち、一方のフレーム画像である対象フレーム画像の注目画素である第１画素の色成分の値と、他方のフレーム画像である参照フレーム画像における上記第１画素の位置に位置合わせされた第２画素の色成分の値とから算出される評価値を、上記対象フレーム画像の画素毎に算出する画素単位評価値算出ステップと、上記対象フレーム画像の画素毎に算出された評価値に基づいて、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示す評価量を算出し、算出された当該評価量と予め定められた閾値とを比較することでシーンチェンジが発生しているかを判定するシーンチェンジ検出ステップと、を含むことを特徴としている。

上記方法によれば、上記画像処理装置と同様の効果を奏し、シーンチェンジが発生しているか否かを精度よく簡易に判定することが可能なシーンチェンジ発生検出方法を提供することができる。

なお、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の画像処理装置は、以上のように、隣接する２つのフレーム画像間の移動量を画素毎に推定し、推定した当該移動量に基づいて当該隣接する２つのフレーム画像の位置合わせをする動き補償処理部と、上記隣接する２つのフレーム画像のうち、一方のフレーム画像である対象フレーム画像の注目画素である第１画素の色成分の値と、他方のフレーム画像である参照フレーム画像における上記第１画素と上記位置合わせされた第２画素の色成分の値とから算出される評価値を、上記対象フレーム画像の画素毎に算出する画素単位評価値算出部と、上記対象フレーム画像の画素毎に算出された評価値に基づいて、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示す評価量を算出し、算出された当該評価量と予め定められた閾値とを比較することでシーンチェンジが発生しているかを判定するシーンチェンジ検出部と、を備える。

上記のように算出された評価値は、コントラストが低い場合でも比較的色あいの差異を検知しやすく、ノイズの影響を受けにくい。よって、この評価値に基づいて算出された上記評価量を用いることで、シーンチェンジが発生しているか否かを精度よく簡易に判定することができる。そして、上記のように判定されたシーンチェンジの判定結果を考慮して、対象フレームと異なるシーンの参照フレームを使用しないように選択的に、時間軸方向のフィルタ処理（例えば、ノイズ低減処理やスケーラー処理）等の時間軸に沿った複数のフレーム画像を入力とする映像処理（以下、時間軸映像処理と記す）を実行することで、精度のよい適切な時間軸映像処理を実行することができる。

本発明に係る一実施形態のテレビ放送受信装置の構成を示すブロック図である。 上記テレビ放送受信装置が有する映像信号処理部の構成を示すブロック図である。 本発明に係る一実施形態におけるノイズ処理部の構成を示すブロック図である。 （ａ）は対象フレームから部分画像を切り取る場合を説明する図であり、（ｂ）は参照フレームから部分画像を切り取る場合を説明する図であり、（ｃ）は対象フレームから画素iを中心として切り取られた部分画像を表わす図であり、（ｄ）は参照フレームから画素i＋rを中心として切り取られた部分画像を表わす図である。 （ａ）〜（ｃ）は、本発明に係る一実施形態における動き補償処理部での処理の流れを示す図である。 本発明に係る一実施形態におけるシーンチェンジ判定部の構成を示すブロック図である。 本発明に係る一実施形態における画素単位コスト算出部での処理の流れを示す図である。 モード毎の重み係数の組み合わせを示す図である。 色あいコスト関数C_arg(k, i)の曲線を示す図である。 本発明に係る一実施形態におけるシーンチェンジ検出部での処理の流れを示す図である。 変形例におけるシーンチェンジ判定部のブロック図である。 変形例におけるシーンチェンジ検出部での処理の流れを示す図である。 （ａ），（ｂ）は、変形例におけるシーンチェンジ検出部での処理の続きの流れを示す図である。 別の変形例におけるシーンチェンジ検出部での処理の流れを示す図である。 別の変形例におけるシーンチェンジ検出部での処理の続きの流れを示す図である。 さらに別の変形例におけるシーンチェンジ検出部での処理の流れを示す図である。 本発明に係る一実施形態における重み係数決定部での処理の流れを示す図である。 本発明に係る一実施形態におけるノイズ低減フィルタ処理部での処理の流れを示す図である。 本発明に係る別の実施形態におけるシーンチェンジ判定部のブロック図である。 本発明に係る別の実施形態における重み係数決定部にて実行される処理の流れを示す図である。 マルチディスプレイを示す図である。

本発明をその実施の形態を示す図面に基づき具体的に説明する。以下に記す本実施の形態では、本発明に係る画像表示装置として、テレビ放送受信装置１を例に用いて説明を行う。また、本発明に係る画像処理装置として、テレビ放送受信装置１が有する映像信号処理部４２を例に用いて説明する。なお、以下の実施の形態では、映像とは動画像を示すものとする。

（テレビ放送受信装置）
図１は、本実施形態のテレビ放送受信装置（画像表示装置）１の構成を示すブロック図である。テレビ放送受信装置１は、図１に示すように、インタフェース２、チューナー３、制御部４、電源ユニット５、表示部６、音声出力部７、及び、操作部８を備える。

インタフェース２は、ＴＶアンテナ２１と、ＴＭＤＳ（Transition Minimized Differential Signaling）方式でシリアル通信するためのＤＶＩ（Digital Visual Interface）端子２２およびＨＤＭＩ（High - Definition multimedia Interface）端子２３と、ＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）等の通信プロトコルで通信するためのＬＡＮ端子２４と、を含む。インタフェース２は、統括制御部４１からの指示に従って、ＤＶＩ端子２２、ＨＤＭＩ端子２３またはＬＡＮ端子２４に接続された外部の機器との間でデータを送受信する。

チューナー３は、ＴＶアンテナ２１と接続されており、ＴＶアンテナ２１が受信する放送信号がチューナー３に入力される。放送信号には、映像データ、音声データ等が含まれる。本実施形態では、チューナー３は、地上波デジタルチューナー３１及びＢＳ／ＣＳデジタルチューナー３２を備えているが、これらに限定されない。

制御部４は、テレビ放送受信装置１が有する各ブロックを統括的に制御する統括制御部４１、映像信号処理部４２、音声信号処理部４３およびパネルコントローラ４４を備える。

映像信号処理部４２は、インタフェース９を介して入力される映像データに所定の処理を施し、表示部６にて表示するための映像データ（映像信号）を生成する。

音声信号処理部４３は、インタフェース９を介して入力される音声データに所定の処理を施し音声信号を生成する。

パネルコントローラ４４は、表示部６を制御して、映像信号処理部４２が出力する映像データの映像を表示部６に表示する。

電源ユニット５は、外部から供給される電力を制御する。統括制御部４１は、操作部８が有する電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビ放送受信装置１に供給される電力が遮断される。

表示部６は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、映像信号処理部４２が出力する映像データの映像を表示する。

音声出力部７は、音声信号処理部４３で生成された音声信号を統括制御部４１の指示の下で出力する。

操作部８は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビ放送受信装置１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビ放送受信装置１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部８は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示を統括制御部４１に出力する。

なお、ここでは、テレビ放送受信装置１が備える操作部８が操作される場合を例に説明したが、テレビ放送受信装置１と無線で通信することが可能なリモートコントローラに操作部８を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置１に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。

（映像信号処理部）
図２は、映像信号処理部４２の構成を示すブロック図である。図２に示すように、映像信号処理部４２は、デコーダ１０と、ＩＰ変換処理部１１と、ノイズ処理部１２と、シャープネス処理部１３と、カラー調整処理部１４と、スケーラー処理部１５とを有している。

デコーダ１０は、圧縮された映像ストリームを復号して映像データを生成し、ＩＰ変換処理部１１に出力する。ＩＰ変換処理部１１は、必要に応じて、デコーダ１０から入力される映像データをインタレース方式からプログレッシブ方式に変換する。ノイズ処理部１２は、ＩＰ変換処理部１１が出力する映像データに含まれるノイズを低減（抑制）するためのノイズ低減処理を実行する。ノイズ低減処理の詳細については、後段で詳細に説明する。

シャープネス処理部１３は、ノイズ処理部１２が出力する映像データの映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部１４は、シャープネス処理部１３出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部１５は、カラー調整処理部１４が出力する映像データに対して、表示部６の画素数に応じたスケーリング処理を実行する。なお、統括制御部４１、図示しない記憶部に、映像信号処理部４２により各種の処理が実行される際の映像データを適宣記憶させる。

ここで、映像データを構成する画像データはフレーム単位で構成されており、フレーム単位の画像をフレーム画像と称する。よって、映像は複数のフレーム画像から構成されている。本明細書では、フレーム画像を単にフレームと称する場合もある。

本実施の形態では、映像信号処理部４２が有する各処理部のうち、処理対象となる第ｔ番目のフレーム（対象フレーム）と、対象フレームの前後に入力されるフレームを予め対象フレームを基準に位置合わせしたN-1枚の参照フレーム（N＞1）と、の合計N枚の複数フレームを入力する映像処理（時間軸映像処理）を実行する処理部、あるいは、時間軸映像処理を実行する処理部を有する処理部に、後述する本実施の形態のシーンチェンジ判定処理を実行するシーンチェンジ判定部１７が備えられる。時間軸映像処理を実行する処理部として、後述するノイズ低減フィルタ処理部１９や、マルチフレームの超解像処理を実行するスケーラー処理部１５などが挙げられる。時間軸映像処理を実行する処理部を有する処理部にシーンチェンジ判定部１７が備えられる場合とは、例えば、ノイズ低減フィルタ処理部１９を有するノイズ処理部１２に、シーンチェンジ処理部１７が備えられる場合である。なお、シーンチェンジ判定部１７が、時間軸映像処理を実行する処理部、あるいは、時間軸映像処理を実行する処理部を有する処理部に備えられておらず、独立して設けられていてもよい。

シーンチェンジ判定部１７は、入力フレーム間で、対象フレームを基準に参照フレームの動き量（移動量）を画素毎に推定し、動き量に従って位置合わせを行う動き補償処理部１６の後段に設けられる。例えば、図３に示すノイズ処理部１２は、動き補償処理部１６により動き補償処理が施された映像データに対してシーンチェンジ判定部１７にてシーンチェンジの判定を行い、判定結果（シーンチェンジ判定信号）を重み係数決定部１８に出力する構成となっている。ノイズ処理部１２における具体例は後述する。

シーンチェンジ判定部１７で用いる参照フレームの枚数N-1は、対象とする後段の時間軸映像処理を実行する処理部（ノイズ低減フィルタ処理部１９やスケーラー処理部１５）で入力されるフレームの枚数と同じ数である。また、対象フレームと参照フレームとで構成される入力フレームは、表示順序が時間的に連続している、つまり隣接しているものとする。

なお、後段の時間軸映像処理を実行する処理部が対象フレームの１枚のみを入力とする場合においても、N-1枚の参照フレームをダミーとして後段の時間軸映像処理を実行する処理部に入力することで、本実施の形態と同様の効果が得ることができる。また、本実施の形態で説明する映像処理は、必ずしもフレーム間の位置合わせを必要としない場合にも適用することができる。ただし、本実施の形態では、シーンチェンジ判定処理部１７は参照フレームとして対象フレームを基準に位置合わせされたものを使用するため、事前に位置合わせされたフレームを、シーンチェンジ判定処理部１７に入力するものとする。

以下では、N枚の入力フレームのうち、処理対象となる第ｔ番目のフレームをF_INと称し、参照フレームである第ｔ−１番目のフレームをF_IN-1と記す。入力フレームはいずれも、水平方向にIW個、垂直方向にIH個の、合計IW×IH個の画素を有するものとする。画素は水平成分および垂直成分の２つで表され、ｉ = (x, y)のように表す。ここでxは水平成分を示し0≦x≦IW-1、yは垂直成分を示し0≦y≦IH-1とする。また、フレームF_kの画素ｉにおける階調値ベクトルはf_k(i)と表わす。階調値ベクトルf_k(i)の形式は入力フレームのフォーマットによって定まり、たとえば、入力フレームのフォーマットがＲＧＢ信号である場合、階調値ベクトルはＲ,Ｇ,Ｂの３つの成分を有しており、ＹＣｂＣｒ信号である場合、階調値ベクトルはＹ, Ｃｂ, Ｃｒの３つの成分を有する。このように、階調値ベクトルは色空間における特定色を示すためのベクトル表現である。なお、後述の変形例２以降のようにN＞2となるケースと、色あいコストの説明などとを共通にするために、参照フレームをIN-1に限定せず、kという変数を用いて表現する。つまりｋ、参照フレームはF_kと記す。

動き補償処理部１６では、後段の時間軸映像処理を実行する処理部において処理対象となるフレームF_INと、併せて入力されるフレームF_kとの間の動きを画素毎に推定する動き補償処理を実行し、推定された動きに従って位置合わせを行うことでフレームF_kをフレームF_INと一致させる。動きの推定処理として、例えば、差分絶対値の和（Sum of Absolute Difference：ＳＡＤ値）を用いた方法が挙げられる。動きを求めたい画素をiとするとき、フレームF_IN上におけるiを中心に切り取られた部分画像に対して、フレームF_k上における画素ｉからrだけシフトした画素を中心に切り取られた部分画像とのＳＡＤ値を算出し、最も小さなＳＡＤ値を得るシフト量rをフレームF_INとフレームF_kとの間の動き量とする。

ここで、本明細書において、フレーム間での（画素単位での）動きを表したものを「動き量」と称し、その動き量を求めるために、部分画像をずらしたときの値を「シフト量」と称するものとする。すなわち、シフト量は動き量を求める段階での候補という位置づけであり、例えば上記のように、ＳＡＤ値を用いて動き補償処理をする場合は、２つの部分画像の差異を最小とするシフト量が「最適な」シフト量であり、これを「動き量」と推定する。

なお、ＳＡＤ値は、画素毎に階調値ベクトルの成分から求められた単一のスカラー量を用いて算出される。例えば、画素の輝度成分Ｙに関してＳＡＤを算出する場合、入力フレームがＹＣｂＣｒ信号であればＹ成分をそのまま使えばよい。また、入力フレームがＲＧＢ信号である場合、ＲＧＢ信号をＹＣｂＣｒ信号に変換すればよい。なお、ＳＡＤ値の算出に用いられる単一のスカラー量は輝度成分Ｙである必要は無く、例えば、ＲＧＢ信号の場合、Ｒ、Ｇ、Ｂ成分のうち１つの色成分の信号（例えば、Ｇ信号）を用いるようにしてもよく、Ｒ、Ｇ、Ｂ成分の平均値を用いるようにしてもよい。

ここで、部分画像は、図４（ａ），（ｂ）に示すように、フレームF_INおよびF_kにおいて同一の範囲を切り取ることで、フレームF_INおよびF_kから同一の大きさおよび形状の部分画像が得られる。図４（ａ）はフレームF_INから部分画像を切り取る場合、図４（ｂ）はフレームF_kから部分画像を切り取る場合示している。また、図４（ｃ）は、フレームF_INから画素iを中心として切り取られた部分画像、図４（ｄ）は、フレームF_Kから画素i＋rを中心として切り取られた部分画像を表わしている。図４（ａ）〜（ｄ）では、部分画像として切り取る範囲は１５×１５画素の矩形領域としている。部分画像として切り取る領域は常に一定のものとする。その画素数の例として１５×１５画素が挙げられるが、この画素数に限定する必要は無い。例えば、回路規模に応じて画素数を削減して実装してもよいし、後述のシフト量探索範囲Rangeの大きさに応じて決定してもよい。

フレームF_INから画素iを中心として切り取られた部分画像とフレームF_Kから画素i＋rを中心として切り取られた部分画像とから、これらの差異が最も小さくなるシフト量rを探索する。シフト量rは水平方向へのシフト量rxおよび垂直方向へのシフト量ryに分けることができ、r = (rx, ry)と表わすことができる。シフト量の探索範囲は-Range≦rx, ry≦Rangeの範囲に含まれる整数の組とする。必要であれば、以前の画素や直前のフレームにおける動き推定結果の履歴を複数呼び出し、その組のみを調べるよう簡略化してもよい。Rangeはシフト量の範囲を表わす定数であり、入力フレームの解像度、及び、フレームレートに応じて定める。基本的には処理量対精度のトレードオフ関係にあり、一般的にあるフレームが次のフレームに代わるまでに動く画素数を許容範囲とする。例えば、３０ｆｐｓ（frame per second）ＦＨＤ（Full High Definition）画像であればRange = 8である。

上記では、動き推定処理としてＳＡＤ値を最小にする動き量を探索（推測）する方法を挙げたが、本実施の形態ではこの処理に限らず、公知の推定方法を使用することができる。例えば、ＳＡＤ値のように差異の大きさを表す評価値を用いるケースとして、両フレームの部分画像同士の差分二乗値（Sum of Square Difference：ＳＳＤ）が最小となるシフト量を探索する方法や、逆に相関の大きさを表す評価値を用いるケースとして、両フレームの部分画像同士の相互相関値（Cross Correlation: ＣＣ）や正規化相互相関値（Normalized Cross Correlation：ＮＣＣ）が最大となるシフト量を探索する方法などが挙げられる。

また、実数精度の位置合わせを必要とする場合、最初から実数精度の動き推定方法を用いると膨大な処理時間がかかると予想される。そのため、初めに整数精度の動き量の推測（動き推定）を行うことで動き量の絞り込みを行い、得られた整数精度の動き量をRとするとき、続いて得られた動き量Rを中心とした水平方向および垂直方向ともに±０．５画素の範囲で実数精度の動き量rを求めるというような、組合せによる動き推定を実行してもよい。

図５（ａ）〜（ｃ）は、初めに整数精度の動き推定を行い、続いて実数精度の動き推定を行う場合の処理のフローチャートである。図５（ａ）〜（ｃ）の処理はフレームの各画素に対して実行される。前述したシフト量の探索範囲に含まれるシフト量の候補の集合をR_CANDとするとき、R_CANDに含まれる全てのシフト量の候補について１つずつ探索を行い、最適な評価値を与えるシフト量を、整数精度の動き量Rとして、Rを中心とした水平方向および垂直方向ともに±０．５画素の範囲で実数精度の動き量rを推定する。図５（ａ）に示すように、まず初めに、最適な評価値m_OPTの初期化を行う（ステップ５１、以下ではＳ５１のように略す）。このときの初期化値は、用いる評価値の種類によって異なり、ＳＡＤやＳＳＤのように値が小さくなるほど差異が小さいとして最適とみなす評価値（以下、差異評価値と称す）の場合はm_OPTを＋∞に初期化し、ＣＣやＮＣＣのように、値が大きくなるほど相関が大きいとして最適とみなす評価値（以下、相関評価値と称す）の場合は、m_OPTを−∞に初期化する。

続いて、R_CANDから探索するシフト量を１つ選択し、これをR_INTとする（Ｓ５２）。続いて、シフト量がR_INTであるときの評価値m(R_INT)を算出する（Ｓ５３）。続いて、RINTが最適なシフト量か否かの判定を行う。この判定処理は図５（ａ）において処理Ａと示され、用いる評価値が差異評価値の場合、（ｂ）のフローチャートに移動し、相関評価値の場合、（ｃ）のフローチャートに移動する。

まず、差異評価値を用いた場合について説明する。図５（ｂ）に示すように、評価値m(R_INT)がm_OPTよりも小さいかを判定する（Ｓ５４ｂ）。評価値m(R_INT)がm_OPTよりも小さい場合（Ｓ５４ｂにてＹＥＳ）、R_INTはその時点で最適なシフト量であるとして、m_OPTをm(R_INT)に更新し、整数精度の動き量RをR_INTに更新する（Ｓ５５ｂ）。m(R_INT)がm_OPT以上の場合は（Ｓ５４ｂにてＮＯ）、何も行わずに処理Ａを終了する。

続いて、相関評価値を用いた場合について説明する。図５（ｃ）に示すように、評価値m(R_INT)がm_OPTよりも大きいかを判定する（Ｓ５４ｃ）。評価値m(R_INT)がm_OPTより大きい場合（Ｓ５４ｃにてＹＥＳ）、R_INTはその時点で最適なシフト量であるとして、m_OPTをm(R_INT)に更新し、整数精度の動き量RをR_INTに更新する（Ｓ５５ｃ）。m(R_INT)がm_OPT以下の場合は（Ｓ５４ｃにてＮＯ）、何も行わずに処理Ａを終了する。以上がシフト量の候補R_INTに対する探索処理である。

処理Ａを終了すると、図５（ａ）に戻り、R_CANDに含まれる全てのシフト量の候補全てについての検索（推測）が終了したかを判定し（Ｓ５６）、終了していない場合には（Ｓ５６にてＮＯ）、Ｓ５２に戻る。つまり、R_CANDに含まれる全てのシフト量の候補に対して、Ｓ５２から処理Ａまでの処理を繰り返し実行する。

全てのシフト量の候補に対して上記の探索を終了すると（Ｓ５６にてＹＥＳ）、得られた整数精度の動き量Rを中心に、水平方向および垂直方向ともに±０．５画素の範囲で実数精度の動き量r = (r_x, r_y)を推定する（Ｓ５７）。実数精度の動き量の推定の方法は、どのようであってもよい。例えば、対象フレームの画素ｉを中心とした局所領域と、参照フレームの画素i + Rを中心とした同じサイズの局所領域とを用いた特徴点追跡などが挙げられる。

上記の動き補償処理部１６での動き補償処理で得られたフレームF_kの動き量に従って、フレームF_INを基準としてフレームF_kの位置合わせを行う。以下では、フレームF_kが動き補償処理によって位置合わせされた後のフレームをH_kと表わし、フレームH_k (k = 1, …, N)の画素iにおける階調値ベクトルはh_k(i)と表わす。ここで、F_INとH_INは同一である。フレームF_kの画素iで得られた動き量をr = (r_x, r_y)とするとき、h_k(i)には、フレームF_INにおいて画素iから- rだけシフトした位置から参照される階調値ベクトルf (i - r)を与える。動き量rの成分r_x, r_yが整数値でない場合、フレームF_INからそのまま参照することはできない。そのため、座標i - rの近傍画素からの補間値を求める。簡単な例では、座標i - rの近傍の４画素のうち最も距離の近い画素の値を参照する最近傍補間法や、近傍の４画素の有する階調値ベクトルの成分から求められた単一のスカラー量から線形的に求められる線形補間法が挙げられる。

図６は、シーンチェンジ判定部１７の構成を示すブロック図である。シーンチェンジ判定部１７は、画素単位のコスト（評価値）を算出する画素単位コスト算出部（画素単位評価値算出部）１７０と、画素単位コスト算出処理部１７０で算出された画素単位コスト（評価値）からフレーム全体の総合的なコスト（評価量）を算出してシーンチェンジの有無を決定するシーンチェンジ検出部１７１とを備えている。ここで、コストとは、後段の時間軸映像処理を行うことで、かえって劣化を生じる可能性の大きさを示すもので、コストが大きい程劣化が大きいものとする。ここで言う劣化とは、シーンチェンジの前後や、前段の動き補償処理の精度が十分でない場合に、位置合わせされたフレーム間の対応画素がそれぞれ違う部分を示し、これらの画素同士を、時間軸映像処理を実行する処理部に入力することで、望まない輝度や色相になることを言う。劣化の例として、前述したように、例えば、あるフレームでは人の肌を表わす領域がシーンチェンジにより次のフレームで水中を表わす画像に変化している場合に、肌の色と水の色が合成されて濁ったような色が出力されてしまうケースが挙げられる。よって、上記コストは、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示すことができるものと言うことができる。

図７は、本実施の形態の画素単位コスト算出部１７０の処理過程を示すフローチャートである。画素単位コスト算出部１７０は、あるフレームと次のフレームにおける対応画素同士の色あいに対応した色あいコストと補助コストとについて、それぞれ、初期化を行い（Ｓ７１ａ〜Ｓ７１ｍ）、それぞれコストを算出し（Ｓ７３ａ〜Ｓ７３ｍ）、コスト毎に適切な重み係数を算出して、画素単位で重み付き平均をとったものを画素単位コストとして出力する（Ｓ７４）。

ここで、補助コストの算出処理には、公知の方法を用いることができる。例えば、前段の動き補償処理において、ＳＡＤ値が最小になるシフト量を動き量として算出している場合、画素iのＳＡＤ値の最小値をDiとしたときに、Diが大きくなるほどコストが大きくなる関数を補助コストのコスト関数として用いてもよい。ここで、画素iのＳＡＤ値の最小値は、動き補償処理部１６にて算出した、フレームF_INの画素iを中心とした部分画像と、フレームF_kの画素i + R（Rは整数精度の動き量）を中心とした部分画像とのＳＡＤ値を指す。動き量は画素毎に算出しているため、このＳＡＤ値も画素毎に得ることができる。補助コストが複数ある場合、補助コストの数は任意に設定することができ、コスト毎の重み係数は任意に設定することができる。例えば、動き補償処理の精度が十分でないと事前に判っている場合は、動き補償処理と関連する補助コストの重み係数を小さくして重要度を下げることができる。

また、図８に示す表のように、事前に代表的な重み係数の組合せを「モード」として準備しておき、テレビ放送受信装置１の使用者がメニュー選択などによって切り替えることができるように構成されていてもよい。

ただし、映像信号処理部４２が入力映像がカラーかグレースケール（モノクロ）かの判定を行うカラー判定部（図示せず）を備えており、入力映像がグレースケール（モノクロ）の映像であると判断された場合、選択される重み係数の値にかかわらず、色あいコスト関数から得られるコストは使用しないように切り替えを行う。すなわち、入力映像がグレースケールの映像であると判断された場合、スイッチSW_colorをoffに切り替え、色あいコストの算出を行わず、０を出力するようにする（図７のＳ７２ａ，Ｓ７３ａ参照）。

入力画像がグレースケールであるかどうかの判定は、公知の判定方法を利用することができる。例えば、画像のフォーマットから色チャネルの数が１であるかどうかを判定したり、色差信号Ｃｂ、Ｃｒが全ての画素で０の値をとるかを判定したりすることで判定することができる。また、上記判定処理を、シーンチェンジ判定部１７より前段のデコーダ１０やＩＰ変換処理部１１で実施し、これら処理部で判定した結果を記憶部に格納しておき、画素単位コスト算出部１７０で格納された判定結果を参照するようにして構成されていてもよい。

本実施の形態では、色あいコストを次のようにして算出する。フレームH_IN（＝F_IN）と、H_kとの間において、階調値のＲＧＢベクトルh_IN,RGB(i),h_k,RGB(i)の間の角度が大きい程色あいの差が大きいものとして、色あいコストを大きくするように色あいコスト関数を設定する。

なお、フレームHの画素ｉにおける階調値のＲＧＢベクトルは３つの成分を有しており、h_RGB(i)＝(R, G, B)のように表わす。この成分Ｒ，Ｇ，Ｂは順に画素ｉの有する階調値のＲ, Ｇ, Ｂ成分を指し、入力画像のＲＧＢ成分が各８ビットのビットマップ画像である場合、Ｒ, Ｇ, Ｂは０から２５５までの整数値を取り、黒の場合はR = G = B = 0とする。入力フレームのフォーマットがＲＧＢ方式であればh_RGB(i) = h(i)として使用することができる。ＲＧＢ方式で無い場合、例えば、入力フレームがＹＣｂＣｒ方式の場合、ＹＣｂＣｒ信号の成分をＹ、Ｃｒ、Ｃｂとすると、下記の変換式（１）によりＲＧＢ信号に変換することができる。

なお、H_IN, H_kの画素ｉにおける階調値の差が大きくても、２つの階調値ベクトルのなす角の角度が小さいとコストは小さくなるが、２つの階調値ベクトルの大きさが変化して角度の変化が小さい場合はフェードイン、フェードアウトなどのエフェクトによる明暗、濃淡の変化による場合が多い。そのため、これらの変化から生じる階調値の差を有する画素同士を時間軸方向フィルタ処理しても、色あいの変化から生じる階調値の差を有する画素同士を時間軸方向フィルタ処理した場合に比べて、違和感を生じにくいと考えられる。よって、コストは小さいものとする。

本実施の形態にて適用可能な色あいコスト関数の算出方法を以下に述べる。２つの階調値ベクトルはいずれの成分も負の値を取らないため、ベクトル間角度θが90°を超えることはなく、0°≦θ≦90°の間で余弦値cosθは単調減少することを利用する。ここで、２つの階調値ベクトルh_IN,RGB(i)＝(R_IN, G_IN, B_IN)とh_k,RGB(i) = (R_k, G_k, B_k)とのベクトル間角度をθ (k, i)とするとき、余弦値は下記の式（２）から算出することができる。

更に、これを２乗すると下記の式（３）に示す四則演算のみの計算となる。

そこで、色あいコスト関数C_arg(k, i)は、上記の余弦値を用いて下記の式（４）から求める。

ここで、sは角度θ (k, i)に対する感度を決定する自然数の係数である。図９は、s = 1（曲線C1）、s = 2（曲線C2）、s = 3（曲線C3）としたときの色あいコスト関数C_arg(k, i)を表したものである。図９に示すように、sが大きくなるほど色あいコスト関数C_arg(k, i)は角度θ (k, i)に対して急峻な曲線を得ることがわかる。原則としてs = 1とするが、予め入力映像の内容を知っていて、彩度の低い映像である場合は、sの値を大きくすることで色あいの差異の変化を敏感にとらえられるように構成されていてもよい。

なお、画素iにおいて、対象フレームH_INおよび参照フレームH_kのいずれかが黒である場合のみ、下記の式（４’）のように色あいコスト関数C_arg(k, i)を求める。

映像信号処理部４２では、シーンチェンジ判定部１７の上記処理により、コントラストが低い場合でも比較的色あいの差異を検知しやすい。また、よほど極端に色相を変えてしまうようなノイズで無い限りはベクトルの向きを大きく変えないのでノイズの影響を受けにくい。上記のように算出することで、自然数の加算、乗算および1回の除算のみで、２つのベクトル間角度に正の相関をもつ関数を得ることができ、平方根や正規化のような複雑な過程を必要としない。なお、他の手法として、ＳＡＤでなく正規化相互相関を用いた場合、画素単位での評価を行おうとすると非常に計算量が多くなる。

（色あいコストの別の例）
上記では、色あいコスト関数C_arg(k, i)の算出方法について記載したが、より角度に対して敏感な曲線を得るため、下記の式（５）のように変形してもよい。

ここで、τおよびsは角度θ (k, i)に対する感度を決定する係数であり、τおよびsが大きくなるほど、色あいコスト関数C_arg(k, i)は角度θ (k, i)に対して急峻な曲線を得る。またτ＞１とし、sは自然数とする。またmax{x,y}は、xとyのうち大きい方を選択する演算を表し、色あいコスト関数C_arg(k, i)は常に０以上の値を取るようにする。t, sは固定した値を使用してもよいし、複数の値の組合せから選択して使用してもよい。

角度に対して敏感な曲線を得るために単純にsを大きくすると計算量が多くなるが、τ倍することにより比較的容易に所望の曲線を得やすくすることができる。

以上のようにして画素単位の色あいコストおよび補助コストを算出し、それぞれに重み係数を設定して総合的な画素単位コストを算出する。色あいコスト関数をC_arg(k, i)、M個からなる補助コスト関数をC₁(k, i), C₂(k, i), …, C_M(k, i)として、色あいコスト関数C_arg(k, i)に掛かる重み係数をw_arg、補助コスト関数Cm(k, i) (m = 1, 2, …, M)に掛かる重み係数をw_mとすると、画素iにおける総合的な画素単位コストは、下記の式（６）から求められる。

ここでW_sumは重み係数の和であり、下記の式（６’）のように求める。

また、式（６’）の第１項は補助コストに対する重みの和を表わすが、常に固定の値の組合せを使用する場合、予め計算して記憶しておいた値を参照しても良いし、図８のようにモードによる重みの切り替えを行う場合、予め計算した値をモード毎に記憶しておき、モード選択時に合わせて参照するようにしてもよい。

式（６）および式（６’）により、各モードの選択状態や、スイッチSW_colorの状態、すなわち、映像がカラーかグレースケールかの状態、が変化しても、取り得る評価値の範囲を一定に収めることで、後段のシーンチェンジ検出部１７１において同一の構成および閾値を共通で使用できるようにしている。

図１０は、シーンチェンジ検出部１７１の処理を示すフローチャートである。本実施形態では、隣接するフレーム間の関係を示す状態として「同シーン」「シーンチェンジ」および「許容期間」の３通りが用意されており、シーンチェンジ検出部１７１によっていずれかの状態に分類される。「同シーン」とは、両フレームが同じシーンのフレームであることを意味し、シーンチェンジの発生無しとして判定されたことを示す。「シーンチェンジ」とは、両フレーム間でシーンチェンジが発生したことを意味し、シーンチェンジの発生有りとして判定されたことを示す。「許容期間」とは、シーンチェンジの発生が判定されてからフレーム全体のコストが一定の値以下に低下するまでの期間であることを意味し、実際のシーンチェンジの有無に拘わらず、シーンチェンジ検出処理をスキップして常にシーンチェンジ無しとして判定する。これらの３つの状態はシーンチェンジ検出処理部１７１で判定された後、履歴情報として入力され、次のフレームのシーンチェンジ検出処理において利用される。

このようにシーンチェンジ検出部１７１でのシーンチェンジ検出処理の判定結果である履歴情報を記憶部に残し、次のフレームのシーンチェンジ検出処理にて参照することで、連続してシーンチェンジの発生が起こらないように精度よく判定することができる。

以下に、シーンチェンジ検出部１７１の処理の流れを説明する。初めに、画素単位コストC_Total(k, i)から、フレーム全体のコストCF_kを算出する（Ｓ１０１）。フレーム全体のコストの算出方法として、例えば、画像全体の画素数に対する、任意に設定した第３閾値THを超える画素単位コストを有する画素数の割合を使用したり、画素単位コストの画像全体における平均値を使用したりすることができる。またこれら以外にも任意にフレーム全体のコストの算出方法を設定することができる。

続いて、Ｓ１０１で得られたフレーム全体のコストと、レジスタ（記憶部）に格納された履歴情報REG1と、第１閾値T1と第２閾値T2とを用いて、シーンチェンジの有無を判定する。ここで、第１閾値T1はシーンチェンジの発生が有ることを認めるフレーム全体のコストの最小値を意味し、第２閾値T2はスキップにより実行されなかったシーンチェンジ検出処理の再開を認める値である。第１閾値T1および第２閾値T2は任意の定数として設定することができる。例えば、Ｓ１０１において、画像全体の画素数に対する、第３閾値THを超える画素単位コストを有する画素数の割合を用いてフレーム全体のコストを算出する場合、第３閾値THを超える画素数が画像全体の5％以上になったときにシーンチェンジと認め、その後、画像全体の4%以下に低下したときにシーンチェンジ検出処理を再開したい場合はT1=0.05, T2=0.04とすることができる。なお、最初に処理を行う際（ｔ＝０）には、レジスタにおける履歴情報REG1を「シーンチェンジ」として事前に更新しておく。これにより、実際には存在しないｔ＝−１枚目と、対象フレームとなるｔ＝０のフレーム間でシーンチェンジが発生したと仮定し、ｔ＝０のフレームより前は別シーンとして後段の時間軸方向の映像処理での利用を避ける。

シーンチェンジの有無の判定方法として、初めにレジスタに格納された履歴情報REG1の値を参照し、REG1が「00」であるかを判定する（Ｓ１０２）。REG1が「00」のときは（Ｓ１０２においてＹＥＳ）、時間ｔ−１における対象フレームと参照フレームとは「同シーン」であったとして、シーンチェンジの有無を判定するため、フレーム全体のコストCFと第１閾値T1との間の比較を行う（Ｓ１０３）。Ｓ１０３において、CF ≦ T1となる場合、対象フレームH_INと参照フレームH_IN-1との間の関係は「同シーン」であるとして、シーンチェンジ判定信号SC₁ = 00を与える（Ｓ１０５ａ）。Ｓ１０３において、CF> T1となる場合、対象フレームH_INと参照フレームH_IN-1とは「シーンチェンジ」の関係にあるとして、シーンチェンジ判定信号SC₁ = 01を与える（Ｓ１０５ｂ）。Ｓ１０２において、REG1が「00」でないときは（Ｓ１０２においてＮＯ）、時間ｔ−１における対象フレームと参照フレームとの間が「許容期間」の関係にあったとして、シーンチェンジ判定の再開を認めるか否かを決定するため、フレーム全体のコストCFと第２閾値T2との間の比較を行う（Ｓ１０４）。Ｓ１０４において、CF < T2となる場合、対象フレームH_INと参照フレームH_IN-1との間の関係は「同シーン」であるとして、シーンチェンジ判定信号SC₁ = 00を与える（Ｓ１０５ｃ）。Ｓ１０４において、CF₁ ≧T1となる場合、対象フレームH_INと参照フレームH_IN-1とは「許容期間」の関係にあるとして、シーンチェンジ判定信号SC₁ = 10を与える（Ｓ１０５ｄ）。Ｓ１０５ａ〜Ｓ１０５ｄの後、レジスタの履歴情報REG1の値をSC₁に更新する（Ｓ１０６）。以上で、シーンチェンジ検出部１７での、時間ｔにおける対象フレームH_INと参照フレームH_IN-1との間のシーンチェンジ検出処理を終了する。

（シーンチェンジ判定部の変形例１：参照フレームが前方向に複数ある場合）
上記では、入力フレームの枚数Nを、処理対象となる第ｔ番目のフレームF_INと、参照フレームである第ｔ−１番目のフレームをF_IN-1とで合計N = 2枚のフレームを用いて説明したが、これ以外にも参照フレームの取り方を変更してシーンチェンジ判定部を構成することができる。

以下では、処理対象となる第ｔ番目のフレームF_INに対して、F_INより前の連続するN-1枚のフレームを参照フレームとする場合について説明する。ただし、N = 3（すなわち第ｔ−１番目および第ｔ−２番目のフレームを参照フレームとする場合）またはN = 4（すなわち第ｔ−１番目、第ｔ−２番目および第ｔ−３番目のフレームを参照フレームとする場合）とし、それ以上前のフレームについては考慮しない。N枚のフレームを時間順（表示される順序）に並べたときに、時間の早い順に入力フレームをF₁、…、F_Nと呼び、また処理対象となる第ｔ番目のフレームをF_INと称する。INはN以下の自然数である。また、F₁, …,F_Nを動き補償処理によって位置合わせした画像を順にH₁,…,H_Nと称する。更に、フレームF_kおよびH_k (k = 1, …, N)の画素ｉにおける階調値ベクトルはそれぞれf_k(i)およびh_k(i)と表わす。動き補償処理については上記で説明したためここでは説明を省略する。

図１１は、変形例１における、シーンチェンジ判定部１７ａのブロック図である。図６で示したシーンチェンジ判定部１７との違いとして、履歴を参照するレジスタ（記憶部）としてREG1のほかにREG2を備えることと、シーンチェンジ判定信号の出力数がN個になっていることとが挙げられる。また、画素単位コスト算出部１７０ａでは、算出する画素単位コストは、対象フレームH_INと参照フレームH_IN-1との1組のみでよい。

変形例１では、２フレーム離れた参照フレームについては、前回の判定結果を格納したREG1の値を参照し、３フレーム離れた参照フレームについては、前々回の判定結果を格納したREG2の値を参照することで、処理量を減らすことができる。さらに、前回、前々回と今回の間で、ある２枚のフレーム間の関係が変わらないようにすることができる。

図１２は、変形例１におけるシーンチェンジ検出部１７１ａの処理過程を示すフローチャートである。Ｓ１２１〜Ｓ１２５（Ｓ１２５ａ〜Ｓ１２５ｄをまとめてＳ１２５とする）は、対象フレームH_INと参照フレームH_IN-1との間のシーンチェンジ判定処理を行うステップであり、図１０で示される前述のシーンチェンジ検出処理におけるＳ１０１〜Ｓ１０５と同様であり、ここでは説明を省略する。変形例１では、Ｓ１２５の後、対象フレームH_INと、参照フレームH_IN-2もしくはH_IN-3との間のシーンチェンジ判定処理（Ｓ１２６ａ〜ｓ１２６ｄ）を行う。

図１３（ａ），（ｂ）は、シーンチェンジ判定処理（Ｓ１２６ａ〜Ｓ１２６ｄ）の詳細な動作を示すフローチャートである。Ｓ１２５の後、シーンチェンジ判定信号SC_IN-1の値が「00」（同シーン）または「10」（許容期間）の場合、図１３（ａ）で示される処理１を実行し（Ｓ１２６ａ、Ｓ１２６ｃおよびＳ１２６ｄ）、シーンチェンジ判定信号SC_IN-1の値が「01」の場合、図１３（ｂ）で示される処理２を実行する（Ｓ１２６ｂ）。処理１では、初めに参照フレームの枚数（N - 1）を調べ（Ｓ１３１）、参照フレームが３枚の場合、すなわちN = 4の場合、シーンチェンジ判定信号SC₁およびSC₂に対して、それぞれレジスタに格納された履歴情報REG2およびREG1の値を代入する（Ｓ１３２）。なお、１フレーム前の履歴情報がREG1であり、２フレーム前の履歴情報がREG2である。その後、２フレーム前の履歴情報REG2をSC₂にしてレジスタに格納する（Ｓ１３３）。Ｓ１３１において、参照フレームが２枚の場合、すなわちN = 3の場合、シーンチェンジ判定信号SC₁に対して、レジスタに格納された履歴情報REG1の値を代入する（Ｓ１３４）。Ｓ１３１において、参照フレームが１枚の場合は何も行わない。以上により、対象フレームH_INと、フレームH_IN-1より前の参照フレームとの間のシーンチェンジ判定処理を終了し、レジスタに格納する１フレーム前の履歴情報REG1をSC_IN-1に更新する（Ｓ１２７）。

続いて、処理２について図１３（ｂ）を用いて説明する。初めに参照フレームの枚数（N - 1）を調べ（Ｓ１３５）、参照フレームが３枚の場合、すなわちN = 4の場合、シーンチェンジ判定信号SC₁およびSC₂に「01」を代入し（Ｓ１３６）する。その後、２フレーム前の履歴情報REG2を「01」にしてレジスタに格納する（Ｓ１３７）。Ｓ１３５において、参照フレームが２枚の場合、すなわちN = 3の場合、シーンチェンジ判定信号SC₁に「01」を代入する（Ｓ１３８）。Ｓ１３５において、参照フレームが１枚の場合は何も行わない。以上により、対象フレームH_INと、フレームH_IN-1より前の参照フレームとの間のシーンチェンジ判定処理を終了し、Ｓ１２７に進む。

以上のようにして、変形例１におけるシーンチェンジ検出部１７１ａのシーンチェンジ判定処理を終了し、N個のシーンチェンジ判定信号SC₁, …, SC_Nを出力する。

変形例１では、処理対象フレームH_IN（第ｔ番目）より前のフレームを複数用いる処理に対しても、１フレーム前および２フレーム前の履歴情報を用いる。よって、少ない処理数でフレーム間シーンチェンジ判定を行うことができる。

（シーンチェンジ判定部の変形例２：参照フレームが前だけでなく後ろ方向にも存在する場合）
以下では、処理対象となる第ｔ番目のフレームF_INに対して、F_INより前および後ろの連続するN-1枚のフレームをまで第ｔ−１番目のフレームを参照フレームとする場合について説明する。ただし、前方向および後ろ方向に対してそれぞれ1から2枚の参照フレームを有する、すなわち参照フレームとして少なくとも第ｔ−１番目および第ｔ＋１番目のフレームを有し、更に、場合によって第ｔ−２番目および第ｔ＋２番目のフレームを参照フレームとして有するものとする（3≦N≦5）。N枚のフレームを時間順に並べたときに、時間の早い順に入力フレームをF₁、…、F_Nと呼び、処理対象となる第ｔ番目のフレームをF_INと称する。INはN以下の自然数である。また、F₁, …,F_Nを動き補償処理により位置合わせした画像を順にH₁,…,H_Nと称する。更に、フレームF_kおよびH_k (k = 1, …, N)の画素ｉにおける階調値ベクトルはそれぞれf_k(i)およびh_k(i)と表わす。動き補償処理については上記で説明しているためここでは説明を省略する。

変形例２では、変形例１と同様のシーンチェンジ判定部の構成を備える。変形例２では、画素単位コスト算出部で算出する画素単位コストは、対象フレームH_INと、H_INより後の参照フレームH_k（IN < k≦N）の１〜２組でよい。

図１４は、変形例２におけるシーンチェンジ検出部１７１の処理過程を示すフローチャートである。変形例２では、対象フレームH_INと比べて前フレームとなる参照フレームH_k（1≦k < IN）と、後フレームとなる参照フレームH_k（IN < k≦N）とで異なる処理を行う。対象フレームH_INと、H_INより前の参照フレームH_kとの間のシーンチェンジ判定（Ｓ１４１ａ）は、レジスタに格納された履歴情報REG1およびREG2に従う。まず初めに、対象フレームH_INより前の参照フレームの枚数（N - 1）を調べ（Ｓ１４２）、２枚ある、すなわちIN = 3の場合、参照フレームH₁のシーンチェンジ判定信号SC₁には履歴情報REG2の値を代入し、参照フレームH₂のシーンチェンジ判定信号SC₂には履歴情報REG1の値を代入する（Ｓ１４３）。その後、履歴情報REG2の値の更新を行う（Ｓ１４４）。履歴情報REG1の値が「01」である場合のみ、履歴情報REG2にも「01」を代入してレジスタに格納し、それ以外の値である場合には履歴情報REG2には履歴情報REG1の値を代入してレジスタに格納する。一方，Ｓ１４２において、対象フレームH_INより前の参照フレームが１枚のみ、すなわちIN = 2の場合、参照フレームH₁のシーンチェンジ判定信号SC₁には履歴情報REG1の値を代入する（Ｓ１４５）。以上により、Ｓ１４１ａの処理を終了する。

変形例２では、処理対象フレームH_IN（第ｔ番目）の前後フレームを参照フレームとして複数用いる処理において、前フレームに対しては過去の履歴を用いることで処理量を減らすとともに、前回の判定結果との齟齬をなくす。Ｓ１４４において、履歴情報REG1が「01」の場合の履歴情報REG2の更新値が異なるのは、「１フレーム前が異なるシーンであるのに２フレーム前が同じシーンである」という状態になることを防ぐためである。

続いて、対象フレームH_INと、H_INより後の参照フレームH_k（IN < k≦N）との間のシーンチェンジ判定（Ｓ１４１ｂ）について説明する。まず初めに、対象フレームH_INと参照フレームH_kとの間のフレーム全体のコストCF_kを、前段の画素単位コスト算出部１７０ａで得られた画素単位コストC_total(k, i)から算出する（Ｓ１４６）。フレーム全体のコストの算出方法は上記に説明しており、ここでは省略する。続いて、シーンチェンジ判定信号SC_INに値を代入する（Ｓ１４７）。ここで、シーンチェンジ判定信号SC_INは、実際には参照フレームが対象フレームと同一であることから意味を持たないが、シーンチェンジ判定部内部の処理のためにダミー信号として使用される。Ｓ１４７では、履歴情報REG1が「01」を参照する場合のみSC_INに「10」を与え、それ以外の値を参照する場合にはSC_INには履歴情報REG1と同じ値を与える。その後、対象フレームH_INと、H_INより後ろ方向の参照フレームとの間のシーンチェンジ判定信号の出力を行う（Ｓ１４８）。Ｓ１４８では、参照フレームH_kについて、kをIN+1からNの間でインクリメントしながら、対象フレームH_INとのシーンチェンジ判定処理を順次行っていく（処理３）。

図１５は、Ｓ１４８で行われる処理３の詳細な動作を表すフローチャートである。対象フレームH_INと参照フレームH_kとの間のシーンチェンジ判定処理では、初めにk = IN+1として初期化した（Ｓ１５１）上で、シーンチェンジ判定信号SC_k-1の値によって分岐により処理内容を切り替える（Ｓ１５２）。k = IN+1のときSC_k-1は、Ｓ１４７で得られたダミーのシーンチェンジ判定信号SC_IN、すなわちREG1に格納された履歴情報となり、時間ｔ−１での対象フレーム（第ｔ−１番目）とその１フレーム後（第ｔ番目）の参照フレームとのシーンチェンジ判定信号を指し、k =IN+2のときSC_k-1は対象フレームH_INと参照フレームH_k-1とのシーンチェンジ判定信号SC_IN+1を指す。

SC_k-1が「00」のときは、上記２フレームが「同シーン」であったとして、シーンチェンジの有無を判定するため、対象フレームH_INと参照フレームH_k間のフレーム全体のコストCF_kと第１閾値T1との間の比較を行う（Ｓ１５３）。Ｓ１５３において、CF_k ≦ T1となる場合、対象フレームH_INと参照フレームH_kとの間の関係は「同シーン」であるとして、シーンチェンジ判定信号SC_k = 00を与え（Ｓ１５５ａ）、CF_k > T1となる場合、対象フレームH_INと参照フレームH_kとは「シーンチェンジ」の関係にあるとして、シーンチェンジ判定信号SC_k = 01を与える（Ｓ１５５ｂ）。

Ｓ１５２において、SC_k-1が「10」のときは、上記２フレームが「許容期間」の関係にあったとして、シーンチェンジ判定の再開を認めるか否かを決定するため、対象フレームH_INと参照フレームH_k間のフレーム全体のコストCF_kと第２閾値T2との間の比較を行う（Ｓ１５４）。Ｓ１５４において、CF_k < T2となる場合、対象フレームH_INと参照フレームH_kとの間の関係は「同シーン」であるとして、シーンチェンジ判定信号SC_k= 00を与え（Ｓ１５５ｄ）、CF_k ≧T1となる場合、対象フレームH_INと参照フレームH_kとは「許容期間」の関係にあるとして、シーンチェンジ判定信号SC_k = 10を与える（Ｓ１５５ｅ）。Ｓ１５２において、SC_k-1が「01」のときは、上記２フレームが「シーンチェンジ」の関係にあったとして、フレーム全体のコストCF_kの値に拘わらず、対象フレームH_INと参照フレームH_kとは「シーンチェンジ」の関係にあるとして、シーンチェンジ判定信号SC_kに「01」を与える（Ｓ１５５ｃ）。Ｓ１５５の後、kをインクリメントし（Ｓ１５６）、k ≦Nを満たすかを判定する（Ｓ１５７）。k ≦ Nを満たさない場合（Ｓ１５７においてＮＯ）、Ｓ１５２に戻って同様の処理を行い、満たす場合（Ｓ１５７においてＹＥＳ）、処理３を終了する（Ｓ１５７）。

Ｓ１４１ａ，Ｓ１４１ｂの終了後、レジスタに格納する１フレーム前の履歴情報REG1をシーンチェンジ判定信号SC_IN+1の値に更新する（Ｓ１４９）。

変形例２では、処理対象フレームH_IN（第ｔ番目）の前後フレームを参照フレームとして複数用いる処理において、後フレームに対しては、新規に入力されたフレームとの組み合わせであり判定履歴がないため新たに判定を行う。対象フレームと２フレーム離れた参照フレームとの判定信号SC_IN+2を履歴情報としてレジスタに残さないのは、２フレームの間に生じた動き量が、動き補償処理で追跡できる動き量の上限を超えている可能性があり、今回の判定結果よりも、次回（第ｔ＋１番目を対象フレームとするとき）の判定結果の方が信用できる値となるためである。

以上の方法により、対象フレームと参照フレームとの間のシーンチェンジ検出処理を行い、シーンチェンジ判定信号SC_kを出力する。

（シーンチェンジ判定部の変形例３：変形例２のＳ１４８に関する変形例）
変形例２において、Ｓ１４８の詳細な動作として、図１５に示すように参照フレームそれぞれについて判定を行う方法を説明した。ただし、対象フレームH_INより後の参照フレームが2枚存在する、すなわちN - IN = 2である場合に限り、図１６に示すフローチャートのように、判定に用いる参照フレームをH_IN+1の1枚のみとして、得られるシーンチェンジ判定信号SC_IN+1を、対象フレームH_INと参照フレームH_IN+2との間のシーンチェンジ判定信号SC_IN+2にコピーしても良い。図１６に示すＳ１６１〜Ｓ１６４の処理は、図１５におけるステップ１５２〜１５５をk = IN+1として実行しているものと同等であり、詳細の説明を省略する。ただし、ダミー信号SC_INには「01」の値は格納されないため、Ｓ１６１における分岐先が２つであることに注意する。その後、シーンチェンジ判定信号SC_Nにシーンチェンジ判定信号SC_IN+1の値を代入する（Ｓ１６５）。

なお、上記変形例に示した方法でシーンチェンジ判定を行う場合、画素単位コストの算出およびフレーム全体のコストの算出は、対象フレームH_INと参照フレームH_IN+1との１組だけとしても良い。

変形例３では、１枚先のフレームとの判定結果を２枚先にも伝搬することで、処理を簡略化することができる。

（時間軸方向のフィルタ処理との組合せ例）
次に、時間軸方向のフィルタ処理実行するノイズ処理部１２にシーンチェンジ判定部１７が備えられた場合を例に挙げて説明する。

図３は、本実施の形態のノイズ処理部１２の構成を示すブロック図である。ノイズ処理部１２は、動き補償処理部１６と、シーンチェンジ判定部１７と、重み係数決定部１８と、ノイズ低減フィルタ部１９とを含む。入力映像を構成する複数フレームを受け付けた場合、事前に動き補償処理部１６で位置合わせを行い、シーンチェンジ判定部１７においてシーンチェンジの有無を判断する。重み係数決定部１８でノイズを低減するための時間軸方向の重み付きフィルタを構築して、各フレームに対してノイズ低減フィルタ部１９によりランダムノイズやブロックノイズの低減を行う。動き補償処理部１６およびシーンチェンジ判定部１７については前述したため、説明を省略する。

ノイズ低減フィルタ部１９では、ノイズ低減処理の対象となる第ｔ番目のフレームと、その前後のN-1枚のフレームからなる計N枚の参照フレームを入力し、N個の成分を有する重み付きフィルタを適用することにより１枚のフレームを出力する。

図１７は、重み係数決定部１８の処理過程を示すフローチャートである。重み係数決定部では、後段のノイズ低減フィルタ部１９で適用される重み付きフィルタの各成分を決定する。重み付きフィルタに入力するN枚のフレームH₁, …, H_Nに対して、重み付きフィルタはN個の成分から構成され、k番目（k = 1,…, N）の成分ω_k (i)は入力フレームH_kに対応する。

シーンチェンジ判定部１７において、フレームH_k、H_IN間（ただしk≠IN）でシーンチェンジが有ると判定された場合（図１０参照）、すなわちシーンチェンジ判定信号SC_kが「01」の場合、全ての画素iにおいて重み係数ω_k (i)は０とする。一方、k = INの場合、もしくはフレームH_k、H_IN間でシーンチェンジが無いと判定された場合、すなわちシーンチェンジ判定信号SC_kが「00」もしくは「10」の場合、フレームH_k、H_IN間の差異の大きさに対して、負の相関を有するような重み係数ω_k(i)を設定する。これにより、フレームH_INに対する重みが最も大きくなり、フレームH_INとの差異が大きいフレームほど重みが小さくなる。差異の大きさを表す評価値として、例えばフレームH_nおよびH_INから画素iを中心に切り取った部分画像同士の誤差の標準偏差が挙げられる。

図１８は、ノイズ低減フィルタ部１９の処理過程を示すフローチャートである。ノイズ低減フィルタ部１９では、重み係数決定部１８で決定された重み付きフィルタω_kを、位置合わせ後のフレームH_kに対して適用し、下記の式（７）を求めて、ノイズ低減処理画像Tを得る。

ここで、t(i)は、ノイズ低減処理画像Tの画素iにおける階調値ベクトルを意味する。また、ここでいう階調値ベクトルは原則としてＲＧＢの各成分で構成される３次元ベクトルとするが、実施する重み係数の算出方法や後段のシャープネス処理部への入力フォーマットなどの条件に応じて、ＹＣｂＣｒなど異なるフォーマットの成分を有するベクトルとしてもよい。

以上の処理により、ノイズ低減フィルタ処理の入力フレーム間でシーンチェンジが発生していても、シーンチェンジ特徴を利用して、時間軸方向に適応的にフィルタ処理を施すことにより、ノイズを低減することができる。シーンチェンジの発生を精度よく判定できるため、シーンチェンジが発生しているか否かの判定結果に基づいて時間軸方向のフィルタ処理を行うことができる。よって、精度良くノイズを低減することができる。そのため、テレビ放送受信装置１は、高品質な画像を表示することができ、ユーザに快適な視認環境を提供することが可能である。

なお、上記実施の形態ではノイズ処理部１２にシーンチェンジ判定部１７を組み合わせた場合について説明したが、他の時間軸方向のフィルタ処理等の時間軸画像処理を実行する処理部にシーンチェンジ判定部を組み合わせて用いてもよい。また、シーンチェンジ判定部より得られたシーンチェンジ判定信号を、他の処理部に入力して、シーンチェンジが発生したことを反映した処理内容に切り替えるようにしてもよい。

〔実施の形態２〕
本実施の形態の映像信号処理部は、図６に示す実施の形態１の映像信号処理部４２のシーンチェンジ判定部１７が、図１９に示すシーンチェンジ判定部１７’に置き換わったものである。本実施の形態の映像信号処理部およびテレビ放送受信装置において、シーンチェンジ判定部１７’以外の構成は、実施の形態１の映像信号処理部４２およびテレビ放送受信装置１と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した処理については説明を省略し、異なる構成のみ説明する。

本実施の形態のシーンチェンジ判定部１７’は、画素単位コスト算出部１７０’で得られたフレーム間の対応画素同士の色あいの近さを示す評価値を保存するためのN個のフレームバッファ１７２を備える。上記の評価値は画素単位コスト算出部１７０’で算出されたのちフレームバッファ１７２に保存され、後段の重み係数決定部１８に入力される。以下ではN個のフレームバッファ１７２は、順にBUF-1,…,BUF-Nと称し、BUF-kは入力フレームH_kと対応する（k = 1, …, N）。上記評価値は、シーンチェンジ判定部１７’に記憶しておく必要はなく、テレビ放送受信装置に備えられる共通のメモリ（記憶部）に格納しておいてもよい。

本実施の形態では、フレーム間の対応画素同士の色あいの近さを示す評価値α_kを以下のようにして算出する。画素単位コスト算出部１７０’において、上記の式（１）のようにして算出される余弦値cosθ (k, i)は小さい程対応画素同士の色あいが近いとして、評価値α_kはcos^2sθ (k, i)と正の相関を有する関数により求める。ここでsは正の整数であり、上記の式（３）もしくは式（４）により色あいコストC_argを算出するときに設定される定数sと同一の値を取る。cos^2sθ (k, i)と正の相関を有する関数として、例えばcos^2sθ (k, i)をそのまま用いてもよいし、色あいコスト関数の逆数1/C_argを取ってもよい。また、必要に応じて、下限値を決めて、下限値以下の値を取る場合は0を返し、それ以外の値を取る場合は0から1の範囲に正規化された値を返すようにしてもよい。得られた評価値α_kは一旦フレームバッファBUF-kに格納され、後段のシーンチェンジ判定部１７１’で呼び出される。

余弦値が大きいことと、評価値（色あいコスト）が小さいことは同義であり、cos^2sθ (k, i)と正の相関を有する値を得ることにより、後段の重み係数決定部１８において、色あいコストの小さい画素に大きな重みが与えられるようにすることができる。

ノイズ低減処理の方法は時間軸方向のフィルタ処理であれば特に指定がない場合、輝度差の小さい画素間に大きな重みを与えるものも挙げられる。しかし、輝度情報だけでは、例えばR=127,G=B=0と、R=B=0, G=127の階調値を有する画素同士も輝度は同じ（１２７）として大きな重みを与えるため、異なる色あいの画素同士が大きく寄与され、残像が発生しがちある。そこで、本実施の形態では、評価値α_kを重み付けに反映させることで、視覚的に残像として気づきやすい色あいの差を画素間の相違の大きさとして考慮することが可能となる。このことは、シーンチェンジ判定部１７’でのシーンチェンジ判定処理の内容を流用できるという点で回路規模の節約にも繋がる。

次に、図２０のフローチャートを参照に、重み係数決定部１８での重み係数決定処理を以下に示す。初めに重み係数ωは全ての画素においてゼロに初期化する（Ｓ２０１）。そして、フレームH_k、H_IN間でシーンチェンジが発生していないか、あるいはK = INであるかを判定する（Ｓ２０２）。フレームH_k、H_IN間でのシーンチェンジが有ると判定された場合（Ｓ２０２でＮＯ）、すなわちシーンチェンジ判定信号SC_kが「01」の場合、全ての画素iにおいて重み係数ω_k (i)は0のままとする。一方、フレームH_k、H_IN間でシーンチェンジが発生していないと判定された場合（Ｓ２０２でＹＥＳ）、すなわちシーンチェンジ判定信号SC_kが「00」もしくは「10」の場合、フレームH_k、H_IN間の差異の大きさに対して、負の相関を有するような重み係数ω_k(i)を算出する（Ｓ２０３）。重み係数ω_k (i)は、実施の形態１で説明した方法と同様にして算出する。更に、フレームバッファBUF-kから入力される評価値α_k (i)との積により、重み係数ω_k (i) =α_k (i)×ω_k (i)を更新する（Ｓ２０４）。

本実施の形態により、ノイズ低減フィルタ処理部１９への入力フレーム間でシーンチェンジが発生していても、シーンチェンジ特徴を利用して、時間軸方向に適応的にフィルタ処理を施すことにより、ノイズを低減することができる。さらに、シーンチェンジではないが画像の一部で大きな差異が見られる場合、その差異の生じている部分のみノイズ低減フィルタの重みを小さくすることで残像の発生を抑制することができる。

なお、本実施の形態で得られたシーンチェンジ判定信号を後段の処理部に入力して、シーンチェンジが発生したことを反映した処理内容に切り替えるようにしてもよい。また、映像信号処理部に、時間軸映像処理を実行する処理部が複数存在する場合（例えば、ノイズ低減フィルタ処理部やスケーラー処理部）、本実施の形態でフレームバッファ１７２に格納された評価値を、複数の時間軸映像処理を実行する処理部に入力して利用してもよい。

〔実施の形態３〕
上記した実施の形態１および２では、本発明に係る画像処理装置を、チューナー３を有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば、チューナー３を有していないモニタ（インフォメーションディスプレイ）の映像信号処理を実行する処理部に適用してもよい。この場合は、モニタが、本発明に係る画像表示装置であり、モニタの概略構成は、例えば、図１に示す構成からチューナー３を除いたものとなる。本発明に係る画像処理装置がモニタの映像信号処理を実行する処理部に適用されているため、モニタにおいて、映像のディテイル感を向上する処理を実行することができる。

また、実施の形態１では、本発明に係る画像処理装置を、表示部６を１つ有する（単体のディスプレイ）テレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば図２１に示すように表示部６が垂直方向および水平方向に複数台配置されたマルチディスプレイ１００の映像信号処理を実行する処理部に適用してもよい。この場合は、マルチディスプレイ１００が、本発明に係る画像表示装置である。本発明に係る画像処理装置がマルチディスプレイ１００の映像信号処理を実行する処理部に適用されているため、例えば、マルチディスプレイ１００にＦＨＤ映像を再生するような場合において、映像のディテイル感を向上する処理を実行することができる。

〔実施の形態４〕
実施の形態１または２の映像信号処理部４２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、映像信号処理部４２（または、テレビ放送受信装置１）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである映像信号処理部４２の各制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、映像信号処理部４２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、ＰＬＤ（Programmable logic device）等の論理回路類などを用いることができる。

また、映像信号処理部４２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、複数のフレーム画像よりなる映像におけるシーンチェンジの発生を検出する画像処理装置等に利用することができる。

１ テレビ放送受信装置（画像表示装置）
４ 制御部
６ 表示部
８ 操作部
１２ ノイズ処理部
１６ 動き補償処理部
１７，１７ａ，１７’ シーンチェンジ判定部（画像処理装置）
１８ 重み係数決定部
１９ ノイズ低減フィルタ処理部
４２ 映像信号処理部（画像処理装置）
１００ マルチディスプレイ
１７０，１７０ａ，１７０’ 画素単位コスト算出部（画素単位評価値算出部）
１７１，１７１ａ，１７１’ シーンチェンジ検出部
１７２ フレームバッファ

Claims (13)

1. 複数のフレーム画像よりなる映像におけるシーンチェンジの発生を検出する画像処理装置であって、
   隣接する２つのフレーム画像間の移動量を画素毎に推定し、推定した当該移動量に基づいて当該隣接する２つのフレーム画像の位置合わせをする動き補償処理部と、
   上記隣接する２つのフレーム画像のうち、一方のフレーム画像である対象フレーム画像の注目画素である第１画素の色成分の値と、他方のフレーム画像である参照フレーム画像における上記第１画素と上記位置合わせされた第２画素の色成分の値とから算出される評価値を、上記対象フレーム画像の画素毎に算出する画素単位評価値算出部と、
   上記対象フレーム画像の画素毎に算出された評価値に基づいて、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示す評価量を算出し、算出された当該評価量と予め定められた閾値とを比較することでシーンチェンジが発生しているかを判定するシーンチェンジ検出部と、を備えることを特徴とする画像処理装置。
2. 上記画素単位評価値算出部は、上記第１画素の上記対象フレーム画像の色成分の値を成分とする第１ベクトルと、上記第２画素の色成分の値を成分とする第２ベクトルとを求め、当該第１ベクトルと当該第２ベクトルのなす角の余弦値より上記評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 上記シーンチェンジ検出部は、上記判定の結果を、上記対象フレーム画像と上記参照フレーム画像とが同じシーンにある状態か、上記対象フレーム画像と上記参照フレーム画像との間でシーンチェンジが発生している状態か、あるいは、上記対象フレーム画像と上記参照フレーム画像とがシーンチェンジ発生後の上記評価量が所定値以下になるまでの期間を表わす許容期間にある状態か、のいずれかの状態に分類することを特徴とする請求項１または２に記載の画像処理装置。
4. シーンチェンジ検出部は、上記評価量を、上記対象フレーム画像の全画素数に対する予め定められた閾値を超える上記評価値を有する画素数の割合から算出する、あるいは、上記対象フレーム画像の全画素の上記評価値の平均値から算出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 上記参照フレーム画像は、上記対象フレーム画像よりも表示順序が前の画像であり、
   上記シーンチェンジ検出部は、上記参照フレーム画像について既にシーンチェンジの発生を判定した結果である履歴情報を参照し、上記対象フレーム画像の上記評価量と上記予め定められた閾値とを比較することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 上記シーンチェンジ検出部にてシーンチェンジが発生していると判定された場合、上記対象フレーム画像の全ての画素の重み係数を０とし、シーンチェンジが発生していると判定されなかった場合、上記対象フレーム画像と上記参照フレーム画像との差異の大きさに対して負の相関を有する係数を重み係数として設定する、重み係数決定部と、
   上記重み係数決定部で設定された重み係数を用いて上記対象フレーム画像に対してフィルタ処理を行うノイズ低減フィルタ処理部と、を備えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 上記画素単位評価値算出部は、上記画素毎に求められた余弦値に対して正の相関を有する第２評価値を画素毎に算出するようになっており、
   上記シーンチェンジ検出部にてシーンチェンジが発生していると判定された場合、上記対象フレーム画像の全ての画素の重み係数を０とし、シーンチェンジが発生していると判定されなかった場合、上記対象フレーム画像と上記参照フレーム画像との差異の大きさに対して負の相関を有する係数に上記第２評価値を乗算して重み係数を設定する、重み係数決定部と、
   上記重み係数決定部で設定された重み係数を用いて上記対象フレーム画像に対してフィルタ処理を行うノイズ低減フィルタ処理部と、を備えることを特徴とする請求項２に記載の画像処理装置。
8. 上記対象フレーム画像と上記参照フレーム画像との差異の大きさは、注目画素を中心に切り取った部分画像同士の誤差の標準偏差であることを特徴とする請求項６または７に記載の画像処理装置。
9. 上記映像がカラーかモノクロかの判定を行うカラー判定部をさらに備え、
   上記動き補償処理部は、上記隣接する２つのフレーム画像間の移動量を画素毎に推定するのに、上記隣接する２つのフレーム画像の差分の絶対値の和の最小値である第３評価値を算出するようになっており、
   上記シーンチェンジ検出部は、上記カラー判定部にて上記映像がモノクロであると判定されると、上記評価値の代わりに、上記第３評価値に基づいて上記評価量を算出し、算出された当該評価量と予め定められた第２閾値とを比較することでシーンチェンジが発生しているかを判定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 請求項１から９のいずれか１項に記載の画像処理装置を備えることを特徴とする画像表示装置。
11. 複数のフレーム画像よりなる映像におけるシーンチェンジの発生を検出するシーンチェンジ発生検出方法であって、
    隣接する２つのフレーム画像間の移動量を画素毎に推定し、推定した当該移動量に基づいて当該隣接する２つのフレーム画像の位置合わせをする動き補償処理ステップと、
    上記隣接する２つのフレーム画像のうち、一方のフレーム画像である対象フレーム画像の注目画素である第１画素の色成分の値と、他方のフレーム画像である参照フレーム画像における上記第１画素の位置に位置合わせされた第２画素の色成分の値とから算出される評価値を、上記対象フレーム画像の画素毎に算出する画素単位評価値算出ステップと、
    上記対象フレーム画像の画素毎に算出された評価値に基づいて、隣接する２つのフレーム画像が異なるシーンのフレーム画像である可能性の大きさを示す評価量を算出し、算出された当該評価量と予め定められた閾値とを比較することでシーンチェンジが発生しているかを判定するシーンチェンジ検出ステップと、を含むことを特徴とするシーンチェンジ発生検出方法。
12. 請求項１から９のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images