JP2010258732A - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

Abstract

【課題】ユーザに違和感を与えないよう画質劣化の補償を行うこと。
【解決手段】本発明は、第１の周波数帯域で伝送された第１の映像からノイズが発生する領域を検出するノイズ領域検出部と、第１の周波数帯域と異なる第２の周波数帯域で伝送された第２の映像から、ノイズ領域検出部で検出した領域と対応する領域を抽出する第２映像領域抽出部３３１と、第２の映像のうち、第２映像領域抽出部３３１で抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を検出する相関領域検出部３３２と、第１の映像から、相関領域検出部３３２で検出した領域と対応する領域を抽出する第１映像領域抽出部３３３と、第１映像領域抽出部３３３で抽出した領域の映像をノイズ領域検出部で検出した領域に置き換える置換処理部３３４とを有する映像処理装置である。
【選択図】図２

Description

本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。詳しくは、映像にノイズが発生した際のノイズ領域の補間を行う映像処理装置、映像処理方法および映像処理プログラムに関する。

従来、２系統の放送信号を同時に受信し、画質劣化を防ぐ技術としては、以下のアプローチが挙げられる。
（１）移動体でのデジタル放送受信に関して、サイマル放送が存在する場合に、極力高品質の放送信号を受信できるように自動切換えを行う技術（特許文献１参照)。
（２)移動体用デジタルテレビ放送受信装置において、受信電界強度データが所定の受信電界強度よりも大きく、かつ、誤り率データが所定の誤り率よりも小さければ、高画質用の放送信号を受信し、それ以外の場合は、低画質用の放送信号の受信に切り替える技術(特許文献２参照)。
（３）移動体における地上放送の視聴に関し、デジタル放送とアナログ放送とを受信の誤り率に基づいて切り替え、表示する技術(特許文献３参照)。
（４）デジタル放送の受信処理で得た映像信号の受信不良箇所をアナログ放送信号処理で得た映像信号で補間する技術（特許文献４参照）。

それぞれ、以下の原理で画質劣化を軽減させている。すなわち、（１）〜（３）では、２系統の受信状況の変化に基づき、サイマル放送信号を自動的に切り替えることで画質劣化を防いでいる。（４）では、デジタル放送の受信不良箇所のみを補間に処理によりアナログ放送に切り替えることで画質劣化を防いでいる。

特開２００４−１６６１７３号公報 特開２００５−２４４５３０号公報 特開２００６−２９５６６２号公報 特開２００７−２００８８号公報

しかしながら、上記いずれの従来技術においても、画質劣化を補償するにあたりユーザに違和感なく映像処理を行うことが十分には達成されていない。例えば、高画質用の放送信号と低画質用の放送信号とを切り替える技術では、解像度の極端な変化が発生してしまう。また、デジタル放送の受信不良箇所の補償にアナログ放送の映像を用いる場合、アナログ放送を上回る画質を得ることはできない。

本発明は、ユーザに違和感を与えないよう画質劣化の補償を行う技術の提供を目的とする。

本発明は、第１の周波数帯域で伝送された第１の映像からノイズが発生する領域を検出するノイズ領域検出部と、第１の周波数帯域と異なる第２の周波数帯域で伝送された第２の映像から、ノイズ領域検出部で検出した領域と対応する領域を抽出する第２映像領域抽出部と、第２の映像のうち、第２映像領域抽出部で抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を検出する相関領域検出部と、第１の映像から、相関領域検出部で検出した領域と対応する領域を抽出する第１映像領域抽出部と、第１映像領域抽出部で抽出した領域の映像をノイズ領域検出部で検出した領域に置き換える置換処理部とを有する映像処理装置である。

また、本発明は、第１の周波数帯域で伝送され受信装置で受信した第１の映像の情報からノイズが発生する領域を検出するノイズ領域検出工程と、第１の周波数帯域と異なる第２の周波数帯域で伝送され受信装置で受信した第２の映像から、ノイズ領域検出工程で検出した領域と対応する領域を抽出する第２映像領域抽出工程と、第２の映像のうち、第２映像領域抽出工程で抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を相関計算部の計算結果から検出する相関領域検出工程と、第１の映像から、相関領域検出工程で検出した領域と対応する領域を抽出する第１映像領域抽出工程と、第１映像領域抽出工程で抽出した領域の映像をノイズ領域検出工程で検出した領域に置き換えて出力映像を生成する置換処理工程とを有する映像処理方法である。

また、本発明は、第１の周波数帯域で伝送された第１の映像からノイズが発生する領域を検出するノイズ領域検出ステップと、第１の周波数帯域と異なる第２の周波数帯域で伝送された第２の映像から、ノイズ領域検出ステップで検出した領域と対応する領域を抽出する第２映像領域抽出ステップと、第２の映像のうち、第２映像領域抽出ステップで抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を検出する相関領域検出ステップと、第１の映像から、相関領域検出ステップで検出した領域と対応する領域を抽出する第１映像領域抽出ステップと、第１映像領域抽出ステップで抽出した領域の映像をノイズ領域検出ステップで検出した領域に置き換える置換処理ステップとをコンピュータに実行させる映像処理プログラムである。

このような本発明では、第１の映像にノイズが発生した際、そのノイズが発生した領域に対応する第２の映像の領域を抽出し、異なるフレームで相関のある領域を検出する。そして、相関のある領域に対応する第１の映像の領域をノイズが発生した領域に置き換えている。これにより、ノイズが発生した領域を、その領域と相関のある第１の映像で補間できるようになる。

ここで、第１の映像は第２の映像よりも高画質のものを用いる。例えば、第１の映像として、地上デジタル放送の１２セグメントを用いた映像（以下、単に「フルセグ」と言う。）を用い、第２の映像として、地上デジタル放送の１セグメントを用いた映像（以下、単に「ワンセグ」と言う。）を用いる。また、フルセグ、ワンセグ以外でも、第１の映像としてハイビジョン映像、第２の映像として携帯電話の回線を用いた映像を用いることもできる。

本発明によれば、映像の受信状態が悪化してもノイズ領域を違和感無く補間することが可能となる。

本実施形態に係る映像処理装置の構成を説明するブロック図である。 補間処理部の構成例を説明するブロック図である。 本実施形態に係る映像処理方法を説明する図（その１）である。 本実施形態に係る映像処理方法を説明する図（その２）である。 本実施形態に係る映像処理方法を説明する図（その３）である。 本実施形態に係る映像処理方法を説明する図（その４）である。 相関領域の探索例を説明する図である。 本実施形態に係る映像処理プログラム（その１）を説明するフローチャートである。 本実施形態に係る映像処理プログラム（その２）を説明するフローチャートである。 他の例を説明するブロック図である。

以下、本発明を実施するための形態（以下、「実施形態」という。）について説明する。なお、説明は以下の順序で行う。
１．映像処理装置の構成（全体ブロック構成、フルセグ受信の構成、ワンセグ受信の構成、信号処理を行う構成、補間処理部の構成の例）
２．映像処理方法
３．映像処理プログラム（映像処理プログラム（その１）、（その２）の例）
４．本実施形態の他の例

＜１．映像処理装置の構成＞
［映像処理装置のブロック構成］
図１は、本実施形態に係る映像処理装置の構成を説明するブロック図である。本実施形態に係る映像処理装置１は、第１の周波数帯域で伝送された第１の映像に画質劣化が生じる際、その画質劣化を抑えるため、第２の周波数帯域で伝送された第２の映像および第１の映像のフレームの異なる映像等を利用するものである。これにより、受信状態が悪化した場合においてもブロックノイズのようなエラー箇所を表示するのではなく、受信信号のみを用いて極力、送信信号に近い映像を表示することになる。

ここで、本実施形態では、第１の映像と第２の映像とが異なる周波数帯域で伝送され、第１の映像が第２の映像より高画質なものを適用する。一例として、第１の映像がフルセグ放送信号により伝送され、第２の映像がワンセグ放送信号により伝送されるものとする。第１の映像と第２の映像とが異なる周波数帯域で伝送されることで、ノイズによるエラー箇所が同時、同位置に発生する可能性が低くなり、的確な補間処理が成されることになる。

図１に示すように、本実施形態に係る映像処理装置１は、フルセグ放送信号を受信するブロック構成と、ワンセグ放送信号を受信するブロック構成と、これらの信号を用いて処理を行うブロック構成とを備えている。各ブロック構成の処理部は制御部１０によって制御される。制御部１０は、例えばＣＰＵ（Central Processing Unit）から構成されるもので、ＣＰＵで実行されるプログラム処理によって各処理部を制御する。

［フルセグ受信の構成］
フルセグ放送信号を受信するブロック構成は、アンテナＡＮＴ１、選局部１１、復調部１２、誤り検出部１３、誤り訂正部１４、デコーダ１５、ノイズ領域検出部１６を備えている。

アンテナＡＮＴ１で受信したフルセグ放送信号は選局部１１によって所定の周波数の信号の選局が行われる。選局後の信号は復調部１２で復調される。フルセグ放送信号は、地上デジタル放送の１２セグメントを用いた信号であり、６４ＱＡＭという変調方式で変調されている。復調部１２は、６４ＱＡＭで変調された信号の復調を行う。

復調後の信号は、誤り検出部１３でデジタル放送信号のエラーを含むパケットの特定が行われる。誤り訂正部１４では、エラーを含むパケットの訂正が行われる。エラー訂正後のパケットはデコーダ１５に送られ、ここでＭＰＥＧ−２等の多重化されたパケットから映像信号や音声信号にデコードされる。

フルセグ放送信号を受信するブロック構成では、ノイズ領域検出部１６で第１の映像からブロックノイズ等のノイズが発生する領域を検出する。すなわち、ノイズ領域検出部１６は、誤り検出部１３で検出したエラーを含むパケットを追跡し、第１の映像の中でブロックノイズ等のノイズが発生する領域を検出する。

［ワンセグ受信の構成］
ワンセグ放送信号をブロック構成は、アンテナＡＮＴ２、選局部２１、復調部２２、誤り検出部２３、誤り訂正部２４、デコーダ２５、ブロックノイズ領域検出部２６を備えている。

アンテナＡＮＴ２で受信したワンセグ放送信号は選局部２１によって所定の周波数の信号の選局が行われる。選局後の信号は復調部２２で復調される。ワンセグ放送信号は、地上デジタル放送の１セグメントを用いた信号であり、ＱＰＳＫという変調方式で変調されている。復調部２２は、ＱＰＳＫで変調された信号の復調を行う。

復調後の信号は、誤り検出部２３でデジタル放送信号のエラーを含むパケットの特定が行われる。誤り訂正部２４では、エラーを含むパケットの訂正が行われる。エラー訂正後のパケットはデコーダ２５に送られ、ここでＭＰＥＧ−２等の多重化されたパケットから映像信号や音声信号にデコードされる。

フルセグ放送信号を受信するブロック構成では、ノイズ領域検出部２６で第２の映像からブロックノイズ等のノイズが発生する領域を検出する。すなわち、ノイズ領域検出部２６は、誤り検出部２３で検出したエラーを含むパケットを追跡し、第２の映像の中でブロックノイズ等のノイズが発生する領域を検出する。なお、本実施形態の映像処理装置１における主たる構成ではノイズ領域検出部２６は必ずしも必要でない。

［信号処理を行う構成］
フルセグおよびワンセグの信号を用いて処理を行うブロック構成は、同期処理部３１、蓄積部３２、補間処理部３３を備えている。

同期処理部３１は、フルセグ受信の構成のデコーダ１５およびワンセグ受信の構成のデコーダ２５でデコードされた信号と、ノイズ領域検出部１６および必要に応じてノイズ領域検出部２６で検出されたノイズ領域の情報を同期させる。

蓄積部３２は、同期処理部３１で同期した映像情報およびノイズ領域の情報を数フレーム分蓄積する記憶部分である。

補間処理部３３は、現在のフルセグ放送信号のノイズ領域に対して、それと対応する前後の映像とワンセグ放送信号、いずれを用いるかを相関処理を用いて判断し、補間処理を行う。

［補間処理部の構成］
ここで、補間処理部３３の詳細な構成を説明する。図２は、補間処理部の構成例を説明するブロック図である。補間処理部３３は、第２映像領域抽出部３３１、相関領域検出部３３２、第１映像領域抽出部３３３、置換処理部３３４を備えている。

第２映像領域抽出部３３１は、ワンセグの映像から、フルセグの映像のノイズ領域検出部１６（図１参照）で検出した領域（以下、「ノイズ領域」と言う。）と対応する領域（以下、「ノイズ対応領域」と言う。）を抽出する処理を行う。すなわち、ノイズ領域検出部１６がフルセグの映像についてノイズ領域を検出した場合、第２映像領域抽出部３３１は、そのノイズ領域のフルセグ映像のフレーム内での位置に基づき、ワンセグ映像の同じフレーム内での対応する領域であるノイズ対応領域を抽出する。第２映像領域抽出部３３１で抽出したノイズ対応領域の情報（ワンセグ映像のフレーム内での位置情報）は、相関領域検出部３３２に送られる。

相関領域検出部３３２は、第２映像領域抽出部３３１でノイズ対応領域を抽出した際のワンセグ映像のフレームと異なるフレームであって、ノイズ対応領域の映像と相関のある領域（以下、「相関領域」と言う。）を検出する処理を行う。例えば、相関領域検出部３３２は、蓄積部３２（図１参照）に蓄積された数フレームの映像のうち、第２映像領域抽出部３３１でノイズ対応領域を抽出した際のフレーム（対象フレーム）の前後の１フレーム分のワンセグ映像について、対象フレームのノイズ対応領域の映像と相関のある映像の領域（相関領域）を検出する。

ここで、ノイズ対応領域と相関のある相関領域の検出は、ノイズ対応領域を注目領域として、異なるフレームにおける所定の探索範囲で相関スコアを算出することで行う。相関スコアは、例えばＳＡＤ（Sum of Absolute Difference）を用いて算出する。この演算で得られる相関スコアが所定の閾値以下である領域を相関領域として求める。例えば、対象フレームの前後の１フレーム分についてノイズ対応領域の映像と相関のある領域を求め、各々相関スコアを得ておく。

第１映像領域抽出部３３３は、ノイズ領域を検出したフルセグ映像から、相関領域検出部３３２で検出した相関領域と対応する領域（以下、「相関対応領域」と言う。）を抽出する処理を行う。相関領域検出部３３２では、対象フレームと異なるフレーム（例えば、前後１フレーム分）の相関領域を検出している。第１映像領域抽出部３３３は、相関領域検出部３３２で検出した対象フレームと異なるフレームの相関領域のフレーム内での位置に対応したフルセグ映像のフレーム内での領域を抽出する。相関領域検出部３３２が、例えば対象フレームの前後１フレーム分の相関領域を検出した場合、第１映像領域抽出部３３３は、対象フレームの前後１フレーム分の相関対応領域を抽出する。

置換処理部３３４は、第１映像領域抽出部３３３で抽出した相関対応領域の映像をノイズ領域検出部で検出したノイズ領域に置き換える処理を行う。すなわち、置換処理具３３４は、第１映像領域抽出部３３３で抽出した相関対応領域のうち、ワンセグ映像での相関スコアの低い方に対応した相関対応領域のフルセグ映像を、ノイズ領域の映像と置き換える処理を行う。これにより、受信したフルセグ映像のうちノイズ領域の映像が、そのノイズ領域のあるフレームとは異なるフレームで相関のあるフルセグ映像によって補間されることになる。

ここで、置換処理部３３４は、以下のような置き換え処理を行うこともある。

（置き換え：その１）
置換処理部３３４は、第１映像領域抽出部３３３で抽出した相関対応領域の映像にノイズが発生していない場合、相関対応領域の映像をノイズ領域に置き換え、相関対応領域にノイズが発生している場合、第２映像領域抽出部３３１で抽出したノイズ対応領域の映像をノイズ領域に置き換える。具体的には、フルセグ映像のうち相関対応領域の映像にノイズがない場合のみ相関対応領域の映像を用いた置き換えを行い、ノイズが発生している場合にはその映像を用いないでワンセグ映像のうちノイズ対応領域の映像を用いた置き換えを行う。

（置き換え：その２）
置換処理部３３４は、相関領域検出部３３２で相関領域を検出した場合、第１映像領域抽出部３３３で抽出した相関対応領域の映像をノイズ領域に置き換え、相関領域を検出しなかった場合、第２映像領域抽出部３３１で抽出したノイズ対応領域の映像をノイズ領域に置き換える。具体的には、フルセグ映像のうち相関対応領域を検出できた場合のみ相関対応領域の映像を用いた置き換えを行い、検出できなかった場合にはワンセグ映像のうちノイズ対応領域の映像を用いた置き換えを行う。

（置き換え：その３）
置換処理部３３４は、第２映像領域抽出部３３１で抽出したノイズ対応領域の映像にノイズが発生していない場合、第１映像領域抽出部３３３で抽出した相関対応領域の映像をノイズ領域に置き換え、ノイズが対応領域の映像にノイズが発生している場合、第１の映像のフレームと異なるフレームの対応する領域の映像をノイズ領域に置き換える。具体的には、ワンセグ映像のノイズ対応領域の映像にノイズが発生していない場合のみフルセグ映像の相関対応領域の映像を用いた置き換えを行い、ノイズ対応領域の映像にノイズが発生している場合にはフルセグ映像の他のフレームのノイズ領域と対応する領域の映像を用いた置き換えを行う。

（置き換え：その４）
置換処理部３３４は、第１映像領域抽出部３３３で抽出した相関対応領域の映像をノイズ領域に置き換えた際、置き換えの境界部分の映像を平滑化する処理を行う。具体的には、置き換えの境界部の映像情報を周辺に所定割合で拡散させる等の処理を行う。

＜２．映像処理方法＞
次に、本実施形態に係る映像処理方法を図３〜図６を用いて説明する。先ず、フルセグ放送信号の電界強度が所定の閾値以下となる等、所定の置き換え条件を満たしている場合、フルセグ放送信号とワンセグ放送信号とを同時に受信する。これらの信号の受信は、図１に示すフルセグ受信の構成およびワンセグ受信の構成で行う。

次に、ノイズ領域検出部１６（図１参照）によって、フルセグ映像の中から受信不良箇所であるブロックノイズ等のノイズ領域の特定を行う。図３に示す例では、フルセグ映像のうち、対象フレームｉのブロックノイズ領域（領域ａ）が検出されている。

次に、検出されたフルセグ映像の対象フレームｉにおけるブロックノイズ領域（領域ａ）の位置と対応するワンセグ映像のノイズ対応領域（領域ｂ）を抽出する。この際、フルセグ映像の対象フレームｉと同じフレームｉであってもフルセグ映像とワンセグ映像とではサイズが異なるが、フルセグフレーム内での領域ａの位置およびサイズと同じ比率となるワンセグフレーム内での位置およびサイズの領域を領域ｂとする。

次に、図４に示すように、ワンセグ映像の領域ｂと相関のある異なるフレームでの領域（相関領域）を検出する。図４に示す例では、ワンセグ映像の対象フレームｉの領域ｂを注目領域として、１つ前のフレームｉ−１と１つ後のフレームｉ＋１とで相関領域である領域ｃ、領域ｄを検出する。図７は、相関領域の探索例を説明する図である。相関の高い領域を探索する範囲は、対象画像の縦横の長さの約１／４の矩形領域から算出する。注目領域からあまり離れていると相関の高い領域を得られる確率が低いことから、この程度の範囲を探索範囲としている。なお、探索範囲は必要に応じて設定すればよい。

次に、図５に示すように、ワンセグ映像から検出した相関領域である領域ｃ、領域ｄと対応するフルセグ映像の領域（相関対応領域）を抽出する。図５に示す例では、ワンセグ映像のフレームｉ−１の領域ｃに対応するフルセグ映像のフレームｉ−１の相関対応領域として領域ｅが抽出されている。また、ワンセグ映像のフレームｉ＋１の領域ｄに対応するフルセグ映像のフレームｉ＋１の相関対応領域として領域ｆが抽出されている。この際、ワンセグ映像とフルセグ映像とではサイズが異なるが、ワンセグフレーム内での領域ｃ、ｄの位置およびサイズと同じ比率となフルセグフレーム内での位置およびサイズの領域を領域ｅ、ｆとする。

次に、図６に示すように、先に抽出したワンセグ映像の相関領域である領域ｃと領域ｄのうち、相関スコアの低い方を選択し、その領域と対応するフルセグ映像の相関対応領域を選択する。図６に示す例では、領域ｃより領域ｄの方が相関スコアが低いため、領域ｄと対応するフルセグ映像の相関対応領域である領域ｆを選択する。そして、領域ｆの映像を、フルセグ映像のフレームｉから抽出されたブロックノイズ領域である領域ａに置き換える処理を行う。これにより、フルセグ映像のフレームｉのブロックノイズ領域（領域ａ）の映像が、その領域ａと相関の高い異なるフレームのｉ＋１の領域ｆの映像に置き換わり、ノイズ領域の補間が行われる。

＜３．映像処理プログラム＞
次に、本実施形態に係る映像処理プログラムについて説明する。本実施形態に係る映像処理プログラムはコンピュータに実行させるステップを有している。コンピュータは本実施形態に係る映像処理プログラムを実行する演算部、プログラムや各種データを格納する記憶部、入出力部を備えている。コンピュータはパーソナルコンピュータ等の電子計算機のほか、映像信号を受信する受信装置、受信装置を備えたテレビジョンや映像記録再生装置、携帯端末等の電子機器に組み込まれているものでもよい。また、本実施形態の映像処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されていたり、ネットワークを介して配信されるものでもある。

［映像処理プログラム（その１）］
図８は、本実施形態に係る映像処理プログラム（その１）を説明するフローチャートである。このフローチャートは、主として図１に示す制御部１０による各部の制御動作を示したものである。

先ず、フルセグ放送信号の選局および受信を行う（ステップＳ１０１）。制御部１０は、アンテナＡＮＴ１を介して受信するフルセグ放送信号のうちユーザが指定した周波数を選局部１１に選局させ、受信する。

次に、制御部１０は、アンテナＡＮＴ１で受信したフルセグ放送信号の電界受信強度が所定の閾値以下であるか判断する（ステップＳ１０２）。所定の閾値以下である場合、ノイズの発生の可能性があることから、ステップＳ１０３〜Ｓ１０８の処理へ進む。一方、所定の閾値を超えている場合には、ノイズの発生の可能性が低いとして、受信した信号をビデオコードに復調し、表示させる（ステップＳ１０９）。

フルセグ放送信号の電界受信強度が所定の閾値以下である場合、同じコンテンツがワンセグ放送信号で受信可能かを判定する（ステップＳ１０３）。受信可能でなければ、受信したフルセグ放送信号をビデオコードに復調し、表示させる（ステップＳ１０９）。

同じコンテンツのワンセグ放送信号が受信可能であれば、ワンセグ放送信号を同時に受信する（ステップＳ１０４）。すなわち、制御部１０は、アンテナＡＮＴ２を介して受信するワンセグ放送信号のうちフルセグ受信においてユーザが指定したチャンネルと対応したワンセグ受信の周波数を選局部２１に選局させ、受信する。

次に、受信したフルセグ放送信号およびワンセグ放送信号の２系統の信号を復調部１２、２２で復調し、デジタル放送信号のエラーを含むパケットを特定する。そして、エラーパケットをノイズ領域検出部１６に追跡させ、ブロックノイズが発生するノイズ領域を特定させる（ステップＳ１０５）。

次に、誤り訂正が行われた両信号を用いてデコーダ１５、２５に各々デコードを行わせる（ステップＳ１０６）。次いで、デコードされた信号とブロックノイズ領域情報とを同期処理部３１に同期させる（ステップＳ１０７）。また、デコードしたワンセグ放送信号は拡大処理を行って蓄積部３２に蓄積しておく。

そして、現在のフルセグ放送信号のブロックノイズ領域に対して、それと対応する前後フレームの映像もしくはワンセグ放送信号による映像を用いて補間処理部３３に補間処理を行わせる（ステップＳ１０８）。以上から、テレビジョン放送信号の受信状態が悪化した状態で発生する画質劣化を最低限に抑え映像を得る。

［映像処理プログラム（その２）］
図９は、本実施形態に係る映像処理プログラム（その２）を説明するフローチャートである。このフローチャートは、主として図１に示す補間処理部３３による補間処理がプログラムとしてＣＰＵで実行される場合の流れを示したものである。

先ず、フルセグ放送信号から初期の注目領域を決定する（ステップＳ２０１）。次いで、注目領域がブロックノイズ領域であるか否かの判定を行う（ステップＳ２０２）。ブロックノイズ領域である場合には、以降のステップＳ２０３〜Ｓ２１２による置き換え処理を行う。一方、ブロックノイズ領域でない場合には、ステップＳ２１３〜Ｓ２１４の処理を行う。

フルセグ放送信号の注目領域がブロックノイズ領域でなかった場合、注目領域のフレームとは異なるフレームについてブロックノイズ領域であるか否かを判断する（ステップＳ２１３）。ここでは、一例として、前後の１フレームについて判断を行っている。フルセグ放送信号の前後の１フレームの注目領域と対応する領域がブロックノイズ領域ではない場合、前後の１フレームについての対応領域の映像のいずれかを注目領域に置き換える（ステップＳ２１４）。前後の１フレームの対応領域の映像のいずれを選択するかは、ノイズ成分の少ない方やノイズ成分が同じ場合には予め設定された方を用いるようにすれはよい。

フルセグ放送信号の前後の１フレームの注目領域と対応する領域がブロックノイズ領域である場合、ステップＳ２１０へ進む。

フルセグ放送信号の注目領域がブロックノイズ領域であった場合、注目領域に対応するワンセグ放送信号の領域がブロックノイズ領域であるか否かを判定する（ステップＳ２０３）。なお、この判定は、図１に示すワンセグ受信の構成にノイズ領域検出部２６が設けられている場合、ノイズ領域検出部２６の検出結果に基づき制御部１０が行う。ノイズ領域検出部２６が設けられていない場合にはこのステップ２Ｓ０３は行わないで次のステップＳ２０４へ進む。

注目領域に対応するワンセグ放送信号の領域がブロックノイズ領域である場合、ステップＳ２１３へ進む。ブロックノイズ領域でない場合、ワンセグ放送信号における注目領域に対して異なるフレームの対応領域（相関領域）について、注目領域の映像と一番相関の高い領域を検出する（ステップＳ２０４）。

次に、検出された相関領域の相関スコアが所定の閾値以下であるか否かを判断する（ステップＳ２０５）。相関スコアが所定の閾値以下でない場合、現在のワンセグ放送信号の注目領域と対応する領域の映像をフルセグのサイズに合わせて拡大し、フルセグのブロックノイズ領域に置き換える処理を行う（ステップＳ２１１）。相関スコアが所定の閾値以下である場合、検出された相関領域と対応した位置にあるフルセグ放送信号の領域（相関対応領域）を求める（ステップＳ２０６）。

次いで、求めた相関対応領域がブロックノイズ領域でないか否かを判定し（ステップＳ２０７）、ブロックノイズ領域であればステップＳ２１１の処理を行う。ブロックノイズ領域でなければ現在のワンセグ放送信号の相関領域のうち相関スコアの低い方と対応する相関対応領域を選択し、その相関対応領域の映像をフルセグのブロックノイズ領域に置き換える処理を行う（ステップＳ２０８）。

ブロックノイズ領域の置き換えを行った後は、置き換えた領域とその周辺の継ぎ目（境界部分）について平滑化処理を施す（ステップＳ２０９）。次に、現在のフルセグ放送信号に他のブロックノイズ領域があるか否かを判定し（ステップＳ２１０）、無ければ処理を終了し、あれば次のブロックノイズ領域に移動して（ステップＳ２１２）、ステップＳ２０２へ戻り、以降の処理を繰り返す。

このような処理により、フルセグ放送信号の受信状態が悪化した際に発生する画質劣化を最低限に抑えることができるようになる。また、本実施形態では、フルセグ放送信号の前後の映像や、ワンセグの映像を用いた補間を行っているため、従来の技術に比べて多くの信頼できる情報を活用でき、画質の劣化を最低限に抑える効果に繋がっている。以上によって、受信状態が悪化した場合においても、ユーザは違和感なく快適な映像を享受できることになる。

＜４．本実施形態の他の例＞
上記説明した実施形態では、第１の映像としてフルセグ放送信号、第２の映像としてワンセグ放送信号を用いる例を示したが、本発明はこれ以外の信号であって適用可能である。図１０は、他の例を説明するブロック図である。この例では、放送システムにおける中継車５０と放送局６０との間の信号送受を行うもので、第１の映像としてハイビジョン映像、第２の映像として電話回線を介した映像を用いているものである。

中継車５０には、ハイビジョン撮影装置５１で取り込んだ映像信号を放送局６０に送信する送信部５２が設けられている。また、ハイビジョン撮影装置５１で取り込んだ映像信号を低解像度化するトランスコード５３も設けられており、LocationPorter（ソニー株式会社の登録商標）等の電話回線送信装置５４および送信部５５から電話回線を介して低解像度の映像が同時に放送局へ送信される。

放送局６０には、中継車５０から送信されるハイビジョン映像を受信する受信部６１が設けられている。また、中継車５０から送信される低解像度の映像を受信する受信部６２も設けられている。これらの映像は、補償処理部６３に送られ、必要に応じて補償処理が行われた後、送信部６４から外部に放送される。

この補償処理部６３に本実施形態の映像処理装置、映像処理方法、映像処理プログラムが適用される。つまり、ハイビジョン映像信号が第１の映像の信号、低解像度の映像信号が第２の映像の信号に対応し、ハイビジョン映像信号にノイズが発生した場合、低解像度の映像信号から上記説明したように相関領域および相関対応領域を求め、ノイズ領域に置き換える補間を施す。これにより、中継車５０から放送局６０に映像を送る際、ハイビジョン映像信号にノイズが発生しても、相関の高い映像で置き換えた映像を放送できるようになる。

なお、補償処理部６３に本実施形態を適用するには、放送局６０の例えば回線装置に取り付けられる拡張ボードに本実施形態の映像処理装置等を実装することで実現される。

本実施形態に係る映像処理方法、映像処理プログラムの他の例としては、ノイズ領域を相関対応領域の映像に置き換える処理を行うか否かの判定について、種々の条件を設定することが挙げられる。

条件のうち一つは、フルセグ放送信号の注目領域がブロックノイズ領域であった場合、その領域がフルセグ映像のフレーム内のどの位置にあるかによって置換処理を行うか否かを判定することが挙げられる。例えば、ブロックノイズ領域がフレーム内の中央領域（予め設定された中央となる領域）に含まれる場合、置換処理を行い、中央領域に含まれない場合、置換処理を行わない、という判定を行う。フレームの中央領域などブロックノイズが目立つ位置にある場合のみ置換処理を画質向上を図り、端の方の目立たない位置にある場合には置換処理を行わず処理の負荷を軽減する。

条件のうち他の一つは、フルセグ放送信号の注目領域がブロックノイズ領域であった場合、その領域の大きさ（面積）が予め設定した大きさ以上の場合に置換処理を行い、小さい場合には置換処理を行わないという判定を行うことが挙げられる。

１…映像処理装置、１０…制御部、１１…選局部、１２…復調部、１３…誤り検出部、１４…誤り訂正部、１５…デコーダ、１６…ノイズ領域検出部、２１…選局部、２２…復調部、２３…誤り検出部、２４…誤り訂正部、２５…デコーダ、２６…ノイズ領域検出部、３１…同期処理部、３２…蓄積部、３３…補間処理部、３３１…第２映像領域抽出部、３３２…相関領域検出部、３３３…第１映像領域抽出部、３３４…置換処理部

Claims (7)

1. 第１の周波数帯域で伝送された第１の映像からノイズが発生する領域を検出するノイズ領域検出部と、
   前記第１の周波数帯域と異なる第２の周波数帯域で伝送された第２の映像から、前記ノイズ領域検出部で検出した領域と対応する領域を抽出する第２映像領域抽出部と、
   前記第２の映像のうち、前記第２映像領域抽出部で抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を検出する相関領域検出部と、
   前記第１の映像から、前記相関領域検出部で検出した領域と対応する領域を抽出する第１映像領域抽出部と、
   前記第１映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換える置換処理部と
   を有する映像処理装置。
2. 前記置換処理部は、前記第１映像領域抽出部で抽出した領域の映像にノイズが発生していない場合、前記第１映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換え、前記第１映像領域抽出部で抽出した領域の映像にノイズが発生している場合、前記第２映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換える
   請求項１記載の映像処理装置。
3. 前記置換処理部は、前記相関領域検出部で前記相関のある領域を検出した場合、前記第１映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換え、前記相関領域検出部で前記相関のある領域を検出しなかった場合、前記第２映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換える
   請求項１記載の映像処理装置。
4. 前記置換処理部は、前記第２映像領域抽出部で抽出した領域の映像にノイズが発生していない場合、前記第１映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換え、前記第２映像領域抽出部で抽出した領域の映像にノイズが発生している場合、前記第１の映像のフレームと異なるフレームの対応する領域の映像を前記ノイズ領域検出部で検出した領域に置き換える
   請求項１記載の映像処理装置。
5. 前記置換処理部は、前記第１映像領域抽出部で抽出した領域の映像を前記ノイズ領域検出部で検出した領域に置き換えた際の境界部分の映像を平滑化する処理を行う
   請求項１から４のうちいずれか１項に記載の映像処理装置。
6. 第１の周波数帯域で伝送され受信装置で受信した第１の映像の情報からノイズが発生する領域を検出するノイズ領域検出工程と、
   前記第１の周波数帯域と異なる第２の周波数帯域で伝送され受信装置で受信した第２の映像から、前記ノイズ領域検出工程で検出した領域と対応する領域を抽出する第２映像領域抽出工程と、
   前記第２の映像のうち、前記第２映像領域抽出工程で抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を相関計算部の計算結果から検出する相関領域検出工程と、
   前記第１の映像から、前記相関領域検出工程で検出した領域と対応する領域を抽出する第１映像領域抽出工程と、
   前記第１映像領域抽出工程で抽出した領域の映像を前記ノイズ領域検出工程で検出した領域に置き換えて出力映像を生成する置換処理工程と
   を有する映像処理方法。
7. 第１の周波数帯域で伝送された第１の映像からノイズが発生する領域を検出するノイズ領域検出ステップと、
   前記第１の周波数帯域と異なる第２の周波数帯域で伝送された第２の映像から、前記ノイズ領域検出ステップで検出した領域と対応する領域を抽出する第２映像領域抽出ステップと、
   前記第２の映像のうち、前記第２映像領域抽出ステップで抽出した領域の映像のフレームと異なるフレームであって前記映像と相関のある領域を検出する相関領域検出ステップと、
   前記第１の映像から、前記相関領域検出ステップで検出した領域と対応する領域を抽出する第１映像領域抽出ステップと、
   前記第１映像領域抽出ステップで抽出した領域の映像を前記ノイズ領域検出ステップで検出した領域に置き換える置換処理ステップと
   をコンピュータに実行させる映像処理プログラム。

Images