JP2011082697A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数の映像ストリームを切替えた際に、同一対象物の視覚的効果が異なることで視聴者に与える違和感を軽減できるようにする。
【解決手段】第１映像ストリームと第２映像ストリームとの切替えの前後の映像ストリーム間で同一対象物の存在を検出し、切替え直後は同一対象物に対しては同じ視覚的効果を得るようにする。その後、切替え後の映像ストリーム本来の基本画像処理パラメータに緩やかに移行するようにして、ストリーム間における同一対象物の視覚的効果が異なることにより視聴者に与える違和感を減少させるようにする。
【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に、時間的に連続した複数ストリームにおいてストリーム間の関連性を考慮して画像処理を行う画像処理装置に用いて好適な技術に関するものである。

近年、ＣＳやＢＳデジタル放送の普及、地上波デジタル放送の開始及びストリーミング技術の発達により、多数の映像コンテンツが配信されている。そうした中で、同一対象物を撮影したコンテンツを異なる配信元、方式及び映像で配信するケースが増加している。このような例として、降雨放送と通常放送等の、まったく同じ映像が異なる方式で配信されるサイマル放送や、スポーツ中継の同一試合に対する地上波放送とネットワーク経由のオンデマンド放送等の、異なる映像が配信されるケースなどが挙げられる。

従来は、それぞれの映像ストリームで独立に画像解析を行い、画像処理パラメータを抽出・算出していた。そして、この画像処理パラメータを使用して画像処理を実施していた。これは、それぞれの映像ストリームにおいて、最適な画像処理パラメータが異なるためである。

しかしながら、映像ストリーム毎の画像処理パラメータが異なるため、映像ストリームが異なると、同じ対象物であっても、色相や明度、解像度等の、視覚的効果が異なる可能性がある。この同一対象物に対して視覚的効果が異なる現象は、視聴者に対して違和感を与える。

特に、同一コンテンツの複数の映像ストリームを切替えて視聴する場合、この課題は顕著になる。例えば、車載用のデジタル放送受信機で、受信状態により、ワンセグ放送とフルセグ放送を切替えて視聴するような場合である。ワンセグ放送とフルセグ放送では画像処理パラメータが異なるため、切替え前後で、視覚的効果が異なり、視聴者に違和感を与える。

この課題を解決する解決手段が特許文献１に開示されている。本従来技術は、信号処理装置は、主副二系統の映像信号を切替えて表示する信号処理装置に係わるものである。この信号処理装置は、副映像信号も主映像も同じ輝度信号処理を施すようにしている。このことで、主副どちらの映像に対しても、同じ視覚的効果を与える構成になっている。

また、特許文献２に記載の受信装置、色補正方法、及び色補正プログラムでは、第１の方式から第２の方式に画像データを切替える時、第２の方式の画像データに補正処理を施す。本従来技術は、第１の方式の画像データから第２の方式の画像データに切替える際、同じ映像かどうかの判定を行う。

そして、判定の結果、同じ映像であった場合、両画像データのフレーム画像の色差異を取得する。ここで取得した色差異が所定値以上である場合、次に取得した色差異に応じて、第２の方式の画像データに対してフレーム画像色相の補正を行う。そして、色相補正後の画像データを出力することにより、切替え時に、色相の変化が発生しないようになっている。

特開平１１−６９３７１号公報 特開２００７−２６６７６４号公報

しかしながら、特許文献１に記載の従来技術は、どの映像ストリームに対しても同じ信号処理を施す。したがって、映像ストリームの特性に適応した画像処理を実施することはできない。そのため、最適な画像処理を適用できず、最適な映像品質を得ることができないという課題がある。

また、特許文献２に記載の従来技術は、切替え前の画像データに最適な画像処理パラメータで、切替え後の画像データに対して画像処理を行う。したがって、切替え後の画像データに対して、必ずしも適した画像処理パラメータを適用しているとは限らない。例えば、低画質の映像から高画質の映像に切替わった際においても、視聴者は低画質の映像を見つづけることになり、高解像度の映像を使用する意味が失われている。

さらに、特許文献２に記載の従来技術は、第１の方式の画像データと第２の方式の画像データが同じ映像、すなわち同じコンテンツであった場合のみ補正を実施する。ところが、ストリーミング技術の発達により、異なる映像、コンテンツを切替えて視聴する機会が増えてきている。

映像、コンテンツは異なるが、同じ対象物が映像データ内に存在する場合、特許文献２に記載の従来技術は、同一対象物に対して異なる視覚的効果を与える恐れがある。この場合、第１の方式と第２の方式を切替える際、同一対象物に対する視覚的効果が異なるので、特許文献２に記載の従来技術は、視聴者に違和感を与えるという課題がある。

本発明は前述の問題点に鑑み、複数の映像ストリームを切替えた際に、同一対象物の視覚的効果が異なることで視聴者に与える違和感を軽減できるようにすることを目的とする。

本発明の画像処理装置は、第１映像ストリーム及び第２映像ストリームに画像処理を行う画像処理装置において、前記第１映像ストリームと第２映像ストリームとの間で同一対象物が存在するかどうかを判定する同一対象物判定手段と、前記第２映像ストリームの視覚的効果が前記第１映像ストリームと同じになるように画像処理を施す画像処理パラメータを生成するパラメータ生成手段と、前記同一対象物判定手段において、同一対象物が存在すると判定した場合、前記パラメータ生成手段において生成した画像処理パラメータを第２映像ストリームに施す画像処理手段とを備えることを特徴とする。

本発明によれば、同一対象物に対する視覚的効果を同じにすることにより、複数の映像ストリームを切替えた際に、同一対象物の視覚的効果が異なることで視聴者に与える違和感を軽減することができる。
また、本発明の他の特徴によれば、同一対象物に対する視覚的効果が同じになるように補正を加えた画像処理パラメータを、視聴者に違和感を与えず本来の画像処理パラメータに戻すようにした。これにより、違和感解消用の画像処理パラメータを使いつづけることで視聴者に与える不利益をなくすことができる。

画像処理装置の構成例を示すブロック図である。 映像切替え後の画像処理パラメータ変換の一例を示す特性図である。

以下、添付図面を用いて、本発明における一実施形態を説明する。ただし、本発明の趣旨及びその範囲から逸脱することなく、実施形態及び詳細を変更することは可能である。したがって、本実施形態は記載内容に限定するものではない。

（第１の実施形態）
図１は、本発明の一実施形態を示す画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置１００は分離器１０１、第１映像蓄積部１０２、第２映像蓄積部１０３、同一対象物判定部１０４、差分検出器１０５、パラメータ生成部１０６、パラメータ制御部１０７、画像処理部１０８とを備えている。

映像ストリーム受信部１０９から、第１映像ストリームと第２映像ストリームを本実施形態の画像処理装置１００に入力する。また、表示部１１３は映像を表示するディスプレイである。本実施形態の画像処理装置１００はディスプレイの形態に依存したものではないので、様々な映像表示装置が使用可能である。

第１映像ストリームの画像処理パラメータ１１０は、第１映像ストリームの特性に適応した画像処理パラメータで、第１映像ストリームの画像処理に使用する。また、第２映像ストリームの画像処理パラメータ１１１は、第２映像ストリームの特性に適応した画像処理パラメータで、第２映像ストリームの画像処理に使用する。

ストリーム選択信号１１２は、第１映像ストリームと第２映像ストリームのどちらを、選択するかを指示する信号である。例えば、ストリーム選択信号１１２を１ビットの信号とし、映像ストリームの選択を以下のように定義してよい。勿論、ストリーム選択信号１１２の実施形態をこれに限定するものではない。

「ストリーム選択信号１１２＝０」として、第１映像ストリームを選択するようにする。または、「ストリーム選択信号１１２＝１」として、第２映像ストリームを選択するようにする。

分離器１０１は、映像ストリーム受信部１０９から入力した映像ストリームを、ストリーム選択信号１１２の値により第１映像ストリームと第２映像ストリームとに分離する。分離器１０１で分離した第１映像ストリームは、第１映像蓄積部１０２に蓄積する。また、分離した第２映像ストリームは、第２映像蓄積部１０３に蓄積する。

次に、第１映像蓄積部１０２と第２映像蓄積部１０３に蓄積した映像ストリームに遅延を与える。本実施形態では、遅延時間は、ｄ（０），ｄ（１），…，ｄ（ｎ）のｎ段階とする。遅延時間ｄ（０），ｄ（１），…，ｄ（ｎ）の間隔は等間隔でなくともよい。それぞれの遅延時間に対応した、出力を下記の表１とする。

同一対象物判定部１０４は、第１映像蓄積部１０２の出力と第２映像蓄積部１０３の出力とを比較し、同一対象物の存在を探索する。探索手法の一例を次に示す。ここに示す探索方式は、第１映像蓄積部１０２の出力と、第２映像蓄積部１０３の出力との組み合わせの中から、最も類似性が高い組み合わせ｛Ｓ１（ｆ１），Ｓ２（ｆ２）｝を求める方式である。ここで、第１映像蓄積部１０２の出力は｛Ｓ１（１），Ｓ１（２），…，Ｓ１（ｎ）｝である。また、第２映像蓄積部１０３出力は｛Ｓ２（１），Ｓ２（２），…，Ｓ２（ｎ）｝である。

以下の探索方式で使用するｃａｌｓｐｅｃ（ｆａ，ｆｂ）関数は、引数としてｆａとｆｂの両画像をとり、同一対象物が存在する確からしさを算出して出力する。なお、ｃａｌｓｐｅｃ（ｆａ，ｆｂ）＝０ならば、ｆａとｆｂの両画像に同一対象物は存在しないとする。勿論、探索手法を、これに限定するものではない。ｃａｌｓｐｅｃ（ｆａ，ｆｂ）関数を使用する探索手法を下記の表２に示す。

次に、前述の探索手段で使用する同一対象物判定関数ｃａｌｓｐｅｃ（ｆａ，ｆｂ）の一実施形態を説明する。勿論、同一対象物判定関数ｃａｌｓｐｅｃ（ｆａ，ｆｂ）の実施形態を、以下の例に限定するものではない。

ｃａｌｓｐｅｃ（ｆａ，ｆｂ）は、同一対象物の存在判定を、引数として関数に与えた画像からオブジェクトを抽出し、抽出したオブジェクトの特徴量の比較により実施する。すなわち、ｆａとｆｂそれぞれから、オブジェクトを抽出し、そのオブジェクトの特徴量を求める。そして、両特徴量を比較して両画像間の距離を求める。

両画像の距離が近いほど同一対象物が存在する確からしさは高い。両画像の距離が０ならば、両画像は同一であり、確実に同一対象物が存在する。また、両画像の距離が遠くなるにつれて、同一対象物が存在する確からしさは低下する。そして、ある距離を越えると、視聴者は両画像間で同一対象物の存在を認識できなくなる。したがって、映像ストリームを切替えた時、同一対象物に対する視覚的効果の違いにより視聴者が感じる違和感が、いかなる場合でも発生しない距離がある。そこで、閾値ｔｈを以下のように定義する。すなわち、「ｔｈ：これ以上、両画像の距離が離れると、同一対象物に対する視覚的効果の違いが視聴者に違和感を与えることは無い値」とする。

両画像の距離が閾値ｔｈ以上ならば、視聴者に違和感を与えることが無いので、同一対象物は存在しないとしてよい。よって、同一対象物判定関数、ｃａｌｓｐｅｃ（ｆａ，ｆｂ）関数の構造は以下に示す、表３のようになる。表３において、Ｍｄは距離算出手法で得られる最大値とする。また、Ｍｃはｃａｌｓｐｅｃ（ｆａ，ｆｂ）関数がとる最大値とする。

次に、ｃａｌｓｐｅｃ（ｆａ，ｆｂ）で用いる、オブジェクトを抽出する手法の実施形態を説明する。
画像からオブジェクトを抽出する技術は、従来多くの提案がされている。例えば、動的輪郭モデル（Ｓｎａｋｅｓ）を用いた輪郭抽出処理による方法、輝度ヒストグラムを用いた色分布分析処理による方法がある。本実施形態は、オブジェクト抽出手法の実施形態に依存したものではない。したがって、従来の技術を用いてオブジェクト抽出手段を、ｃａｌｓｐｅｃ（ｆａ，ｆｂ）に実施可能である。

続いて、ｃａｌｓｐｅｃ（ｆａ，ｆｂ）で用いる、特徴量によりオブジェクトを比較する手法の実施形態を説明する。
特徴量による比較は、色相や輝度によるパターンマッチング処理による方法や、特徴量間の相関係数行列を利用する手法がよく知られている。しかしながら、本発明が解決しようとする課題においては、同一対象物であっても色相や輝度等が異なる。したがって、本実施形態においては色相や輝度によるパターンマッチング処理を用いることができない。

そこで、特徴量間の相関係数行列を利用して、特徴量を比較し各画像間の距離を求める。特徴量間の相関係数行列を利用する手法は、従来多くの提案がある。本発明は、特徴量間の相関係数行列を利用する手法に依存したものではない。したがって、従来の技術を用いて、特徴量によりオブジェクトを比較する手段を、ｃａｌｓｐｅｃ（ｆａ，ｆｂ）に実施可能である。

差分検出器１０５は、同一対象物が第１映像ストリームと第２映像ストリームに存在しているならば、同一対象物領域の画質の差分値を算出する。同一対象物判定部１０４の出力（ｆ１，ｆ２）の値により、差分検出器１０５は以下のように動作する。
すなわち、（ｆ１＝＝−１ ａｎｄ ｆ２＝＝−１）の場合は、差分検出器１０５の出力は０となる。また、そうでない場合は、Ｓ１（ｆ１）とＳ２（ｆ２）を対象に同一対象物領域の画質の差分値を算出する。これにより、第１映像ストリームと第２映像ストリームにおいて、それぞれの映像間に存在する画質差を算出することができる。

（ｆ１＝＝−１）であり、かつ（ｆ２＝＝−１）ならば、ｆ１，ｆ２とも初期値である。したがって、第１映像蓄積部１０２の出力｛Ｓ１（１），Ｓ１（２），…，Ｓ１（ｎ）｝と第２映像蓄積部１０３の出力｛Ｓ２（１），Ｓ２（２），…，Ｓ２（ｎ）｝の組み合わせの中に、同一対象物が存在する組み合わせが存在しない。すなわち、第１映像ストリームと第２映像ストリームに同一対象物が存在しないので、差分検出器１０５の出力は０になる。

反対に、ｆ１が０以上、あるいはｆ２が０以上ならば、第１映像蓄積部１０２の出力と第２映像蓄積部１０３の出力の組み合わせの中に、同一対象物が存在する組み合わせが存在する。したがって、同一対象物の存在の確からしさが最も高い画像の組み合わせ｛Ｓ１（ｆ１），Ｓ２（ｆ２）｝を対象として、同一対象物領域の画質の差分値を算出する。

次に、差分値を求める算出手法の詳細を説明する。本実施形態では、画質を表す諸元値として輝度を用いる。本発明は、画質を表す諸元値を輝度に限定するものではない。したがって、輝度以外の、尖鋭度、解像度等を用いてもよい。

まず、同一対象物が存在する領域で平均輝度値を、第１映像ストリームと第２映像ストリームのそれぞれで求める。ここで、第１映像ストリームにおける平均輝度値をＹａ１とする。また、第２映像ストリームにおける平均輝度値をＹａ２とする。次に、以下の定義に従い、差分値を算出する。
すなわち、（ストリーム選択信号１１２＝０）の場合には、差分値＝Ｙａ１−Ｙａ２となる。また、そうでない場合には、差分値＝Ｙａ２−Ｙａ１となる。

パラメータ生成部１０６は、第１映像ストリームの画像処理に使用する第１画像処理パラメータと、第２映像ストリームの画像処理に使用する第２画像処理パラメータを生成する。両映像ストリーム間の画質の差分解消を目的とした画像処理パラメータは、差分値をインデックスとしたテーブル参照で求める。したがって、パラメータ生成部１０６は、内部に第１映像ストリーム用の画像処理パラメータテーブルと第２映像ストリーム用の画像処理パラメータテーブル１０６ａを備えている。この画像処理パラメータテーブル１０６ａは、予め作成しておくことが可能である。

本発明は、画像処理パラメータテーブルの作成手法に依存したものではない。したがって、画像処理パラメータテーブルの作成には既存の技術が使用可能である。例えば、画像処理効果確認用シミュレーションシステムを用いて、画像処理パラメータテーブルの参照値を求めてもよい。あるいは、実際に存在する画像処理装置１００と画像評価装置を組み合わせて、画像処理パラメータテーブルの参照値の妥当性を検討することも可能である。

前述のように、両映像ストリーム間の画質に差がある場合は、テーブル参照で画像処理パラメータを求める。一方、両映像ストリーム間の画質に差が無い場合、第１映像ストリームの画像処理パラメータ１１０と第２映像ストリームの画像処理パラメータ１１１を使用する。したがって、パラメータ生成部１０６の動作は、差分検出器１０５で算出した差分値の値により以下のように異なる。

すなわち、（差分値＝＝０）の場合、第１画像処理パラメータ＝第１映像ストリームの画像処理パラメータ１１０となり、第２画像処理パラメータ＝第２映像ストリームの画像処理パラメータ１１１となる。また、そうでない場合は、第１画像処理パラメータ＝第１映像ストリーム用の画像処理パラメータテーブル［差分値］となり、第２画像処理パラメータ＝第２映像ストリーム用の画像処理パラメータテーブル［差分値］となる。

差分値が０ならば、映像ストリームを切替えても、視覚的効果に差が無い。したがって、画像処理パラメータに補正は必要ない。よって、第１映像ストリームの画像処理パラメータ１１０あるいは第２映像ストリームの画像処理パラメータ１１１を画像処理に使用する。

一方、差分値が０でなければ、映像ストリームを切替えた時、視覚的効果に差が生じる。したがって、画像処理パラメータに補正が必要となる。よって、差分値をインデックスとして画像処理パラメータテーブルを検索して画像処理パラメータを求める画像処理パラメータ検索を行う。本実施形態においては、パラメータ生成部１０６に、画像処理パラメータ検索部１０６ｂを備えている。

画像処理部１０８は、パラメータ生成部１０６で生成した、第１画像処理パラメータあるいは第２画像処理パラメータを用い、第１映像ストリームまたは第２映像ストリームに対して画像処理を実施する。ストリーム選択信号１１２の値により、画像処理部１０８の動作は以下のように異なる。すなわち、（ストリーム選択信号１１２＝＝０）である場合には、第１映像ストリームの画像に対して第１画像処理パラメータを適用して画像処理を行う。また、そうでない場合には、第２映像ストリームの画像に対して第２画像処理パラメータを適用し画像処理を行う。

パラメータ制御部１０７は、第１画像処理パラメータと第１映像ストリームの画像処理パラメータ１１０の差、及び第２画像処理パラメータと第２映像ストリームの画像処理パラメータ１１１の差を解消するようにパラメータ生成部１０６の制御を行う。

ところで、差分値が０でない場合、パラメータ生成部１０６で、画像処理パラメータを補正している。補正後の画像処理パラメータは、あくまで映像ストリーム切替え時に発生する、視覚的効果の差が与える違和感を解消するのが目的である。よって、違和感を解消したならば、本来の画像処理パラメータ、すなわち、第１映像ストリームの画像処理パラメータ１１０あるいは第２映像ストリームの画像処理パラメータ１１１に画像処理パラメータを戻す必要がある。

ただし、本来の画像処理パラメータに急激に戻すと、新たに視覚的効果に差が生じ違和感を与える。よって、視聴者に変化を感じさせない速度で、第１画像処理パラメータと第１映像ストリームの画像処理パラメータ１１０の差、及び第２画像処理パラメータと第２映像ストリームの画像処理パラメータ１１１の差を解消する。

図２を用いて、パラメータ制御部１０７の動作をさらに説明する。
図２は、横軸に時間、縦軸に視覚的効果のうち画質をとった特性図である。時刻２０３で、第１映像ストリームから第２映像ストリームに切替えるとする。したがって、期間２０１は第１映像ストリームを、期間２０２は第２映像ストリームを選択している。

時刻２０３で第１映像ストリームから第２映像ストリームに切替える時、何も補正処理を行わない場合、視覚的効果が急激に変化し、視聴者に違和感を与える。また、高画質の第２映像ストリームに切替えた後も、第１映像ストリームに適した画像処理パラメータで画像処理を行うと、視覚的効果は変化しないので、視聴者に違和感を与えることはない。

しかし、第１映像ストリームに適した画像処理パラメータは、第２映像ストリームに適しているとは限らない。そのため、視聴者は本来の画質とは限らない映像を視聴することになる。したがって、時刻２０３で第１映像ストリームから第２映像ストリームに切替える時、急に画像処理パラメータを切替えるのではなく、ある程度時間をかけて画像処理パラメータを変更する。これにより、図２に示すように、視覚的効果の変化が急峻になることを防止し、視聴者に与える違和感を解消するようにしている。

続いて、画像処理パラメータの差を解消する手法を詳細に説明する。
例えば、以下の手順が使用可能である。以下の説明において、第１画像処理パラメータを、｛Ｐ１（０），Ｐ１（１），…，Ｐ１（ｍ）｝とし、第１映像ストリームの画像処理パラメータ１１０を、｛Ｉ１（０），Ｉ１（１），…，Ｉ１（ｍ）｝とする。また、第２画像処理パラメータを、｛Ｐ２（０），Ｐ２（１），…，Ｐ２（ｍ）｝とし、第２映像ストリームの画像処理パラメータ１１１を、｛Ｉ２（０），Ｉ２（１），…，Ｉ２（ｍ）｝とする。そして、フレーム周期をｔｆ（ｓ）とし、画像処理パラメータの差を解消する時間をＴ（ｓ）とする。この場合の手順を、下記の表４に示す。

前述の手順は、画像処理パラメータの差分を同じ割合で０に近づけて行き、画像処理パラメータの差を解消する時間Ｔ（ｓ）後に、本来の画像処理パラメータになるようにする。すなわち、画像処理パラメータの修正速度は一定である。勿論、パラメータ制御部１０７の実施形態は、画像処理パラメータの修正速度が一定であることに限定するものではない。

次に、本発明に係わる画像処理装置１００の動作の流れを詳細に説明する。本実施形態では、次の時刻で映像ストリームを切替えるとする。また、パラメータ制御部１０７が画像処理パラメータの差を解消する時間をＴとする。まず、時刻ｔ１において、第２映像ストリームに切替える。次に、時刻ｔ２において、第１映像ストリームに切替える。なお、ｔ１，ｔ２，Ｔの関係は、「ｔ２＞ｔ１＋Ｔ」とする。

各期間における本発明に係わる画像処理装置１００の状態と動作は以下のようになる。
［１］時刻ｔ０から時刻ｔ１においては、
ａ）ストリーム選択信号１１２＝０である。
ｂ）ストリーム選択信号１１２が０であるので、分離器１０１は第１映像ストリームを分離し、第１映像蓄積部１０２に蓄積する。
ｃ）同一物対象が存在しないため、同一対象物判定部１０４の出力は（−１，−１）である。
ｄ）同一物対象が存在しないため、差分検出器１０５の出力（差分値）は０である。
ｅ）差分値が０であるので、パラメータ生成部１０６の出力は以下のとおり、第１画像処理パラメータ＝第１映像ストリームの画像処理パラメータ１１０。第２画像処理パラメータ＝第２映像ストリームの画像処理パラメータ１１１である。
ｆ）差分値が０であるので、パラメータ制御部１０７は非動作である。
ｇ）画像処理部１０８は、第１画像処理パラメータを使用して第１映像ストリームに対して画像処理を行う。
ｈ）表示部１１３は、第１映像ストリームの画像処理パラメータ１１０を適用した第１映像ストリームの映像を表示する。

［２］時刻ｔ１においては、この時刻に、第１映像ストリームから第２映像ストリームに切替わる。
ａ）ストリーム選択信号１１２が０から１に変化する。
ｂ）ストリーム選択信号１１２が１であるので、分離器１０１は第２映像ストリームを分離し、第２映像蓄積部１０３に蓄積する。
ｃ）同一対象物判定部１０４は、第１映像ストリームと第２映像ストリーム間で同一対象物の存在を探索する。本実施形態では同一対象物判定部１０４の出力を（ｆ１，ｆ２）とする。
ｄ）差分検出器１０５は、同一対象物判定部１０４の出力（ｆ１，ｆ２）を用いて、第１映像蓄積部１０２の出力Ｓ１（ｆ１）と、第２映像蓄積部１０３の出力Ｓ２（ｆ２）間の画質の差分を算出する。本実施形態では差分検出器１０５の出力（差分値）をΔ（Δ＞０）とする。
ｅ）差分値（Δ）が０でない、パラメータ生成部１０６の出力は以下のとおり
、第１画像処理パラメータ＝第１映像ストリーム用の画像処理パラメータテーブル［Δ］、第２画像処理パラメータ＝第２映像ストリーム用の画像処理パラメータテーブル［Δ］。
ｆ）差分値（Δ）が０でないため、パラメータ制御部１０７は動作。ただし、
映像ストリームが切替わった直後であるため補正量は０である。
ｇ）画像処理部１０８は、第２画像処理パラメータを使用して第２映像ストリームに対して画像処理を行う。
ｈ）表示部１１３は、第２画像処理パラメータを適用した第２映像ストリームの映像を表示する。

［３］時刻ｔ１から時刻ｔ１＋Ｔにおいては、この期間は画像処理パラメータの差を解消する期間である。この期間に動作している、パラメータ制御部１０７、画像処理部１０８及び表示部１１３の動作を以下に示す。
ｆ）パラメータ制御部１０７は動作して、第２画像処理パラメータと第２映像ストリームの画像処理パラメータ１１１の差が０になるように、第２画像処理パラメータを更新する。
ｇ）画像処理部１０８は、更新した第２画像処理パラメータを使用して、第２映像ストリームに対して画像処理する。
ｈ）表示部１１３は、更新した第２画像処理パラメータを適用した第２映像ストリームの映像を表示する。

［４］時刻ｔ１＋Ｔから時刻ｔ２においては、画像処理パラメータの差が解消しているので、この期間は、第２映像ストリームの画像処理パラメータ１１１を適用して画像処理を実施する。すなわち、本来の動作に戻っているパラメータ制御部１０７、画像処理部１０８と表示部１１３の動作を以下に示す。
ｆ）パラメータ制御部１０７は非動作である。時刻ｔ１＋Ｔにおいて、画像処理パラメータの差は解消している。したがって、パラメータ制御部１０７は非動作である。
ｇ）画像処理部１０８は、第２映像ストリームの画像処理パラメータ１１１を使用して第２映像ストリームに対して画像処理する。
ｈ）表示部１１３は、第２映像ストリームの画像処理パラメータ１１１を適用した第２映像ストリームの映像を表示する。

［５］時刻ｔ２においては、この時刻に、再び第１映像ストリームに切替わる。
ａ）ストリーム選択信号１１２が１から０に変化する。
ｂ）ストリーム選択信号１１２が０であるので、分離器１０１は第１映像ストリームを分離し、第１映像蓄積部１０２に蓄積する。
ｃ）同一対象物判定部１０４は、第２映像ストリームと第１映像ストリーム間で同一対象物の存在を探索する。本実施形態では同一対象物判定部１０４の出力を（ｆ３，ｆ４）とする。
ｄ）差分検出器１０５は、同一対象物判定部１０４の出力（ｆ３，ｆ４）を用いて、第２映像蓄積部１０３の出力Ｓ２（ｆ４）と第１映像蓄積部１０２の出力Ｓ１（ｆ３）間の画質の差分を算出する。本実施形態では差分検出器１０５の出力（差分値）をη（η＞０）とする。
ｅ）差分値（η）が０でない、パラメータ生成部１０６の出力は以下のとおり、第１画像処理パラメータ＝第１映像ストリーム用の画像処理パラメータテーブル［η］、第２画像処理パラメータ＝第２映像ストリームの画像処理パラメータテーブル［η］。
ｆ）差分値（η）が０でないため、パラメータ制御部１０７は動作する。ただし、映像ストリームが切替わった直後であるため補正量は０とする。
ｇ）画像処理部１０８は、第１画像処理パラメータを使用して第１映像ストリームに対して画像処理する。
ｈ）表示部１１３は、第１画像処理パラメータを適用した第１映像ストリームの映像を表示する。
以下、映像ストリームが第１映像ストリームから第２映像ストリームに切替わった場合、［２］時刻ｔ１以降の動作と同様の動作になる。

（第２の実施形態）
以上説明した本発明に係わる各手段は、ハードウェア上に実装しても、あるいはソフトウェアで実装しても構わない。
以上好ましい実施形態を用いて本発明を説明した。しかし、本発明は必ずしも上記実施形態に限定されるものではない。

（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した画像処理方法における各工程を実行するソフトウェアのプログラムを、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

１００ 画像処理装置、１０１ 分離器、１０２ 第１映像蓄積部、１０３ 第２映像蓄積部、１０４ 同一対象物判定部、１０５ 差分検出器、１０６ パラメータ生成部、１０６ａ 画像処理パラメータテーブル、１０６ｂ 画像処理パラメータ検索部、１０７ パラメータ制御部、１０８ 画像処理部、１０９ 映像ストリーム受信部、１１０ 第１映像ストリーム画像処理パラメータ、１１１ 第２映像ストリーム画像処理パラメータ、１１２ ストリーム選択信号、１１３ 表示部

Claims (10)

1. 第１映像ストリーム及び第２映像ストリームに画像処理を行う画像処理装置において、
   前記第１映像ストリームと第２映像ストリームとの間で同一対象物が存在するかどうかを判定する同一対象物判定手段と、
   前記第２映像ストリームの視覚的効果が前記第１映像ストリームと同じになるように画像処理を施す画像処理パラメータを生成するパラメータ生成手段と、
   前記同一対象物判定手段において、同一対象物が存在すると判定した場合、前記パラメータ生成手段において生成した画像処理パラメータを第２映像ストリームに施す画像処理手段とを備えることを特徴とする画像処理装置。
2. 前記同一対象物判定手段により、前記第１映像ストリームと前記第２映像ストリームとに同一対象物が存在していると判定されると、第１映像ストリームと第２映像ストリームにおいて、それぞれの映像間に存在する画質差を算出する差分検出手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記パラメータ生成手段は、前記差分検出手段で算出された画質差をインデックスに、前記画質差を解消するように画像処理を実施する画像処理パラメータを参照値とした画像処理パラメータテーブルと、
   前記差分検出手段で算出された画質差をインデックスとして画像処理パラメータテーブルを検索し画像処理パラメータを求める画像処理パラメータ検索手段とを備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１映像ストリームから第２映像ストリームに切替える時に、前記第２映像ストリームに切替えた後も、暫くは前記第１映像ストリームに適した画像処理パラメータで画像処理を行い、ある程度時間をかけて前記第２映像ストリームに適した画像処理パラメータを変更するよう制御するパラメータ制御手段を有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 第１映像ストリーム及び第２映像ストリームに画像処理を行う画像処理方法において、
   前記第１映像ストリームと第２映像ストリームとの間で同一対象物が存在するかどうかを判定する同一対象物判定工程と、
   前記第２映像ストリームの視覚的効果が前記第１映像ストリームと同じになるように画像処理を施す画像処理パラメータを生成するパラメータ生成工程と、
   前記同一対象物判定工程において、同一対象物が存在すると判定した場合、前記パラメータ生成工程において生成した画像処理パラメータを第２映像ストリームに施す画像処理工程とを備えることを特徴とする画像処理方法。
6. 前記同一対象物判定工程において、前記第１映像ストリームと前記第２映像ストリームとに同一対象物が存在していると判定されると、第１映像ストリームと第２映像ストリームにおいて、それぞれの映像間に存在する画質差を算出する差分検出工程を有することを特徴とする請求項５に記載の画像処理方法。
7. 前記パラメータ生成工程は、前記差分検出工程で算出された画質差をインデックスに、前記画質差を解消するように画像処理を実施する画像処理パラメータを参照値とした画像処理パラメータテーブルと、
   前記差分検出工程で算出された画質差をインデックスとして画像処理パラメータテーブルを検索し画像処理パラメータを求める画像処理パラメータ検索工程とを備えることを特徴とする請求項６に記載の画像処理方法。
8. 前記第１映像ストリームから第２映像ストリームに切替える時に、前記第２映像ストリームに切替えた後も、暫くは前記第１映像ストリームに適した画像処理パラメータで画像処理を行い、ある程度時間をかけて前記第２映像ストリームに適した画像処理パラメータを変更するよう制御するパラメータ制御工程を有することを特徴とする請求項５〜７の何れか１項に記載の画像処理方法。
9. 第１映像ストリーム及び第２映像ストリームに画像処理をコンピュータに実行させるプログラムにおいて、
   前記第１映像ストリームと第２映像ストリームとの間で同一対象物が存在するかどうかを判定する同一対象物判定工程と、
   前記第２映像ストリームの視覚的効果が前記第１映像ストリームと同じになるように画像処理を施す画像処理パラメータを生成するパラメータ生成工程と、
   前記同一対象物判定工程において、同一対象物が存在すると判定した場合、前記パラメータ生成工程において生成した画像処理パラメータを第２映像ストリームに施す画像処理工程とをコンピュータに実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images