JP2013021683A - 映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システム - Google Patents

Abstract

【課題】映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なう。
【解決手段】映像信号出力装置は、３次元映像のうち左眼用映像と右眼用映像として使用する２枚の映像として、時刻の連続したハイフレームレートの２枚の映像を載せる。また、映像表示装置側では、３次元映像信号フォーマットを利用したハイフレーム２次元映像信号を受信すると、左眼用映像と右眼用映像として使用する２枚の映像を、時刻の連続したハイフレームレートの２枚の映像としてフレーム並べ替えを行なって表示する。
【選択図】 図１

Description

本明細書で開示する技術は、ハイフレームレートの映像信号を処理する映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムに係り、特に、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なう映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムに関する。

１／６０秒（６０ｉ）や１／２４（２４ｐ）などのフレームレートで連続する静止画を撮影した映像は、フレーム間（すなわち、１／６０秒間や１／２４秒間）で動くものについて「ぼやけ」が発生する。例えば、映画における激しいアクションやスポーツにおける選手の素早い動きがある映像にぼやけが発生すると、臨場感やリアルさが損なわれる。そこで、撮影時のぼやけを改善するために、１／６０秒間や１／２４秒間にフレーム間の動きを補間するフレーム（以下、「中間フレーム」とも言う）を挿入することによって、映像を鮮明にする倍速変換若しくはハイフレームレート技術が知られている。

ハイフレームレート技術によれば、挿入するフレーム数が多いほど映像は滑らかで鮮明になる。当業界では、前後のレーム内の映像ブロック間の動きベクトルを用いて画像予測して、比較的精度の高い中間フレームを生成する方法が広く知られている。

例えば、動きベクトルにより符号化された映像信号を復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離され、表示装置で、再生装置での復号処理によって得られる動きベクトルを利用してフレームレート変換を行なうフレームレート変換システムについて提案がなされている（例えば、特許文献１を参照のこと）。

また、入力された映像信号のフレームレートを高めるハイフレームレート信号を生成し、さらにハイフレームレート映像信号に対して所定周期で非発光のフレームを設けてフレームレートを調整する画像表示装置について提案がなされている（例えば、特許文献２を参照のこと）。

しかしながら、映像のハイフレームレート化は、中間フレーム生成処理が必要であり、映像破綻などを生じることがある。中間フレーム生成処理は、上述したように動きベクトルを用いて実現することができるが、回路コスト増や性能の影響が生じる。また、ハイフレームレートで記録されていないと得られない情報は、動きベクトルによる補間では復元することができない。したがって、動いている被写体の解像度を高めるには、元々ハイフレームレートで記録された映像を伝送するシステムとそれを表示する表示装置が必要ではないか、と本出願人は思料する。

また、フレームレート変換した映像をリアルタイムに表示する場合には、変換後の次のフレームを表示するまでの限られた時間内に動きベクトルを検出する必要があるため、さらに高い計算能力を必要とする。すなわち、中間フレーム生成処理には、複数枚のフレームを処理する必要があり、映像遅延が発生する。このため、フレームレート変換技術は、リアルタイムで映像を表示しなければならないゲームなどの用途には不向きである。

また、Ｄｕａｌ ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）などの映像出力インターフェースを用いてハイフレームレートの映像データを広帯域伝送するシステムを構成するには、広帯域伝送用のケーブルやバスの製作コストがかかる、映像データの受信機側も広帯域信号を受信するために装置コストが増大する、放送などの限られた帯域の映像システムでは実現不可能である、といった問題がある。

特開２００７−２７４６７９号公報 特開２０１１−２５１９号公報

本明細書で開示する技術の目的は、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる、優れた映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化して、第ｎの統合映像信号を生成する映像信号変換部と、
前記映像信号変換部で変換された統合映像信号を出力する出力部と、
を具備する映像信号処理装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の映像信号処理装置の統合映像信号変換部は、元の複数の映像信号を、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で１つの映像信号に多重化して統合映像信号を生成するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の映像信号処理装置の統合映像信号変換部は、ハイフレームレートの２次元映像信号を、３次元映像信号の伝送フォーマットで多重化するように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載の映像信号処理装置の出力部は、統合映像信号の出力ストリームに、映像信号を多重化して統合映像信号を生成する方式に関する映像補足情報信号を付加するように構成されている。

また、本願の請求項５に記載の技術は、
第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化して、第ｎの統合映像信号を生成する映像信号変換ステップと、
前記映像信号変換ステップにおいて変換された統合映像信号を出力する出力ステップと、
を有する映像信号処理方法である。

また、本願の請求項６に記載の技術は、
第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を入力する映像信号入力部と、
第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する映像分離部と、
分離された第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する表示部と、
を具備する映像表示装置である。

本願の請求項７に記載の技術によれば、請求項６に記載の映像表示装置の表示部は、前記映像信号入力部への入力に対し倍速で、第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示するように構成されている。

本願の請求項８に記載の技術によれば、請求項６に記載の映像表示装置の映像分離部は、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で第ｎの統合映像信号に多重化された第ｎの映像信号と第（ｎ＋０．５）の映像信号を分離するように構成されている。

本願の請求項９に記載の技術によれば、請求項６に記載の映像表示装置の映像信号入力部は、３次元映像信号の伝送フォーマットで多重化されたハイフレームレートの２次元映像信号を入力し、映像分離部は、前記映像信号への入力信号からハイフレームレートの２次元映像信号を分離するように構成されている。

本願の請求項１０に記載の技術によれば、請求項６に記載の映像表示装置は、映像分離部が第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号のうち第（ｎ＋０．５）の映像信号を間引く映像信号間引き部をさらに備えている。

本願の請求項１１に記載の技術によれば、請求項６に記載の映像表示装置は、映像分離部が第ｎの統合映像信号から分離した第ｎの映像信号と第（ｎ＋０．５）の映像信号との時間的に中間となる第ｎの中間フレームを生成してフレームレートを変換するフレームレート変換部をさらに備えている。そして、表示部は、第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示するときよりもさらに高いフレームレートで、第ｎの映像信号、第ｎの中間フレーム、第（ｎ＋１）の映像信号を順次表示するように構成されている。

本願の請求項１２に記載の技術によれば、請求項６に記載の映像表示装置は、映像信号入力部が入力する統合映像信号に映像信号を多重化する方式を判別する判別部をさらに備えている。そして、映像分離部は、前記判別部における判定結果に基づいて、第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する処理を行なうように構成されている。

本願の請求項１３に記載の技術によれば、請求項１２に記載の映像表示装置の判別部は、前記映像信号入力部が入力するストリームに付加されている映像補足情報信号に基づいて、統合映像信号に映像信号を多重化する方式を判別するように構成されている。

本願の請求項１４に記載の技術によれば、請求項６に記載の映像表示装置は、映像分離部が第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離した後に、第ｎの映像信号又は第（ｎ＋０．５）の映像信号を間引いて、前記映像信号入力部へ入力されるフレームと前記表示部が表示するフレームとの同期合わせを行なうフレーム同期部をさらに備えている。

本願の請求項１５に記載の技術によれば、請求項６に記載の映像表示装置は、映像分離部が第ｎの統合映像信号から分離した第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の色差位相の不一致を補間する色差補間部をさらに備えている。

本願の請求項１６に記載の技術によれば、請求項１５に記載の映像表示装置は、色差補間部により色差位相の不一致を補間した後に生じる第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の位置ずれを補正する位置合わせ部をさらに備えている。

本願の請求項１７に記載の技術によれば、請求項１６に記載の映像表示装置の位置合わせ部は、画像のアスペクト比を保持しながら、第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の位置ずれを補正するように構成されている。

本願の請求項１８に記載の技術によれば、請求項６に記載の映像表示装置の映像信号入力部は、統合映像信号として、ハイフレームレートの２次元映像信号又は３次元映像信号を入力するように構成されている。また、同映像表示装置は、映像信号入力部が入力する統合映像信号に付加されている映像補足情報信号に基づいて、入力された統合映像信号がハイフレームレートの２次元映像信号又は３次元映像信号のいずれであるかを判別する判別部をさらに備えている。

本願の請求項１９に記載の技術によれば、請求項１８に記載の映像表示装置は、判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、映像を観察する観察者がかけているシャッター眼鏡を両目ともに解放状態にするように構成されている。

本願の請求項２０に記載の技術によれば、請求項１８に記載の映像表示装置は、判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、表示映像がハイフレームレートの２次元映像である旨を提示するように構成されている。

また、本願の請求項２１に記載の技術は、
判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、表示映像がハイフレームレートの２次元映像である旨を提示すである。

また、本願の請求項２２に記載の技術は、
第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を送信する映像信号出力装置と、
第ｎの統合映像信号を受信し、第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離して、順次表示する映像表示装置と、
を具備する映像処理システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

また、本願の請求項２３に記載の技術によれば、請求項１に記載の映像信号処理装置の前記映像信号変換部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、例えばＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングして統合映像信号を生成するように構成されている。

また、本願の請求項２４に記載の技術によれば、請求項６に記載の映像表示装置の前記映像信号入力部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、ＭＶＣフォーマットによりパッキングされた統合映像信号を入力し、前記映像分離部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、例えばＭＶＣなどの前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングされた統合映像信号を、時間方向及びビュー方向に補償して、系列毎のフレームを復号するように構成されている。

また、本願の請求項２５に記載の技術によれば、請求項２４に記載の映像表示装置は、前記表示部で通常のフレームレートで２次元映像を表示するときには、前記映像分離部が、一方の時間系列のフレームのみ時間方向に補償してフレームを復号し、他方の時間系列のフレームについて復号処理を省略するように構成されている。

また、本願の請求項２６に記載の技術によれば、請求項１に記載の映像信号処理装置の前記映像信号変換部は、ハイフレームレートの２次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングして統合映像信号を生成するように構成されている。

また、本願の請求項２７に記載の技術によれば、請求項６に記載の映像表示装置の前記映像信号入力部は、ハイフレームレートの２次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、インターレース・フォーマットの前記統合映像信号の各フィールドを標準フレームレートの垂直同期信号に同期してＩＰ変換し、プログレッシブ化された各フレームからサイド・バイ・サイド形式で多重化された標準フレームと中間フレームを分離して、統合前のハイフレームレート映像信号を得るように構成されている。

また、本願の請求項２８に記載の技術によれば、請求項１に記載の映像信号処理装置の前記映像信号変換部は、ハイフレームレートの２次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングして統合映像信号を生成するように構成されている。

また、本願の請求項２９に記載の技術によれば、請求項６に記載の映像表示装置の前記映像信号入力部は、ハイフレームレートの２次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、前記統合映像信号の各フィールドをハイフレームレートの垂直同期信号に同期してＩＰ変換して、統合前のハイフレームレート映像信号を得るように構成されている。

また、本願の請求項３０に記載の技術によれば、請求項１に記載の映像信号処理装置は、映像信号の動き量を検出する動き検出部をさらに備えている。そして、前記動き検出部が映像信号から所定以上の動き量を検出したときには、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号を前記映像信号変換部で所定のフォーマットに変換し、前記出力部から出力し、動き量が所定未満のときには、標準フレームからなる映像信号を前記出力部から出力するように構成されている。

また、本願の請求項３１に記載の技術によれば、請求項６に記載の映像表示装置の前記映像信号入力部は、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号と標準フレームレートの映像信号が統合された統合映像信号を入力し、前記映像分離部は、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートしてハイフレームレート化するように構成されている。

また、本願の請求項３２に記載の技術によれば、請求項６に記載の映像表示装置は、前記映像信号入力部は、統合映像信号として、２次元映像信号又は３次元映像信号を入力し、入力された統合映像信号が２次元映像信号又は３次元映像信号のいずれであるかを判別する判別部と、２次元映像信号又は３次元映像信号のいずれであるかに応じて映像信号の処理を切り換える信号処理部をさらに備えている。

また、本願の請求項３３に記載の技術によれば、請求項３２に記載の映像表示装置の前記信号処理部は、入力された統合映像信号が３次元映像信号のときには、前記映像分離部で分離した後、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照してノイズ除去するとともに、左眼用映像フレーム飛ばして右眼用映像フレーム間で参照してノイズ除去し、入力された統合映像信号が２次元映像信号のときには、前記映像分離部で分離した後、フレーム飛ばしせず直近のフレーム間で参照してノイズ除去するように構成されている。

また、本願の請求項３４に記載の技術によれば、請求項３２に記載の映像表示装置の前記信号処理部は、前記表示部の表示映像を一時停止するときに、入力された統合映像信号が３次元映像信号であれば、同一時刻の左右映像フレームを交互に表示し、入力された統合映像信号が２次元映像信号であれば、１枚の映像フレームをホールドするように構成されている。

本明細書で開示する技術によれば、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる、優れた映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システムを提供することができる。

本明細書で開示する技術によれば、映像信号の出力側で高周波映像信号を生成することができるので、コンテンツ制作の幅が広がる。また、ハイフレームレート・カメラで撮影した映像を、フレームレートを落とすことなく配信することが可能となる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、映像信号出力装置側でハイフレームレートの２次元映像信号を３次元映像信号の伝送フォーマットにフォーマット変換する処理を模式的に示した図である。 図２は、映像表示装置が３次元映像信号を入力して３次元映像を表示する処理を模式的に示した図である。 図３は、映像表示装置が、３次元映像信号の伝送フォーマットで伝送されるハイフレームレートの２次元映像信号を入力して、ハイフレームレートの２次元映像を表示する処理を模式的に示した図である。 図４は、映像表示装置が、３次元映像信号の伝送フォーマットで伝送されるハイフレームレートの２次元映像信号を入力し、中間フレームを間引いて標準のフレームレートの２次元映像を表示する処理を模式的に示した図である。 図５は、ハイフレームレートの２次元映像信号の伝送に３次元映像信号の伝送フォーマットを利用した映像システム４００の構成例を示した図である。 図６Ａは、ハイフレームレートの２次元映像信号の伝送に３次元映像信号の伝送フォーマットを利用した映像システム５００の構成例において映像出力側となるハイフレームレート・カメラ５１０及び放送装置５２０を示した図である。 図６Ｂは、ハイフレームレートの２次元映像信号の伝送に３次元映像信号の伝送フォーマットを利用した映像システム５００の構成例における映像表示装置５５０を示した図である。 図７は、ＹＵＶ４２０／ＹＵＶ４２２フォーマットの画素データを示した図である。 図８は、ＹＵＶ４２０／ＹＵＶ４２２フォーマットで８５４×４８０画素サイズの画像フレームに、ハイフレームレートの２次元映像をサイド・バイ・サイド形式で多重化した様子を示した図である。 図９は、サイド・バイ・サイド形式でハイフレームレート２次元映像を多重化した、ＹＵＶ４２０／ＹＵＶ４２２フォーマットで８５４×４８０画素サイズの画像フレームから、２分の１に分割したときの境界部分を避けて元のハイフレームレートの２次元映像を分離する様子を示した図である。 図１０は、サイド・バイ・サイド形式でハイフレームレート２次元映像を多重化した画像フレームから、２分の１に分割したときの境界部分を避けて元の画像フレームを分離する処理を行なったときの、分離した後の左右の各画像フレームの先頭画素を示した図である。 図１１は、ハイフレームレート２次元映像をサイド・バイ・サイド形式で多重化したＹＵＶ４２０／ＹＵＶ４２２フォーマットの画像フレームの左右から分離した後、各画像フレームの位相を合わせながら時間方向に並べる様子を示した図である。 図１２は、ハイフレームレート２次元映像をサイド・バイ・サイド形式で多重化したＹＵＶ４２０／ＹＵＶ４２２フォーマットの画像フレームから元のハイフレームレート２次元映像を分離する方法を説明するための図である。 図１３は、ハイフレームレート２次元映像をトップ・アンド・ボトム形式で多重化したＹＵＶ４２０フォーマットの画像フレームから元のハイフレームレート２次元映像を分離する方法を説明するための図である。 図１４は、３次元映像信号の伝送フォーマットで送られてきた映像信号からハイフレームレートの２次元映像信号を取り出して表示する映像表示装置１４００の構成例を示した図である。 図１５Ａは、ハイフレームレート２次元映像信号に戻した後の間引き処理により入力映像のフレームレートと表示のフレームレートの同期合わせを行なう方法を説明するための図である。 図１５Ｂは、入力のフレームベースで間引き処理して入力映像のフレームレートと表示のフレームレートの同期合わせを行なう方法を説明するための図である。 図１６Ａは、映像表示装置４５０がフレーム・シーケンシャルで３次元映像を画面表示する際に、シャッター眼鏡が左眼用画像及び右眼用画像の表示切り換えに同期して左右のシャッターを開閉制御している様子を示した図である。 図１６Ｂは、映像表示装置４５０がハイフレームレートの２次元映像を画面表示する際に、シャッター眼鏡の左右のシャッターをともに開放して、画面を２次元映像として見えるようにしている様子を示した図である。 図１７は、映像表示装置４５０が受信信号のフォーマットに応じて実行する動作手順を示したフローチャートである。 図１８は、フレーム・パッキング形式の伝送フォーマットを示した図である。 図１９は、サイド・バイ・サイド形式の伝送フォーマットを示した図である。 図２０は、トップ・アンド・ボトム形式の伝送フォーマットを示した図である。 図２１は、ＭＶＣにより符号化された３次元映像の構造と、これをデコードして表示する処理を示した図である。 図２２は、ＭＶＣを用いてハイフレームレート２次元映像信号をパッキングする方法とこれをデコード再生する仕組みを模式的に示した図である。 図２３は、ＭＶＣフォーマットを利用したハイフレームレート２次元映像信号を標準のフレームレートで再生する仕組みを示した図である。 図２４は、ハイフレームレート２次元映像をインターレース・フォーマットにパッキングする方式の一例を、ＩＰ変換し出力する方法とともに示した図である。 図２５は、図２４に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート２次元映像を表示出力する映像表示装置２５００の構成例示した図である。 図２６は、ハイフレームレート２次元映像をインターレース・フォーマットにパッキングする方式の他の例（Ｔｏｐ Ｆｉｅｌｄ Ｆｉｒｓｔ）を、ＩＰ変換し出力する方法とともに示した図である。 図２７は、ハイフレームレート２次元映像をインターレース・フォーマットにパッキングする方式の他の例（Ｂｏｔｔｏｍ Ｆｉｅｌｄ Ｆｉｒｓｔ）を、ＩＰ変換し出力する方法とともに示した図である。 図２８は、図２６又は図２７に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート２次元映像を表示出力する映像表示装置２８００の構成例を示した図である。 図２９は、２次元映像におけるシーンの動き量に応じて通常の２次元映像とハイフレームレート２次元映像を動的に切り換える様子を示した図である。 図３０は、２次元映像におけるシーンの動き量に応じてフレームレートを切り換える処理手順を示したフローチャートである。 図３１は、２次元映像におけるシーンの動き量に応じてフレームレートを切り換えて送信する映像信号送信装置の構成例を示した図である。 図３２は、途中で標準フレームレートからハイフレームレートに切り替わる映像信号を常にハイフレームレートの同期信号に固定して出力する様子を示した図である。 図３３は、３次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示した図である。 図３４は、ハイフレームレート２次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示した図である。 図３５は、３次元映像を一時停止処理する様子を示した図である。 図３６は、ハイフレームレート２次元映像を一時停止処理する様子を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

左右の眼に視差のある画像を表示することで、観察者に立体的に見える立体視画像を提示することができる。例えば、時分割立体視画像表示システムは、視差のある左眼用映像及び右眼用映像をフレーム・シーケンシャルすなわち非常に短い周期で交互に画面表示する映像表示装置と、左眼用映像及び右眼用映像の表示周期に同期して左眼用映像と右眼用映像を分離する機構からなる。観察者の左眼に左眼用映像を、右眼に右眼用映像をそれぞれ独立して視認させると、観察者の脳内ではこれらが融像され、立体的に認識される。

ここで、映像表示で非常に短い周期で交互に画面表示される左眼用映像と右眼用映像を分離する機構として、幾つかの方式が知られている。例えば、シャッター眼鏡を利用した映像分離機構の場合、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備えたシャッター眼鏡を観察者がかける。シャッター眼鏡は、左眼用画像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用画像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する。すなわち、映像表示装置による左眼用画像及び右眼用画像の時分割表示と、映像表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察するユーザーに立体画像が提示される。

また、立体視できる３次元映像信号の伝送フォーマットとして、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）１．４ａ規格では、１垂直帰線期間中に（同時刻の）左眼用映像と右眼用映像の２フレーム分（若しくは４フレーム分）を多重化する「フレーム・パッキング（Ｆｒａｍｅ ｐａｃｋｉｎｇ）」（図１８を参照のこと）、２次元映像信号のアクティブ領域を水平方向に２分割して左右すなわち水平方向に（同時刻の）左眼用映像及び右眼用映像を多重化する「サイド・バイ・サイド（Ｓｉｄｅ ｂｙ Ｓｉｄｅ）」（図１９を参照のこと）、２次元映像信号のアクティブ領域を垂直方向に２分割して上下すなわち垂直方向に（同時刻の）左眼用映像及び右眼用映像を多重化する「トップ・アンド・ボトム（Ｔｏｐ ａｎｄ Ｂｏｔｔｏｍ）」（図２０を参照のこと）が定義されている。フレーム・パッキングによれば、左眼用映像及び右眼用映像の各フレームの解像度は２次元画像と同一である。他方、サイド・バイ・サイドでは左眼用映像及び右眼用映像の各フレームの水平解像度が２次元画像の２分の１、トップ・アンド・ボトムでは左眼用映像及び右眼用映像の各フレームの垂直解像度が２次元画像の２分の１となる。

本明細書で開示する技術は、ハイフレームレートの２次元映像信号を伝送する際に、３次元映像信号の伝送フォーマットを利用するものである。本明細書で開示する技術を適用したハイフレームレート２次元映像システムは、３次元映像信号を所定の伝送フォーマットで出力可能な映像信号出力装置と、この伝送フォーマットに対応した映像表示装置からなる。上述したように、３次元映像信号は時刻の連続した左眼用映像と右眼用映像を多重化したものである。映像信号出力装置は、本来の３次元映像のうち左眼用映像と右眼用映像として使用する２枚の映像の代わりに、時刻の連続したハイフレームレートの２枚の映像を多重化する。また、映像表示装置側では、３次元映像信号フォーマットを利用したハイフレーム２次元映像信号を受信すると、時刻の連続したハイフレームレートの２枚の映像として分離するとともにフレーム並べ替えを行なって表示する。ハイフレームレートの２次元映像信号を伝送するために、上記したフレーム・パッキング、サイド・バイ・サイド、トップ・アンド・ボトムのいずれの３次元映像信号フォーマットも利用することができる。

図１には、映像信号出力装置側でハイフレームレートの２次元映像信号を３次元映像信号の伝送フォーマットにフォーマット変換する処理を模式的に示している。

原画像であるハイフレームレートの２次元映像は、標準のフレームレートの２次元映像フレーム（以下、「標準フレーム」とも言う）Ｎ０、Ｎ１、Ｎ２、Ｎ３、…の各フレーム間には、時間的に中間となる２次元映像フレーム（以下、「中間フレーム」とも言う）Ｎ０．５、Ｎ１．５、Ｎ２．５、…が挿入され、これらが時間軸上に配列され、標準フレームレートに対して倍のフレームレートとなっている。

図１では、ハイフレームレートの２次元映像を、サイド・バイ・サイド形式の３次元映像信号にフォーマット変換する様子を示している。図示のように、水平方向に左眼用映像と右眼用映像に２分割していた２次元映像信号のアクティブ領域に、ある時刻の標準フレームと、次の時刻の標準フレームとの間の中間フレームを、それぞれ水平方向に２分の１にスケール変換した後に、１フレーム内に水平方向に多重化している。したがって、時刻毎の画像フレームは、（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…となり、これが映像信号出力装置の出力となる。

なお、図示しないが、ハイフレームレート２次元映像信号を、トップ・アンド・ボトムやフレーム・パッキングなど他の３次元映像信号の伝送フォーマットに載せて伝送する場合も、同様に、時間軸上で連続する標準フレームと中間フレームを、３次元映像信号フォーマットにおける左眼用画像及び右眼用画像の代わりに交互に割り当てる。

また、図２には、映像表示装置が３次元映像信号を入力して３次元映像を表示する処理を模式的に示している。

映像表示装置には、サイド・バイ・サイド形式の３次元映像信号が入力される。図示のように、サイド・バイ・サイド形式では、２次元映像信号のアクティブ領域を水平方向に２分割して、同時刻の左眼用映像及び右眼用映像（Ｌ０，Ｒ０）、（Ｌ１，Ｒ１）、（Ｌ２，Ｒ２）、…を１フレーム内に水平方向に多重化されている。

映像表示装置内では、このような入力信号に対し、左眼用映像と右眼用映像への映像分離、時間方向の並べ替え、及び、水平方向のスケーリングを行なう。そして、時刻毎の左眼用映像と左眼用画像を、入力信号に対し倍速で交互に表示する。

また、図３には、映像表示装置が、３次元映像信号の伝送フォーマットで伝送されるハイフレームレートの２次元映像信号を入力して、ハイフレームレートの２次元映像を表示する処理を模式的に示している。

図１に示した映像信号出力装置の出力が映像表示装置への入力となる。映像表示装置内では、標準フレームと中間フレームが１フレームにパッキングされたこ入力信号（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…に対し、元の標準フレームと中間フレームに映像分離し、時間方向の並べ替え、及び、水平方向のスケーリングを行ない、フレーム補間されたハイフレームレートの２次元映像Ｎ０、Ｎ０．５、Ｎ１、Ｎ１．５、Ｎ２、Ｎ２．５、…を、入力信号に対し倍速で表示する。

上述したように、ハイフレームレートの２次元映像信号に３次元映像信号の伝送フォーマットを利用する場合、映像表示装置側では標準フレーム間を補間する中間フレームを生成する必要がない。したがって、中間フレーム生成処理の回路とそのメモリーが不要であるため、ハイフレームレート化のための装置コスト増大を抑制することができる。また、中間フレーム生成処理を行なわないことで映像遅延が発生しないので、ゲーム用途にも適当である。

また、ハイフレームレートの２次元映像信号に３次元映像信号の伝送フォーマットを利用する場合、既存の３次元映像信号フォーマットに対応した３次元対応テレビであれば、入力した映像信号を３次元映像信号の伝送フォーマットとして表示することで、ハイフレームレートの２次元映像を視聴することが可能となる。既に運用が開始されている放送などの３次元映像配信システムの範囲でも、ハイフレームレートの２次元映像の配信、視聴が可能となる。

また、ハイフレームレートの２次元映像信号に３次元映像信号の伝送フォーマットを利用する映像配信システムでは、映像信号出力装置すなわち送信側で高周波映像信号を生成するので、コンテンツ制作の幅が広がる。高速カメラで撮影した映像も、３次元映像信号の伝送フォーマットを利用することで、フレームレートを落とすことなく配信することができる。

なお、映像表示装置内で、３次元映像信号の伝送フォーマットで多重化されたハイフレームレートの２次元映像信号から、元の２次元映像フレーム（標準フレーム及び中間フレーム）に映像分離した後、図４に示すように中間フレームを間引くことで、従来のＴＶシステムと同等のフレームレートでの表示を行なうことも可能である。

また、図３に示した例では、３次元映像信号の伝送フォーマットをフレーム補間なしの２倍速の２次元映像信号として扱うものであり、映像表示装置内ではフレーム補間を行なっていない。これに対し、映像表示装置内にフレームレート変換回路を組み込み、中間フレーム生成処理を行なうようにすれば、さらに高いフレームレートの映像を表示することができる。

また、図３に示した例では、サイド・バイ・サイド形式の伝送フォーマットをフレーム補間なしの２倍速２次元映像信号として扱うものであるが、勿論、フレーム・パッキングやトップ・アンド・ボトムなど他の既存の３次元映像信号フォーマットも、同様にハイフレームレートの２次元映像に利用することができる。

また、図３に示した例では、サイド・バイ・サイド形式の伝送フォーマットを用いて２倍速２次元映像信号の入力を行なうが、これに対し、フレーム・パッキング・インターレース・フォーマットを映像信号の入力に用いて、ＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換を行なうことで、４倍速相当のフレームレートを実現することができる。

さらに、３次元映像の複数の視差画像フレームを時刻同期して圧縮符号化するフォーマットを、ハイフレームレートの２次元映像の伝送に利用することが考えられる。その具体例として、Ｈ．２６４／ＡＶＣを機能拡張した３次元映像信号フォーマットであるＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：多視点映像符号化）を挙げることができ、ハイフレームレートの２次元映像の伝送に利用することができる。ＭＶＣ規格では、圧縮効率を上げるために、通常の動き補償（ｉｎｔｅｒ ｐｒｅｄｉｃａｔｉｏｎ）の他に、複数のビュー間でフレーム間予測符号化すなわち視差補償（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃａｔｉｏｎ：ビュー間補償）を利用している。したがって、時間方向とともにビュー方向にも参照画像を持ち、デコード時には時間方向に参照して動き補償するとともに、ビュー方向に参照して視差補償して、画像を復元する。

図２１には、ＭＶＣにより符号化された３次元映像の構造と、これをデコードして表示する処理を模式的に示している。図示のように、左眼用映像Ｌ０、Ｌ１、Ｌ２、…、及び、右眼用映像Ｒ０、Ｒ１、Ｒ２、…それぞれについて、画面内で独立して符号化したＩピクチャー、時間軸上で順方向に予測符号化したＰピクチャー、双方向に予測符号化したＢピクチャーが、時間方向に配列されている。また、同時刻の左眼用映像と右眼用映像間でも予測符号化されている。同図では、画面間の参照関係を矢印で示している。そして、３次元映像再生時には、参照フレームで補償してデコードし、時刻毎の左眼用映像Ｌ０、Ｌ１、Ｌ２、…、及び、右眼用映像Ｒ０、Ｒ１、Ｒ２、…を交互に表示する。

また、図２２には、ＭＶＣを用いてハイフレームレート２次元映像信号をパッキングする方法とこれをデコード再生する仕組みを模式的に示している。図示のように、標準フレーム周期毎の本来の２次元映像すなわち標準フレームＮ０、Ｎ１、Ｎ２、Ｎ３、…が、時間方向に配置されている。標準フレームは、Ｉピクチャー、Ｐピクチャー、Ｂピクチャーの系列からなる。また、標準フレーム間を補間する中間フレームＮ０．５、Ｎ１．５、Ｎ２．５、…の系列が、ビュー方向に配置されている。図中矢印で参照関係を示すように、標準フレームと中間フレームは、それぞれで時間方向にフレーム間予測符号化が行なわれるとともに、時間的に対応する標準フレームと中間フレーム間でもフレーム間予測符号化が行なわれる。そして、ハイフレームレート２次元映像再生時には、時間方向及びビュー方向に隣接フレームを参照してデコードし、時間方向に並べ替えて、フレーム補間されたハイフレームレートの２次元映像Ｎ０、Ｎ０．５、Ｎ１、Ｎ１．５、Ｎ２、Ｎ２．５、…を、入力信号に対し倍速（１２０Ｈｚ）で交互に表示する。

また、映像表示装置にはＭＶＣフォーマットを利用したハイフレームレート２次元映像信号が入力されるが、標準のフレームレート（６０Ｈｚ）で表示したいときには、一旦デコードした中間フレームを間引くのではなく、図２３に示すように、そもそも中間フレームＮ０．５、Ｎ１．５、Ｎ２．５、…の系列についてデコード処理を行なわないようにすればよい。

図５には、ハイフレームレートの２次元映像信号の伝送に３次元映像信号の伝送フォーマットを利用した映像システム４００の構成例を示している。図示の映像システム４００は、映像信号出力装置としてのゲーム機４１０と、ＴＶなどの映像表示装置４５０で構成され、映像信号の伝送にはＨＤＭＩケーブル４２０が用いられている。

描画部４１１は、例えばゲーム用の２次元映像信号を、ハイフレームレートで生成する。あるいは、描画部４１１は、標準のフレームレートの２次元映像信号を生成した後、さらに中間フレーム生成処理を行なって、ハイフレームレートの２次元映像信号に変換する。

フォーマット変換部４１２は、ハイフレームレートの２次元映像信号を、サイド・バイ・サイドやトップ・アンド・ボトムなどの伝送フォーマットに適合するように１フレーム内に多重化する。

そして、送信部４１３は、フォーマット変換された映像信号をＨＤＭＩ形式にプロトコル変換して、ＨＤＭＩケーブル４２０上に送出する。

なお、映像出力装置４００側では、送出信号が通常の３次元映像信号又はハイフレームレート２次元映像信号のいずれであるかを示す情報を、例えば送信ストリームのヘッダー情報などの映像補足情報信号で、映像信号と同時に送信するようにしてもよい。映像信号を符号化、伝送する規格毎の、上記情報の記載方法を以下の表に示しておく。なお、ＭＶＣは、ＡＶＣと同様にＨ．２６４規格なので、同様の記載方法を採用することができる。

映像表示装置４５０側では、受信部４５１でＨＤＭＩケーブル４２０を介して映像信号を受信すると、フォーマット判別部４５２で、入力された映像信号の伝送フォーマットを判別する。そして、受信部４５１は、判別された伝送フォーマットに従って、映像信号のデコード処理を適宜行なう。フォーマット判別部４５２は、例えば、受信したストリームのヘッダー情報など映像補足情報信号の記載に基づいて、映像信号の伝送フォーマットや、映像信号に載せられているのが３次元映像信号又はハイフレームレート２次元映像信号のいずれであるのかなどを判別する。なお、受信ストリーム中にこの種の映像補足情報信号が含まれていないことも想定される。このような場合には、視聴者が指定して、フォーマットの切り替えを行なうことも可能である。フォーマット判別部４５２におけるフォーマット判別は、自動判別の他、視聴者によるマニュアル指定も含むものとする。

そして、映像分離部４５３では、判定された伝送フォーマットに基づいて、１フレーム内に多重化されているハイフレームレート２次元映像信号を元のフレームに分離した後に逐次フレーム・メモリー４５４に保存する。映像並べ替え部４５５は、フレーム・メモリー４５４に保存されている映像フレームを時間方向に並べ替えて読み出す。

なお、入力映像のフレームレートと表示のフレームレートが合わないときには、フレームを間引いたり、逆に、同じフレームを繰り返し表示したりすることで、同期を合わせる方法が考えられる。図５に示した映像表示装置４５０の場合、映像分離部４５３でハイフレームレート２次元映像信号に戻した後にフレームの間引き処理を行なうように構成されている。すなわち、映像並べ替え部４５５が、入力映像のフレームレートと表示のフレームレートの不一致に応じてフレーム・メモリー４５４からの映像フレーム（中間フレーム）の読み出しをスキップすることで、同期合わせを行なう（図１５Ａを参照のこと）。ハイフレームレート２次元映像信号に戻した後であれば、同期合わせを行なうときに１フレーム単位で間引き処理できるので、１回のフレームの飛びを小さくして、ジッター（動き方向の不連続性）を軽減することができる。

上述したようにハイフレームレート２次元映像信号に戻した後に間引き処理を行なう代わりに、入力のフレームベースで間引き処理して同期合わせを行なう方法も考えられる（図１５Ｂを参照のこと）。この場合、１回当たりの間引きで、ハイフレームレート２次元映像の表示時には２フレーム分が間引かれることになり、１回のフレームの飛びを大きくなり、ジッター（動き方向の不連続性）が増大してしまう。

再び図５に戻って説明する。映像ノイズ除去部４５６は、時間方向に並べ替えられた各映像信号に含まれるノイズ成分を除去する。

ここで、３次元映像信号の伝送フォーマットで入力されたハイフレームレートの２次元映像信号を、標準のフレームレートで表示するときには、フレーム間引き部４５７で、図４に示したように、ハイフレームレートの２次元映像から中間フレームの間引き処理を行なう。そして、選択部４５８は、ハイフレームレート又は標準のフレームレートのうちいずれで映像表示を行なうかに応じて、映像ノイズ除去部４５６又はフレーム間引き部４５７のうちいずれか一方の出力を選択する。

ハイフレームレートの２次元映像信号の伝送にサイド・バイ・サイド形式を利用する場合、映像信号の水平解像度が２分の１になり、トップ・アンド・ボトム形式を利用する場合は、映像信号の垂直解像度が２分の１になる。そこで、スケール処理部４５９は、フォーマット判別部４５２での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部４６０で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部４６０に利用することができる。

なお、図示の映像表示装置４５０は、３次元映像信号の伝送フォーマットをフレーム補間なしの２倍速２次元映像信号として扱うように構成されているが、フレームレート変換回路を組み込み、映像表示装置４５０内でも中間フレーム生成処理を行なうようにすることで、さらに倍のフレームレートの２次元映像を生成し表示することができる。

また、上記では、映像表示装置４５０の構成について、３次元映像信号の伝送フォーマットで入力したハイフレームレート２次元映像信号を表示するという観点から説明してきたが、映像表示装置４５０自身は、所定の伝送フォーマットの３次元映像信号を入力して３次元表示することも、勿論可能である。すなわち、図２に示したように、１画面フレームに多重化されている左眼用映像及び右眼用映像（Ｌ０，Ｒ０）、（Ｌ１，Ｒ１）、（Ｌ２，Ｒ２）、…を、映像分離部４５３において元の左眼用映像及び右眼用映像に分離し、映像並べ替え部４５５がフレーム・メモリー４５４から読み出す順番により、左右の映像を時間方向にＬ０、Ｒ０、Ｌ１、Ｒ１、Ｌ２、Ｒ２、…と並べ替えて、フレーム・シーケンシャル方式で画面表示すればよい。

３次元映像信号の伝送フォーマットを利用して３次元映像信号又はハイフレームレートの２次元映像信号のいずれが伝送され、３次元映像又はハイフレームレートの２次元映像のいずれを表示部４６０に画面表示する場合であっても、映像表示装置４５０自体の動作はほぼ同じである。但し、映像システム４００が左眼用映像と右眼用映像を分離する機構としてシャッター眼鏡（図示しない）を利用する場合には、３次元映像を表示する際に、映像表示装置４５０からシャッター眼鏡へ、シャッターの開閉タイミングを制御するための情報を送信する必要がある。例えば、本出願人に既に譲渡されている特願２００９−２７６９４８号明細書には、ワイヤレス・ネットワークを利用して、シャッターの開閉タイミングを制御するための情報を送信する時分割立体画像表示システムについて開示されている。

図６Ａ及び図６Ｂには、ハイフレームレートの２次元映像信号の伝送に３次元映像信号の伝送フォーマットを利用した映像システム５００の構成例を示している。図示の映像システム５００は、図６Ａに示す、映像信号出力装置としてのハイフレームレート・カメラ５１０及び放送装置５２０と、図６Ｂに示す、映像表示装置５５０で構成される。図６Ａに示す映像出力装置は、例えば放送コンテンツを制作並びに配信する放送局などに配置され、ハイフレームレート・カメラ５１０と放送装置５２０で構成される。また、図６Ｂに示す映像表示装置５５０は、放送番組を視聴するユーザーの家庭内などに設置されるＴＶ受像機に相当する。

ハイフレームレート・センサー５１１は、例えば標準フレームレートよりも２倍のフレームレートで動画の撮影を行ない、ハイフレームレートの２次元映像信号を出力する。

信号処理部５１２は、映像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御、ＡＷＢ、シャープネス・再度コントラスト調整などの画質補正処理を行なう。信号処理後のハイフレームレート映像信号は、メモリー５１３に一旦保存される。

放送装置内５２０内では、フォーマット変換部５２１は、ハイフレームレートの２次元映像信号をメモリー５１３から読み出すと、サイド・バイ・サイドやトップ・アンド・ボトムなどの伝送フォーマットに適合するように多重化する。そして、符号化部５２２及び変調部５２３によって映像信号に符号化、変調処理を施した後、送出部５２４は、放送波にアップコンバートして送出する。

図６Ｂに示す映像表示装置５５０内では、受信部５５１が放送波のうち選局されたチャンネルの映像信号を復調及び復号処理する。受信部５５１がチューナーである以外は、映像表示装置５５０は図５に示した映像表示装置４５０と同様の構成なので、詳細な説明は省略する。映像表示装置５５０は、所定の伝送フォーマットの３次元映像信号を入力して、フレーム・シーケンシャル方式で３次元表示することも、勿論可能である（同上）。また、映像表示装置５５０にフレームレート変換回路を組み込み、映像表示装置４５０内でも中間フレーム生成処理を行なうようにすることで、さらに倍のフレームレートの２次元映像を生成するようにしてもよい（同上）。

図６Ａ及び図６Ｂに示した映像システムによれば、コンテンツの制作側である放送装置５２０において高周波映像信号を生成することができるので、コンテンツ制作の幅が広がる。ハイフレームレート・カメラ５１０で撮影したハイフレームレート２次元映像を３次元映像信号の伝送フォーマットに載せることにより、フレームレートを落とすことなく配信することが可能となる。また、ＮＴＳＣ／ＰＡＬ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ／Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式の映像システムを利用しつつも、新しい映像システムを構築することが可能である。

画面フォーマットとして、インターレース・フォーマットとプログレッシブ・フォーマットが知られているが、動きを重視したい場合（限られた帯域幅で動きの多い場面を伝送したい場合）などには、ハイフレームレート２次元映像信号をインターレース・フォーマットにパッキングする方法も考えられる。

インターレース・フォーマットで映像信号を伝送する場合、受信機側では、インターレース・プログレッシブ変換（ＩＰ変換）を行なうが、その際に、トップ・フィールドとボトム・フィールドを正しく認識した上で信号処理を行なう必要がある。３次元映像信号をインターレース・フォーマットにパッキングする場合、ＩＰ変換時には、左眼用映像同士、右眼用映像同士でそれぞれ個別に整合がとれていればよい。これに対し、ハイフレームレート２次元映像の場合、すべてのフレームが同じ視点の異なる時間の映像であり、１フレーム内にパッキングされた元の連続フレーム間及び隣接フレームにそれぞれパッキングされた元の連続フレーム間の双方で整合をとる必要がある。ハイフレームレート（１２０Ｈｚ）の２次元映像をどのように１フレームにパッキングするかにより、受信機側で行なうべきＩＰ変換が異なる。したがって、（送信機側での）１フレームへのパッキング方法と（受信機側での）信号処理を合わせてシステムを構築しなければ、正しい映像が得られなくなる。

図２４には、ハイフレームレート２次元映像をインターレース・フォーマットにパッキングする方式の一例を、ＩＰ変換し出力する方法とともに示している。

同図に示すパッキング方式では、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームをサイド・バイ・サイド形式で水平方向に多重化して、各フレーム（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…を標準フレームレートの２次元映像信号として扱う。そして、（標準フレームレートの）垂直同期期間毎に各画像フレーム（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…を交互にインターレース・トップ・フィールド又はインターレース・ボトム・フィールドに合わせて、インターレース・フォーマットにパッキングしている。

受信機側では、インターレース・フォーマットにパッキングされた映像信号を、ＩＰ変換用（標準フレームレート）の垂直同期信号に同期して、インターレース・トップ・フィールドとインターレース・ボトム・フィールドに交互に振り分ける。さらに、各垂直同期期間中のインターレース・トップ・フィールド並びにインターレース・ボトム・フィールドをＩＰ変換して、サイド・バイ・サイド形式のフレーム（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…を復元する。そして、出力用すなわちハイフレームレートの垂直同期信号に同期して、各フレームを順に取り出してフレーム・シーケンシャル化し、表示出力する。要するに、受信した映像信号に対してまずＩＰ変換を行なって、各フィールドをプログレッシブ変換した後に、フレーム・シーケンシャル化して、ハイフレームレート２次元映像に復元する。

図２４に示したパッキング方法によれば、受信機側でのＩＰ変換処理は通常の２次元映像フォーマットと同じになる。また、ハイフレームレート２次元映像をフレーム間引きにより標準フレームレートに変換したい場合には、ＩＰ変換時に中間フレームを読み込まないようにすればよい。すなわち、ＩＰ変換を行なう前にフレーム間引きすることができるので、システム・コストを削減することができる。但し、サイド・バイ・サイド形式で１枚のフレームとして扱われる標準フレームと中間フレームのペアは一体としてＩＰ変換され、標準フレーム→中間フレーという順でＩＰ変換することはできない。すなわち、時間の連続したフレーム同士でのＩＰ変換ができないため、ＩＰ変換性能にだけ着目すると、通常の２次元映像以上の性能は得られないという点に留意されたい。

なお、図２４では、２枚の映像をサイド・バイ・サイド形式で１枚として扱う映像信号をインターレース・フォーマットにパッキングする実施例を示したが、他の形式（例えば、ＭＶＣ）により２枚の映像を１枚として扱う場合であっても、同様のＩＰ変換方法を適用することができるという点を十分理解されたい。

図２５には、図２４に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート２次元映像を表示出力する映像表示装置２５００の構成例を示している。

受信部２５０１で映像信号を受信すると、フォーマット判別部２５０２で、入力信号がインターレース・フォーマットにパッキングされたハイフレームレート２次元映像信号であることを判別する。フォーマット判別部２５０２におけるフォーマット判別は、自動判別の他、視聴者によるマニュアル指定も含むものとする（同上）。そして、受信部２５０１は、判別された伝送フォーマットに従って、映像信号のデコード処理を適宜行なう。

映像分離部２５０３は、標準速のＩＰ変換用垂直同期信号に従って、インターレース・フォーマットの映像信号から、トップ・フィールド並びにボトム・フィールドを垂直同期期間毎に交互に分離し、原画用フレーム・メモリー２５０４へ書き込む。また、映像並べ替え部２５０５は、標準速で、原画用フレーム・メモリー２５０４から各フィールドの映像信号を時間方向に順に読み出して、映像ノイズ除去部２５０６に出力する。

映像ノイズ除去部２５０６は、各映像信号をフレーム・メモリー２５０７に一旦書き込み、ノイズ成分を除去する。映像ノイズ除去部２５０６は、フレーム間参照処理を行なう。そして、インターレース・フォーマットにパッキングされた２次元映像信号のときにはＩＰ変換部２５０８に出力するが、プログレッシブ・フォーマットの映像信号のときには、処理後の映像信号を選択部２５０９に直接出力する。

ＩＰ変換部２５０８は、インターレース・フォーマットにパッキングされたトップ・フィールド又はボトム・フィールドの映像信号にＩＰ変換を行なって、プログレッシブ映像を出力する。ここで得られたプログレッシブ映像は、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームをサイド・バイ・サイド形式で水平方向に多重化したフレーム（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…である。このようにして、入力信号がハイフレームレート２次元映像信号の場合には、選択部２５０９を介してフレーム・メモリー２５１０に、倍速化したフレームＮ０、Ｎ０．５、Ｎ１、Ｎ１．５、Ｎ２、Ｎ２．５、Ｎ３、Ｎ３．５、…が逐次書き込まれる。

フレーム間引き読み出し部２５１１は、フレーム・メモリー２５１０から、中間フレームＮ０．５、Ｎ１．５Ｎ２．５、Ｎ３．５、…を間引いて、標準速で標準フレームＮ０、Ｎ１、Ｎ２、Ｎ３、…を順次読み出す。そして、選択部２５１２は、フレーム間引き読み出し部２５１１からの標準フレームレートのフレームＮ０、Ｎ１、Ｎ２、Ｎ３、…、又は、フレーム・メモリー２５１０から２倍速で読み出したフレームＮ０、Ｎ０．５、Ｎ１、Ｎ１．５、Ｎ２、Ｎ２．５、Ｎ３、Ｎ３．５、…のいずれかを選択的に出力する。

スケール処理部２５１３は、フォーマット判別部２５０２での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部２５１４で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部２５１４に利用することができる。

また、図２６並びに図２７には、ハイフレームレート２次元映像をインターレース・フォーマットにパッキングする方式の他の例を、ＩＰ変換し出力する方法とともに示している。

図２６並びに図２７の各々に示すパッキング方式では、ある時刻の標準フレーム及び次の時刻の標準フレームとの間の中間フレームのそれぞれ異なるフィールドの映像をパッキングして、各フレーム（Ｎ０，Ｎ０．５）、（Ｎ１，Ｎ１．５）、（Ｎ２，Ｎ２．５）、（Ｎ３，Ｎ３．５）、…を標準フレームレートの２次元映像信号として扱う。図２６に示す例では、Ｔｏｐ Ｆｉｅｌｄ Ｆｉｒｓｔ、すなわち、標準フレームのインターレース・トップ・フィールドと中間フレームのインターレース・ボトム・フィールドをパッキングしている。これに対し、図２７に示す例では、Ｂｏｔｔｏｍ Ｆｉｅｌｄ Ｆｉｒｓｔ、すなわち、標準フレームのインターレース・ボトム・フィールドと中間フレームのインターレース・トップ・フィールドをパッキングしている。

受信機側では、インターレース・フォーマットにパッキングされた映像信号を、２倍速のＩＰ変換用垂直同期信号に同期して、インターレースのハイフレームレート２次元映像に変換してからＩＰ変換を行なって、元のハイフレームレート２次元映像を復元する。図２６に示す例では、標準フレームのインターレース・トップ・フィールドと、中間フレームのインターレース・ボトム・フィールドをそれぞれＩＰ変換する。また、図２７に示す例では、標準フレームのインターレース・ボトム・フィールドと、中間フレームのインターレース・トップ・フィールドをそれぞれＩＰ変換する。図２６と図２７を比較して分かるように、トップ・フィールドとボトム・フィールドのどちらを先にするかで、パッキング方法とＩＰ変換時の処理が変わるので、正しくフィールド判別を行なう必要がある。

標準フレームと中間フレームをそれぞれ異なるフィールドの映像にしてインターレース・フォーマットにパッキングした場合、標準フレーム→中間フレームという順で、連続した時間でのＩＰ変換が可能となり、画質向上を見込むことができる。但し、システム・コストが増大する、ＩＰ変換を倍速で行なう必要がある、という課題がある。

なお、図２６並びに図２７では、２枚の映像をサイド・バイ・サイド形式で１枚として扱う映像信号をインターレース・フォーマットにパッキングする実施例を示したが、他の形式（例えば、ＭＶＣ）により２枚の映像を１枚として扱う場合であっても、同様のＩＰ変換方法を適用することができるという点を十分理解されたい。

図２８には、図２６又は図２７に示した方式でインターレース・フォーマットにパッキングされたハイフレームレート２次元映像を表示出力する映像表示装置２８００の構成例を示している。

受信部２８０１で映像信号を受信すると、フォーマット判別部２８０２で、入力信号がインターレース・フォーマットにパッキングされたハイフレームレート２次元映像信号であることを判別する。フォーマット判別部２８０２におけるフォーマット判別は、自動判別の他、視聴者によるマニュアル指定も含むものとする（同上）。そして、受信部２８０１は、判別された伝送フォーマットに従って、映像信号のデコード処理を適宜行なう。

映像分離部２８０３は、２倍速のＩＰ変換用垂直同期信号に従って、インターレース・フォーマットの映像信号から、トップ・フィールド並びにボトム・フィールドを垂直同期期間毎に交互に分離し、原画用フレーム・メモリー２８０４へ書き込む。入力が標準フレームと中間フレームの異なるフィールドをインターレース・フォーマットにパッキングした映像信号である場合には、映像分離部２８０３からは、標準フレームのトップ・フィールドと中間フレームのボトム・フィールド（又は、標準フレームのボトム・フィールドと中間フレームのトップ・フィールド）が交互に出力されることになる。そして、映像並べ替え部２８０５は、原画用フレーム・メモリー２８０４から各フィールドの映像信号を２倍速で読み出して、インターレースのハイフレーム２次元映像に変換して、映像ノイズ除去部２８０６に出力する。

映像ノイズ除去部２８０６は、各映像信号をフレーム・メモリー２５０７に一旦書き込み、ノイズ成分を除去する。映像ノイズ除去部２８０６は、フレーム間参照処理を行なう。そして、インターレース・フォーマットにパッキングされた２次元映像信号のときにはＩＰ変換部２８０８に２倍速のまま出力するが、プログレッシブ・フォーマットのハイフレームレート映像信号のときには、処理後の映像信号を選択部２８０９に直接、２倍速で出力する。

ＩＰ変換部２８０８は、インターレースのハイフレーム２次元映像信号にＩＰ変換を行なって、ハイフレームレートのプログレッシブ映像Ｎ０、Ｎ０．５、Ｎ１、Ｎ１．５、Ｎ２、Ｎ２．５、Ｎ３、Ｎ３．５、…を出力する。そして、選択部２８０９は、映像ノイズ除去部２８０６から直接出力されたハイフレームレート２次元映像、並びに、ＩＰ変換部２８０８によりＩＰ変換されたハイフレームレート２次元映像を、フレーム・メモリー２８１０に書き込む。

フレーム間引き読み出し部２８１１は、フレーム・メモリー２８１０から、中間フレームＮ０．５、Ｎ１．５Ｎ２．５、Ｎ３．５、…を間引いて、標準速で標準フレームＮ０、Ｎ１、Ｎ２、Ｎ３、…を順次読み出す。そして、選択部２８１２は、フレーム間引き読み出し部２８１１からの標準フレームレートのフレームＮ０、Ｎ１、Ｎ２、Ｎ３、…、又は、フレーム・メモリー２８１０から２倍速で読み出したフレームＮ０、Ｎ０．５、Ｎ１、Ｎ１．５、Ｎ２、Ｎ２．５、Ｎ３、Ｎ３．５、…のいずれかを選択的に出力する。

スケール処理部２８１３は、フォーマット判別部２８０２での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部２８１４で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部２８１４に利用することができる。

ここまでの説明をまとめると、本明細書で開示する技術によれば、図１に示すように３次元映像フォーマットをハイフレームレート２次元映像の伝送に利用することで、映像遅延やコストの増大を招くことなくハイフレームレートの映像信号の伝送や表示出力を行なうことができる。映像のハイフレームレート化は、動画解像度の改善が主な目的であり、動きのある被写体に対して最も適用したい技術である。

ところが、サイド・バイ・サイドやトップ・アンド・ボトムは、１画面内を空間方向に分割して左眼用画像と右眼用画像をパッキングするため、水平又は垂直解像度を犠牲にしなければならないフォーマットである。したがって、この種のフォーマットをハイフレームレート２次元映像信号に利用する場合、空間解像度が劣化することを十分考慮する必要がある。動きの少ないシーンをハイフレームレート化して、サイド・バイ・サイドやトップ・アンド・ボトムなどのフォーマットにパッキングすると、動画解像度として不必要にハイフレーム処理するというだけでなく、画質の劣化を招来してしまう。

そこで、本明細書では、元の２次元映像におけるシーンの動き量に応じて、通常の２次元映像とハイフレームレート２次元映像を動的に切り換える技術についても提案する。シーンの動き量の小さい映像は、そもそも満足する動画解像度が得られており、ハイフレームレート化が不要である。そこで、空間解像度を重視して、ハイフレームレート化せず元の（フルＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ））２次元映像のまま（あるいは、ハイフレームレート２次元映像を標準フレームレートの２次元映像にダウンコンバートして）、伝送する。一方、シーンの動き量が大きな映像は、動画解像度を改善するために、中間フレームを挿入して２次元映像をハイフレームレート化し（あるいは、ハイフレームレート２次元映像をそのまま）、サイド・バイ・サイドやトップ・アンド・ボトム形式で２フレームずつ１フレームにパッキングして伝送する。

図２９には、２次元映像におけるシーンの動き量に応じて通常の２次元映像とハイフレームレート２次元映像を動的に切り換える様子を示している。映像の動き量の小さい期間では、通常の２次元映像が伝送される。図示の例では、垂直同期期間毎に標準フレームＮ０〜Ｎ３が伝送される。そして、シーンの動き量が大きくなると、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームをサイド・バイ・サイド形式で水平方向に多重化したハイフレームレートの２次元映像フレーム（Ｎ４，Ｎ４．５）、（Ｎ５，Ｎ５．５）、（Ｎ６，Ｎ６．５）、…の伝送に切り換わる。

図３０には、２次元映像におけるシーンの動き量に応じてフレームレートを切り換える処理手順をフローチャートの形式で示している。

まず、入力された２次元映像を解析して、動き量が大きいかどうかを判別する（ステップＳ３００１）。

ここで、シーンの動き量が大きいと判別されたときには（ステップＳ３００１のＹｅｓ）、動画解像度を改善するために、中間フレームを挿入して２次元映像をハイフレームレート化して、伝送する（ステップＳ３００２）。

一方、シーンの動き量の小さいと判別されたときには（ステップＳ３００１のＮｏ）、ハイフレームレート化が不要なので、空間解像度を重視して、元のフルＨＤ２次元映像のまま、伝送する（ステップＳ３００３）。

図３１には、２次元映像におけるシーンの動き量に応じてフレームレートを切り換えて送信する映像システム３１００の構成例を示している。図示の映像システム３１００は、例えば放送コンテンツを制作並びに配信する放送局内に装備され、ハイフレームレート・カメラ３１１０と放送装置３１２０で構成される。

ハイフレームレート・センサー３１１１は、例えば標準フレームレートよりも２倍のフレームレートでフルＨＤ動画の撮影を行ない、ハイフレームレートの２次元映像信号を出力する。

信号処理部３１１２は、映像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御、ＡＷＢ、シャープネス・再度コントラスト調整などの画質補正処理を行なう。信号処理後のハイフレームレート映像信号は、メモリー３１１３に一旦保存される。

放送装置内３１２０内では、ハイフレームレートの２次元映像信号をメモリー３１１３から読み出すと、動き検出部３１２５がシーンの動き量を検出して、図３０に示した処理手順に従って、放送信号のフレームレートを決定する。すなわち、動き量が大きいと検出されたときには、動画解像度を重視して、フォーマット変換部３１２１は、メモリー３１１３から読み出したハイフレームレートの２次元映像信号をサイド・バイ・サイドやトップ・アンド・ボトムなどの伝送フォーマットに適合するように多重化する。他方、動き量が小さいと検出されたときには、フォーマット変換部３１２１は、メモリー３１１３から読み出したハイフレームレートの２次元映像信号のフレーム間引き処理を行ない、標準フレームレートのフルＨＤ映像信号にダウンコンバートする。そして、符号化部３１２２及び変調部３１２３によって映像信号に符号化、変調処理を施した後、送出部３１２４は、放送波にアップコンバートして送出する。

上述したように映像信号の送信機側で映像信号のフォーマットを動的に切り替える場合、映像信号の受信機側ではフォーマット切り替えに対応した処理が必要となる。図２９に示したように、映像信号が途中で標準フレームレートからハイフレームレートに切り替わる場合、同期切り替えなどにより映像の途切れ画は発生してしまう。そこで、受信機側では、標準フレームレート及びハイフレームレートの映像信号をシームレスにつなぐ処理が必要である。

この解決方法として、すなわち、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートして、リピートした標準フレームを中間フレームに用いて補間することで、ハイフレームレート化し、出力では常にハイフレームレートの２次元映像表示用の同期信号に固定するようにする。

図３２には、途中で標準フレームレートからハイフレームレートに切り替わる映像信号を常にハイフレームレートの同期信号に固定して出力する様子を示している。図示の例では、フレームＮ０〜Ｎ３のフレーム区間では標準フレームレートであり、フレームＮ４以降は、標準フレームＮ４、Ｎ５、Ｎ６、…間が中間フレームＮ４．５、Ｎ５．５、Ｎ６．５、…に切り替わる。受信機側では、標準フレームレートの期間において、受信した各標準フレームＮ０、Ｎ１、Ｎ３をそれぞれリピートして、シームレスに映像を切り替え可能なように、あらかじめハイフレームレート化しておく。このようにして、受信機は、いずれの期間においても常にハイフレームレートの垂直同期信号に同期して映像信号を出力することになる。元の映像信号ではフレームレートが切り替わるフレームＮ３とＮ４の間で同期信号に変化がなくなるので、これらフレーム間の映像をシームレスに切り換えることができる。

なお、図２５に示した映像表示装置２５００でも、フレーム・メモリー２５１０で、標準フレームレートの映像へのリピート処理が出来ていれば、シームレスは実現できるので、標準フレームレート及びハイフレームレートの映像信号を常にハイフレームレートの同期信号に固定して出力する処理を実現することは可能である。

ところで、色の表現形式として、輝度信号（Ｙ）と、輝度信号と青色成分の差（Ｕ）と、輝度信号と赤色成分の差（Ｖ）の３つの情報を用いるＹＵＶが知られている。ＹＵＶ形式によれば、ヒトの目が色の変化よりも明るさの変化に敏感であるという性質に基づき、輝度情報により多くのデータ量を割り当てることによって高圧縮率を実現することができる。３次元映像伝送フォーマットを利用して伝送するハイフレームレートの２次元映像がＹＵＶ形式で表現される場合について、以下で考察する。

ＹＵＶ４４４フォーマットでは、１画素毎にＹ（輝度）が８ビット、Ｕ（赤の色差）が８ビット、Ｖ（青の色差）が８ビット分のデータを持つ。これに対し、ＹＵＶ４２２フォーマットは、色差データを水平方向に各１／２に間引いたフォーマットであり、２画素毎に１画素分のＵとＶをそれぞれ持つ。したがって、図７に示すように、１画素ラインを描くと、ＹとＣｂを持つ画素と、ＹとＣｒを持つ画素が交互に並ぶ。言い換えれば、色差位相が異なる２種類の画素が水平方向に交互に並ぶ。また、ＹＵＶ４２０フォーマットは、色差データを垂直方向に１／２に間引いたフォーマットであり、水平２画素、垂直２ラインで１画素分のＵとＶをそれぞれ持つ。すなわち、輝度信号２画素に対し、色差信号が１画素になるという点では、ＹＵＶ４２０とＹＵＶ４２２フォーマットは同様である。

ハイフレームレートの２次元映像をサイド・バイ・サイド形式の３次元映像伝送フォーマットを利用して伝送する場合、図１に示したように、２次元映像信号のアクティブ領域を２分割した左右の領域に、ある時刻の２次元映像のフレームと、次の時刻の２次元映像との間の中間フレームが多重化される。上述したＹＵＶ４２０／ＹＵＶ４２２フォーマットでは、元の画像フレームの水平画素数を２分の１にすると奇数となるとき、ＹとＣｂを持つ画素とＹとＣｒを持つ画素の一組（図７を参照のこと）が真ん中で分割されてしまう。

放送やＨＤＭＩなどのＣＥフォーマットでは、解像度が１６の倍数になっているので、このような問題は発生しない。ところが、例えばインターネット上に存在する動画サイズには、水平画素数の２分の１が奇数となるものが存在する。例えば、携帯電話端末などで採用されているワイドＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃ Ａｒｒａｙ）＋は、８５４×４８０画素サイズであり、水平方向に２分の１に分割すると４２７画素であり、ＹとＣｂを持つ画素とＹとＣｒを持つ画素の一組（図７を参照のこと）が真ん中で分割されてしまう。

図８には、ＹＵＶ４２０／ＹＵＶ４２２フォーマットで８５４×４８０画素サイズの画像フレームに、ハイフレームレートの２次元映像Ｎ０並びにＮ０．５をサイド・バイ・サイド形式で多重化した様子を示している。図８下に示すように、切り出した左右の画像フレームの先頭画素、すなわち水平方向の０番目の画素と４２７番目の画素では色差位相が異なってしまう。このため、領域を２分割して左右から切り出した画像をそのまま並べ替えると、フレーム間で色差位相の反転が発生するという問題が発生する。

また、図８下から分かるように、８５４×４８０画素サイズの画像フレームを水平方向に２分の１に分割したときの境界部分、すなわち水平方向の４２６番目の画素と４２７番目の画素の色差信号は、画像フレームを跨いでいる。このため、水平方向の４２６番目の画素と４２７番目の画素はそれぞれ、異なる画像フレームの映像信号が混じったデータである可能性が高く、信頼性が低いことも問題である。

まず、後者の問題に関しては、データの信頼性の低い境界部分を避けて、元の画像フレームから左右２つの画像を切り出す処理を行なうことで、解決する。図９には、サイド・バイ・サイド形式でハイフレームレートの２次元映像Ｎ０並びにＮ０．５を多重化した、ＹＵＶ４２０／ＹＵＶ４２２フォーマットで８５４×４８０画素サイズの画像フレームから、水平方向に２分の１に分割したときの境界部分を避けるようにして元のハイフレームレートの２次元映像Ｎ０、Ｎ０．５を分離する様子を示している。同図中、点線で囲んで示しているように、水平方向に０番目〜４２５番目の４２６画素サイズが画像フレームＮ０を切り出す領域であり、また、水平方向に４２８番目以降の４２６画素サイズが画像フレームＮ０．５を切り出す領域である。図示のように、切り出された画像フレームＮ０、Ｎ０．５は、水平方向に４２６番目の画素並びに４２７番目の信頼性の低い画素をいずれも含んでいない。

また、図９下に示すように、水平方向に４２８番目の画素から右側の画像フレームを切り出すと、左右の画像フレーム間で先頭画素の色差位相を一致させることができる。したがって、サイド・バイ・サイド形式の３次元映像伝送フォーマットからハイフレームレートの２次元映像を切り出す際に、境界部分を避けて画像フレームを切り出す処理を挿入することで、色差位相ズレの発生を併せて抑制することができる。

ＹＵＶ４２０／ＹＵＶ４２２フォーマットをＹＵＶ４４４フォーマットに変換した後に２次元映像を切り出すことによっても、左右の画像フレーム間で先頭画素の色差位相を一致させるという方法も考えられる。しかしながら、境界部分の色差は異なる画像フレームで生成するので、色にじみが生じてしまう。よって、図９に示した処理が有効であるということができる。

ここで、サイド・バイ・サイド形式で伝送される画像の水平画素サイズの２分の１が奇数となる場合、境界部分を避けて元のハイフレームレート２次元映像を分離する処理を行なうことによって、分離した画像の先頭画素がフレームの先頭画素からずれてしまうという問題がさらにある。

図１０には、サイド・バイ・サイド形式でハイフレームレート２次元映像を多重化した、ＹＵＶ４２０／ＹＵＶ４２２フォーマットで８５４×４８０画素サイズの画像フレームから、２分の１に分割したときの境界部分を避けて元の画像フレームを分離する処理を行なったときの、分離した後の左右の各画像フレームＮ０、並びにＮ０．５の先頭画素を図解している。ハイフレームレート２次元映像をサイド・バイ・サイド形式で多重化した画像フレームの左右から切り出された各画像フレームＮ０、Ｎ０．５の本来の先頭画素は、それぞれ０番目と４２７番目である。しかしながら、境界部分を避けて画像フレームを切り出す処理を行なうと、右側から切り出された画像フレームＮ０．５の先頭画素は４２８番目となり、左側の画像フレームの先頭画素とは１画素だけ位相がずれる。このため、Ｎ０とＮ０．５（同様に、Ｎ１とＮ１．５、Ｎ２とＮ２．５、…）を、０番目と４２８番目の先頭画素をそのまま合わせながら時間方向に並べると、画像フレーム間で位相ズレがあるため、ハイフレームレート２次元画像表示時にフリッカーが発生してしまう。

この対策として、図１１に示すように、ハイフレームレート２次元映像をサイド・バイ・サイド形式で多重化した画像フレームの右側から切り出された画像フレームＮ０．５を、左側から切り出された画像フレームＮ１に対して、水平方向に１画素だけ右側にずらして、画像の位相を合わせながら、時間方向に並べる方法が挙げられる。但し、単純切り出して画面いっぱいまでスケーリングすると、アスペクト比が崩れる。このため、黒画を入れるなどの処理によりアスペクト比を保持する仕組みを持つ。

図９には、８５４×４８０画素サイズの場合を例にとって、サイド・バイ・サイド形式でハイフレームレート２次元映像を多重化したＹＵＶ４２０／ＹＵＶ４２２フォーマットの画像フレームから、２分の１に分割したときの境界部分を避けて元のハイフレームレートの２次元映像を分離する方法について図解した。図１２には、輝度信号２画素に対し色差信号が１画素になるＹＵＶ４２０／ＹＵＶ４２２フォーマットで、且つ、水平画素サイズの２分の１の値が奇数になる場合に一般化して、ハイフレームレート２次元映像をサイド・バイ・サイド形式で多重化した画像フレームから元のハイフレームレート２次元映像を分離する方法について図解している。同図では、サイド・バイ・サイド形式の画像フレームの画素サイズを、Ｈｓｉｚｅ×Ｖｓｉｚｅと一般化した。水平方向に２分の１に分割したときに、信頼性の低い境界部分の画素を避けて元の画像フレームＮ０、Ｎ０．５を分離する。また、分離したした後の左右の画像フレームの先頭画素の色差位相が一致するように、左右のフレームの水平方向の画素サイズを偶数化し、右側のフレームを偶数画素で切り出すようにする。したがって、水平方向に（Ｈｓｉｚｅ／２＋１．０）番目が、画像フレームＮ０．５を切り出す先頭画素となる。

また、ＹＵＶ４２０フォーマットは、色差信号が垂直方向２ライン毎に１ラインしかないフォーマットであり、トップ・アンド・ボトム形式のように元の画像フレームを垂直方向に多重化する伝送フォーマットを利用する場合には、元の画像を分離しフレーム並べ替えを行なう際に、上記と同様の問題が生じる。

図１３には、ＹＵＶ４２０フォーマットのように色差信号が垂直方向２ライン毎に１ラインしかないフォーマットで、且つ、垂直画素サイズの２分の１の値が奇数になる場合に一般化して、ハイフレームレート２次元映像をトップ・アンド・ボトム形式で多重化した画像フレームから元のハイフレームレート２次元映像を分離する方法について図解している。同図では、トップ・アンド・ボトム形式の画像フレームの画素サイズを、Ｈｓｉｚｅ×Ｖｓｉｚｅとした。図２０にも示したように、トップ・アンド・ボトムは、２次元映像信号のアクティブ領域を垂直方向に２分割して上下に２つの画像フレームを多重化するフォーマットである。垂直方向に２分の１に分割したときに、信頼性の低い境界部分の画素を避けて元のハイフレームレート２次元映像Ｎ０、Ｎ０．５を分離する。また、分離した後の上下の画像フレームの先頭画素の色差位相が一致するように、下側のフレームを偶数画素で切り出すようにする。したがって、垂直方向に（Ｖｓｉｚｅ／２＋１．０）番目が、画像フレームＮ０．５を切り出す先頭画素となる。

図１４には、３次元映像信号の伝送フォーマットで送られてきた映像信号からハイフレームレートの２次元映像信号を取り出して表示する映像表示装置１４００の構成例を示している。図示の映像表示装置１４００は、３次元映像信号フォーマットから取り出された２次元画像に対して色差位相のずれを補正するとともに画像フレーム間の位相合わせを行なう機能を備えている点で、図５、図６Ｂに示した映像表示装置４５０、５５０とは相違する。

受信部１４０１は、映像信号出力装置（図示しない）からの映像信号を、例えばＨＤＭＩケーブルなどを介して受信する。あるいは、受信部１４０１は、放送波として映像信号を受信する。

フォーマット判別部１４０２で、入力された映像信号の伝送フォーマットやカラー・フォーマットを判別する。フォーマット判別部１４０２は、例えば、受信したストリームのヘッダー情報など映像補足情報信号の記載に基づいて、映像信号の伝送フォーマットや、映像信号に載せられているのが３次元映像信号又はハイフレームレート２次元映像信号のいずれであるのかなどを判別する。

映像分離部１４０３では、判定された伝送フォーマットに基づいて、入力映像信号を元のハイフレームレート２次元映像信号に分離して、逐次フレーム・メモリー１４０４に保存する。映像並べ替え部１４０５は、フレーム・メモリー１４０４に保存されている映像フレームを時間方向に並べ替えて読み出す。

フォーマット判別部１４０２で、入力された映像信号のフォーマットを判別した結果、例えば、カラー・フォーマットがＹＵＶ４２０／ＹＵＶ４２２であり、且つ、ハイフレームレートの２次元映像を２分の１が奇数となる水平画素サイズのフレームにサイド・バイ・サイド形式で多重化していることが分かったときには、色差補間部１４０６は、図９、図１２に示したように、境界部分を避けて画像フレームを切り出す処理を行なうことで、信頼性の低い画素を取り除くとともに、色差位相ズレの発生を抑制する。また、位置合わせ部１４０７は、図１１に示したように、入力画像から切り出された左右の画像フレーム間で画像の位相が一致するよう、位置合わせを行なって、フリッカーの発生を防止する。

映像ノイズ除去部１４０８は、時間方向に並べ替えられた各映像信号に含まれるノイズ成分を除去する。

スケール処理部１４０９は、フォーマット判別部１４０２での判定結果に基づいて、映像信号の解像度をフォーマット変換前となるようアップコンバートする。スケール処理した後の映像信号は、表示部１４１０で表示出力される。例えば液晶表示ディスプレイやプラズマ・ディスプレイなどを表示部１４１０に利用することができる。

なお、映像ノイズ除去部１４０８からスケール処理部１４０９の間に、図５、図６Ｂに示したように、間引き処理部及び選択部を挿入して、３次元映像信号の伝送フォーマットから取り出されたハイフレームレート２次元映像をハイフレームレート又は標準のフレームレートのうちいずれで映像表示を行なうかを選択できるようにしてもよい。

これまで説明してきたように、本明細書で開示する技術の１つのポイントは、３次元映像信号フォーマットを利用してハイフレームレート２次元映像信号を伝送する点にある。したがって、３次元映像を表示させることが可能な映像表示装置４５０（映像表示装置５５０、１４００、２５００、２８００、３３００も同様）は、３次元映像信号の伝送フォーマットを利用して伝送される、３次元映像信号、並びに、ハイフレームレートの２次元映像信号のいずれも、ほぼ同じ動作で表示部４６０に画面表示することができる。但し、最適な映像視聴を実現するために、３次元映像又はハイフレームレート２次元映像のいずれを表示するかに応じて、映像表示装置は処理内容を切り換える必要がある。

例えば、映像システム４００がシャッター眼鏡（図示しない）を利用して３次元映像を提示する場合、３次元映像を表示する際には、映像表示装置の表示切り換えに同期してシャッター眼鏡がシャッターの開閉動作を行なう一方、ハイフレームレートの２次元映像を表示する際には、左右のシャッターを開放状態にし、画面を２次元映像として見えるようにしなければならない。あるいは、左右のシャッターをすべて開放できないシステムの場合には、観察者にシャッター眼鏡を外すよう促す必要がある。勿論、シャッター眼鏡以外の眼鏡（例えば偏光眼鏡）を利用した映像表示システムの場合も同様に、ハイフレームレート２次元映像の表示時には、各フレームを左右両方の眼で観察する必要から、観察者に眼鏡を外すよう促す必要がある。

図１６Ａには、映像表示装置４５０がフレーム・シーケンシャルで３次元映像を画面表示するとともに、シャッター眼鏡が左眼用画像及び右眼用画像の表示切り換えに同期して左右のシャッターを開閉制御している様子を示している。

また、図１６Ｂには、映像表示装置４５０がハイフレームレートの２次元映像を画面表示するとともに、シャッター眼鏡の左右のシャッターをともに開放して、画面を２次元映像として見えるようにしている様子を示している。図１６Ｂに示す例では、画面には、ハイフレームレート２次元映像に切り替わったことを示すメッセージも表示されている。このようなメッセージは、左右のシャッターをすべて開放できないシステムにおいて、観察者にシャッター眼鏡を外すよう促す効果がある。

映像表示装置４５０は、フォーマット判別部４５２における受信信号のフォーマット判定結果に基づいて、図１６Ａ又は図１６Ｂに示したいずれかの動作を行なうようにすればよい。図１７には、映像表示装置４５０が受信信号のフォーマットに応じて実行する動作手順をフローチャートの形式で示している。

まず、フォーマット判別部４５２で、受信信号が３次元映像信号の伝送フォーマットの形式であるか否かを判別する（ステップＳ１７０１）。

ここで、受信信号が３次元映像の伝送フォーマットでないときには（ステップＳ１７０２のＮｏ）、映像表示装置４５０は、通常の２次元映像の表示を行なう。この場合、シャッター眼鏡の左右のシャッターをともに開放状態に切り換える（ステップＳ１７０７）。また、シャッターの開放動作に加えて、２次元映像表示中である旨の表示や、眼鏡を外すべき旨の警告表示を行なうようにしてもよい。

一方、受信信号が３次元映像の伝送フォーマットであるときには（ステップＳ１７０２のＹｅｓ）、フォーマット判別部４５２は、続いて、受信信号が、３次元映像信号の伝送フォーマットを利用して伝送されたハイフレームレートの２次元映像であるかどうかを判定する（ステップＳ１７０３）。フォーマット判別部４５２は、例えば受信ストリームのヘッダー情報などの映像補足情報信号で、その３次元フォーマットを判定することができる（前述）。

ここで、受信信号がハイフレームレートの２次元映像であると判定されたときには（ステップＳ１７０４のＹｅｓ）、映像表示装置４５０は、画面にハイフレームレート２次元映像信号の表示である旨のメッセージを表示するとともに、シャッター眼鏡の左右のシャッターをともに開放状態に切り換える（ステップＳ１７０５）。また、シャッターの開放動作に加えて、２次元映像表示中である旨の表示や、眼鏡を外すべき旨の警告表示を行なうようにしてもよい。

一方、受信信号がハイフレームレートの２次元映像でないと判定されたときには（ステップＳ１７０４のＮｏ）、映像表示装置４５０は、画面に３次元映像信号の表示である旨のメッセージを表示するとともに、シャッター眼鏡も通常の３次元映像視聴用の左右のシャッターの開閉動作を行なう（ステップＳ１７０６）。

また、シャッター眼鏡や偏光眼鏡などを利用する眼鏡方式の３次元映像表示システムの多くは、３次元映像品位を向上させるために、眼鏡越しに最適な映像が得られるような信号処理が行なわれている。一方、同じ映像表示システムでハイフレームレート２次元映像の表示を行なう際には、観察者は眼鏡を外して視聴することから、３次元映像表示用の信号処理は不要であり、また、眼鏡を外した状態ではむしろ正しく見えなくするおそれもある。そこで、３次元映像からハイフレームレート２次元映像に切り替わったときには、映像表示装置側では、不要となった３次元映像表示用の信号処理を停止して、２次元映像として正常に視聴できるようにする必要がある。また、２次元映像用の信号処理に切り換えるようにしてもよい。

例えば、図１７に示した上記処理手順において、受信信号が３次元映像信号であると判定されたときには（ステップＳ１７０４のＮｏ）、ステップＳ１７０６では、画面に３次元映像信号の表示である旨のメッセージを表示することに併せて、眼鏡越しに最適な映像が得られるように、３次元映像品位を向上させる信号処理を起動する。

一方、受信信号が通常の２次元映像であると判定された場合には（ステップＳ１７０２のＮｏ）、ステップＳ１７０７では、シャッターの開放動作や観察者の眼鏡取り外しに加えて、３次元映像の専用信号処理を停止し、代わって、２次元映像用の信号処理を起動する。

また、受信信号がハイフレームレート２次元映像であると判定された場合も（ステップＳ１７０４のＹｅｓ）、同様に、ステップＳ１７０５では、シャッターの開放動作や観察者の眼鏡取り外しに加えて、３次元映像の専用信号処理を停止し、代わって、２次元映像用の信号処理を起動する。

ここで、３次元映像と２次元映像とで異なる信号処理の一例として、映像ノイズ除去部４５６で行なわれる、映像の相関性を用いた映像ノイズ除去処理を挙げることができる。

図３３には、３次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示している。図示の例では、３次元映像信号は例えばサイド・バイ・サイド形式であり、垂直同期区間毎のフレームを水平方向に分割して、同時刻の左眼用映像と右眼用映像が多重化されている。この映像信号を受信した映像表示装置４５０側では、映像分離部４５３で出力垂直同期信号に同期して左眼用映像と右眼用映像に分離し、映像並べ替え部４５５で出力用の映像フレームに並べ替えられる。そして、映像ノイズ除去部４５６において、左眼用映像と右眼用映像それぞれで、時間軸方向で隣接するフレーム間で参照して、ノイズ除去処理を行なう。

図３３中、映像ノイズ除去時のフレーム間の参照関係を点線矢印で示している。左眼用映像フレームＬ０について、直近の同時刻の右眼用映像フレームＲ０を飛ばし、次時刻の左眼用映像フレームＬ１を参照してノイズを除去する。また、左眼用映像フレームＬ１について、直近の右眼用フレームＲ０及びＲ１を飛ばし、前時刻の左眼用映像フレームＬ０及び次時刻の左眼用映像フレームＬ２を参照して、ノイズを除去する。同様に、右眼用映像フレームＲ０について、次時刻の左眼用映像フレームＬ１を飛ばして右眼用映像フレームＲ１を参照してノイズを除去する。また、左眼用映像フレームＲ１について、直近の左眼用映像フレームＬ０及びＬ１を飛ばし、前時刻の右眼用映像フレームＲ０及び次時刻の右眼用映像フレームＲ２を参照して、ノイズを除去する。要するに、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照して映像ノイズを除去するとともに、右眼用映像フレームを飛ばして右眼用映像フレーム間で参照して映像ノイズを除去しており、左右の映像フレーム間で参照することはない。

一方、図３４には、ハイフレームレート２次元映像信号においてフレーム間参照映像処理による映像ノイズ除去処理を行なう様子を示している。図示の例では、ハイフレームレート２次元映像信号は、ある時刻の標準フレームと次の時刻の標準フレームとの間の中間フレームが、例えばサイド・バイ・サイド形式で垂直同期区間毎のフレーム内に多重化されている。この映像信号を受信した映像表示装置４５０側では、映像分離部４５３で出力垂直同期信号に同期して標準フレームと中間フレームに分離し、映像並べ替え部４５５で標準フレームと中間フレームが交互に並べ替えられる。そして、映像ノイズ除去部４５６では、時間軸方向で隣接するフレーム間で参照して、ノイズ除去処理を行なう。

図３４中、映像ノイズ除去時のフレーム間の参照関係を点線矢印で示している。標準フレームＮ０について、後続の中間フレームＮ０．５を参照してノイズを除去する。また、中間フレームＮ０．５について前後の標準フレームＲ０及びＮ１を参照してノイズを除去し、次の標準フレームＮ１について前後の中間フレームＮ０．５及びＮ１．５を参照してノイズを除去する。すなわち、映像並べ替え後でフレーム飛ばしを行なわず、直近のフレーム間で参照を行なうので、３次元映像信号の処理時とは映像ノイズ除去時のフレーム参照位置が相違する。

さらに、３次元映像と２次元映像とでは、再生映像の一時停止処理が相違する（例えば、ＭＰ４やＭＰＥＧ２などの映像信号を映像表示装置でプル再生する場合）。

３次元映像表示時には、同時刻の左眼用映像と右眼用映像（以下、「左右画」とも言う）をペアにして、１フレームとして扱う。このため、映像を一時停止処理するときには、２枚単位で処理する。図３５には、３次元映像を一時停止処理する様子を示している。同図に示すように、一時停止する期間では、停止処理を開始時の左右の映像フレームＬ２、Ｒ２をホールドして、出力垂直同期信号に同期して交互に表示する。一時停止してから通常再生が再開するまでの期間中、観察者の左右の眼には同じ左眼用映像Ｌ２、右眼用映像Ｒ２がそれぞれ入射する。左右画は、視差方向にずれているだけで撮影時刻若しくは表示時刻は同期していることから、観察者の脳内ではこれらが融像され、左右画として停止しているように観察される。

これに対し、ハイフレームレート２次元映像表示時には、標準フレームＮ０、Ｎ１、…と、標準フレームに後続する中間フレームＮ０．５、Ｎ１．５、Ｎ２．５、…とは、時間方向で情報がずれたものである。したがって、映像の一時停止時に、図３５に示したように標準フレームとその直近の中間フレームを交互に表示すると、観察される映像は一時停止状態にはならない。そこで、ハイフレームレート２次元映像表示時には、１枚の画の表示をホールドするだけでよい。図３６には、ハイフレームレート２次元映像を一時停止処理する様子を示している。図示の例では、標準フレームＮ６を表示するタイミングで一時停止処理が起動されているので、一時停止を解除し通常再生が再開するまでの期間中は、この標準フレームＮ６をホールドして表示し続ける。

例えば、図２５に示した映像表示装置２５００において、選択部２５１２が、入力映像が３次元映像又はハイフレームレート２次元映像のいずれであるかに応じて、一時停止処理時における最終段のフレーム・メモリー２５１０からの読み取り動作を切り換えることで、図３５又は図３６の各々に示した動作を実現することができる。選択部２５１２は、最終段のフレーム・メモリー２５１０から２倍速で映像フレームを読み出すが、３次元映像表示時には一時停止時の左右画をホールドし、ハイフレームレート２次元映像表示時には、一時停止時の１枚のフレームのみをホールドすればよい。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化して、第ｎの統合映像信号を生成する映像信号変換部と、前記映像信号変換部で変換された統合映像信号を出力する出力部と、を具備する映像信号処理装置。
（２）前記統合映像信号変換部は、元の複数の映像信号を、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で１つの映像信号に多重化して統合映像信号を生成する、上記（１）に記載の映像信号処理装置。
（３）前記統合映像信号変換部は、ハイフレームレートの２次元映像信号を、３次元映像信号の伝送フォーマットで多重化する、上記（１）に記載の映像信号処理装置。
（４）前記出力部は、統合映像信号の出力ストリームに、映像信号を多重化して統合映像信号を生成する方式に関する映像補足情報信号を付加する、上記（１）に記載の映像信号処理装置。
（５）第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化して、第ｎの統合映像信号を生成する映像信号変換ステップと、前記映像信号変換ステップにおいて変換された統合映像信号を出力する出力ステップと、を有する映像信号処理方法。
（６）第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を入力する映像信号入力部と、第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する映像分離部と、分離された第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する表示部と、を具備する映像表示装置。
（７）前記表示部は、前記映像信号入力部への入力に対し倍速で、第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する、上記（６）に記載の映像表示装置。
（８）前記映像分離部は、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で第ｎの統合映像信号に多重化された第ｎの映像信号と第（ｎ＋０．５）の映像信号を分離する、上記（６）に記載の映像表示装置。
（９）前記映像信号入力部は、３次元映像信号の伝送フォーマットで多重化されたハイフレームレートの２次元映像信号を入力し、前記映像分離部は、前記映像信号への入力信号からハイフレームレートの２次元映像信号を分離する、上記（６）に記載の映像表示装置。
（１０）前記映像分離部が第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号のうち第（ｎ＋０．５）の映像信号を間引く映像信号間引き部をさらに備える、上記（６）に記載の映像表示装置。
（１１）前記映像分離部が第ｎの統合映像信号から分離した第ｎの映像信号と第（ｎ＋０．５）の映像信号との時間的に中間となる第ｎの中間フレームを生成してフレームレートを変換するフレームレート変換部をさらに備え、前記表示部は、第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示するときよりもさらに高いフレームレートで、第ｎの映像信号、第ｎの中間フレーム、第（ｎ＋１）の映像信号を順次表示する、上記（６）又は（７）のいずれかに記載の映像表示装置。
（１２）前記映像信号入力部が入力する統合映像信号に映像信号を多重化する方式を判別する判別部をさらに備え、前記映像分離部は、前記判別部における判定結果に基づいて、第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する処理を行なう、上記（６）に記載の映像表示装置。
（１３）前記判別部は、前記映像信号入力部が入力するストリームに付加されている映像補足情報信号に基づいて、統合映像信号に映像信号を多重化する方式を判別する、上記（１２）に記載の映像表示装置。
（１４）前記映像分離部が第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離した後に、第ｎの映像信号又は第（ｎ＋０．５）の映像信号を間引いて、前記映像信号入力部へ入力されるフレームと前記表示部が表示するフレームとの同期合わせを行なうフレーム同期部をさらに備える、上記（６）に記載の映像表示装置。
（１５）前記映像分離部が第ｎの統合映像信号から分離した第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の色差位相の不一致を補間する色差補間部をさらに備える、上記（６）に記載の映像表示装置。
（１６）前記色差補間部により色差位相の不一致を補間した後に生じる第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の位置ずれを補正する位置合わせ部をさらに備える、上記（１５）に記載の映像表示装置。
（１７）前記位置合わせ部は、画像のアスペクト比を保持しながら、第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の位置ずれを補正する、上記（１６）に記載の映像表示装置。
（１８）前記映像信号入力部は、統合映像信号として、ハイフレームレートの２次元映像信号又は３次元映像信号を入力し、前記映像信号入力部が入力する統合映像信号に付加されている映像補足情報信号に基づいて、入力された統合映像信号がハイフレームレートの２次元映像信号又は３次元映像信号のいずれであるかを判別する判別部をさらに備える、上記（６）に記載の映像表示装置。
（１９）前記判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、映像を観察する観察者がかけているシャッター眼鏡を両目ともに解放状態にする、上記（１８）に記載の映像表示装置。
（２０）前記判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、表示映像がハイフレームレートの２次元映像である旨を提示する、上記（１８）に記載の映像表示装置。
（２１）第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を入力する映像信号入力ステップと、
第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する映像分離ステップと、
分離された第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する表示ステップと、
を有する映像表示方法。
（２２）第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を送信する映像信号出力装置と、第ｎの統合映像信号を受信し、第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離して、順次表示する映像表示装置と、を具備する映像処理システム。
（２３）前記映像信号変換部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングして統合映像信号を生成する、上記（１）に記載の映像信号処理装置。
（２４）前記映像信号入力部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、ＭＶＣフォーマットによりパッキングされた統合映像信号を入力し、前記映像分離部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングされた統合映像信号を、時間方向及びビュー方向に補償して、系列毎のフレームを復号する、上記（６）に記載の映像表示装置。
（２５）前記表示部で通常のフレームレートで２次元映像を表示するときには、前記映像分離部は、一方の時間系列のフレームのみ時間方向に補償してフレームを復号し、他方の時間系列のフレームについて復号処理を省略する、上記（２４）に記載の映像表示装置。
（２６）前記映像信号変換部は、ハイフレームレートの２次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングして統合映像信号を生成する、上記（１）に記載の映像信号処理装置。
（２７）前記映像信号入力部は、ハイフレームレートの２次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、インターレース・フォーマットの前記統合映像信号の各フィールドを標準フレームレートの垂直同期信号に同期してＩＰ変換し、プログレッシブ化された各フレームからサイド・バイ・サイド形式で多重化された標準フレームと中間フレームを分離して、統合前のハイフレームレート映像信号を得る、上記（６）に記載の映像表示装置。
（２８）前記映像信号変換部は、ハイフレームレートの２次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングして統合映像信号を生成する、上記（１）に記載の映像信号処理装置。
（２９）前記映像信号入力部は、ハイフレームレートの２次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングした統合映像信号を入力し、前記映像分離部は、前記統合映像信号の各フィールドをハイフレームレートの垂直同期信号に同期してＩＰ変換して、統合前のハイフレームレート映像信号を得る、上記（６）に記載の映像表示装置。
（３０）映像信号の動き量を検出する動き検出部をさらに備え、前記動き検出部が映像信号から所定以上の動き量を検出したときには、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号を前記映像信号変換部で所定のフォーマットに変換し、前記出力部から出力し、動き量が所定未満のときには、標準フレームからなる映像信号を前記出力部から出力する、上記（１）に記載の映像信号処理装置。
（３１）前記映像信号入力部は、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号と標準フレームレートの映像信号が統合された統合映像信号を入力し、前記映像分離部は、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートしてハイフレームレート化する、上記（６）に記載の映像表示装置。
（３２）前記映像信号入力部は、統合映像信号として、２次元映像信号又は３次元映像信号を入力し、入力された統合映像信号が２次元映像信号又は３次元映像信号のいずれであるかを判別する判別部と、２次元映像信号又は３次元映像信号のいずれであるかに応じて映像信号の処理を切り換える信号処理部と、をさらに備える上記（６）に記載の映像表示装置。
（３３）前記信号処理部は、入力された統合映像信号が３次元映像信号のときには、前記映像分離部で分離した後、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照してノイズ除去するとともに、左眼用映像フレーム飛ばして右眼用映像フレーム間で参照してノイズ除去し、入力された統合映像信号が２次元映像信号のときには、前記映像分離部で分離した後、フレーム飛ばしせず直近のフレーム間で参照してノイズ除去する、上記（３２）に記載の映像表示装置。
（３４）前記信号処理部は、前記表示部の表示映像を一時停止するときに、入力された統合映像信号が３次元映像信号であれば、同一時刻の左右映像フレームを交互に表示し、入力された統合映像信号が２次元映像信号であれば、１枚の映像フレームをホールドする、上記（３２）に記載の映像表示装置。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、ハイフレームレートの２次元映像を伝送する際に、サイド・バイ・サイド、トップ・アンド・ボトム、フレーム・パッキングを始め、さまざまな３次元映像信号の伝送フォーマットを適用することができる。

また、本明細書で開示する技術は、２次元映像信号に限らず、さまざまな映像信号をハイフレームレートで伝送する際に適用することができる。

要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

４００…映像システム
４１０…ゲーム機
４１１…描画部
４１２…フォーマット変換部
４１３…送信部
４５０…映像表示装置
４５１、５５１…受信部
４５２、５５２…フォーマット判別部
４５３、５５３…映像分離部
４５４、５５４…フレーム・メモリー
４５５、５５５…映像並べ替え部
４５６、５５５…映像ノイズ除去部
４５７、５５７…フレーム間引き部
４５８、５５８…選択部
４５９、５５９…スケール処理部
４６０、５６０…表示部
５００…映像システム
５１０…ハイフレームレート・カメラ
５１１…ハイフレームレート・センサー
５１２…信号処理部
５１３…メモリー
５２０…放送装置
５２１…フォーマット変換部
５２２…符号化部
５２３…変調部
５２４…送出部
２５００…映像表示装置
２５０１…受信部、２５０２…フォーマット判別部
２５０３…映像分離部、２５０４…原画用フレーム・メモリー
２５０５…映像並べ替え部、２５０６…映像ノイズ除去部
２５０７…フレーム・メモリー、２５０８…ＩＰ変換部
２５０９…選択部、２５１０…フレーム・メモリー
２５１１…フレーム間引き読み出し部、２５１２…選択部
２５１３…スケール処理部、２５１４…表示部
２８００…映像表示装置
２８０１…受信部、２８０２…フォーマット判別部
２８０３…映像分離部、２８０４…原画用フレーム・メモリー
２８０５…映像並べ替え部、２８０６…映像ノイズ除去部
２８０７…フレーム・メモリー、２８０８…ＩＰ変換部
２８０９…選択部、２８１０…フレーム・メモリー
２８１１…フレーム間引き読み出し部、２８１２…選択部
２８１３…スケール処理部、２８１４…表示部
３１００…映像システム
３１１０…ハイフレームレート・カメラ
３１１１…ハイフレームレート・センサー
３１１２…信号処理部、３１１３…メモリー
３１２０…放送装置
３１２１…フォーマット変換部、３１２２…符号化部
３１２３…変調部、３１２４…送出部、３１２５…動き検出部

Claims (34)

1. 第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化して、第ｎの統合映像信号を生成する映像信号変換部と、
   前記映像信号変換部で変換された統合映像信号を出力する出力部と、
   を具備する映像信号処理装置。
2. 前記映像信号変換部は、元の複数の映像信号を、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で１つの映像信号に多重化して統合映像信号を生成する、
   請求項１に記載の映像信号処理装置。
3. 前記映像信号変換部は、ハイフレームレートの２次元映像信号を、３次元映像信号の伝送フォーマットで多重化する、
   請求項１に記載の映像信号処理装置。
4. 前記出力部は、統合映像信号の出力ストリームに、映像信号を多重化して統合映像信号を生成する方式に関する映像補足情報信号を付加する、
   請求項１に記載の映像信号処理装置。
5. 第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化して、第ｎの統合映像信号を生成する映像信号変換ステップと、
   前記映像信号変換ステップにおいて変換された統合映像信号を出力する出力ステップと、
   を有する映像信号処理方法。
6. 第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を入力する映像信号入力部と、
   第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する映像分離部と、
   分離された第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する表示部と、
   を具備する映像表示装置。
7. 前記表示部は、前記映像信号入力部への入力に対し倍速で、第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する、
   請求項６に記載の映像表示装置。
8. 前記映像分離部は、サイド・バイ・サイド、トップ・アンド・ボトム、又は、フレーム・パッキングのうちいずれかの形式で第ｎの統合映像信号に多重化された第ｎの映像信号と第（ｎ＋０．５）の映像信号を分離する、
   請求項６に記載の映像表示装置。
9. 前記映像信号入力部は、３次元映像信号の伝送フォーマットで多重化されたハイフレームレートの２次元映像信号を入力し、
   前記映像分離部は、前記映像信号への入力信号からハイフレームレートの２次元映像信号を分離する、
   請求項６に記載の映像表示装置。
10. 前記映像分離部が第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号のうち第（ｎ＋０．５）の映像信号を間引く映像信号間引き部をさらに備える、
    請求項６に記載の映像表示装置。
11. 前記映像分離部が第ｎの統合映像信号から分離した第ｎの映像信号と第（ｎ＋０．５）の映像信号との時間的に中間となる第ｎの中間フレームを生成してフレームレートを変換するフレームレート変換部をさらに備え、
    前記表示部は、第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示するときよりもさらに高いフレームレートで、第ｎの映像信号、第ｎの中間フレーム、第（ｎ＋１）の映像信号を順次表示する、
    請求項６に記載の映像表示装置。
12. 前記映像信号入力部が入力する統合映像信号に映像信号を多重化する方式を判別する判別部をさらに備え、
    前記映像分離部は、前記判別部における判定結果に基づいて、第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する処理を行なう、
    請求項６に記載の映像表示装置。
13. 前記判別部は、前記映像信号入力部が入力するストリームに付加されている映像補足情報信号に基づいて、統合映像信号に映像信号を多重化する方式を判別する、
    請求項１２に記載の映像表示装置。
14. 前記映像分離部が第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離した後に、第ｎの映像信号又は第（ｎ＋０．５）の映像信号を間引いて、前記映像信号入力部へ入力されるフレームと前記表示部が表示するフレームとの同期合わせを行なうフレーム同期部をさらに備える、
    請求項６に記載の映像表示装置。
15. 前記映像分離部が第ｎの統合映像信号から分離した第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の色差位相の不一致を補間する色差補間部をさらに備える、
    請求項６に記載の映像表示装置。
16. 前記色差補間部により色差位相の不一致を補間した後に生じる第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の位置ずれを補正する位置合わせ部をさらに備える、
    請求項１５に記載の映像表示装置。
17. 前記位置合わせ部は、画像のアスペクト比を保持しながら、第ｎの映像信号と第（ｎ＋０．５）の映像信号の間の位置ずれを補正する、
    請求項１６に記載の映像表示装置。
18. 前記映像信号入力部は、統合映像信号として、ハイフレームレートの２次元映像信号又は３次元映像信号を入力し、
    前記映像信号入力部が入力する統合映像信号に付加されている映像補足情報信号に基づいて、入力された統合映像信号がハイフレームレートの２次元映像信号又は３次元映像信号のいずれであるかを判別する判別部をさらに備える、
    請求項６に記載の映像表示装置。
19. 前記判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、映像を観察する観察者がかけているシャッター眼鏡を両目ともに解放状態にする、
    請求項１８に記載の映像表示装置。
20. 前記判別部がハイフレームレートの２次元映像信号を入力していると判定し、前記表示部でハイフレームレートの２次元映像を表示しているときに、表示映像がハイフレームレートの２次元映像である旨を提示する、
    請求項１８に記載の映像表示装置。
21. 第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を入力する映像信号入力ステップと、
    第ｎの統合映像信号から第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離する映像分離ステップと、
    分離された第ｎの映像信号と第（ｎ＋１）の映像信号を順次表示する表示ステップと、
    を有する映像表示方法。
22. 第ｎの映像信号と、第ｎの映像信号と第（ｎ＋１）の映像信号との時間的に中間となる第（ｎ＋０．５）の映像信号を多重化した第ｎの統合映像信号を送信する映像信号出力装置と、
    第ｎの統合映像信号を受信し、第ｎの映像信号と第（ｎ＋０．５）の映像信号に分離して、順次表示する映像表示装置と、
    を具備する映像処理システム。
23. 前記映像信号変換部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングして統合映像信号を生成する、
    請求項１に記載の映像信号処理装置。
24. 前記映像信号入力部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、ＭＶＣフォーマットによりパッキングされた統合映像信号を入力し、
    前記映像分離部は、ハイフレームレートの２次元映像のうち標準フレームの系列、及び、その中間フレームの系列をそれぞれビュー方向に配置して、前記標準フレームの系列及び前記中間フレームの系列をそれぞれ時間方向にフレーム間予測符号化するとともに時間的に対応する標準フレームと中間フレーム間で予測符号化するフォーマットによりパッキングされた統合映像信号を、時間方向及びビュー方向に補償して、系列毎のフレームを復号する、
    請求項６に記載の映像表示装置。
25. 前記表示部で通常のフレームレートで２次元映像を表示するときには、前記映像分離部は、一方の時間系列のフレームのみ時間方向に補償してフレームを復号し、他方の時間系列のフレームについて復号処理を省略する、
    請求項２４に記載の映像表示装置。
26. 前記映像信号変換部は、ハイフレームレートの２次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングして統合映像信号を生成する、
    請求項１に記載の映像信号処理装置。
27. 前記映像信号入力部は、ハイフレームレートの２次元映像の標準フレームと中間フレームを多重化した各フレームをインターレース・フォーマットにパッキングした統合映像信号を入力し、
    前記映像分離部は、インターレース・フォーマットの前記統合映像信号の各フィールドを標準フレームレートの垂直同期信号に同期してＩＰ変換し、プログレッシブ化された各フレームからサイド・バイ・サイド形式で多重化された標準フレームと中間フレームを分離して、統合前のハイフレームレート映像信号を得る、
    請求項６に記載の映像表示装置。
28. 前記映像信号変換部は、ハイフレームレートの２次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングして統合映像信号を生成する、
    請求項１に記載の映像信号処理装置。
29. 前記映像信号入力部は、ハイフレームレートの２次元映像の標準フレーム及び中間フレーム各々の異なるフィールドの映像をインターレース・フォーマットにパッキングした統合映像信号を入力し、
    前記映像分離部は、前記統合映像信号の各フィールドをハイフレームレートの垂直同期信号に同期してＩＰ変換して、統合前のハイフレームレート映像信号を得る、
    請求項６に記載の映像表示装置。
30. 映像信号の動き量を検出する動き検出部をさらに備え、
    前記動き検出部が映像信号から所定以上の動き量を検出したときには、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号を前記映像信号変換部で所定のフォーマットに変換し、前記出力部から出力し、動き量が所定未満のときには、標準フレームからなる映像信号を前記出力部から出力する、
    請求項１に記載の映像信号処理装置。
31. 前記映像信号入力部は、標準フレームと標準フレーム間を補間する中間フレームを多重化したハイフレームレートの映像信号と標準フレームレートの映像信号が統合された統合映像信号を入力し、
    前記映像分離部は、標準フレームレートの映像信号が入力されたときには、各標準フレームをリピートしてハイフレームレート化する、
    請求項６に記載の映像表示装置。
32. 前記映像信号入力部は、統合映像信号として、２次元映像信号又は３次元映像信号を入力し、
    入力された統合映像信号が２次元映像信号又は３次元映像信号のいずれであるかを判別する判別部と、
    ２次元映像信号又は３次元映像信号のいずれであるかに応じて映像信号の処理を切り換える信号処理部と、
    をさらに備える請求項６に記載の映像表示装置。
33. 前記信号処理部は、入力された統合映像信号が３次元映像信号のときには、前記映像分離部で分離した後、右眼用映像フレームを飛ばして左眼用映像フレーム間で参照してノイズ除去するとともに、左眼用映像フレーム飛ばして右眼用映像フレーム間で参照してノイズ除去し、入力された統合映像信号が２次元映像信号のときには、前記映像分離部で分離した後、フレーム飛ばしせず直近のフレーム間で参照してノイズ除去する、
    請求項３２に記載の映像表示装置。
34. 前記信号処理部は、前記表示部の表示映像を一時停止するときに、入力された統合映像信号が３次元映像信号であれば、同一時刻の左右映像フレームを交互に表示し、入力された統合映像信号が２次元映像信号であれば、１枚の映像フレームをホールドする、
    請求項３２に記載の映像表示装置。