JP2012029235A - 電子機器および画像処理方法 - Google Patents

Abstract

【課題】立体視映像の画像処理を好適に行うことのできる電子機器および画像処理方法を提供することを課題とする。
【解決手段】電子機器は、入力された入力輝度信号に動画ノイズ低減処理を実行して、出力輝度信号として出力する動画ノイズ低減処理手段であって、前記入力輝度信号と既に出力した出力輝度信号とに基づいて前記動画ノイズ低減処理を実行する動画ノイズ低減処理手段と、前記動画ノイズ低減処理手段から出力された出力輝度信号を格納するフレームメモリと、前記動画ノイズ低減処理手段に入力される入力輝度信号が、立体視映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうちの前記入力輝度信号が示すフレームとの間に視差が存在しないフレームの出力輝度信号を、前記既に出力した出力輝度信号として動画ノイズ低減処理手段に入力する信号入力手段と、を具備する。

【選択図】図３

Description

本発明の実施形態は電子機器および画像処理方法に関する。

近年の技術発達により、立体視映像をユーザに提供可能な電子機器が提案されている。この立体視映像の提供方法の一般的な例として以下に示す２つの提供方式が挙げられる。１つめの例として、左眼用画像と右眼用画像とを交互に表示し、シャッタメガネを装着したユーザに対して左眼用画像を左眼のみに見せ、右眼用画像を右眼のみに見せることによって立体視映像を提供する、フレームシーケンシャル方式の動画表示においてシャッタメガネを用いて立体視映像を提供する方式がある。

また、２つめの例としては、１フレーム内に存在する左眼用の画素と右眼用の画素とを同時に表示し、パネルに工夫を施して左眼用の画素のみを左眼に、右眼用の画素のみを見せることによって、裸眼のユーザに立体映像を提供する方式がある。

例えば、上記のような方式によってユーザに立体視映像を提供する場合、電子機器が提供する画像に行う画像処理として、一般的な平面の映像である２次元映像を提供する場合とは異なる処理を行う必要が生じる場合がある。

特開平１０−１５０６０８号公報

例えば、電子機器が動画の中のある画素に対して、この前後等のフレーム内の画素を参照して画像処理を行うような場合、２次元映像と立体視映像とでは異なった処理を行う必要がある。つまり、２次元映像用の画像処理モジュールのみでは立体視映像に対応することができなかった。

本発明は上記問題に鑑みてなされたものであって、立体視映像の画像処理を好適に行うことのできる電子機器および画像処理方法を提供することを課題とする。

実施形態にかかる電子機器は、入力された入力輝度信号に動画ノイズ低減処理を実行して、出力輝度信号として出力する動画ノイズ低減処理手段であって、前記入力輝度信号と既に出力した出力輝度信号とに基づいて前記動画ノイズ低減処理を実行する動画ノイズ低減処理手段と、前記動画ノイズ低減処理手段から出力された出力輝度信号を格納するフレームメモリと、前記動画ノイズ低減処理手段に入力される入力輝度信号が、立体視映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうちの前記入力輝度信号が示すフレームとの間に視差が存在しないフレームの出力輝度信号を、前記既に出力した出力輝度信号として動画ノイズ低減処理手段に入力する信号入力手段とを具備する。

本発明の一実施形態における映像出力システムの一例を示す概念図。 本発明の一実施形態におけるＤＴＶおよびシャッタメガネの内部構造の一例を示すブロック図。 本発明の一実施形態における映像処理部の構成の一部の一例を示すブロック図。 本発明の一実施形態における動画ノイズ低減処理部の内部構成の一例を示した図。 左右交互に出力されるフレームシーケンシャルのフレームの順番を示す概念図。 本発明の一実施形態における動画ノイズ低減処理の一例を示すフロー図。

本発明に関する実施の形態の一例を、以下で図面を参照しながら説明する。

図１は本実施形態における映像出力システム３の一例を示す概念図である。図１にはＤＴＶ１、シャッタメガネ２、および映像出力システム３が示されている。

ＤＴＶ１は例えばデジタルテレビ（Digital Television）であって本実施形態における電子機器の一例である。ＤＴＶ１は互いに視差を有する左眼用画像と右眼用画像を交互に表示することによって、シャッタメガネ２を装着したユーザに立体視映像を提供することが可能である（フレームシーケンシャル方式）。本実施形態では電子機器の一例としてＤＴＶ１を示すが、これに限定されるものではなく、例えばＤＶＤ（Digital Versatile Disc）プレーヤ、ＨＤＤ（Hard Disk Drive）プレーヤ、ＳＴＢ（Set Top Box）、又はＰＣ（Personal Computer）等の様々なものが電子機器の例として考えられる。

シャッタメガネ２は左眼用レンズ及び右眼用レンズにそれぞれ遮蔽可能な液晶シャッタが設けられており、これらのレンズとシャッタとを合わせてレンズユニットと呼ぶこととする。シャッタメガネ２はＤＴＶ１から受信するシャッタの開閉信号に基づいて左右のレンズユニットのそれぞれのシャッタを異なるタイミングで開閉することで、ユーザに立体視映像を提供する。例えば、ＤＴＶ１に左眼用画像が表示されているときには、シャッタメガネ２はＤＴＶ１からの開閉信号に基づいて右眼用レンズユニットのシャッタを閉状態（遮蔽状態）、左眼用レンズユニットのシャッタを開状態（透過状態）として、ユーザの左眼のみに左眼用画像を見せる。また右眼用画像が表示されているときには左眼用レンズユニットのシャッタを閉状態、右眼用レンズユニットのシャッタを開状態として、ユーザの右眼のみに右眼用画像を見せる。この動作によってユーザは見ている映像を立体として捉えることができる。

上記の立体視の原理を詳細に説明する。人間は通常、物体を位置の異なる左眼と右眼とのそれぞれで見ており、この左眼と右眼とで見る像の間には視差が存在する。この視差の存在する左眼で見る像と右眼で見る像とを脳内で合成することによって人間は見ている物体を立体として認識することができる。よって、視差を有する左眼用の画像と右眼用の画像とをそれぞれの眼で見せることによって、ユーザに映像を立体として捉えさせることが可能となる。この原理を用いて上述のようにシャッタメガネ２はＤＴＶ１の映像をユーザに立体視映像として提供している。

映像出力システム３はＤＴＶ１及びシャッタメガネ２によって構成される。ユーザはシャッタメガネ２を装着して、ＤＴＶ１に表示されている映像を見ることで、この映像を立体視映像として認識することができる。

次にＤＴＶ１およびシャッタメガネ２の内部構造に関して詳細に説明を行う。

図２は本実施形態におけるＤＴＶ１およびシャッタメガネ２の内部構造の一例を示すブロック図である。

まず、ＤＴＶ１の内部構造に関して説明を行う。

ＤＴＶ１は、装置各部の動作を制御する制御部１５６を備えている。制御部１５６は、ＣＰＵ（Central Processing Unit）等を内蔵している。制御部１５６は、操作部１１６から入力される操作信号や、リモートコントローラ１１７から送信され受信部１１８を介して受信される操作信号に応じて、ＲＯＭ（Read Only Memory）１５７に予め記憶されたシステム制御プログラム及び各種処理プログラムを起動させる。制御部１５６は、起動したプログラムに従って、ＲＡＭ（Random Access Memory）１５８をワークメモリとして装置各部の動作を制御する。

入力端子１４４は、ＢＳ／ＣＳデジタル放送受信用のアンテナ１４３が受信した衛星デジタルテレビジョン放送信号を衛星デジタル放送用のチューナ１４５に供給する。チューナ１４５は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をＰＳＫ（Phase Shift Keying）復調器１４６に送信する。PSK復調器１４６は、ＴＳ（Transport Stream）の復調を行い、復調したＴＳをＴＳ復号器１４７ａに供給し、ＴＳ復号器１４７ａは、TSをデジタル映像信信号、デジタル音声信号、およびデータ信号を含むデジタル信号に復号した後、信号処理部１００にこれを出力する。ここでのデジタル映像信号とはＤＴＶ１が出力可能な映像に関するデジタル信号であり、音声信号はＤＴＶ１が出力可能な音声に関するデジタル信号である。またデータ信号とは、例えばＤＴＶ１が電子番組表であるＥＰＧ（Electronic Program Guide）を生成するときに使用する情報である番組関連情報等を含む、放送波の放送番組に関する情報に関するデジタル信号である。この番組関連情報には、放送番組のタイトル、この番組の詳細情報、番組開始時刻、番組終了時刻等の情報が含まれている。

入力端子１４９は、地上波デジタル放送受信用のアンテナ１４８が受信した地上波デジタルテレビジョン放送信号を地上波デジタル放送用のチューナ１５０に供給する。チューナ１５０は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をそれぞれのＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１５１に送信する。ＯＦＤＭ復調器１５１は、ＴＳの復調を行い、復調したＴＳをそれぞれのＴＳ復号器１４７ｂに供給し、ＴＳ復号器１４７ｂは、ＴＳをデジタル映像信号及び音声信号等に復号した後、信号処理部１００にこれを出力する。

アンテナ１４８は、地上波アナログ放送信号も受信可能である。受信された地上波アナログ放送信号は、図示しない分配器によって分配されて、アナログチューナ１６８に供給される。アナログチューナ１６８は、受信したアナログ放送信号のチューニングを行い、チューニングしたアナログ放送信号をアナログ復調器１６９に送信する。アナログ復調器１６９はアナログ放送信号の復調を行い、復調したアナログ放送信号を信号処理部１００に出力する。また、ＤＴＶ１は、一例として、アンテナ１４８が接続される入力端子１４９にＣＡＴＶ（Common Antenna Television）用のチューナを接続することによってＣＡＴＶも視聴することができる。

信号処理部１００は、ＴＳ復号器１４７ａ、１４７ｂ、または制御部１５６から出力されたデジタル信号に、適切な信号処理を施す。より具体的には、信号処理部１００はデジタル信号を映像信号、デジタル音声信号、およびデータ信号に分離する。分離された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に出力される。また信号処理部１００は、アナログ復調器１６９から出力された放送信号を、所定のデジタルフォーマットの映像信号及び音声信号に変換する。デジタルに変換された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に出力される。また信号処理部１００は、ライン入力端子１３７からの入力信号にも所定のデジタル信号処理を施す。

ＯＳＤ（On Screen Display）信号生成部１５４は、制御部１５６の制御に従って、ＵＩ（ユーザ・インタフェース）画面などを表示するためのＯＳＤ信号を生成する。また信号処理部１００においてデジタル放送信号から分離されたデータ信号は、ＯＳＤ信号生成部１５４により適切なフォーマットのＯＳＤ信号に変換され、グラフィック処理部１５２に出力される。

グラフィック処理部１５２は、信号処理部１００から出力されるデジタルの映像信号のデコード処理を行う。デコードされた映像信号は、ＯＳＤ信号生成部１５４から出力されたＯＳＤ信号と重ね合わせて合成され、映像処理部１５５に出力される。グラフィック処理部１５２は、デコードされた映像信号またはＯＳＤ信号を、映像処理部１５５に選択的に出力することもできる。

映像処理部１５５は、グラフィック処理部１５２から出力された信号に対して画質の補正を行った上で、表示部処理部１５５で表示可能なフォーマットのアナログ映像信号に変換する。映像処理部１５５でアナログに変換された映像信号は、表示部１２０に表示される。映像処理部１５５における画質の補正については、図３以降の説明にて詳細に述べる。

表示部１２０はＬＣＤ（Liquid Crystal Display）によって構成されており、液晶によって画像を表示する。バックライト１２１は表示部１２０を後方より照射する。また、バックライト１２１は照射する光の強さまたは照射時間によって、表示する映像の輝度を調整することが可能である。

音声処理部１５３は、入力された音声信号を、スピーカ１１０で再生可能なフォーマットのアナログ音声信号に変換する。アナログに変換された音声信号は、スピーカ１１０に出力されて再生される。

カードホルダ１６１は、カードＩ／Ｆ（Interface）１６０を介して制御部１５６に接続されている。メモリカード１１９は、このカードＩ／Ｆ１６０に装着可能である。メモリカード１１９は、例えばＳＤ（Secure Digital）メモリカード、ＭＭＣ（Multimedia Card）及びＣＦ（Compact Flash）カード等の記憶媒体である。カードホルダ１６１に装着されたメモリカード１１９、及び制御部１５６は、カードＩ／Ｆ１６０を介して情報の書込み／読み出しを行うことができる。

ＵＳＢ（Universal Serial Bus）端子１３３は、ＵＳＢ Ｉ／Ｆ１６６を介して制御部１５６に接続されている。ＵＳＢ端子１３３は、一般的なＵＳＢ対応ポートとして使用される。ＵＳＢ端子１３３には、例えばハブを介して、携帯電話、デジタルカメラ、各種メモリカードに対するカードリーダ／ライタ、ＨＤＤ、キーボード等が接続される。制御部１５６は、ＵＳＢ端子１３３を介して接続される機器との間で、情報の通信（送受信）を行うことができる。

ＨＤＤ１７０はＤＴＶ１に内蔵される磁気記憶媒体であってＤＴＶ１が有する各種情報を記憶する機能を有している。

信号送信部１６２は、例えば赤外線信号送信モジュールであり、赤外線信号によってシャッタメガネ２に対して開閉信号を送信することができる。制御部１５６は立体視映像の右眼用の画像と左眼用の画像の表示の状態を検知し、この立体視映像の表示状態に基づいて、信号送信部１６２によってシャッタメガネ２にシャッタの開閉信号を送信する。制御部１５６は表示部１２０が右眼用の画像を表示しているときは、シャッタメガネ２の右眼用シャッタが開（透過状態）、左眼用シャッタ（遮蔽状態）が閉とし、左眼用の画像を表示しているときは、右眼用シャッタが閉（遮蔽状態）、左眼用シャッタが開（透過状態）となるように信号送信部１６２によって開閉信号を送信する。

次に、シャッタメガネ２の内部構造に関する説明を行う。

制御部２１はシャッタメガネ２の全体の制御を行い、ＭＰＵ（Micro Processing Unit）を内蔵する。制御部２１は接続される各モジュールと信号の送受信を行うことが可能である。

信号受信部２２は、例えば赤外線受信モジュールであり信号送信部１６２が送信した開閉信号を受信する機能を有する。本実施形態では信号送信部１６２および信号受信部２２は赤外線通信モジュールであり、ＤＴＶ１とシャッタメガネ２とは赤外線によって開閉信号の送受信を行うものとして例示しているが、これに限定されない。有線、無線に関わらず様々な通信規格に準拠した通信モジュールによって信号送信部１６２および信号受信部２２は構成され得る。

シャッタ駆動部２４は、液晶によって構成されたシャッタ部２５を駆動させる液晶駆動装置である。シャッタ駆動部２４は信号受信部２２が受信する、ＤＴＶ１からの開閉信号に基づいて、シャッタ部２５の左右それぞれの液晶シャッタを駆動させる機能を有している。

シャッタ部２５は、シャッタメガネ２のレンズユニットに設けられており、シャッタ駆動部２４によって駆動され、右眼用、左眼用それぞれのレンズユニットで遮蔽、透過を切り替える。

シャッタメガネ２の信号受信部２２が開閉信号を受信すると、制御部２１はこの信号に基づいてシャッタ駆動部２４にシャッタ部２５を駆動させるように指示を行う。シャッタ駆動部２４はこの指示に基づいてシャッタ部２５の遮蔽と透過とを切り替える。

次に図３および図４を用いて映像処理部１５５内の構成の一部について説明する。

図３は本実施形態における映像処理部１５５の構成の一部の一例を示すブロック図である。

本実施形態において映像処理部１５５は入力される映像信号のうちの輝度信号に対して、画像処理として動画ノイズ低減処理を行う。映像処理部１５５は動画ノイズ低減処理部３１、フレームメモリ３２、およびセレクタ３３を有している。

動画ノイズ低減処理部３１は前段の処理部より入力される入力輝度信号Ｓ１に対して動画のノイズ低減処理を行った上で出力輝度信号Ｓ１７として出力する機能を有している。動画ノイズ低減処理部３１は入力輝度信号Ｓ１に対してノイズ低減処理を行うとき、Ｎフレーム（所定数フレーム）前の画像を参照してノイズ低減処理を行う。この動画ノイズ低減処理部３１の詳細な構成については図４を用いて後述にて詳細に説明する。

動画ノイズ低減処理部３１はノイズ低減処理を行った後の輝度信号である出力輝度信号Ｓ１７を映像処理部１５５の後段の処理部およびフレームメモリ３２に出力する。フレームメモリ３２はこの入力される出力輝度信号Ｓ１７を保持する機能を有している。フレームメモリ３２は例えば半導体で構成されたバッファであって、映像処理部１５５内に構成されている。本実施形態ではフレームメモリ３２は映像処理部１５５内に構成されているものとして例示するが、これに限定されず、例えば制御部１５６のＲＡＭ１５８の一部をフレームメモリ３２として利用してもよい。

セレクタ３３はフレームメモリ３２に格納されているフレームを選択的に出力する機能を有している。セレクタ３３は、動画ノイズ低減処理部３１にある画像が入力輝度信号Ｓ１として入力されるとき、この画像のＮフレーム前の画像の出力輝度信号Ｓ３を信号入力手段として動画ノイズ低減処理部３１に入力する。

このように、動画ノイズ低減処理部３１には動画ノイズ低減処理を行う対象である入力輝度信号Ｓ１と、自身が出力したＮフレーム前の出力輝度信号Ｓ３が入力され、動画ノイズ低減処理部３１はこのＮフレーム前の出力輝度信号Ｓ３に基づいて入力輝度信号Ｓ１に対する動画ノイズ低減処理を行う。

この動画ノイズ低減処理部３１の構成および実行するノイズ低減処理についての説明を以下で行う。

図４は本実施形態における動画ノイズ低減処理部３１の内部構成の一例を示した図である。

動画ノイズ低減処理部３１は、入力輝度信号Ｓ１を受ける減算部３１４と、加算部３２６とを有している。

又、フレームメモリ３２が出力したＮフレーム前の出力輝度信号Ｓ３は、前記減算部３１４に供給され、減算部３１４の出力にはフレーム間差分信号Ｓ５を得ることができる。減算部３１４の出力の後段には、振幅を一定値に制限して後段に出力するリミッタ３２４と、リミッタ３２４からの出力を受ける乗算部３２５とを有している。

更に、動画ノイズ低減処理部３１は、減算部３１４からのフレーム間差分信号Ｓ５を受け、その絶対値の信号Ｓ９を出力する絶対値検出部３１６と、絶対値検出部３１６からのフレーム間差分絶対値信号Ｓ９を受ける乗算部３２０とを有している。又、動画ノイズ低減処理部３１は、フレームメモリ３２からのＮフレーム前の出力輝度信号Ｓ３と入力輝度信号Ｓ１を受けて加算結果を出力する加算部３１５と、加算結果の平均値を出力する平均部３１７を有している。

更に、前記Ｎフレーム前の出力輝度信号Ｓ３と、前記入力輝度信号Ｓ１と、平均部３１７からの平均値信号の三つの信号を受けて、一つ（又は後述するようにこれらの複数、又は複数の平均値）を選択出力する選択部３２８とを有している。選択部３２８は、ノイズ低減処理を制御するため画像の明るさに応じた信号情報を選択して後段の係数発生器３１８に出力するものであり、予め決められた選択基準で複数の信号から一つを選択出力する。

更に、動画ノイズ低減処理部３１は、この選択部３２８からの画像の明るさに応じた信号を受け、これに応じた係数を発生させて、乗算部３２０に供給する係数発生器３１８を有する。この乗算部３２０では、前記係数を基に乗算処理を行い、補正されたフレーム間差分絶対値信号Ｓ１１を出力し、その補正された絶対値信号Ｓ１１を受ける動き検出回路３２２を有している。動き検出回路３２２は、入力された信号から、通常の動画像信号の画像の動きを検出し、これに応じてノイズ低減処理を軽減するような巡回係数Ｓ１３を生成し、乗算部３２５に供給している。

このような構成を有する動画ノイズ低減処理部３１は、以下に述べるように、画像の明るさ（輝度等）と、動画像信号の動き程度とに応じて適切なノイズ低減処理を行うものである。すなわち、主に、乗算部３２０と乗算部３２５との働きで、減算部３１４からのフレーム間差分信号Ｓ５の値を調整し、画像が暗ければノイズ低減処理を強調し、画像が明るければノイズ除去処理を軽減する。又、動き検出回路３２２と乗算部３２５は、動画像信号の動き量が一定量以上である時はノイズ低減処理を中断したり、動画像信号の動き量の大きさに比例して、ノイズ低減処理を軽減したりして、画面の残像を軽減する。

これにより、画像の明るい部分では、ノイズ低減処理を中止又は軽減し、画像の暗い部分では、ノイズ低減処理を強化することで、全体にノイズが低減され、残像の目立たない高品質な動画面を得ることができる。

具体的に説明すると、入力輝度信号Ｓ１は、フレームメモリ３２から読み出されたＮフレーム前の出力輝度信号Ｓ３と共に減算部３１４に入力されて、フレーム間差分信号Ｓ５を得る。フレーム間差分信号Ｓ５は、リミッタ３２４により振幅をある任意の値に制限された後、乗算部３２５により巡回係数Ｓ１３が乗ぜられる。

巡回係数Ｓ１３は、画像の明るさ及び動画像の動き成分を含んだ係数であり、画像が明るくなると、係数発生器３１８の係数Ｓ７の値が大きくなることで、補正された絶対値信号Ｓ１１の値も大きくなり、これにより、巡回係数Ｓ１３の値が小さくなる。したがって、乗算部３２５は、リミッタ３２４を経た差分信号Ｓ５の値を小さくして、演算部３２６でのノイズ除去処理の程度を抑制（軽減又は停止）させる。

更に、入力輝度信号Ｓ１は、演算部３２６により、乗算部３２５からの差分信号Ｓ５と加算又は減算することで、動画像信号中のノイズを除去する。演算部３２６の処理は乗算部２５からの差分信号の符号（プラスかマイナス）によって減算又は加算の処理が行われ、ノイズを除去するようにしている。

一方、入力輝度信号Ｓ１と、Ｎフレーム前の出力輝度信号Ｓ３と、両者の平均値信号Ｓ６は、選択部３２８に供給され、それらの信号の内、一つが選択部３２８により選択され、係数発生器３１８に供給される。係数発生器３１８では、選択された信号のレベルに応じた係数Ｓ７が出力され、乗算部３２０によりフレーム間差分絶対値信号Ｓ９に乗ぜられる。これにより補正されたフレーム間差分絶対値信号Ｓ１１が動き検出回路３２２に入力される。ここで、係数発生器３１８は、例えば、入力信号レベルが所定の範囲より小さい場合には１以下の値、入力信号レベルが前記所定の範囲より大きい場合には１以上の値を発生する。この場合、入力信号レベルが低い場合は絶対値信号Ｓ９よりも補正された絶対値信号Ｓ１１の方が小さい値となり、入力信号レベルが高い場合は絶対値信号Ｓ９よりも補正された絶対値信号Ｓ１１の方が大きい値となる。

動き検出回路３２２は、補正されたフレーム間差分絶対値信号Ｓ１１が大きいほど巡回係数Ｓ１３の値を小さくしてノイズ低減効果を落とし、残像を低減するように働く。即ち、入力信号レベルが低い場合には通常より巡回係数Ｓ１３が大きくなり、入力信号レベルが高い場合には通常より巡回係数Ｓ１３が小さくなる。つまり、ノイズが目立ちやすい暗部はノイズ低減効果が高くなり、目立ちにくい明部はノイズ低減効果を落とし、残像を低減することになる。

このように動画ノイズ低減処理部３１は動画像信号のノイズが同じノイズレベルであっても、画像信号レベル（画像の明るさ）によりノイズの目立ち易さが異なることを考慮し、画像信号レベル（画像の明るさ）に対応してノイズ低減効果を制御することで、高品質の動画像信号を得ることができる。

なお、この例では係数発生器３１８と乗算部３２０とを用いて補正フレーム間差分絶対値信号Ｓ１１を得たが、本発明の実施形態は、この構成に限定されるものではない。例えば、係数発生器３１８と乗算部３２０の機能（更には動き検出回路３２２と乗算部３２５との機能）を、ＣＰＵとＲＡＭ等で実現したルックアップテーブルとにより代用することで、一層、きめ細かな画像信号レベル（画像の明るさ）に対応したノイズ低減処理を実現することができる。

なお、上述の動画ノイズ低減処理の一部については特許公開公報：特開２００５−３４７８２１にて詳細に説明がなされている。

本実施形態において、２次元映像について動画ノイズ低減処理部３１が動画ノイズ低減処理を実行するとき（入力輝度信号Ｓ１が２次元映像についてのものであるとき）、セレクタ３３はフレームメモリ３２に格納された、１フレーム前の出力輝度信号をＮフレーム前の出力輝度信号Ｓ３として出力する（２次元映像の場合はＮ＝１）。これによって、動画ノイズ低減処理部３１は動画ノイズ低減処理の対象のフレームとの間に視差が存在しない直前のフレームに基づいて動画ノイズ低減処理を実行することができる。

また、左眼用画像と右眼用画像が交互に表示されるフレームシーケンシャル方式の立体視映像について動画ノイズ低減処理部３１が動画ノイズ低減処理を実行するとき、セレクタ３３はフレームメモリ３２に格納された、２フレーム前の出力輝度信号をＮフレーム前の出力輝度信号Ｓ３として出力する（この場合はＮ＝２）。これは２次元映像の場合は１フレーム前の画像が直前の画像となるが、立体視映像の場合には図５に示すように左眼用画像の１フレーム前の画像は右眼用画像、右眼用画像の１フレーム前の画像は左眼用画像となってしまい、１フレーム前の画像は対象の画像との間で視差の存在する画像となってしまうからである。視差の存在する画像に基づいて、上述の動画ノイズ低減処理を行ってしまうと、フレーム間差分信号Ｓ５が間に視差が存在する画像間でのフレーム間差分の信号となってしまい、動画ノイズ低減処理が好適に実行されない。そこで、同じ眼用の画像である２フレーム前の画像の出力輝度信号に基づいて動画ノイズ低減処理を行うことにより好適に処理を実行することができる。

セレクタ３３は、映像処理部１５５に入力される、入力映像が２次元映像であるか立体視映像であるかを示す信号を検知して、動画ノイズ低減処理部３１に１フレーム前の出力輝度信号を出力するか、２フレーム前の出力輝度信号を出力するかを選択して出力する。つまり、入力される映像が２次元映像のとき１フレーム前の出力輝度信号を出力し、入力される映像が立体視映像のとき２フレーム前の出力輝度信号を出力する。本実施形態においては立体視映像の画像のフレームの順番として、左眼用画像と右眼用画像とが交互に表示される場合を例示する。このとき、上述では２フレーム前の出力輝度信号を動画ノイズ低減処理部３１に入力するとしたが、これに限定されず、４フレーム前、６フレーム前等の偶数フレーム前の出力輝度信号を入力するとしてもよい。この場合にも動画ノイズ低減処理に参照されるフレームが、動画ノイズ低減処理対象のフレームとの間に視差があるフレームとなることはなくなる。

また、例えば入力される立体視映像が左眼用画像と右眼用画像が交互に配列されて構成されていないような場合には動画ノイズ低減処理部３１は、互いに視差の存在しない直前のフレームに基づいて動画ノイズ低減処理を実行するとしてもよい（Ｎ＝３、４・・・でもよい）。

次に本実施形態における動画ノイズ低減処理の流れについて説明する。

図６は本実施形態における動画ノイズ低減処理の一例を示すフロー図である。

まず、動画ノイズ低減処理部３１に入力輝度信号Ｓ１が入力されるとき、セレクタ３３はこの入力輝度信号Ｓ１にかかる映像が２次元映像であるか立体視映像であるかを判別する（ステップＳ６１）。本実施形態においては、映像処理部１５５に入力される、映像が２次元映像であるか立体視映像であるかを示す信号を検知してステップＳ６１の判別を行うものと例示する。しかしこれに限定されず、例えば制御部１５６から入力される映像が２次元映像であるか立体視映像の情報に基づいてステップＳ６１の判別を行うとしてもよい。

上述のようにセレクタ３３は動画ノイズ低減処理部３１から出力され、フレームメモリ３２に入力された出力輝度信号Ｓ１７のうち、Ｎフレーム前の出力輝度信号Ｓ３を動画ノイズ低減処理部３１に入力する。ステップＳ６１においてセレクタ３３は、映像処理部１５５に入力される映像が２次元映像であると判別したとき（ステップＳ６１：Ｎｏ）、１フレーム前の出力輝度信号Ｓ３を動画ノイズ低減処理部３１に対して入力する（ステップＳ６２）。

また、ステップＳ６１においてセレクタ３３は、映像処理部１５５に入力される映像が立体視映像であると判別したとき（ステップＳ６１：Ｙｅｓ）、２フレーム前の出力輝度信号Ｓ３を動画ノイズ低減処理部３１に対して入力する（ステップＳ６３）。

ステップＳ６２またはステップＳ６３の後、動画ノイズ低減処理部３１は入力輝度信号Ｓ１及びＮフレーム前の出力輝度信号Ｓ３に基づいて、上述のように動画ノイズ低減処理を処理行う（ステップＳ６４）。

以上で一連の処理フローは終了となり、この処理によって動画ノイズ低減処理部３１は例えば左眼用画像の動画ノイズ低減処理に右眼用画像を参照するような処理を行うことがなくなり、立体視映像に対して好適に動画ノイズ低減処理を実行することができるようになる。

また、本実施形態においてはセレクタ３３が動画ノイズ低減処理の対象の映像が２次元映像であるか、立体視映像であるかを判別し、２次元映像の場合でも立体視映像の場合でも好適に動画ノイズ低減処理を実行することができる。

上述においては、フレームシーケンシャル方式による立体視映像での動画ノイズ低減処理を例に挙げて説明を行ったが、これに限定されず、例えば裸眼方式での立体映像についても、動画ノイズ低減処理を行うことが可能である。

この場合も動画ノイズ低減処理部３１に入力され、動画ノイズ低減処理の対象となる入力輝度信号は左眼用の画素を集めたフレームと右眼用の画素を集めたフレームとに分かれている。セレクタ３３は上述と同様に２フレーム前の画像をＮフレーム前の輝度信号Ｓ３として動画ノイズ低減処理部３１に入力し、動画ノイズ低減処理部３１はこれを参照して動画ノイズ低減処理を実行する。映像処理部１５５のさらに後段の処理部は動画ノイズ低減処理部３１より出力される左眼用の画素を集めたフレームと右眼用の画素を集めたフレームをマージし、ひとつのフレームとして立体視映像として出力可能な状態で出力する。

また、裸眼方式においては、さらに多くの視差を持つ映像を表示する多視差の立体映像表示形式が存在する。裸眼方式で立体視映像を表示する場合、視差が存在する画素が１組しかない場合には、ユーザの視聴可能な物理的範囲が狭くなってしまう。そこで裸眼方式での多視差の立体映像表示では、両目で立体映像として捉えるために好適な視差が間に存在する画素の組を複数組有する映像を表示することによって、ユーザの視聴可能な物理的範囲をより広いものとする。

この場合には同時に表示するための左眼用および右眼用の画素の組が複数組存在するため、動画ノイズ低減処理部３１から出力された後にマージされるフレームは２つのフレームのみとはならず、出力された複数のフレームをマージすることとなる。例えば、表示部１２０に表示される画像の中に両目で立体映像として捉えるために好適な視差が間に存在する画素の組が２組存在するような場合には第１組目の左眼用の画素を集めたフレーム、第１組目の右眼用の画素を集めたフレーム、第２組目の左眼用の画素を集めたフレーム、第２組目の右眼用の画素を集めたフレームという順番で、動画ノイズ低減処理部３１に入力輝度信号Ｓ１が入力されるようになる。

動画ノイズ低減処理部３１は、入力される入力輝度信号Ｓ１に１フレームずつ動画ノイズ低減処理を施して出力するため、例えば第２組目の左眼用の画素を集めたフレームに動画ノイズ低減処理を施す場合には２フレーム前の出力輝度信号を参照してしまうと、第１組目の左眼用の画素を集めたフレームに参照して動画ノイズ低減処理を施してしまうこととなる。この場合には、処理対象のフレームと視差が存在しているフレームを参照して動画ノイズ低減処理を実行していることとなり、好適な動画ノイズ低減処理が実行されない。

そこで、本実施形態においては、セレクタ３３は両目で立体映像として捉えるために好適な視差が間に存在する画素の組数に応じて動画ノイズ低減処理部３１に参照させるフレームを切り替える（Ｎを切り替える）。

上記のよう両目で立体映像として捉えるために好適な視差が間に存在する画素の組数が２組である場合には、左右セレクタ３３は４フレーム前の輝度信号をＮフレーム前の出力輝度信号Ｓ３として出力する。これにより、動画ノイズ低減処理部３１は処理対象のフレームとの間に視差の存在しないフレームに基づいて、好適に動画ノイズ低減処理を実行することができる。また、上記の組が３組である場合、左右セレクタ３３は６フレーム前の輝度信号をＮフレーム前の出力輝度信号Ｓ３として出力する。

このように、多視差の裸眼立体映像表示においては、映像処理部１５５は動画ノイズ低減処理対象のフレームの、両目で立体映像として捉えるために好適な視差が間に存在する画素の組数の２倍前のフレームを参照して動画ノイズ低減処理を実行する。換言すれば、映像処理部１５５は処理対象のフレームとの間に視差の存在しないフレームを参照して、動画ノイズ低減処理を実行する。

上述の処理によってＤＴＶ１は裸眼方式の立体視映像についても好適に動画ノイズ低減処理を実行することができる。

本実施形態では、動画ノイズ低減処理を例示して説明を行ったがこれに限定されず、数フレーム前の画像を参照して様々な画像処理を行う場合についても適用可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…ＤＴＶ、２…シャッタメガネ、３…映像出力システム、１１０…スピーカ、１２０…表示部、１２１…バックライト、１００…信号処理部、１１６…操作部、１１７…リモートコントローラ、１１８…受信部、１１９…メモリカード、１３１…ＬＡＮ端子、１３３…ＵＳＢ端子、１３７…ライン入力端子、１４３…アンテナ、１４４…入力端子、１４５…チューナ、１４６…ＰＳＫ復調器、１４７…ＴＳ復号器、１４８…アンテナ、１４９…入力端子、１５０…チューナ、１５１…ＯＦＤＭ復調器、１５２…グラフィック処理部、１５３…音声処理部、１５４…ＯＳＤ信号生成部、１５５…映像処理部、１５６…制御部、１５７…ＲＯＭ、１５８…ＲＡＭ、１６０…カードＩ／Ｆ、１６１…カードホルダ、１６２…信号送信部、１６６…ＵＳＢ Ｉ／Ｆ、１６８…アナログチューナ、１６９…アナログ復調器、２１…制御部、２２…信号受信部、２４…シャッタ駆動部、２５…シャッタ部、３１…動画ノイズ低減処理部、３２…フレームメモリ、３３…セレクタ

実施形態にかかる電子機器は、左眼用画像のフレームと右眼用画像のフレームとが交互に配列された、フレームシーケンシャル方式の立体視映像についての入力輝度信号が入力され、前記入力された入力輝度信号に画像ノイズ低減処理を実行して、出力輝度信号として出力する動画ノイズ低減処理手段と、前記動画ノイズ低減処理手段から出力された出力輝度信号を格納するフレームメモリと前記フレームメモリに格納された出力輝度信号のうちの偶数フレーム分前の画像の出力輝度信号を、前記動画ノイズ低減処理手段に入力する信号入力手段とを具備し、前記動画ノイズ低減処理手段は前記入力された入力輝度信号と前記偶数フレーム分前の画像に対応する出力輝度信号とに基づいて前記ノイズ低減処理を実行し、前記フレームメモリにノイズ低減処理を実行して得られた出力輝度信号を格納させる。

Claims (8)

1. 入力された入力輝度信号に動画ノイズ低減処理を実行して、出力輝度信号として出力する動画ノイズ低減処理手段であって、前記入力輝度信号と既に出力した出力輝度信号とに基づいて前記動画ノイズ低減処理を実行する動画ノイズ低減処理手段と、
   前記動画ノイズ低減処理手段から出力された出力輝度信号を格納するフレームメモリと、
   前記動画ノイズ低減処理手段に入力される入力輝度信号が、立体視映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうちの前記入力輝度信号が示すフレームとの間に視差が存在しないフレームの出力輝度信号を、前記既に出力した出力輝度信号として動画ノイズ低減処理手段に入力する信号入力手段と、
   を具備する電子機器。
2. 前記信号入力手段は前記動画ノイズ低減処理手段に入力される入力輝度信号が２次元映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうち１フレーム前の画像の出力輝度信号を、前記既に出力した出力輝度信号として動画ノイズ低減処理手段に入力する請求項１記載の電子機器。
3. 前記信号入力手段は、前記動画ノイズ低減処理手段に入力される入力輝度信号が、左眼用画像と右眼用画像とが交互に配列されたフレームシーケンシャル方式の立体映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうちの２フレーム前の画像の出力輝度信号を、前記既に出力した出力輝度信号として動画ノイズ低減処理手段に入力する請求項１記載の電子機器。
4. 前記信号入力手段は、前記動画ノイズ低減処理手段に入力される入力輝度信号が、多視差方式の立体映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうちの、前多視差方式の立体映像に含まれる左眼用および右眼用の画素の組の倍の数のフレーム前の画像の出力輝度信号を、前記既に出力した出力輝度信号として動画ノイズ低減処理手段に入力する請求項１記載の電子機器。
5. 前記動画ノイズ低減処理手段に入力される入力輝度信号が立体視映像であるか、２次元映像であるかを判別する判別手段をされに具備し、
   前記信号入力手段は前記判別の結果に基づいて、動画ノイズ低減処理手段に信号を入力する請求項１記載の電子機器。
6. 前記動画ノイズ低減処理手段が出力した出力輝度信号に基づいて、映像を表示する表示部を更に具備する請求項１記載の電子機器。
7. 動画ノイズ低減処理手段に入力される入力輝度信号についての映像を含む放送波を受信するチューナを更に具備する請求項１記載の電子機器。
8. 動画ノイズ低減処理部に入力された入力輝度信号に動画ノイズ低減処理を実行して出力輝度信号として出力する画像処理方法であって、
   前記のノイズ低減処理部から出力された出力輝度信号をフレームメモリに格納し、
   前記動画ノイズ低減処理手段に入力される入力輝度信号が、立体視映像についての入力輝度信号であるとき、前記フレームメモリに格納された出力輝度信号のうちの前記入力輝度信号が示すフレームとの間に視差が存在しないフレームの出力輝度信号を動画ノイズ低減処理部に入力し、
   前記動画ノイズ低減処理部は前記入力輝度信号と前記前記入力輝度信号が示すフレームとの間に視差が存在しないフレームの出力輝度信号に基づいて前記動画ノイズ低減処理を実行する画像処理方法。

Images