JP2011141497A - 映像処理装置及び方法 - Google Patents

Abstract

【課題】 擬似インパルス駆動を実現して動画ボケを改善しつつ、焼付き等の品位低下を防止する。
【解決手段】 高周波画像データと１つ手前のサブフレームの低周波画像データとを第１の合成比率αで合成して得た画像データを第１サブフレームとし、低周波画像データと高周波画像データとを第２の合成比率１−αで合成して得た画像データを第２サブフレームとし、第１サブフレームの画像に対して、第２サブフレームの画像を極性を反転して出力する。ここで、第１フレーム群ではαの値をフレーム毎に逓減するように調整し、第１フレーム群より後の第２フレーム群ではαの値をフレーム毎に逓増するように調整する。
【選択図】 図２

Description

本発明は、映像処理技術に関し、特に、液晶表示装置における焼付き等の品質劣化を効果的に防止するための技術に関する。

液晶表示装置（直視型液晶表示装置、液晶プロジェクタ等）は、常に発光している光源を液晶シャッターで調光する方式で、ホールド型表示装置と呼ばれる。ホールド型表示装置は、１フレーム期間において発光するため、追従視（動画表示において、動く部分を視線で追いかける見方）を行うと、発光期間に応じた“動きぼけ”が観測される。この課題を解決する方法として例えば、擬似インパルス駆動方式がある。擬似インパルス駆動方式においては、フレーム周波数をＮ倍にしサブフレームを生成する。そして、サブフレームの１つに、“動きぼけ”に大きく寄与する空間的高周波成分を集中させ高周波強調画像として表示し、他のサブフレームは、空間的低周波成分を分配した低周波画像として表示する（例えば、特許文献１参照）。

また、一般に液晶表示デバイスは、画素電極と対向電極との間に直流電圧が長時間にわたり印加され続けると、内部にイオンの偏りが発生し、階調特性を再現できなくなるいわゆる“焼付き”が発生してしまう。このため、液晶表示デバイスでは、イオンの偏りが生じないように、サブフレーム毎に液晶に印加する映像信号電圧の極性を、共通電極（ＶＣＯＭ）電圧に対して周期的に反転するという駆動を行っている。

そのため、上記のような、擬似インパルス駆動を行うとサブフレーム間で印加する電圧が異なるため、一方の極性へ印加電圧の偏りが生じてしまい、長時間駆動時において焼付きが発生してしまう問題があった。この問題を解決する方法として、特許文献２には、極性反転駆動周期をサブフレーム単位からフレーム単位に拡張することで、印加電圧の偏りを防止する技術が開示されている。

特開２００２−３５１３８２号公報 特開２００８−０６４９１９号公報

しかしながら、特許文献２に開示された極性反転周期を拡張する方法では、極性反転周期が長くなることによりフリッカが視認されやすくなるという問題がある。

そこで、本発明は、極性反転周期を変更することなく焼付き等の品質劣化を防止しつつ擬似インパルス駆動を実現することを目的とする。

本発明の一側面は、映像信号をフレーム単位に入力し、１つのフレームにつき２つのサブフレームを生成し、出力する映像処理装置に係り、映像信号をフレーム単位に入力する入力手段と、入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの２倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成手段と、前記サブフレーム画像生成手段から出力された高周波画像データ及び低周波画像データを記憶する記憶手段と、前記サブフレーム画像生成手段から出力された高周波画像データと前記記憶手段から読み出した１つ手前のサブフレームの低周波画像データとを第１の合成比率α（０≦α≦１）で合成して得た画像データを第１サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと高周波画像データとを第２の合成比率１−αで合成して得た画像データを第２サブフレームの画像データとして生成する画像合成手段と、前記画像合成手段により生成された第１サブフレームの画像に対して、第２サブフレームの画像を極性を反転して出力する極性反転手段とを備え、前記画像合成手段は、現在のフレームが、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群にある間、前記αの値をフレーム毎に逓減するように調整し、現在のフレームが、前記第１フレーム群より後で連続するＮ個のフレームからなる第２フレーム群にある間、前記αの値をフレーム毎に逓増するように調整する調整手段とを含むことを特徴とする。

本発明によれば、擬似インパルス駆動を実現して動画ボケを改善しつつ、焼付き等の品位低下を防止することができる。

実施例における映像処理装置の構成を示すブロック図。 実施例１における映像処理方法を説明する図。 実施例１における映像処理方法を示すフローチャート。 実施例２における映像処理方法を説明する図。 実施例２における映像処理方法を示すフローチャート。 従来の液晶インパルス駆動制御装置の構成を示すブロック図。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。

（実施例１）
図１（ａ）は、液晶表示装置を駆動するための、本実施例に係る映像処理装置の構成を示すブロック図である。フレームレート変換部102には、例えばフレームレート60Hzの映像信号がフレーム単位に入力される。フレームレート変換部102は、入力した１フレームの原画像データをフレームメモリ101に格納する。フレームレート変換部102はまた、その原画像データに対して倍速処理を行い、２倍のフレームレート120Hzの周波数で、サブフレーム画像を生成する。その後、各サブフレーム画像から、サブフレーム画像生成部103で高周波画像データ（高周波強調画像）と低周波画像データを生成する。生成された高周波画像データ及び低周波画像データは、記憶手段であるフレームメモリ104に記憶される。

図２の（ａ）及び（ｂ）を参照して、上記処理を説明する。図２においては、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群を想定する。図２の（ａ）には、Ｎ＝１０としたとき、すなわち、連続する１０個のフレームからなる第１フレーム群Org(0)乃至Org(9)が示されている。なお、括弧内はフレーム番号を示すが、図中では括弧は省略して表記されている。201は第０フレームの60Hz入力画像 Org(0)であり、このOrg(0) 201に対して倍速処理を行う。202は第０フレームの120Hz 高周波強調画像H(0) 、203は０フレ―ム目の120Hz低周波画像L(0)を示す。これらは倍速処理後に図１（ａ）に示すサブフレーム画像生成部103で生成される。

ここで、従来方式では、図６に示すようにサブフレーム画像に対して、極性反転部107でサブレフ―ム毎に液晶へ印加する電圧極性を反転しているため、図２（ｂ）に示すように、極性電圧がプラスの時に高周波強調画像、マイナスの時に低周波画像が表示される。このように、サブフレーム毎に、一方の極性へ印加電圧の偏りが生じる擬似インパルス駆動を行うと、長時間駆動時に焼付きが発生してしまう。この問題の解決策の一つを図２（ｃ）に示す。211は、第１フレーム群の前半と後半の境界である表示画像順切り替えタイミングを示している。表示画像順切り替えタイミング211で、図２（ｃ）中の矢印に示すように低周波画像L4 208を繰り返して表示（挿入）し、表示画像順を１サブフレームずらす。このように表示画像順を切り替えることで極性電圧がプラスの時に低周波画像、マイナスの時に高周波強調画像を表示することになる。このような極性切り替えを繰り返すことで、印加電圧の偏りを改善することができる。

しかしながら、上記L4 208の挿入時に、１サブフレーム分表示画像がずれることにより、動画において動きの不連続が視認されるという問題がある。これに対しては、表示画像順切り替えタイミング211を、シーンチェンジやチャンネル切り替え時など、画面の切り替えが発生する所定タイミングで実施することにより、不連続に視認される問題を回避することができる。本実施例では、上記のような所定タイミングにおける表示画像順の切り替えを行わずに、連続した動画表示の中で、表示画像順の切り替えを行い、動きが不連続に視認される問題を回避する方法を説明する。

図２（ｂ）の高周波強調画像H(n)と低周波画像L(n) (n:フレーム番号) を、図２（ｄ）に示すように、サブフレームシフト比率に基づいて、現在のサブフレーム画像を１つ手前のサブフレームの画像に、フレーム毎に段階的に切り換える。１つ手前のサブフレームの画像に切り替える際は、図１（ａ）のフレームメモリ104から１サブフレーム遅延させたサブフレーム画像を読み出して、これを、現在のサブフレーム画像と、サブフレームシフト演算部105にて比率に応じて画像合成（マージ）する。上記処理を式(1)に示す。

第１サブフレーム画像 = H'(n) + L'(n)
第２サブフレーム画像 = H''(n) + L''(n)
H'(n) = H(n)＊α、 L'(n) = L(n-1)＊(1 - α)
H''(n) = H(n)＊(1 - α )、 L''(n) = L(n)＊α …式(1)
ただし、０≦α≦１、
nはフレーム番号

上式の意味するところは、次のとおりである。まず、サブフレーム画像生成部103から出力された高周波画像データH(n)と、フレームメモリ104から読み出した１つ手前のサブフレームの低周波画像データL(n-1)とを、第１の合成比率α（０≦α≦１）で合成する。この合成で得られた画像データを、第１サブフレーム画像のデータとして生成する。また、サブフレーム画像生成部103から出力された高周波画像データH(n)と低周波画像データL(n)とを、第２の合成比率１−αで合成する。この合成で得られた画像データを、第２サブフレーム画像のデータとして生成する。なお、上記の例では、第１の合成比率αを０乃至１の実数で定義したが、以下では、この第１の合成比率を「サブフレームシフト比率」ともいい、その場合、％で表す。

具体的な処理を図２（ｄ）を参照して説明する。まず、第０フレームにおいて、212はサブフレームシフト比率100%の状態を示し、213は式(1)演算後の第１サブフレームを示し、214は式(1)演算後の第２サブフレームを示す。サブフレームシフト比率100%の状態では、第１サブフレームはH(0) 202、第２サブフレームはL(0) 203となり、通常の擬似インパルス駆動と同じ状態である。

次に、第１フレームにおいて、215はサブフレームシフト比率90%の状態を示し、216、217は式(1)演算後の第１サブフレームと第２サブフレームを示す。ここで、サブフレームシフト比率90%の状態では、第１サブフレーム216はH(1) 204とL(0) 203が9:1の割合で加算された画像になり、第２サブフレーム217はL(1) 205とH(1) 204が9:1の割合で加算された画像になる。

同様に、第２フレームにおいて、218はサブフレームシフト比率80%の状態を示す。そして、第１サブフレーム219はH(2) 206とL(1) 205が4:1の割合で加算された画像になり、第２サブフレーム220はL(2) 207とH(2) 206が4:1の割合で加算された画像になる。

このように、段階的に高周波強調画像と低周波画像の割合が入れ替わる。最終的には、221に示すサブフレームシフト比率が0%の段階で、第１サブフレーム222には、L(8) 209が表示され、第２サブフレーム223にはH(9) 210が表示され、表示画像順の切り替えが完了する。

従来方式(図２の(b))ではそのまま表示していたサブフレームに、その前のサブフレームを、サブフレームシフト比率に応じてマージし、サブフレームシフト比率を段階的に遷移する。このようにすることで、動画の不連続が視認されることなく表示画像順を切り替えることが可能になり、ひいてはイオンの偏りによる焼き付きを減少できる。

このように、現在のフレームが第１フレーム群にある間は、サブフレームシフト比率、すなわち第１の合成比率αの値が、フレーム毎に逓減するように調整される。なお、サブフレームシフト比率の調整は、図１（ａ）のサブフレームシフト比率制御部106で行われ、サブフレームシフト比率の変化タイミングの制御は、制御タイミング決定部108で行われる。

上記一連の処理を、図３のフローチャートを用いて説明する。まず、S302において、第１サブフレームに高周波強調画像H(n)が、第２サブフレームに低周波画像L(n)が表示されるモードになる（以降、ドライブモード１と記載する）。ドライブモード１では、サブフレームシフト比率が所定の最大値（例えば１（100%））に固定される。S303により、上記した第１フレーム群より前のｍフレーム内（ｍは１以上の整数）において、ドライブモード１が継続される。このドライブモード１が継続される間は、高周波強調画像と低周波画像を交互に表示する擬似インパルス駆動方式となり、動きぼけの改善効果を期待できる。

次に、S304において、前記式(1)に示すサブフレームシフト比率に応じたサブフレーム画像の段階的な切り替え処理を行う。ここでサブフレームシフト比率を、100%から0%に、ある割合でフレーム毎に減少させる。図２（ｄ）では、この割合を10%にした場合の例を記載したが、必ずしも10%である必要はない。割合が少ないほど、各フレームにおけるシフト量が少なくなり動画の不連続性が軽減される。しかし、割合を少なくすると、サブフレームシフト比率を遷移させるためのフレーム数が多くなるため、擬似インパルス駆動による動きぼけの改善効果が弱まる期間が多くなるデメリットが生じる。逆に割合を多くすると、擬似インパルス駆動による動きぼけの改善効果が弱まる期間が減るが、表示画像順をずらしたことによる動画の不連続が視認されやすくなる。さらに、サブフレームシフト比率を急激に変化させると、この急激な変化が目立ち、画質の劣化として視認されてしまう。実験によれば、256フレーム (変化の割合は約0.4%) かけてサブフレームシフト比率を遷移させることで、動画の不連続が視認されず、シフト量の変化による画質の劣化も目立たないことが確認されている。

サブフレームシフト比率が所定の最低値（例えば0%）になることで（図２（ｄ）の221）、第１サブフレームに低周波画像L(n-1)が、第２サブフレームに高周波強調画像H(n)が表示される。本実施例ではその後、サブフレームシフト比率を最小値に固定するモードになる（以降、ドライブモード２と記載する）。次に、S306により、上記第１フレーム群とその後で連続するＮ個のフレームからなる第２フレーム群との間のｍフレーム（ｍは１以上の整数）だけ、ドライブモード２を継続する。このようにドライブモードを１から２に切替えることにより、すなわち、高周波強調画像と低周波画像の表示順を反転させることにより、イオンの偏りに起因する焼付きを回避する。なお、ドライブモード２が継続される間は、ドライブモード１と同様に、擬似インパルス駆動方式となり、動きぼけの改善効果が期待できる。また、第１フレーム群と第２フレーム群の間の、ドライブモード１または２が継続される期間ｍに関して、このｍが小さいとサブフレーム画像の切替え処理が短い周期で発生することになり、視聴者がこの変化に気付きやすくなる。実験によれば、このｍの期間を約1800フレーム（約30秒）の期間とすることで変化に気付き難いことが確認されている。

次に、S307において、現在のフレームが第２フレーム群に入り、式(1)に示すサブフレームシフト比率に応じたサブフレーム画像の段階的な切り替え処理を行う。ここでサブフレームシフト比率を、0%から100%に、ある割合でフレーム毎に逓増させる。サブフレームシフト比率が100%になることで、S302に戻りドライブモード１となり、ループ処理が行われる。

以上説明した本実施例によれば、サブフレームシフト比率に応じて段階的にサブフレームの表示画像順の切り替えが行われる。これにより、擬似インパルス駆動で動画ボケを改善しつつ、焼付き等の品位低下を防止することができる。

（実施例２）
図１（ｂ）は、液晶表示装置を駆動するための、実施例２に係る映像処理装置の構成を示すブロック図である。まず、フレームメモリ101に記憶されている例えば60Hzの原画像データに対してフレームレート変換部102で倍速処理を行い、120Hzのサブフレーム画像を生成する。その後、高周波強調画像生成部402で高周波強調画像データを生成し、低周波画像生成部403で低周波画像データを生成し、サブフレーム表示切り替え部404で交互にサブフレームを選択出力する。低周波画像生成部403及び高周波強調画像生成部402で生成された画像データは、記憶手段としてのフレームメモリ405に記憶されうる。

図４の（ａ）及び（ｂ）を参照して、上記処理を説明する。図４においては、図２と同様、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群を想定する。図示の例ではＮ＝１０である。501は第０フレームの60Hz入力画像 Org(0)であり、このOrg(0) 501に対して倍速処理を行う。502は第０フレームの120Hz 高周波強調画像H(0) 、503は０フレ―ム目の120Hz低周波画像L(0)を示す。これらは倍速処理後に図１（ｂ）に示す高周波強調画像生成部402と低周波画像生成部403で生成され、サブフレーム表示切り替え回路404で交互に選択出力される。図４（ｂ）によれば、上述した実施例１に係る図２（ｂ）と同様に、サブフレーム毎に一方の極性へ印加電圧の偏りが生じる擬似インパルス駆動となり、このまま表示させると長時間駆動時に焼付きが発生してしまう。

この問題の解決策の一つを図４（ｃ）に示す。504は表示画像切り替えタイミングを示し、この次のフレームにおいて、図１（ｂ）の表示切り替え制御部406からサブフレーム表示切り替え部405に対してサブフレーム生成順序を逆にするよう制御することにより表示画像順を切り替える。これにより、極性電圧がプラスの時に低周波画像、マイナスの時に高周波強調画像を表示することになり、印加電圧の偏りを改善することができる。

しかしながら、上記表示画像切り替えタイミング504において、動画において動きの不連続が視認されるという問題がある。これは、擬似インパルス駆動を行った場合、高周波強調画像に人間の視覚が追従していることに起因する。よって、高周波強調画像の表示周期が周期的な場合は、正常に動画を視認できるが、表示周期に不連続点が発生すると、視覚追従も不連続になるため、結果、動画において動きの不連続が視認されてしまう。さらに、高周波強調画像と低周波画像の生成順序を切り替えた場合、切り替え前後で動画の見え方が異なる問題も発生する。この問題は、生成順序が替わることでフレーム内における画像の重心位置が変わることに起因する。フレーム内の画像の重心位置は、あるフレーム時間nおける高周波強調画像をH(n)、低周波画像をL(n)とすると、同じフレーム時間nにおけるH(n)とL(n)の表示順で決定される。人間の視覚は、高周波強調画像に追従するため、H(n)→L(n)の順で表示された場合、前方のH(n)に画像の重心があり、逆に、L(n)→H(n)の順で表示された場合、後方のH(n)に画像の重心があるように視覚される。動画の場合において、時間重心が前にあるか後ろにあるかで高周波強調画像と低周波画像のフレーム間積分結果が異なり、残像方向が逆になるといった動画の見え方の違いが生じる。

本実施例では、サブフレーム生成順序の切り替え時に、動画において動きが不連続になる問題と、切り替え前後で動画の見え方に違いが生じる問題を回避する方法を説明する。図４（ｃ）の高周波強調画像H(n)と低周波画像L(n) (n:フレーム番号) を、図４（ｄ）に示すように、サブフレーム演算係数に基づいて、入力画像Org(n)に近づくよう段階的に変化させる（第１画像合成処理）。この演算処理は、図１（ｂ）のサブフレーム演算係数制御部401と高周波強調画像生成部402と低周波画像生成部403で行われる。上記処理を式(2)に示す。

第1サブフレーム画像 = H(n)＊β(n) + Org(n)＊(1 - β(n))
第２サブフレーム画像 = L(n)＊β(n) + Org(n)＊(1 - β(n)) … 式(2)
ただし、０≦β(n)≦１、
nはフレーム番号

上式の意味するところは、次のとおりである。まず、高周波強調画像生成部402は、高周波画像データH(n)と現在のフレームの原画像データOrg(n)とを第１の合成係数β(n)（０≦β(n)≦１）を用いて合成する。この合成で得られた画像データを、第１サブフレームの画像データとして生成する。また、低周波画像生成部403は、低周波画像データL(n)と、現在のフレームの原画像データOrg(n)とを第１の合成係数β(n)を用いて合成する。この合成で得られた画像データを、第２サブフレームの画像データとして生成する。なお、上記の例では、第１の合成比率β(n)を０乃至１の実数で定義したが、以下では、この第１の合成比率を「サブフレーム演算係数」ともいい、その場合、％で表す。

具体的な処理を図４（ｄ）を参照して説明する。まず、第０フレームにおいて、505はサブフレーム演算係数100%の状態を示し、506は式(2)演算後の第１サブフレームを示し、507は式(2)演算後の第２サブフレームを示す。サブフレーム演算係数100%の状態では、第１サブフレームはH(0) 508、第2サブフレームはL(0) 509となり、通常の擬似インパルス駆動と同じ状態である。

次に、第１フレームにおいて、510はサブフレーム演算係数75%の状態を示し、511、512は式(2)演算後の第１サブフレームと第２サブフレームを示す。ここで、サブフレーム演算係数75%の状態では、第１サブフレーム511はH(1) 513とOrg(1) 515が3:1の割合で加算された画像になる。また、第２サブフレーム512はL(1) 514とOrg(1) 515が3:1の割合で加算された画像になる。

同様に、第２フレームにおいて、516はサブフレーム演算係数50%の状態を示す。そして、第１サブフレーム517はH(2) 519とOrg(2) 521が1:1の割合で加算された画像になり、第２サブフレーム518はL(2) 520とOrg(2) 521が1:1の割合で加算された画像になる。

最終的には、522に示すようにサブレフ―ム演算係数が0％の段階で、第１サブフレーム523には、Org(4) 525が表示され、第２サブフレーム524にもOrg(4) 525が表示される。このように、現在のフレームが第１フレーム群の前半にある間は、サブレフ―ム演算係数、すなわち第１の合成比率βの値が、フレーム毎に逓減するように調整される。こうして、段階的に高周波強調画像と低周波画像が入力画像に入れ替わる。

次に、第１フレーム群の前半と後半との境界を示す表示画像切り替えタイミング504において、第１サブフレームと第２サブフレームの生成順序の入れ替えを行う。各サブフレームは同時刻フレームの原画像に置き換わっているため、高周波強調画像に人間の視覚が追従することに起因する動きの不連続は起こらない。なお本実施例では、サブフレーム演算係数を0％、すなわち、各サブフレームを入力画像に置き換えてから生成順序の入れ替えを行っているが、必ずしも上記演算係数は0％である必要はない。人間の視覚追従が行われなくなる程度に高周波強調画像を弱める低めの係数値でもよい。

表示画像切り替え後、第１サブフレームを低周波画像へと、また、第２サブフレームを高周波強調画像へと、サブフレーム演算係数に基づいて段階的に変換していく。同時に、現在の低周波画像を１フレーム前の低周波画像へと、サブフレームシフト比率α（第２の合成比率α）に基づいて段階的に変換していく。なお、サブフレーム演算係数に基づいた段階的な変換は、図１（ｂ）のサブフレーム演算係数制御部401と高周波強調画像生成部402と低周波画像生成部403で行われる。また、１フレーム前の低周波画像に切り替える際は、以下に説明するように、図１（ｂ）のフレームメモリ405にて１サブフレーム遅延させた低周波中間画像と、現在の低周波画像を、サブフレームシフト演算部105にて比率に応じてマージする（第２画像合成処理）。上記処理を式(3)に示す。

第１サブフレーム画像 = (L(n)＊β(n) + Org(n)＊(1 - β(n)))＊α
+ (L(n-1)＊β(n-1) + Org(n-1)＊(1 - β(n-1)))＊(1-α)
第２サブフレーム画像 = H(n)＊β(n) + Org(n)＊(1 - β(n)) … 式(3)
ただし、αはサブフレームシフト比率（０≦α≦１）、
βはサブフレーム演算係数（０≦β≦１）、
nはフレーム番号

上式の意味するところは、次のとおりである。まず、低周波画像生成部403は、低周波画像データL(n)と現在のフレームの原画像データOrg(n)とを第１の合成比率（サブフレーム演算係数）β(n)を用いて合成する。これは式(3)において、L(n)＊β(n) + Org(n)＊(1 - β(n))で表される。この合成により得られた画像データは、第１中間画像データとしてフレームメモリ405に格納される。次に、フレームメモリ405から１フレーム過去の第１中間画像データを第２中間画像データとして読み出す。この第２中間画像データは式(3)においてL(n-1)＊β(n-1) + Org(n-1)＊(1 - β(n-1))と表される。その後、現在のフレーム第１中間画像データと、読み出した第２中間画像データとを第２の合成比率（サブフレームシフト比率）αを用いて合成して得た画像データを第１サブフレームの画像データとして生成する。更に、高周波強調画像生成部402から出力された高周波画像データH(n)と現在のフレームの原画像データOrg(n)とを第１の合成比率β(n)で合成して得た画像データを第２サブフレームの画像データとして生成する。

具体的な処理を図４（ｄ）を参照して説明する。まず、第１フレーム群の後半の、第６フレームにおいて、526はサブフレーム演算係数25%の状態を示し、527はサブフレームシフト比率80%の状態を示す。また、528は式(3)演算後の第１サブフレームを示し、529は式(3)演算後の第２サブフレームを示す。

第１サブフレーム528は以下のように生成される。まず、サブフレーム演算係数25%に基づき、L(6) 531とOrg(6) 534を3:1の割合で加算し、L(5) 530とOrg(5) 533を3:1の割合で加算する。そして、前記各々の演算結果をサブフレームシフト比率80%に基づき、4:1の割合で加算した画像を第１サブフレームとして生成する。同様に第２サブフレームは、サブフレーム演算係数25%に基づき、H(6) 532とOrg(6) 534を3:1の割合で加算した画像となる。

次に、第７フレームにおいて、535はサブフレーム演算係数50%の状態を示し、536はサブフレームシフト比率40%の状態を示す。第１サブフレーム537は以下のように生成される。まず、サブフレーム演算係数50%に基づき、L(7) 539とOrg(7) 541を1:1の割合で加算し、L(6) 531とOrg(6) 534を同様に1:1の割合で加算する。そして、前記各々の演算結果をサブフレームシフト比率40%に基づき、2:3の割合で加算した画像を第１サブフレームとして生成する。同様に第２サブフレーム538は、サブフレーム演算係数50%に基づき、H(7) 540とOrg(7) 541を3:1の割合で加算した画像となる。最終的に542のサブフレーム演算係数100%、543のサブフレームシフト係数0%の状態において、第１サブフレーム544は、1フレーム前の低周波画像L(8) 546となり、第２サブフレーム545は高周波強調画像H(9) 547となる。

上記のように、第１サブフレームは、サブフレーム演算係数の増加に伴い低周波画像に遷移しつつ、１フレーム前の低周波画像に置き換わる。第２サブフレームは、サブフレーム演算係数の増加に伴い高周波強調画像に遷移する。このように、サブフレーム生成順の切り替え後に、低周波画像を１フレーム前の低周波画像に置き換えることにより、同時刻フレームにおける高周波強調画像と低周波画像の並びを、切り替え前後で等しくすることができる。これにより、残像方向が逆になるといった動画の見え方の違いを無くすことが可能となる。

上記一連の処理方法を図５のフローチャートを用いて説明する。まず、S602において、第１サブフレームに高周波強調画像H(n)が、第２サブフレームに低周波画像L(n)が表示されるモードになる（以降、ドライブモード１と記載する）。ドライブモード１では、サブフレーム演算係数βの値が所定の最大値（例えば100%）に固定される。次に、S603により、上記した第１フレーム群より前の一定のフレーム数ｍだけ、ドライブモード１が継続される。このドライブモード１が継続される間は、高周波強調画像と低周波画像を交互に表示する擬似インパルス駆動方式となり、動きぼけの改善効果を期待できる。

次に、S604において、前記式(2)に示すように、サブフレーム演算係数βに応じて、第１サブフレームの高周波強調画像と、第２サブフレームの低周波画像を段階的に原画像に近づけていく。ここでは、サブフレーム演算係数βを、100%から0%にある割合でフレーム毎に減少させる。サブフレーム演算係数βが0%に遷移後、S605で、第１フレーム群の後半開始位置である第６フレームにおいてサブフレーム生成順序の切り替えを行う。これは第５フレームと同じくサブフレーム演算係数βを0%、サブフレームシフト比率αを100%にしたまま上記式(3)を演算することで実現される。

次に、S606において、上記式(3)に示すように、サブフレーム演算係数βに応じて、第１サブフレームの入力画像を低周波画像に、第２サブフレームの入力画像を高周波強調画像に段階的に切り替える。同時に、サブフレームシフト比率αに応じて、第１サブフレームの低周波画像を１フレーム前の低周波画像に段階的に切り替える。ここでは、サブフレーム演算係数βを0%から100%に、ある割合でフレーム毎に増加させ、サブフレームシフト比率αを100%から0%に、ある割合でフレーム毎に減少させる。

次に、サブフレーム演算係数βが100%、サブフレームシフト係数αが0%になることで（図４（ｄ）の542、543）、S607において、第１サブフレームに低周波画像L(n-1)が、第２サブフレームに高周波強調画像H(n)が表示される。本実施例ではその後、βの値を100%に固定するとともに、αの値を0%に固定するモードになる（以降、ドライブモード２と記載する）。S608により、第１フレーム群とその後で連続するＮ個のフレームからなる第２フレーム群との間の一定のフレーム数ｍだけ、ドライブモード２を継続する。このようにドライブモードを１から２に切替えることにより、すなわち、高周波強調画像と低周波画像の表示順を反転させることにより、イオンの偏りに起因する焼付きを回避する。なお、ドライブモード２が継続される間は、ドライブモード１と同様に、擬似インパルス駆動方式となり、動きぼけの改善効果が期待できる。また、第１フレーム群と第２フレーム群の間の、ドライブモード１または２が継続される期間ｍに関して、このｍが小さいとサブフレーム画像の切替え処理が短い周期で発生することになり、視聴者がこの変化に気付きやすくなる。実験によれば、このｍの期間を約1800フレーム（約30秒）の期間とすることで変化に気付き難いことが確認されている。

次に、S609において、現在のフレームが第２フレーム群に入り、式(3)に示すように、サブフレーム演算係数βに応じて、第１サブフレームの低周波画像と第２サブフレームの高周波強調画像を、入力画像に段階的に切り替える。同時に、サブフレームシフト比率αに応じて、第１サブフレームの低周波画像を元のフレームの低周波画像に段階的に切り替える。ここでは、サブフレーム演算係数βを100%から0%に、ある割合でフレーム毎に逓減させ、サブフレームシフト比率αを0%から100%に、ある割合でフレーム毎に逓増させる。サブフレーム演算係数βが0%に遷移後、S610においてサブフレーム生成順序の切り替えを行う。

次に、S611において、式(2)に示すように、サブフレーム演算係数に応じて、各サブフレームにおける入力画像を、第１サブフレームを高周波強調画像に、第２サブフレームの低周波画像に段階的に切り替える。ここでは、サブフレーム演算係数βを、0%から100%にある割合でフレーム毎に逓増させる。ここでサブフレーム演算係数βが100%になることで、S602に戻りドライブモード１となり、ループ処理が行われる。

上述の例では、サブフレーム演算係数βとサブフレームシフト比率αの変化の割合として、図４（ｄ）では、所定の割合で変化させているが、必ずしも図に示す値である必要はない。サブフレーム演算係数に関しては、変化の割合が少ないと、係数の遷移に必要となるフレーム数が増えて、擬似インパルス駆動による動きぼけの改善効果が弱まる期間が多くなるデメリットが生じる。逆に変化の割合が多いと、動きボケ改善効果が弱まる期間が少なくなるが、サブフレーム演算の急激な変化が目立ち、画質の劣化として視認されてしまう。実験によれば、128フレーム（変化の割合は約0.8%）かけてサブフレーム演算係数を遷移（100%から0%、または0%から100%）させることで、係数の変化による画質の劣化が目立たないことが確認されている。

また、サブレフ―ムシフト比率に関しては、変化の割合が少ないと、高周波強調画像と低周波画像の並びを元に戻すのに時間がかかり、変化の割合が多いと、急激な変化が目立ち、画質の劣化として視認されてしまう。実験によれば、64フレーム(変化の割合は約1.6%)かけてサブフレームシフト比率を遷移(100%から0%、または0%から100%)させることで、比率の変化による画質の劣化が目立たないことが確認されている。

以上より、本実施例によれば、高周波強調画像を弱めてサブフレーム生成順序の切り替えが行われ、低周波画像を切り替えて画像の重心位置が調整される。これにより、擬似インパルス駆動で動画ボケを改善しつつ、焼き付き等の品位低下を防止することができる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 映像信号をフレーム単位に入力し、１つのフレームにつき２つのサブフレームを生成し、出力する映像処理装置であって、
   映像信号をフレーム単位に入力する入力手段と、
   入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの２倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成手段と、
   前記サブフレーム画像生成手段から出力された高周波画像データ及び低周波画像データを記憶する記憶手段と、
   前記サブフレーム画像生成手段から出力された高周波画像データと前記記憶手段から読み出した１つ手前のサブフレームの低周波画像データとを第１の合成比率α（０≦α≦１）で合成して得た画像データを第１サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと高周波画像データとを第２の合成比率１−αで合成して得た画像データを第２サブフレームの画像データとして生成する画像合成手段と、
   前記画像合成手段により生成された第１サブフレームの画像に対して、第２サブフレームの画像を極性を反転して出力する極性反転手段と、
   を備え、
   前記画像合成手段は、
   現在のフレームが、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群にある間、前記αの値をフレーム毎に逓減するように調整し、
   現在のフレームが、前記第１フレーム群より後で連続するＮ個のフレームからなる第２フレーム群にある間、前記αの値をフレーム毎に逓増するように調整する調整手段と、
   を含むことを特徴とする映像処理装置。
2. 前記画像合成手段は、更に、
   現在のフレームが、前記第１フレーム群より前のｍフレーム（ｍは１以上の整数）内にある間、前記αの値を所定の最大値に固定し、
   現在のフレームが、前記第１フレーム群と前記第２フレーム群との間のｍフレーム内にある間、前記αの値を所定の最小値に固定する
   ことを特徴とする請求項１に記載の映像処理装置。
3. 映像信号をフレーム単位に入力し、１つのフレームにつき２つのサブフレームを生成し、出力する映像処理装置であって、
   映像信号をフレーム単位に入力する入力手段と、
   入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの２倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成手段と、
   前記サブフレーム画像生成手段で生成された画像データを記憶する記憶手段と、
   現在のフレームが、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群の前半又は前記第１フレーム群より後で連続するＮ個のフレームからなる第２フレーム群の後半にある場合、前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを第１の合成比率β（０≦β≦１）で合成して得た画像データを第１サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを前記第１の合成比率βで合成して得た画像データを第２サブフレームの画像データとして生成する第１画像合成手段と、
   現在のフレームが、前記第１フレーム群の後半又は前記第２フレーム群の前半にある場合、
   前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを第１の合成比率βを用いて合成して得た画像データを第１中間画像データとして前記記憶手段に格納し、
   現在のフレームの前記第１中間画像データと前記記憶手段から読み出した１フレーム過去の第１中間画像データである第２中間画像データとを第２の合成比率α（０≦α≦１）を用いて合成して得た画像データを第１サブフレームの画像データとして生成するとともに、
   前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを前記第１の合成比率βを用いて合成して得た画像データを第２サブフレームの画像データとして生成する第２画像合成手段と、
   前記第１及び第２画像合成手段により生成された第１サブフレームの画像に対して、第２サブフレームの画像を極性を反転して出力する極性反転手段と、
   を備え、
   前記第１画像合成手段は、
   現在のフレームが前記第１フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整し、
   現在のフレームが前記第２フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整し、
   前記第２画像合成手段は、
   現在のフレームが前記第１フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整するとともに、前記αの値をフレーム毎に逓減するように調整し、
   現在のフレームが前記第２フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整するとともに、前記αの値をフレーム毎に逓増するように調整する
   ことを特徴とする映像処理装置。
4. 前記第１画像合成手段は、更に、
   現在のフレームが、前記第１フレーム群より前のｍフレーム（ｍは１以上の整数）内にある間、前記βの値を所定の最大値に固定し、
   前記第２画像合成手段は、更に、
   現在のフレームが、前記第１フレーム群と前記第２フレーム群との間のｍフレーム内にある間、前記βの値を所定の最大値に固定するとともに、前記αの値を所定の最小値に固定する
   ことを特徴とする請求項３に記載の映像処理装置。
5. 映像信号をフレーム単位に入力し、１つのフレームにつき２つのサブフレームを生成し、出力する映像処理装置によって実行される映像処理方法であって、
   入力手段が、映像信号をフレーム単位に入力する入力ステップと、
   サブフレーム画像生成手段が、入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの２倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成ステップと、
   記憶手段が、前記サブフレーム画像生成手段から出力された高周波画像データ及び低周波画像データを記憶する記憶ステップと、
   画像合成手段が、前記サブフレーム画像生成手段から出力された高周波画像データと前記記憶手段から読み出した１つ手前のサブフレームの低周波画像データとを第１の合成比率α（０≦α≦１）で合成して得た画像データを第１サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと高周波画像データとを第２の合成比率１−αで合成して得た画像データを第２サブフレームの画像データとして生成する画像合成ステップと、
   極性反転手段が、前記画像合成手段により生成された第１サブフレームの画像に対して、第２サブフレームの画像を極性を反転して出力する極性反転ステップと、
   を有し、
   前記画像合成ステップは、
   現在のフレームが、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群にある間、前記αの値をフレーム毎に逓減するように調整するステップと、
   現在のフレームが、前記第１フレーム群より後で連続するＮ個のフレームからなる第２フレーム群にある間、前記αの値をフレーム毎に逓増するように調整するステップと、
   を含むことを特徴とする映像処理方法。
6. 映像信号をフレーム単位に入力し、１つのフレームにつき２つのサブフレームを生成し、出力する映像処理装置によって実行される映像処理方法であって、
   入力手段が、映像信号をフレーム単位に入力する入力ステップと、
   サブフレーム画像生成手段が、入力したフレームの原画像データから、高周波画像データと低周波画像データとを生成し、前記入力手段の入力するフレームレートの２倍の周波数で、前記生成した高周波画像データと低周波画像データとを交互に出力するサブフレーム画像生成ステップと、
   記憶手段が、前記サブフレーム画像生成手段から出力された低周波画像データを記憶する記憶ステップと、
   第１画像合成手段が、現在のフレームが、連続するＮ個（Ｎは２以上の整数）のフレームからなる第１フレーム群の前半又は前記第１フレーム群より後で連続するＮ個のフレームからなる第２フレーム群の後半にある場合、前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを第１の合成比率β（０≦β≦１）で合成して得た画像データを第１サブフレームの画像データとして生成するとともに、前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを前記第１の合成比率βで合成して得た画像データを第２サブフレームの画像データとして生成する第１画像合成ステップと、
   第２画像合成手段が、
   現在のフレームが、前記第１フレーム群の後半又は前記第２フレーム群の前半にある場合、
   前記サブフレーム画像生成手段から出力された低周波画像データと現在のフレームの原画像データとを第１の合成比率βを用いて合成して得た画像データを第１中間画像データとして前記記憶手段に格納し、
   現在のフレームの前記第１中間画像データと前記記憶手段から読み出した１フレーム過去の第１中間画像データである第２中間画像データとを第２の合成比率α（０≦α≦１）を用いて合成して得た画像データを第１サブフレームの画像データとして生成するとともに、
   前記サブフレーム画像生成手段から出力された高周波画像データと現在のフレームの原画像データとを前記第１の合成比率βを用いて合成して得た画像データを第２サブフレームの画像データとして生成する第２画像合成ステップと、
   極性反転手段が、前記第１及び第２画像合成手段により生成された第１サブフレームの画像に対して、第２サブフレームの画像を極性を反転して出力する極性反転ステップと、
   を有し、
   前記第１画像合成ステップは、
   現在のフレームが前記第１フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整するステップと、
   現在のフレームが前記第２フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整するステップと、
   を含み、
   前記第２画像合成ステップは、
   現在のフレームが前記第１フレーム群の後半にある間、前記βの値をフレーム毎に逓増するように調整するとともに、前記αの値をフレーム毎に逓減するように調整するステップと、
   現在のフレームが前記第２フレーム群の前半にある間、前記βの値をフレーム毎に逓減するように調整するとともに、前記αの値をフレーム毎に逓増するように調整するステップと、
   を含むことを特徴とする映像処理方法。
7. コンピュータを請求項１乃至４のいずれか１項に記載の映像処理装置が有する各手段として機能させるためのプログラム。

Images