JP2019184975A - 表示制御装置、表示制御方法及び表示制御プログラム - Google Patents

Abstract

【課題】ホールド型表示装置において、映像の歪みを発生させることなく動画解像度を改善できる表示制御装置、表示制御方法及び表示制御プログラムを提供すること。【解決手段】表示制御装置１は、映像信号における複数のフレームから被写体の動きベクトルを取得する取得部１１と、動きベクトルの大きさに応じた強調フィルタにより、映像信号の強調処理を行う信号処理部１２と、映像を表示する際に、各画素における１フレーム期間の発光強度を所定の波形で変化させる発光制御部１３と、を備え、強調フィルタは、動きベクトルの量に基づいて発光強度の波形からサンプリングされた係数からなるフィルタを離散フーリエ変換して得られる周波数特性に対して、逆特性を持つベクトルを逆離散フーリエ変換することにより得られる。【選択図】図５

Description

本発明は、ホールド型表示装置に対する映像の表示制御を行う装置、方法及びプログラムに関する。

従来、液晶ディスプレイ及び有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等のアクティブマトリックスを用いた表示装置がある。これらの表示装置は、１フレーム期間同じ映像を連続で表示しており、一般的にＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のインパルス型表示装置とは区別され、ホールド型表示装置とされる。
ホールド型表示装置では、表示されている物体が画面上を移動した場合、人がその物体を追従視するため、目の積分効果により動きぼやけが発生し、映像の動画解像度が低下してしまうことが知られている（例えば、非特許文献１参照）。

この動画解像度の低下を防ぐために、様々な手法が提案されている。例えば、フレームレートを高くすることで動画解像度を改善する手法があるが、一般的な映像信号は６０ｆｒａｍｅ／ｓｅｃであるため、前後のフレームから推測して、挿入するフレームを作り出す必要がある。このため、処理回路が大幅に増えたり、不適切な推測による画質劣化が起こったりする可能性がある。
そこで、インパルス型表示装置に近付けるため、１フレーム当たりの発光期間を短くする手法（例えば、特許文献１参照）、映像のエッジを強調することで解像感を高める手法（例えば、特許文献２参照）、ディスプレイの発光強度の波形をガウス分布波形又は三角波形等で構成し、高周波成分を持ち上げる補償処理をする手法（例えば、特許文献３及び４参照）等が提案されている。

特開２００２−２１５１１１号公報 特開平７−１９９８５６号公報 特開２００６−２４３２８３号公報 特開２０１５−１０３８５９号公報

栗田泰市郎、「ホールド型ディスプレイにおける動画表示の画質」、電子情報通信学会技術研究報告、１９９９−０６、ｐｐ．５５−６０

ホールド型表示装置では、発光素子の応答速度のみを改善しても、原理的に動きぼやけが発生し、動画解像度が低下してしまう。
このため、前述のように多様な手法が提案されているが、特許文献１のように発光期間を短くする場合、表示装置の瞬時輝度を非常に高くする必要がある。このため、有機ＥＬでは瞬時輝度が十分ではなかったり、寿命が極端に短くなったり等の問題があった。

また、ホールド型表示装置において追従視を行った場合、ある空間周波数で応答が０となり、これ以上の高い周波数では折り返し成分となるため、このような高い周波数部分では、特許文献２のようにエッジを強調しても動画解像度の改善効果は得られなかった。
さらに、特許文献３又は４のように発光強度を変化させ、周波数応答の折り返しを抑えたとしても、その後に単に空間周波数に応じて応答を持ち上げるだけでは、映像の歪み等が発生していた。

本発明は、ホールド型表示装置において、映像の歪みを発生させることなく動画解像度を改善できる表示制御装置、表示制御方法及び表示制御プログラムを提供することを目的とする。

本発明に係る表示制御装置は、映像信号における複数のフレームから被写体の動きベクトルを取得する取得部と、前記動きベクトルの大きさに応じた強調フィルタにより、映像信号の強調処理を行う信号処理部と、映像を表示する際に、各画素における１フレーム期間の発光強度を所定の波形で変化させる発光制御部と、を備え、前記強調フィルタは、前記動きベクトルの量に基づいて前記波形からサンプリングされた係数からなるフィルタを離散フーリエ変換して得られる周波数特性に対して、逆特性を持つベクトルを逆離散フーリエ変換することにより得られる。

前記発光制御部は、発光強度をゼロから単調増加、又はゼロまで単調減少させてもよい。

前記取得部は、前記フレームを分割した複数画素からなるブロック毎に、ブロックマッチングにより前記動きベクトルを取得してもよい。

本発明に係る表示制御方法は、映像信号における複数のフレームから被写体の動きベクトルを取得する取得ステップと、前記動きベクトルの大きさに応じた強調フィルタにより、映像信号の強調処理を行う信号処理ステップと、映像を表示する際に、各画素における１フレーム期間の発光強度を所定の波形で変化させる発光制御ステップと、をコンピュータが実行し、前記強調フィルタは、前記動きベクトルの量に基づいて前記波形からサンプリングされた係数からなるフィルタを離散フーリエ変換して得られる周波数特性に対して、逆特性を持つベクトルを逆離散フーリエ変換することにより得られる。

本発明に係る表示制御プログラムは、前記表示制御装置としてコンピュータを機能させるためのものである。

本発明によれば、ホールド型表示装置において、映像の歪みを発生させることなく動画解像度を改善できる。

従来のホールド型表示装置における１フレーム期間の発光波形を示す図である。 従来のホールド発光を用いた場合の、空間周波数に対する応答特性を例示する図である。 実施形態に係るホールド型表示装置における１フレーム期間の発光波形を示す図である。 実施形態に係る三角発光を用いた場合の、空間周波数に対する応答特性を例示する図である。 実施形態に係る表示制御装置の機能構成を示すブロック図である。 実施形態に係る発光制御パターンの一例を示す図である。 実施形態に係る三角発光におけるサンプリング点を例示する図である。 実施形態に係るシミュレーションに用いたテスト画像を示す図である。 実施形態に係るシミュレーションの結果を示す図である。

以下、本発明の実施形態の一例について説明する。
本実施形態に係る表示制御装置は、ホールド型表示装置に対して映像を表示する際に、所定の発光波形により発光強度（輝度）を変化させる発光制御を行う。さらに、表示制御装置は、この波形に適した高周波強調フィルタを用いた信号処理により、映像の歪みを発生させることなく動画解像度を改善する。

まず、本実施形態との比較のため、従来のホールド型表示装置の発光制御について説明する。
図１は、従来のホールド型表示装置における１フレーム期間の発光波形を示す図である。
従来のホールド型表示装置は、１フレーム期間、同じ映像を持続して表示するため、１フレーム期間の発光強度は同じである（ホールド発光）。

図２は、従来のホールド発光を用いた場合の、空間周波数に対する応答特性を例示する図である。
この例は、８ピクセル／フレームで追従視をした場合の空間周波数に対するＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）曲線を示している。

一般に、１フレーム期間同じ映像を持続して表示する従来のホールド型表示装置では、追従視した場合の空間周波数に対する応答特性は、特定の空間周波数（例えば、０．１２５サイクル／ピクセル）においてＭＴＦがゼロとなり、このヌル点より高い空間周波数では折り返しが現れる。したがって、ヌル点より高い空間周波数の領域では映像が再現されない。この結果、従来のホールド型表示装置では、エッジ強調等の信号処理を行っても、動画解像度の改善量は限定的である。

次に、本実施形態で採用する発光制御について説明する。
図３は、本実施形態に係るホールド型表示装置における１フレーム期間の発光波形を示す図である。
発光強度は、所定の波形で変化する。本実施形態では、一例として、１フレーム期間において、発光強度がゼロから所定の強度まで単純増加する三角発光を採用する。

図４は、本実施形態に係る三角発光を用いた場合の、空間周波数に対する応答特性を例示する図である。
この例は、発光強度を１フレーム内で図３のように変化させた表示装置において、８ピクセル／フレームで追従視をした場合の空間周波数に対するＭＴＦ曲線を示している。

三角発光では、空間周波数が高くなるとＭＴＦが低くなり、コントラストは低下するものの、ホールド発光（図２）の場合と異なり、周波数応答がゼロとなる空間周波数はない。このため、高い空間周波数の領域でも、映像が再現される。
したがって、図３の三角波形を用いると同時に、高周波を強調する信号処理を行うことで、広い空間周波数で映像再現が可能になることから、動画質の改善量は非常に大きくなる。

しかしながら、信号処理に通常の高周波強調フィルタ（例えば、アンシャープマスク）を用いた場合、再現される映像には、位相ずれによる映像の歪みが発生してしまう。そこで、本実施形態では、映像の歪みが発生しないように、三角発光時に生じる位相ずれも考慮した高周波強調フィルタを提供する。

図５は、本実施形態に係る表示制御装置１の機能構成を示すブロック図である。
表示制御装置１は、制御部１０及び記憶部２０の他、各種の入出力インタフェース等を備えた情報処理装置（コンピュータ）である。なお、表示制御装置１は、表示装置２の一部として実装されてもよいし、表示装置２（ディスプレイ）とのインタフェースを備えた別装置として構成されてもよい。

制御部１０は、表示制御装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。

記憶部２０は、ハードウェア群を表示制御装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるための表示制御プログラムの他、後述の強調フィルタのデータ等を記憶する。

制御部１０は、取得部１１と、信号処理部１２と、発光制御部１３とを備える。
取得部１１は、入力された映像信号における複数のフレームから被写体の動きベクトルを取得し、この動きベクトルを追従視の向き及び大きさとする。例えば、取得部１１は、第１のフレームに記録された被写体の位置と、第１のフレームに続く第２のフレームに記録された被写体の位置とに基づいて、被写体の動きベクトルを取得する。

このとき、取得部１１は、フレームを複数画素からなる複数のブロックに分割して、分割後のブロック毎に、直前のフレームとのブロックマッチングにより被写体の動きベクトルを取得してもよい。１つのブロックの大きさは、例えば、１６画素×１６画素である。
また、取得部１１は、対象となるブロックの周囲の画素情報もブロックマッチングに利用することにより動きベクトルの精度を向上させることができる。
取得部１１は、取得した動きベクトルの情報を、追従視の向き及び大きさとして、映像信号と共に信号処理部１２に送る。

信号処理部１２は、取得部１１によって取得された被写体の動きベクトルの大きさに応じて、予め定められた強調フィルタによる信号処理（強調処理）を各フレームの映像に対して行う。
信号処理部１２は、取得部１１によりフレームが分割されたブロック毎に、各ブロックの動きベクトルに応じて、強調処理を行ってもよい。

発光制御部１３は、信号処理部１２により強調処理された映像を表示装置２に表示させる。発光制御部１３は、映像を表示装置２に表示させる際に、表示装置２を構成する各画素において、１フレーム期間の発光強度を所定の波形で変化させる。
なお、本実施形態では、発光制御部１３は、１フレーム期間の発光強度をゼロから所定の強度に単調増加させることとするが、これには限られず、例えば、発光強度を所定の強度からゼロに単調減少させてもよい。

また、発光制御部１３は、１フレーム期間における発光強度を、なだらかに連続的に減少又は増加させてよいが、これには限られない。発光制御部１３は、例えば、図６に示すように段階的に発光強度を減少又は増加させてもよいし、サイン波形又はガウス波形等の曲線を描くように発光強度を増加又は減少させてもよい。これにより、人の視覚の積分効果により、強調した高周波部分がフィルタリングされ、実質的には元の映像に近い解像感が得られる。

ここで、高周波の強調処理に用いる強調フィルタの設計手法を説明する。
まず、例えば、８ピクセル／フレームで動いている映像を、三角発光を用いて表示する場合に、人の視覚で認識される空間周波数に対する応答特性は、次のようなフィルタｈを離散フーリエ変換（ＤＦＴ）することで表すことができる。
なお、フィルタ係数（１／８、３／８、・・・）は、三角発光の波形からサンプルし、それぞれの重み付けを考慮し、１／８にした値である。

図７は、本実施形態に係る三角発光におけるサンプリング点を例示する図である。
画面水平方向に８ピクセル／フレームで視点が移動すると、移動先の各画素の発光強度は、例えば、１／８、３／８、・・・のように変化する。この例では、発光強度の平均が１となる三角波形を８等分し、各区分の中間の値をサンプリングしている。サンプリング点は、これ以外にも、各区分の左端又は右端等、適宜選択されてよい。

次に、このフィルタｈの周波数特性は、離散フーリエ変換（ＤＦＴ）を用いて計算すると、次のベクトルＹで表すことができる。

このベクトルＹの逆特性を持つフィルタが、理想的な高周波強調フィルタとなることから、ベクトルＹの各要素の逆数からなる次のベクトルＸを求める。

最後に、ベクトルＸを逆離散フーリエ変換（ＩＤＦＴ）することにより、適切な高周波強調フィルタが求められる。
信号処理部１２は、この高周波強調フィルタを用いて、動きベクトルの情報により得られた動きぼやけが発生する領域に対して、動きベクトルの大きさに応じて強調処理を行う。

動き量により、最適な強調フィルタは異なるため、表示制御装置１は、動きベクトルの大きさに応じた複数の強調フィルタを用意しておく。
一般的に、動きぼやけは、４ピクセル／フレームから３０ピクセル／フレーム程度で感じられ、３０ピクセル／フレーム以上になると動体視力の影響が大きくなるため、強調処理により解像感を上げても効果が感じられ難い。よって、この範囲の間で、例えば１ピクセル／フレーム間隔で、動きベクトルの大きさに応じた強調フィルタが用意されればよい。

なお、本実施形態では、三角発光の場合を一例として説明したが、発光パターンはこれには限られない。例えば、発光制御部１３は、サイン波形又はガウス波形等を用いて、１フレーム内で輝度をゼロから所定の強度に増加、又は所定の強度からゼロに減少させてもよい。いずれの場合においても、強調フィルタは、前述の設計手法により、発光パターンの波形をサンプリングすることで適切に作成することができる。

図８に示す縞模様のテスト画像を使用し、本実施形態の強調フィルタを施したあと、８ピクセル／フレームでテスト画像が動いたときの、三角発光における動画ぼやけをシミュレーションした結果を図９に示す。

比較のため、通常の強調処理としてアンシャープマスクを使用した。アンシャープマスクでは三角発光における位相情報がないため、強調処理を行わない場合（エンハンスなし）より振幅は向上しているが、振幅中心がグラフの左に行くほど上がってしまい、映像に歪みが出てしまうことが分かる。
一方、本実施形態の提案手法では、位相情報、すなわち前述のベクトルＹ及びＸにおける虚数部分まで含めてフィルタを作成しているため、歪みは解消し、元画像に近い特性が得られている。

本実施形態によれば、表示制御装置１は、ホールド型表示装置における画素の発光強度を所定の波形により変化させることで、空間周波数の応答特性を改善し、映像の再現性を向上させた。さらに、表示制御装置１は、空間周波数の応答特性に対して、逆特性を持つ強調フィルタを用いることにより、位相情報を考慮した適切な強調処理を行える。この結果、表示制御装置１は、ホールド型表示装置において、映像の歪みを発生させることなく動画解像度を改善できる。

また、表示制御装置１は、発光強度をゼロから単調増加、又はゼロまで単調減少させる発光制御を行うことにより、空間周波数の応答特性においてヌル点の発生を防ぎ、映像の再現性を向上できる。したがって、表示制御装置１は、さらに適切な強調フィルタによる強調処理を実施することで、広範囲な空間周波数帯に対して、特に高周波の領域で映像の歪みを発生させることなく動画解像度を改善することができる。

また、表示制御装置１は、フレームを分割した複数画素からなるブロック毎に、ブロックマッチングにより動きベクトルを取得する。これにより、フレーム毎の処理負荷が低減すると共に、マッチングの信頼度が向上するため、表示制御装置１は、映像信号から精度良く動きベクトルを取得できる。この結果、表示制御装置１は、動きベクトルの大きさに応じた適切な強調フィルタを選択でき、映像の歪みを発生させることなく動画解像度を改善できる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

本実施形態では、主に表示制御装置１の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、表示装置２に映像を表示させるための方法、又はプログラムとして構成されてもよい。

さらに、表示制御装置１の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 表示制御装置
２ 表示装置
１０ 制御部
１１ 取得部
１２ 信号処理部
１３ 発光制御部
２０ 記憶部

Claims (5)

1. 映像信号における複数のフレームから被写体の動きベクトルを取得する取得部と、
   前記動きベクトルの大きさに応じた強調フィルタにより、映像信号の強調処理を行う信号処理部と、
   映像を表示する際に、各画素における１フレーム期間の発光強度を所定の波形で変化させる発光制御部と、を備え、
   前記強調フィルタは、前記動きベクトルの量に基づいて前記波形からサンプリングされた係数からなるフィルタを離散フーリエ変換して得られる周波数特性に対して、逆特性を持つベクトルを逆離散フーリエ変換することにより得られる表示制御装置。
2. 前記発光制御部は、発光強度をゼロから単調増加、又はゼロまで単調減少させる請求項１に記載の表示制御装置。
3. 前記取得部は、前記フレームを分割した複数画素からなるブロック毎に、ブロックマッチングにより前記動きベクトルを取得する請求項１又は請求項２に記載の表示制御装置。
4. 映像信号における複数のフレームから被写体の動きベクトルを取得する取得ステップと、
   前記動きベクトルの大きさに応じた強調フィルタにより、映像信号の強調処理を行う信号処理ステップと、
   映像を表示する際に、各画素における１フレーム期間の発光強度を所定の波形で変化させる発光制御ステップと、をコンピュータが実行し、
   前記強調フィルタは、前記動きベクトルの量に基づいて前記波形からサンプリングされた係数からなるフィルタを離散フーリエ変換して得られる周波数特性に対して、逆特性を持つベクトルを逆離散フーリエ変換することにより得られる表示制御方法。
5. 請求項１から請求項３のいずれかに記載の表示制御装置としてコンピュータを機能させるための表示制御プログラム。