JP2011033707A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 眼の視覚特性を考慮した最適な画像表示を可能にする。
【解決手段】 フレーム毎の画像を入力し、入力された画像の視聴時間に基づいて変化する変数を算出し、算出された変数に基づいて前記分配比率を決定し、決定された分配比率を用いて前記画像を複数のサブフレームに分配し、分配された複数のサブフレームを出力する。
【選択図】 図１

Description

本発明は、動画像のフリッカを適切に制御するための画像処理技術に関する。

動画像を表示する際に発生するフリッカを軽減する技術として、画像を空間的な周波数成分に分離し、表示フレームレートを変換する技術（以下、空間周波数分離方式）が知られている。

空間周波数分離方式は、まず入力された画像に対してフレーム毎にフィルタ処理を行い、動きぼけに大きく関与する空間的な低周波成分（以下、空間低周波成分）と、フリッカに大きく関与する空間的な高周波成分（以下、空間高周波成分）に分離する。そして、前記空間高周波成分を第１のサブフレーム（元のフレームに対応する２つの倍速フレームの一方）に集中させ、空間低周波成分を第１のサブフレーム及び第２のサブフレーム（元のフレームに対応する２つの倍速フレームの両方）に分配して表示する。

特開平６−７０２８８号公報 特開２００２−３５１３８２号公報 ＵＳ２００６／０２２７２４９Ａ１

従来の空間周波数分離方式では、空間低周波成分が２つのサブフレームに分散して表示されることにより、フリッカの発生を軽減している。しかし、第１のサブフレームと第２のサブフレームで表示される画像が互いの時間差を正しく反映していないため、動きぼけが発生していた。

一方で、ディスプレイの種類に限らず、映像を視聴し続けると眼が疲労してくる。このときの疲労要因は視聴時間の長さが寄与するが、視聴時間以外にも画像の輝度、動き量の大きさなどが考えられ、視聴時間は長く、画面の輝度は高く、動き量は大きくなるほど疲労度は大きくなる。また、眼が疲労すると、臨界フリッカ周波数（ＣＦＦ）が低下することが視覚特性として知られている。つまり、眼がある一定の疲労度に達すると、フリッカを感じにくくなる。

本発明は係る問題に艦みなされたものであり、眼の視覚特性を考慮した最適な画像表示を可能にすることを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、フレーム毎の画像を入力する入力手段と、前記入力手段に入力された画像の視聴時間に基づいて変化する変数を算出する手段と、前記算出手段によって算出された変数に基づいて前記分配比率を決定する決定手段と、前記決定手段によって決定された分配比率を用いて前記画像を複数のサブフレームに分配する分配手段と、前記分配手段によって分配された複数のサブフレームを出力する出力手段とを備える。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、フレーム毎の画像を入力する入力手段と、前記入力手段に入力された画像の視聴時間に基づいて変化する変数を算出する算出手段と、前記算出手段によって算出された変数に基づいて表示デューティ比を決定する決定手段と、前記決定手段によって決定された表示デューティ比で前記画像を出力する出力手段とを備える。

上記目的を達成するための一手段として、本発明の画像処理装置の制御方法は以下の構成を備える。すなわち、フレーム毎の画像を入力する入力工程と、前記入力工程によって入力された画像の視聴時間に基づいて変化する変数を算出する算出工程と、前記算出工程によって算出された変数に基づいて前記分配比率を決定する決定工程と、前記決定工程によって決定された分配比率を用いて前記画像を複数のサブフレームに分配する分配工程と、前記分配工程によって分配された複数のサブフレームを出力する出力工程とを備える。

上記目的を達成するための一手段として、本発明の画像処理装置の制御方法は以下の構成を備える。すなわち、フレーム毎の画像を入力する入力工程と、前記入力工程に入力された画像の視聴時間に基づいて変化する変数を算出する算出工程と、前記算出工程によって算出された変数に基づいて表示デューティ比を決定する決定工程と、前記決定工程によって決定された表示デューティ比で前記画像を出力する出力工程とを備える。

以上の構成からなる本発明によれば、眼の視覚特性を考慮した最適な画像表示が可能になる。

第１の実施形態における画像処理装置のブロック構成図 第１の実施形態における処理のフローチャート 疲労度と時間の関係を示した図 （ａ） 空間周波数分離方式におけるサブフレームの一構成例、（ｂ） 空間周波数分離方式におけるサブフレームの一構成例 分配比率と変数との関係を示した図 第２の実施形態における画像処理装置のブロック構成図 （ａ） 表示デューティ比を変更したディスプレイの発光時間の一例、（ｂ） 表示デューティ比を変更したディスプレイの発光時間の一例 表示デューティ比とフリッカ並びに動きボケとの関係を示した図 表示デューティ比と変数との関係を示した図 第３の実施形態におけるユーザインタフェースを示す図 本発明の各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアを構成例を示すブロック図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態では、画像を視聴しているユーザの疲労度を示す変数に基づいて、第２のサブフレームの空間低周波成分を第１のサブフレームに分配することにより、フリッカと動きボケの調整を行う。

図１は第１の実施形態における画像処理装置を示す概念ブロック図である。
図１の画像処理装置１０１は、画像入力端子１、現時刻入力端子２、フレームメモリ３、疲労要因検出部４、変数算出部５、分配比率決定部６、分配処理部７、出力部８を備える。さらに疲労要因検出部４は、平均輝度算出部４０１、動き量算出部４０２、視聴時間検出部４０３から構成される。図１において、入力端子１より入力された画像は、フレームメモリ３、平均輝度算出部４０１、動き量算出部４０２、分配処理部７に供給される。現時刻入力端子２から入力された現時刻を示す情報は、視聴時間検出部４０３へ供給される。フレームメモリ３は、入力画像を１フレーム分遅延させ、その遅延した画像を動き量算出部４０２、分配処理部７に出力する。平均輝度算出部４０１は、入力されたフレーム画像の輝度値の１画素当たりの平均値を算出し、変数算出部５へ出力する。動き量算出部４０２は、２フレーム間の差分絶対値を画素ごとに算出し、さらにその平均値を変数算出部５に出力する。視聴時間検出部４０３では、画像処理装置１０１によって表示された画像の視聴開始時間から現在の時間までの時間（視聴時間）を算出して、変数算出部５に出力する。変数算出部５では、入力される疲労要因である平均輝度、動き量、視聴時間をそれぞれ０から１に正規化する。更に、それぞれの疲労要因において、重み付けを行い、疲労度を示した変数を算出して、分配比率決定部６に出力する。分配比率決定部６では、変数に基づいて、空間周波数分離方式における第２のサブフレームの空間低周波成分をどの程度第１のサブフレームに分配するのかを決定して、分配処理部７に出力する。分配処理部７では、分配比率に基づいて、実際の空間周波数分離方式による処理を行い、２とのサブフレームを生成する。出力部８では、倍速変換された２つのサブフレームの出力を行う。

図２に、本実施形態における処理手順を示す。
ステップＳ１において、フレームメモリ３、疲労要因検出部４、分配処理部７に画像がフレーム毎に入力される。ステップＳ２において、平均輝度算出部４０１は、入力された１フレーム内における１画素当たりの平均輝度を算出する。１フレームの画素数をｋ、各画素の輝度値をＬ［ｉ］としたとき、平均輝度ＡＬは以下式１にて算出される。

次に、平均輝度算出部４０１は、平均輝度ＡＬを０から１の範囲で正規化を行う。画素のビット深度を８ビットとした場合、平均輝度ＡＬの最大値は２５５となるため、正規化されたＡＬであるＡＬ＿ｎｏｒは、以下式２にて算出される。
ＡＬ＿ｎｏｒ＝ＡＬ／２５５ （式２）
更にステップＳ２においては、動き量算出部４０２は、入力された現フレームの画像と、フレームメモリ３によって遅延されて入力された前フレームの画像との画素値の差分絶対値を算出する。前フレームの画素値をＰ［ｉ］、後フレームの画素値をＮ［ｉ］としたとき、各画素の動き量Ｍ［ｉ］は以下式３にて算出される。
Ｍ［ｉ］＝｜Ｐ［ｉ］−Ｎ［ｉ］｜ （式３）
次に、動き量算出部４０２は、式３で算出された各画素の動き量Ｍ［ｉ］から、フレーム全体の動き量ＡＭを以下式４にて算出する。

次に、動き量算出部４０２は、動き量ＡＭを０から１の範囲で正規化を行う。画素のビット深度を８ビットとした場合、動き量ＡＭの最大値は２５５となるため、正規化された動き量ＡＭであるＡＭ＿ｎｏｒは、下記式５にて算出される。
ＡＭ＿ｎｏｒ＝ＡＭ／２５５ （式５）
ステップＳ２において、視聴時間検出部４０３は、入力された現時刻を示す情報を基に、ある一定の時間チャンネルが変わらなければユーザが連続して画像を視聴しているとみなし、視聴時間Ｔを算出する。

視聴開始時間をＴＳ（分）、現在の時間をＴＣ（分）としたとき、視聴時間Ｔは以下式６にて算出される。
Ｔ＝ＴＣ−ＴＳ （式６）
次に、視聴時間検出部４０３は、視聴時間Ｔを０から１の範囲で正規化を行う。一般的に、眼の疲労に関しては、９０分までは時間に比例して増加方向に変化し、９０分を超えると疲労は一旦飽和した状態になる。そこで図３に示すように、９０分での疲労度を最大値として、そこからは疲労度は一定であると仮定する。この仮定の元に正規化を行うと、正規化されたＴであるＴ＿ｎｏｒは、以下式７にて算出される。
Ｔ＿ｎｏｒ＝Ｔ／９０ （ｉｆ Ｔ＜＝９０）
＝１ （ｉｆ Ｔ＞９０） （式７）
ステップＳ３において、変数算出部５は、ステップＳ２において算出された疲労要因に重みをつけて変数を算出する。ここで、平均輝度の重みをｗ＿ｌ、動き量の重みをｗ＿ｍ、視聴時間の重みをｗ＿ｔとすると、変数ＴＩは、以下式８で与えられる。ただし、ｗ＿ｌ＞＝０、ｗ＿ｍ＞＝０、ｗ＿ｔ＞＝０、ｗ＿ｌ＋ｗ＿ｍ＋ｗ＿ｔ＝１であるものとする。
ＴＩ＝ｗ＿ｌ＊ＡＬ＿ｎｏｒ＋ｗ＿ｍ＊ＡＭ＿ｎｏｒ＋ｗ＿ｔ＊Ｔ＿ｎｏｒ （式８）
このとき、０＜＝ＴＩ＜＝１となる。また、各重みは視聴環境等に応じて適宜、経験的に決定可能である。

なお、ステップＳ２及びステップＳ３において、疲労要因として画像の平均輝度、動き量、視聴時間を算出し、変数を算出したが、このいづれかもしくは複数の組合せで変数を算出してもよい。

特に、ユーザが画像を視聴している視聴時間がもっとも目の疲労要因に寄与するので、上述した変数は視聴時間によってのみ算出してもよい。この場合、変数算出部５は、視聴時間に特定の重みを乗算することにより、変数ＴＩを算出する。

ステップＳ４において、分配比率決定部６は、変数ＴＩを基に空間周波数分離方式における分配比率を決定する。図４は空間周波数分離方式において、空間高周波成分と空間低周波成分の分配例を示している。図４（ａ）に、空間高周波成分が強調された第１のサブフレームと空間低周波成分で構成される第２のサブフレームを示す。また、図４（ａ）は、第２のサブフレーム５０２における空間低周波成分が、第１のサブフレーム５０１に分配されていない状態である。この場合、フリッカは低減されるが、動きぼけが大きくなる。これに対して図４（ｂ）は、第２のサブフレーム５０２における空間低周波成分が、全て第１サブフレームに分配されている状態である。この場合、フリッカは大きいが、動きぼけは減少する。つまり、図４（ａ）の第２のサブフレーム５０２における空間低周波成分を第１のサブフレーム５０１に分配する量に比例して、フリッカは増加して、動きぼけは減少する。

しかしながら、眼には疲労するとフリッカを知覚しにくくなるといった視覚特性あり、眼の疲労度が大きい場合はフリッカを感じにくい。そのため、眼の疲労度が大きい場合は、図４（ｂ）の状態においてもフリッカは感じにくくなるため、目の疲労度が大きいユーザにとっては、動きぼけもフリッカも低減できる状態になる。

図５は、本実施形態における変数と、第２のサブフレームにおける空間低周波成分を第１のサブフレームに分配する量Ｄ（Ｄは０から１の範囲内である）の関係を示している。分配比率決定部６は、変数ＴＩが１のときに、第２のサブフレームの全ての空間低周波成分を第１のサブフレームに分配し、逆に変数ＴＩが０のときは、第１のサブフレームに第２のサブフレームの空間低周波成分をまったく分配しないこと示す比率を算出し、分配処理部７に出力する。

ステップＳ５において、分配処理部７は、入力された画像を分配比率決定部６において算出された分配量Ｄを基に、第１のサブフレーム（ＳＦ１）と第２のサブフレーム（ＳＦ２）を生成する。なお、第１のサブフレームと第２のサブフレームの生成方法は公知技術であるので説明を省略する。
ステップＳ６において、出力部８は、以下式９に示すように、分配処理部７において生成される第１のサブフレーム（ＳＦ１）、第２のサブフレーム（ＳＦ２）を順に出力する。
ＳＦ１＝Ｈ＋Ｌ＋Ｌ^＊Ｄ
ＳＦ２＝Ｌ^＊（１−Ｄ） （式９）
このように、本実施形態では、疲労要因として画像の平均輝度、動き量、視聴時間を用いて変数を算出し、それを基に空間周波数分離方式における分配率を決定することにより、眼の視覚特性を考慮した最適な画像表示が可能になる。

また本実施例は、空間周波数分離方式を用いて説明したが、元の画像を第１のサブフレームと第２のサブフレームに分配するような手法であれば、他の方法を用いても構わない。

＜第２の実施形態＞
本実施形態では、例えばホールド型ディスプレイにおける黒挿入技術のように、表示デューティ比が自由に変更可能なディスプレイにおいて、表示デューティ比を上述した変数に応じて調整する方法を示す。なお、変数の算出方法については、第１の実施形態と同様である。また、フレームレートに関しては、任意のフレームレートで実現可能である。

図６は、本実施形態における画像処理装置の一例を示すブロック図である。なお、図１における各部と同一である部の説明は省略する。

表示デューティ比率決定部６０１は、変数ＴＩを基に１フレーム当たりの表示デューティ比を決定する。

図７は、表示デューティ比を変更した場合の一例を示している。表示デューティ比とは、ディスプレイの発光期間の割合を示す。図７（ａ）は表示デューティ比が０に近い場合で、フリッカは多いが、動きぼけが減少する状態を示している。これに対して図７（ｂ）は、表示デューティ比が１に近い場合で、動きぼけは大きいが、フリッカは減少する状態を示している。

図８に、表示デューティ比とフリッカ並びに動きボケとの関係を示す。図８に示すように、表示デューティ比にほぼ比例して、フリッカ量は減少し、動きぼけ量は増加する。

前述したように、眼の疲労度が大きい場合はフリッカを感じにくい。そのため、眼の疲労度が大きい場合は、図７（ａ）の状態においてもフリッカは感じにくくなるため、動きぼけもフリッカも低減できる状態になる。

図９は、本実施例における変数と、表示デューティ比の関係を示している。表示デューティ比率決定部６０１は、変数算出部５によって算出された変数ＴＩと図９に示した変数と表示ＤＵＴＹ比率の関係に基づいて表示デューティ比率を決定する。次に表示部６０２は、表示デューティ比率決定部６０１によって決定された表示デューティ比率に基づいて駆動し、画像を表示する。

このように、本実施形態では、変数を基に１フレーム当たりの表示デューティ比を変更することにより、眼の視覚特性を考慮した最適な画像表示が可能になる。

＜第３の実施形態＞
前述した第１、第２の実施形態における変数算出部によって算出される変数ＴＩは、ユーザが自由に設定できるようにしてもよい。

画像処理装置１０１のユーザインタフェースは、図１０に示すようなスライダーバー１００１を例とし、疲労のレベルに応じてスライダーバー１００１をユーザがスライドする。このとき、スライダーバー１００１のｍａｘは第１の実施形態における変数ＴＩ＝１に対応し、スライダーバーのｍｉｎは第１の実施形態における変数ＴＩ＝０に対応する。

このように、本第３の実施形態では、ユーザが、疲労度を示した変数をユーザインタフェースにより入力することにより、眼の視覚特性を考慮した最適な画像表示が可能になる。

＜第４の実施形態＞
図１，図６に示したそれぞれの装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図６のフレームメモリ３、出力部８以外の各部をコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。

図１１は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアを構成例を示すブロック図である。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１１０１は、図１の疲労要因算出部４、変数算出部５、分配比率決定部６、分配処理部７若しくは図６の疲労要因算出部４、変数算出部５、表示デューティ比率決定部６０１として機能することになる。

ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１１０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１１０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。表示部１１０５は、ＣＰＵ１１０１による処理結果を表示する。

外部記憶装置１１０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、図１，図６に示した各部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１１０６には、処理対象としての各フレーム画像が保存されていても良い。

外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。

Ｉ／Ｆ１１０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１１０７を介して様々な情報を取得したり、送出したりすることができる。

１１０８は上述の各部を繋ぐバスである。

＜その他の実施形態＞
以上、本発明の実施形態を詳述したが、本発明の装置の制御方法も本発明の一つである。また本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

Claims (8)

1. フレーム毎の画像を入力する入力手段と、
   前記入力手段に入力された画像の視聴時間に基づいて変化する変数を算出する算出手段と、
   前記算出手段によって算出された変数に基づいて前記分配比率を決定する決定手段と、
   前記決定手段によって決定された分配比率を用いて前記画像を複数のサブフレームに分配する分配手段と、
   前記分配手段によって分配された複数のサブフレームを出力する出力手段とを備えることを特徴とする画像処理装置。
2. 前記算出手段は、
   前記画像の平均輝度を算出する平均輝度算出手段と、
   前記画像の動き量を算出する動き量算出手段と、
   ユーザが連続して視聴している時間を検出する検出手段を備え、
   前記平均輝度算手段によって算出された該画像の平均輝度と、前記動き量算出手段によって算出された該画像の動き量と、前記検出手段によって検出された視聴時間とに基づいて前記変数を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記分配手段は、前記決定手段によって決定された分配比率に基づいて、入力された前記画像の空間高周波成分を強調した第１のサブフレームと、前記画像の空間低周波成分である第２のサブフレームを生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記分配比率は、前記画像の空間低周波成分の分配比率であり、該分配比率の値が大きいほど前記第１のサブフレームに含まれる前記画像の空間低周波成分を増加させることを特徴とする請求項３に記載の画像処理装置。
5. フレーム毎の画像を入力する入力手段と、
   前記入力手段に入力された画像の視聴時間に基づいて変化する変数を算出する算出手段と、
   前記算出手段によって算出された変数に基づいて表示デューティ比を決定する決定手段と、
   前記決定手段によって決定された表示デューティ比で前記画像を出力する出力手段とを備えることを特徴とする画像処理装置。
6. フレーム毎の画像を入力する入力工程と、
   前記入力工程によって入力された画像の視聴時間に基づいて変化する変数を算出する算出工程と、
   前記算出工程によって算出された変数に基づいて前記分配比率を決定する決定工程と、
   前記決定工程によって決定された分配比率を用いて前記画像を複数のサブフレームに分配する分配工程と、
   前記分配工程によって分配された複数のサブフレームを出力する出力工程とを備えることを特徴とする画像処理装置の制御方法。
7. フレーム毎の画像を入力する入力工程と、
   前記入力工程に入力された画像の視聴時間に基づいて変化する変数を算出する算出工程と、
   前記算出工程によって算出された変数に基づいて表示デューティ比を決定する決定工程と、
   前記決定工程によって決定された表示デューティ比で前記画像を出力する出力工程とを備えることを特徴とする画像処理装置の制御方法。
8. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。

Images