JP2013186427A - 映像処理装置 - Google Patents

Abstract

【課題】元の映像信号に比べて色表現力の低いディスプレイ環境で映像表示する場合においても、ディスプレイの特性に影響されず、ちらつきの発生もなく、人工画像に対しても視認性を好適に向上させる。
【解決手段】入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、前記表示制御部は、元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて出力する。
【選択図】図３

Description

本発明は映像処理装置に関し、より詳しくは、色表現力の少ない外部装置へ映像信号を出力する際の映像補正技術に関する。

例えば、ＰＣ（Personal Computer）を利用してプレゼンテーション資料を作成し、そのプレゼンテーション資料の内容を、ＰＣから映像信号出力を介してプロジェクタによって拡大照射することがある。ところが、資料作成時にＰＣの液晶モニタで確認していた色と、プロジェクタによって投影された色は必ずしも一致しておらず、色と色の境界がはっきりせず視認しにくいケースや、異なる色で作成していた領域が同一色になってしまい、目的とする画像として視認できないケースがある。背景上に置かれた文字が背景と同じ色になってしまった場合には、文章を読むことができないため、視認性が大きく損なわれる。

これは、ＰＣの液晶モニタに比べてプロジェクタの表現可能な色数が少ないことや、マッピングと呼ばれる映像信号の表現方法の違いに起因する。また、この現象は、液晶モニタとプロジェクタの関係に限定されず、例えば、ビット深度が低いことで表現力の低い液晶モニタを表示デバイスとして接続した場合にも起こる。

一方、特許文献１には、フレームレートコントロール（ＦＲＣ）と呼ばれる技術を利用し、画素ごとの輝度を表すｍビット（ｍは整数）の入力データを、ｎビット（ｎはｎ＜ｍの整数）の出力データに変換して各画素の輝度を制御する技術が開示されている。フレームレートコントロールは、ＲＧＢ６４階調のような輝度階調性の低いディスプレイでＲＧＢ２５６階調のような高い階調性を表現しようとした場合に用いる補正技術であり、人間に感知できないほどの短時間に異なる階調を書き換え、残像効果を利用して擬似的に中間の階調を作り出すものである。

また、特許文献２には、階調を減らす場合に、明るい画素ほど画素値の差への感度が低い人間の視覚特性を利用することで、階調補正手法としてディザ補正とフレームレートコントロールとを画素毎に決定して適用し、画像をなめらかに表示する技術が開示されている。

上述した特許文献１の技術によれば、見た目の実質的な階調数を変換前と同等にすることはできるものの、液晶ディスプレイの表示制御に関するものであり、液晶ディスプレイの特性が分かっていないと適用できないという問題がある。また、画像内の全ての画素でフレームレートコントロールを行うため、ちらつきが目立ってしまうという問題がある。

一方、特許文献２の技術によれば、想定の状況では画像をなめらかに表示する効果はあるものの、人間の視覚特性を利用したものであることから、映像の内容に応じた補正ができない。そのため、人工画像における文字などの視認性を向上させることはできないという問題がある。また、背景色に近い文字などの細線がディザ補正により膨張してしまうことがあり、むしろ視認性を悪化させる場合もあるという問題がある。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、元の映像信号に比べて色表現力の低いディスプレイ環境で映像表示する場合においても、ディスプレイの特性に影響されず、ちらつきの発生もなく、人工画像に対しても視認性を好適に向上させることのできる映像処理装置を提供することにある。

上記の課題を解決するため、本発明にあっては、入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、前記表示制御部は、元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて出力するようにしている。

また、入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、前記表示制御部は、元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて用い、切り替えた画素に対し低階調化処理を行った画素値を出力することもできる。

本発明の映像処理装置にあっては、視認性の影響の少ない箇所では元々のコンテンツの色や階調を維持し、視認性の影響のある箇所では補正画素を生成して置き換えることにより、元の映像信号に比べて色表現力の低いディスプレイ環境で映像表示する場合においても、ディスプレイの特性に影響されず、ちらつきの発生もなく、人工画像に対しても視認性を好適に向上させることができる。特に、背景画像上に配置された文字などの視認性に影響の大きい箇所の視認性を向上させることができる。

本発明の一実施形態にかかる映像処理装置の構成例を示す図である。 映像処理装置をプロジェクタに適用した場合の構成例を示す図である。 表示制御部の構成例を示す図である。 表示制御部の処理例を示すフローチャートである。 エッジ検出フィルタの例を示す図である。 水平線・垂直線検出用フィルタの例を示す図である。 エッジ判別される箇所の例を示す図である。 表示制御部の他の処理例を示すフローチャートである。 表示制御部の他の処理例を示すフローチャートである。 表示制御部の他の処理例を示すフローチャートである。

以下、本発明の好適な実施形態につき説明する。

＜第１の実施形態＞
図１は本発明の一実施形態にかかる映像処理装置１の構成例を示す図である。

図１において、映像処理装置１は例えば映像処理用のＬＳＩ（Large Scale Integration）として設計されるものであり、映像入力部１１と表示制御部１２と電力制御部１３とＣＰＵ１４とメモリ１５と操作入力部１６とを備えている。

映像入力部１１は、カメラや映像コンテンツ再生機から映像信号を取り込む機能を有している。ＨＤＭＩ（High-Definition Multimedia Interface）やＤｉｓｐｌａｙＰｏｒｔといったデジタルインターフェースを介して映像信号（映像データ）を入力するものと、アナログＶＧＡ（Video Graphics Array）といったアナログインターフェースを介して入力するものとがある。アナログによる映像信号を入力する場合は、映像入力部１１でＡＤ変換が施されて取り込まれる。映像信号はメインバスに接続されたメモリ１５に一旦書き込まれる。

また、別の形態では映像入力部を介した映像ではなく、ＣＰＵ１４などのプロセッサによって直接生成された映像としてメモリ１５に書き込まれる。例えば、ユーザ操作用のメニュー画面や、３Ｄモデルから生成された映像信号である。メモリ１５への映像信号の書き込みは、所定のイベントが発生するまで更新されない場合もあるし、一定間隔で更新される場合もある。メニュー画面は前者の例であるし、３Ｄモデルによるアニメーション等は後者の例である。

表示制御部１２は、ディスプレイコントローラなどとも呼ばれる部分であり、メモリ１５から基本的に一定間隔で映像信号の読み出しを行い、外部から入力された映像信号や、プロセッサなどで生成された映像信号を、表示デバイスにおいて視認性が向上するように補正を行ない、補正後に映像信号として出力する機能を有している。

電力制御部１３は、映像処理装置１内の電力消費を最適化する機能を有している。

ＣＰＵ１４は、映像処理装置１の主たる制御を行う機能を有している。

メモリ１５は、映像データやプログラムを保持する機能を有している。

操作入力部１６は、映像処理装置１に対する外部からの操作信号を受け付ける機能を有している。

図２は映像処理装置１をプロジェクタ１００に適用した場合の構成例を示す図である。

図２において、プロジェクタ１００は、映像処理装置１と映像出力装置２と光学エンジン３とを備えている。

映像処理装置１は、図１に示したものであるが、図１におけるＣＰＵ１４、メモリ１５、操作入力部１６を制御部１７としてまとめて示している。

映像出力装置２は、入力側の映像処理部２１と、出力側の映像処理部２２と、光学エンジン３の駆動を制御する駆動制御部２３と、光学エンジン３の光源を制御する光源制御部２４とを備えている。

光学エンジン３は、光源、光学系、冷却機構等を備えている。

図２に示したプロジェクタ１００への適用の他に、映像処理装置１をＰＣ（Personal Computer）で構成し、映像出力装置２を外部の液晶ディスプレイとすることもできる。この場合、映像処理装置１と映像出力装置２を直接に接続する以外に、ネットワークを経由して接続する場合も考えられる。また、映像処理装置１と映像出力装置２が一つの筐体となったノートＰＣやタブレット端末の例も考えられる。すなわち、映像処理装置１を一要素とした種々のシステムを構築することができる。

図３は図１に示した映像処理装置１内の表示制御部１２の構成例を示す図である。

図３において、表示制御部１２は、ラインバッファ１２１とエッジ判別部１２２と補正画素生成部１２３とセレクタ１２４と信号処理部１２５とを備えている。

以下、それぞれのブロックの動作を、図４に示す処理フローに沿って説明する。図４に示す一連の処理は、映像信号の１フレームの間に出力ライン分行い、さらに必要なフレームレートで、例えば１秒間に６０フレーム分の処理を繰り返す。

図４において、表示制御部１２はメモリ１５からラインバッファ１２１にフレームデータを読み込む（ステップＳ１１）。ラインバッファ１２１は、フレームデータの複数行分を保持しておくためのローカルなメモリであり、メモリ１５からフレームデータを読み込む際に、ＦＩＦＯ（First In First Out）を使って、新しい行が読み込まれると、最も古い行が捨てられるバッファとなっている。

次いで、表示制御部１２は、フレームの奇数番目・偶数番目の判定を行ない、処理を分岐する（ステップＳ１２）。例えば、１秒間に６０フレームのフレームレートで出力する場合、本来の画素値と、補正後の画素値を交互に出力することで、残像による擬似的な中間色を作り出すものとする。この場合、例えば、出力するフレームが最初から数えて奇数番目のフレームの場合のみ、補正画素を生成し出力すればよい。また、必ずしもこの形態に限らず、１秒間に９０フレームで出力し、本来の画素値と、補正後の画素値を２フレーム・１フレームの割合で切り替えて中間色を作り出してもよい。

奇数番目のフレームについて、表示制御部１２はエッジ判別部１２２によりエッジ部の判別を行う（ステップＳ１３）。すなわち、エッジ判別部１２２は、ラインバッファ１２１を使って、数ライン分のデータから、注目している画素がエッジ（背景中の文字のように、画素値が急峻に変化する位置）であるかどうかを判別する。

エッジ判別部１２２は、空間フィルタ処理により、例えば、図５に示すような３×３のエッジ検出フィルタ（エッジ検出Sobelフィルタ）を水平方向・垂直方向に施し、フィルタ適用後の値をエッジ量とする。これをＲＧＢ各色に対して行い、各エッジ量の二乗和が、水平・垂直方向のどちらかで閾値を越えた場合に最終的にエッジ部分と判別する。これは、ＲＧＢ各色で画素値の差が小さい場合に、低階調化の段階で下位１〜２ビットが切り捨てられてしまい、色の距離としては大きいが結果的に同一色にマッピングされてしまうケースを防ぐためである。

また、別の例では、図６に示すような水平線・垂直線検出用フィルタを適用し、同様にエッジ量が閾値を越えた場合にエッジ部分とする。フィルタを適用する前にスムージングフィルタを施すことでより検出しやすくすることもできる。

これらのフィルタは、エッジ部を有効に検出することができるため、図７に示すように、人工画像中に含まれるブロック箇所や文字部分を精度良く判別することができる。

図４に戻り、エッジ部と判別された画素について、表示制御部１２は補正画素生成部１２３により補正画素を生成し、補正画素で置き換える（ステップＳ１４）。これは、例えば、画素値の上位１〜２ビット目を反転させることによって行う。この結果、画素値が大きく変わるため、元の画素値と補正画素値による残像効果によって周辺と異なる色に見える。これはすなわち、境界部分がはっきりと視認できることになる。フレームレートコントロールのように、画像全体の画素値を時間的に変化させるわけではなく、部分的に小さい領域を変化させるため、不要なちらつきを発生させることはない。

また、奇数番目のフレームでない場合と、エッジ部と判別されなかった画素については、原画素をそのまま使う（ステップＳ１５）。その結果、画素値がなだらかに変化する部分はちらつきが発生しない。

その後、表示制御部１２は所定の信号処理を行う（ステップＳ１６）。ここでいう信号処理は、出力先のデバイスで映像信号を受信できるようにするための調整である。一般的にＬＣＤ（液晶ディスプレイ）などで受信するための信号は、画素値以外にもクロック信号、水平同期信号、垂直同期信号を受信可能な周波数に合わせて出力する必要があるため、それらの信号を調整する処理である。

次いで、表示制御部１２は信号処理後の映像信号を信号線にのせて出力する（ステップＳ１７）。

＜第２の実施形態＞
本実施形態は、表示制御部１２において、表示デバイスに合わせた低階調化処理までを行うようにしている。表示制御部１２の構成は図３に示したものと同様である。

図８は本実施形態における表示制御部１２の処理例を示している。ステップＳ２１〜Ｓ２５は図４のステップＳ１１〜Ｓ１５と同様である。また、ステップＳ２７、Ｓ２８は図４のステップＳ１６、Ｓ１７と同様である。

本実施形態では、信号処理（ステップＳ２７）の前に、低階調化処理（ステップＳ２６）を行うようにしている。

プロセッサなどで生成される映像信号は、フルカラーと呼ばれる信号ではＲＧＢ各色の輝度が８ｂｉｔ（２５６段階）の階調性を持っていることが多いが、例えば、ＲＧＢ各輝度階調性が６ｂｉｔである液晶ディスプレイを接続するケースがある。この場合、低階調化処理として８ｂｉｔ→６ｂｉｔの変換が行われる。低階調化の手法として、下位２ｂｉｔを切り捨て上位６ｂｉｔのみを扱う方法や、あらかじめ作られた変換テーブル（ＬＵＴ：ルックアップテーブル）を用いて行う方法がある。

本実施形態においては、前処理としてエッジと判別した位置の補正前画素値と補正後画素値は、低階調化処理した後に異なるデータとなる必要がある。つまり、下位２ビットを切り捨てる低階調化処理を行う場合には、補正画素生成処理において上位６ビットを変化させるように整合させる。

＜第３の実施形態＞
上述した２つの実施形態ではエッジ部について常に補正画素の生成・置換を行うものであったが、ユーザの操作に応じてモードを切り替える機能を追加することで、常に元の画素のまま出力するモードと、上述した２つの実施形態と同様にエッジ部について補正画素の生成・置換を行うモードとを選択できるようにすることができる。

図９は図４の処理フローにモードに応じて処理を切り替える機能を付加した例を示すものである。

図９において、ステップＳ３１、Ｓ３３〜Ｓ３８は、図４のステップＳ１１〜Ｓ１７と同様である。

図９においては、ステップＳ３２においてユーザにより選択されたモードが補正モードであるか否か判定し、補正モードである場合には図４と同様の処理を行う。また、補正モードでない場合には、ステップＳ３６に移行し、原画素を用いて処理を行う。

図１０は図８の処理フローにモードに応じて処理を切り替える機能を付加した例を示すものである。

図１０において、ステップＳ４１、Ｓ４３〜Ｓ４９は、図８のステップＳ２１〜Ｓ２８と同様である。

図１０においては、ステップＳ４２においてユーザにより選択されたモードが補正モードであるか否か判定し、補正モードである場合には図８と同様の処理を行う。また、補正モードでない場合には、ステップＳ４６に移行し、原画素を用いて処理を行う。

＜総括＞
以上説明したように、本実施形態によれば、視認性の影響の少ない箇所では元々のコンテンツの色や階調を維持し、視認性の影響のある箇所では補正画素を生成して置き換えることにより、元の映像信号に比べて色表現力の低いディスプレイ環境で映像表示する場合においても、ディスプレイの特性に影響されず、ちらつきの発生もなく、人工画像に対しても視認性を好適に向上させることができる。特に、背景画像上に配置された文字などの視認性に影響の大きい箇所の視認性を向上させることができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ 映像処理装置
１１ 映像入力部
１２ 表示制御部
１２１ ラインバッファ
１２２ エッジ判別部
１２３ 補正画素生成部
１２４ セレクタ
１２５ 信号処理部
１３ 電力制御部
１４ ＣＰＵ
１５ メモリ
１６ 操作入力部
１７ 制御部
１００ プロジェクタ
２ 映像出力装置
２１、２２ 映像処理部
２３ 駆動制御部
２４ 光源制御部
３ 光学エンジン

国際公開第２００８／０８１５９４号公報 特開２０１０‐１７６０８２号公報

Claims (7)

1. 入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、
   前記表示制御部は、
   元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、
   前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて出力する
   ことを特徴とする映像処理装置。
2. 入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、
   前記表示制御部は、
   元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、
   前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて用い、
   切り替えた画素に対し低階調化処理を行った画素値を出力する
   ことを特徴とする映像処理装置。
3. 入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、
   元となる映像信号に対して補正を行うモードであるか否かを切り替えるモード切替手段を備え、
   補正モードにおいて、前記表示制御部は、常に前記元となる映像信号の各画素値を出力し、
   他のモードにおいて、前記表示制御部は、元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて出力する
   ことを特徴とする映像処理装置。
4. 入力した映像信号を補正して出力する表示制御部を有する映像処理装置であって、
   元となる映像信号に対して補正を行うモードであるか否かを切り替えるモード切替手段を備え、
   補正モードにおいて、前記表示制御部は、常に前記元となる映像信号の各画素値を用い、
   他のモードにおいて、前記表示制御部は、元となる映像信号の各画素値に基づいて空間的なエッジ量を算出し、前記エッジ量に基づいて補正画素値を生成し、前記元となる映像信号の画素値と前記補正画素値を時間ごとに切り替えて用い、
   両モードにおいて、前記表示制御部は、各画素に対し低階調化処理を行った画素値を出力する
   ことを特徴とする映像処理装置。
5. 請求項１乃至４のいずれか一項に記載の映像処理装置において
   前記エッジ量の算出は、空間フィルタ処理により行う
   ことを特徴とする映像処理装置。
6. 請求項１乃至４のいずれか一項に記載の映像処理装置において
   前記表示制御部は、元画像から転送した数ライン分のデータを保持できる一時メモリを備え、
   前記エッジ量の算出は、前記一時メモリ中のデータに対して空間フィルタ処理により行う
   ことを特徴とする映像処理装置。
7. 請求項１乃至６のいずれか一項に記載の映像処理装置を構成要素として備えたことを特徴とする映像処理システム。

Images