JP2011232586A

JP2011232586A - 三次元誤差拡散装置および三次元誤差拡散方法

Info

Publication number: JP2011232586A
Application number: JP2010103293A
Authority: JP
Inventors: Natsuki Saito; 夏樹齋藤; Mitsuhiro Mori; 光広森
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2011-11-17

Abstract

【課題】画面の動きが大きい場合や低輝度の場合に、パターンノイズおよび擬似輪郭を抑制した三次元誤差拡散を実現する。
【解決手段】現フレームの注目画素に対する動き量を算出する動き量算出部１０と、現フレームの注目画素を含む近傍画素領域の平均輝度を算出する平均輝度算出部２０と、現フレームの注目画素に対する誤差を現フレームまたは次フレームの少なくとも一方に拡散する画像選択部４０とを有し、現フレームの注目画素に対して動き量算出部１０で算出された動き量が第１の所定値以上または平均輝度算出部２０で算出された平均輝度が第２の所定値以上であれば、現フレームの注目画素に対する誤差を現フレームの注目画素に対応する次フレームの画素に拡散させる。
【選択図】図１

Description

本発明は、ｍビットで階調表現される映像信号をｎビット（ｎ＜ｍ）で階調表現される映像信号に変換する際に、元の映像信号の下位の（ｍ−ｎ）ビットに対応する誤差成分（以下、「（ｍ−ｎ）ビットの誤差成分」と略記する）をｎビットの映像信号に拡散する誤差拡散装置および誤差拡散方法に関する。

プラズマディスプレイ装置などのデジタル方式の表示装置では、表示装置に表示できる映像の階調数に応じて表示装置内で処理可能な映像信号のビット数が制限されている。

そのため、処理可能な映像信号のビット数よりも大きいビット数の映像信号が表示装置に入力された場合には表示される階調に誤差が生じる。例えば、８ビットの映像信号が処理可能な表示装置に１０ビットの映像信号が入力された場合、２ビットの誤差成分が生じる。その結果、画面に表示される映像の階調再現性が悪くなる。

そこで、映像の階調再現性を良好にするために、誤差成分を時間的または空間的に拡散する種々の誤差拡散方法が提案されている。

例えば、Ｐビットの原画像データからＬ（Ｌ＜Ｐ）ビットの画像表示データを生成する場合に、ある注目画素に対応する画像データの下位（Ｐ−Ｌ）ビットを誤差データとして、その一部を同一フレーム内の周辺画素の画像データに加算することによってフレーム内で擬似階調処理（二次元誤差拡散）を行うとともに、他の一部を注目画素に対応する他のフレームの画素の画像データに加算することによってフレーム間で擬似階調処理（三次元誤差拡散）を行う誤差拡散方法が提案されている（例えば、特許文献１参照）。

このような従来の誤差拡散方法によれば、主観的な階調性を維持したまま信号のビット数を小さくすることができるが、二次元誤差拡散処理および三次元誤差拡散処理のそれぞれに特有な問題が生じる。二次元誤差拡散処理では同一フレーム内で拡散処理を行うため、静止画の表示では固定的な模様（パターンノイズ）が発生しやすい。また、三次元誤差拡散処理では前フレームの注目画素の誤差を現フレーム対応する位置にある画素に加算するため、動画の表示では前フレームから動きの分だけずれた位置にノイズ的な疑似輪郭（位置ずれ）が発生しやすい。

また、上記の従来の誤差拡散方法における問題を改善するものとして、画像の水平方向、垂直方向、時間方向の相関から、各方向に重み付けをした誤差拡散を行い、時間方向への誤差拡散は注目画素の位置に対応した次フィールドの位置の画素に加算するものや、注目画素とその周辺画素を含む領域の画素値変動によってフレーム内とフレーム間の誤差配分比率を変更するものが開示されている（例えば、特許文献２、３参照）。

特許第２８０４６８６号公報特開２０００−１５５５６５号公報国際公開第２００７／１３５８２２号

しかしながら、注目画素の位置に対応した位置の次フィールドの画素に誤差を加算する従来の三次元誤差拡散方法では、画面の動きが大きい場合には注目画素が急激に移動するために疑似輪郭が発生し易くなる。

さらに、従来の三次元誤差拡散方法では、時間方向に拡散された誤差が累積されて本来の輝度を表現できるまでに複数フレームが必要となるため、輝度が低い（信号レベルの低い）場合、すなわち表示すべき信号レベル全体に対する誤差成分の信号レベルの比率が大きい画素では、累積誤差が不足しているフレームにおける当該ピクセルの輝度の低下が知覚可能となり、これによる画質劣化が目立っていた。

本発明は、映像の動きベクトルの信頼度や輝度に基づいて現フレームの注目画素の誤差を次フレームの対応する画素へ加算するかどうかを制御することで、パターンノイズおよび擬似輪郭を抑制した三次元誤差拡散を実現することを目的とする。

上記の課題を解決するために、本発明の三次元誤差拡散装置は、現画像の注目画素に対する動き量を算出する動き量算出手段と、現画像の注目画素を含む近傍画素領域の平均輝度を算出する平均輝度算出手段と、誤差拡散法による中間階調画像の生成において、現画像の注目画素に対する誤差を現画像または次画像の少なくとも一方に拡散する三次元誤差拡散手段を有し、三次元誤差拡散手段は、現画像の注目画素に対して動き量算出手段の算出する動き量が第１の所定値以上であるか、または現画像の注目画素に対して平均輝度算出手段の算出する平均輝度が第２の所定値以上であれば、現画像の注目画素に対する誤差を現画像の注目画素に対応する次画像の画素に拡散させる。

このような構成により、注目画素の動き量が大きい場合または平均輝度が高く画面全体の信号レベルに対する誤差部分の信号レベル割合が小さい場合に、フレーム間の動きに追随して誤差を拡散することができ、表示画像のパターンノイズや擬似輪郭を効果的に抑制することができる。

また、本発明の三次元誤差拡散装置は、さらに、動き量算出手段が算出した動き量の信頼度を動き量信頼度として算出する動き量信頼度算出手段を有し、動き量信頼度算出手段が算出した動き量信頼度が第３の所定値以下の場合には、三次元誤差拡散手段が現画像の注目画素に対する誤差を現画像にのみ拡散させる。

このような構成により、動き量の信頼度が低い場合に、誤った動き量に基づいて三次元誤差拡散を行わないようにすることができ、擬似輪郭の抑制効果をさらに高めることができる。

また、本発明の三次元誤差拡散装置は、さらに、動き量算出手段が算出した動き量の信頼度を動き量信頼度として算出する動き量信頼度算出手段を有し、動き量信頼度算出手段が算出した動き量信頼度が第３の所定値以下であって、かつ平均輝度算出手段が算出した平均輝度が第４の所定値以下の場合には、三次元誤差拡散手段が現画像の注目画素に対する誤差を現画像にのみ拡散させる。

このような構成により、動き量の信頼度と平均輝度が共に低い場合に、特に階調の荒れが目立ちやすい低輝度な画像において誤った動き量に基づく三次元誤差拡散を行わないようにすることができ、擬似輪郭の抑制効果をさらに高めることができる。

また、本発明の三次元誤差拡散装置は、さらに、画像が立体表示画像を構成する右眼用画像または左眼用画像の場合に、現画像が右眼用画像ならば三次元誤差拡散手段が誤差を拡散する次画像を現画像である右眼用画像の次の右眼用画像とし、現画像が左眼用画像ならば三次元誤差拡散手段が誤差を拡散する次画像を現画像である左眼用画像の次の左眼用画像とする。

このような構成により、立体表示画像に対しても通常の二次元画像に対する本発明の三次元誤差拡散を適用することができ、立体表示におけるパターンノイズおよび擬似輪郭を効果的に抑制することができる。

本発明の三次元誤差拡散装置および三次元誤差拡散方法によれば、動きが大きい場合や低輝度の場合であっても、表示画像のパターンノイズや擬似輪郭を適応的に抑制することができる。

本発明の実施の形態１における三次元誤差拡散装置の主要な構成を示すブロック図本発明の実施の形態１における誤差拡散処理の一例を示す図本発明の実施の形態１における時間方向の誤差拡散処理の一例を示す図本発明の実施の形態１における空間方向の誤差拡散処理の一例を示す図本発明の実施の形態１における誤差拡散処理方法を示すフローチャート

以下に、本発明の三次元誤差拡散装置について、図１〜図５を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１における三次元誤差拡散装置（以下、「本装置」と略記する）１の主要な構成を示すブロック図である。

本装置１は、入力される映像信号を構成する原画像から表示装置の階調に合うように誤差拡散処理を行った補正画像を生成する装置である。なお、映像信号を構成する原画像はフレーム画像であってもフィールド画像であっても良い。以下では、原画像がフレーム画像である場合について説明する。

図１に示すように、本装置１は、動き量算出部１０、平均輝度算出部２０、信頼度算出部３０、画像選択部４０、および補正画像生成部５０を備える。

動き量算出部１０は、入力された入力映像信号に含まれる現フレーム画像の注目画素ごとに時間的に連続するフレーム画像間から動きベクトル（以下、「動き量」と略記する）を算出し、信頼度算出部３０および画像選択部４０に出力する。

動き量の算出方法の一例としては画素マッチング法に基づくものがあり、時間的に連続する２枚のフレーム画像に対し、一方の現フレーム画像に含まれる動きを検出しようとする注目画素の近傍領域と他方のフレーム画像の所定の探索範囲内に含まれる複数の候補画素の近傍領域との相関値をそれぞれ算出し、相関値が高い候補画素と注目画素の変位に基づいて動き量が算出される。例えば、注目画素の近傍領域内の複数の画素と対応する候補画素の近傍領域内の複数の画素との差分絶対値総和または差分二乗値総和を算出し、算出値が小さいほど相関値は高いものとすることができる。

なお、上記の探索範囲は、注目画素を含む現フレーム画像と時間的に連続する前後の複数の画像フレームに渡る範囲であっても良い。

平均輝度算出部２０は、入力された映像信号の現フレーム画像の注目画素を含む近傍画素領域の平均輝度を算出し、算出した平均輝度を画像選択部４０に出力する。

信頼度算出部３０は、動き量算出部１０から入力される動き量に対する信頼度（以下、「信頼度」と略記する）を算出して画像選択部４０に出力する。

信頼度の算出方法の一例として、現フレーム画像の注目画素の周囲に位置する複数の画素の動き量の平均値（以下、「平均値」と略記する）を算出し、注目画素の動き量と平均値との差分絶対値を変化度として算出し、変化度が小さいほど動き量の信頼度は高いものとすることができる。

なお、注目画素の周囲に位置する画素としては、注目画素に隣接する画素（注目画素を取り囲む８つの画素）や、さらにその隣接する画素に隣接する画素などが含まれる。

なお、動き量は水平方向成分と垂直方向成分を有するので、信頼度算出部３０は注目画素の動き量の水平方向成分と平均値の水平方向成分との差分絶対値のみを用いて、あるいは、注目画素の動き量の垂直方向成分と平均値の垂直方向成分との差分絶対値のみを用いて変化度を算出しても良い。また、水平方向成分の差分絶対値と垂直方向成分の差分絶対値との和を用いて変化度を算出しても良い。

画像選択部４０は、動き量算出部１０から入力される動き量、平均輝度算出部２０から入力される平均輝度、信頼度算出部３０から入力される信頼度、および入力される映像信号を構成するフレーム画像に基づいて、パターンノイズや擬似輪郭を抑制するために誤差拡散処理を行うフレーム画像を選択し、動き量、平均輝度、信頼度と共に選択されたフレーム画像に関する情報（フレーム画像を特定するインデックスなど）を補正画像生成部５０に出力する。

補正画像生成部５０は、画像選択部４０から入力された情報に基づき、選択されたフレーム画像に対する誤差拡散処理を行って補正画像を生成する。

以下に、本装置１における誤差拡散処理について、図２〜図４を用いて説明する。

図２は、本装置１における誤差拡散処理の一例を示す図であり、現画像フレームを中心に時間的に前後する連続した３枚の画像フレームが示されている。

図２において、各画像フレームにおける丸印は各画像フレームを構成する画素を模式的に示しており、Ｐ₀は現画像フレーム内の注目画素、Ｐ₁は注目画素Ｐ₀に対応した次画像フレーム内の画素、画素Ａ、画素Ｂ、画素Ｃ、画素Ｄは注目画素Ｐ₀で発生した誤差が加算される現画像フレーム内の被誤差拡散画素、および画素Ｅ、画素Ｆ、画素Ｇ、画素Ｈは注目画素Ｐ₀で発生した誤差が加算される次画像フレーム内の被誤差拡散画素である。

本装置１は、現画像フレームの注目画素Ｐ₀が次画像フレームの対応する画素Ｐ₁に移動した場合に動き量算出部１０によって算出される注目画素Ｐ₀の動き量が第１の所定値以上であるか、平均輝度算出部２０によって算出される現画像フレームの注目画素Ｐ₀の近傍領域の平均輝度が第２の所定値以上であるかをチェックし、いずれかの場合には、注目画素Ｐ₀の誤差の一部または全部を次画像フレームへ加算する処理を行うことにより、注目画素に対応する次画像の画素に拡散させる。

図３は、注目画素Ｐ₀に対する時間方向の誤差拡散処理の一例を示す図である。

注目画素Ｐ₀の動き量が第１の所定値以上であったり、注目画素Ｐ₀の近傍領域の平均輝度が第２の所定値以上であった場合には、図３に示すように、注目画素Ｐ₀に対する誤差の一部または全部が、次画像フレーム内の注目画素Ｐ₀に対応した画素Ｐ₁、および画素Ｐ₁に隣接する画素Ｅ、画素Ｆ、画素Ｇ、画素Ｈに加算される。

なお、注目画素Ｐ₀の実際の動き量が、動き量算出部１０が算出した注目画素Ｐ₀の動き量より小さい場合に時間方向の誤差拡散処理を行なってしまうと、現画像フレームの注目画素Ｐ₀に実際に対応する次画像フレームの画素とは異なる画素Ｐ₁に注目画素Ｐ₀の誤差を加算することになり擬似輪郭が発生してしまう。

そこで、動き量算出部１０が算出した注目画素Ｐ₀の動き量の信頼度を算出する信頼度算出部３０を設け、信頼度算出部３０が算出した信頼度が第３の所定値以下の場合には注目画素Ｐ₀の誤差を次画像フレームに加算させないようにすることで、擬似輪郭の発生を抑制できる。

図４は、注目画素Ｐ₀に対する空間方向の誤差拡散処理の一例を示す図である。

注目画素Ｐ₀の誤差の動き量が第１の所定値以上であったり、注目画素Ｐ₀の近傍領域の平均輝度が第２の所定値以上であった場合には、図４に示すように、次画像フレームに加算された注目画素Ｐ₀の誤差の残りの誤差が、現画像フレーム内の注目画素Ｐ₀を取り巻く画素Ａ、画素Ｂ、画素Ｃ、画素Ｄに加算される。

なお、信頼度算出部３０が算出した注目画素Ｐ₀の動き量の信頼度が第３の所定値以下の場合には、次画像フレームに擬似輪郭を発生させないために、注目画素Ｐ₀の誤差は全て現画像フレームの注目画素Ｐ₀の近傍領域に加算される。

また、輝度の高い画像の場合には、画像全体の輝度に対する誤差部分の輝度の比率は小さくなるため、注目画素Ｐ₀の誤差の一部または全部を次画像フレームへ加算しても画質に与える影響は小さい。一方、輝度の低い画像の場合には、画像全体の輝度に対する誤差部分の輝度の比率は大きくなるため、注目画素Ｐ₀の動き量の信頼度が小さい場合に、注目画素Ｐ₀の誤差の一部または全部を次画像フレームに加算してしまうと、擬似輪郭がより目立ってしまう。

そこで、注目画素Ｐ₀の近傍領域の平均輝度を算出する平均輝度算出部２０を設け、信頼度算出部３０が算出した注目画素Ｐ₀の動き量の信頼度が第３の所定値以下で、かつ、
平均輝度算出部２０が算出した注目画素Ｐ₀の近傍領域の平均輝度が第３の所定値以下の場合には、注目画素Ｐ₀の誤差を次画像フレームに加算させないようにすることで、擬似輪郭の発生を抑制できる。

次に、図５のフローチャートを用いて、本装置１の誤差拡散処理方法について説明する。

ステップ１（Ｓ１）で、動き量算出部１０と平均輝度算出部２０によって、入力される映像信号の現画像フレームの注目画素の動き量と注目画素の近傍領域の平均輝度を算出し、ステップ２（Ｓ２）に移る。

ステップ２（Ｓ２）で、信頼度算出部３０が動き量算出部１０で算出された注目画素の動き量の信頼性を示す信頼度を算出し、ステップ３（Ｓ３）に移る。

ステップ３（Ｓ３）で、画像選択部４０は、動き量算出部１０から入力された動き量、信頼度算出部３０から入力された信頼度、および平均輝度算出部２０から入力された平均輝度に基づき、現画像フレームの注目画素の誤差を拡散させる画像フレームを選択し、ステップ（Ｓ４）に移る。例えば、注目画素に対する動き量が第１の所定値以上の場合には注目画素の誤差の一部または全部を拡散させる画像フレームとして次画像フレームが選択されるが、注目画素に対する動き量の信頼度が第３の所定値以下、かつ、注目画素の近傍領域の平均輝度が第４の所定値以下の場合には誤差を拡散させる画像フレームとしては現画像フレームのみが選択される。

ステップ４（Ｓ４）で、補正画像生成部５０は、注目画素の動き量、注目画素の動き量の信頼度、注目画素の近傍領域の平均輝度に基づいて、現画像フレームの注目画素の誤差を画像選択部４０で選択された画像フレームの画素に加算し、ステップ５（Ｓ５）に移る。

ステップ５（Ｓ５）で、現画像フレームの全ての注目画素に対する誤差拡散処理が終了したか否かをチェックし、終了していなければステップ１（Ｓ１）に移って次の注目画素に対する誤差拡散処理に移り、終了していれば現画像フレームに対する誤差拡散処理を終了して次画像フレームに対する誤差拡散処理に移る。

なお、本実施の形態１では、補正画像生成部５０は、現画像フレームの注目画素ごとに注目画素の誤差に対する誤差拡散処理を行なっているが、現画像フレームの全ての注目画素に対する誤差拡散処理に必要な情報（どの画像フレームのどの画素にどれだけの誤差を加算するかに関する情報）を記憶しておき、それらの情報が全て揃った段階でまとめて誤差拡散処理を行なって補正画像を生成するようにしても良い。

なお、実施の形態１では表示画像が平面画像（二次元画像）の場合について述べたが、現画像フレームが右眼用画像ならば現画像フレームの注目画素の誤差を次の右眼用画像の画像フレームに加算し、現画像フレームが左眼用画像ならば現画像フレームの注目画素の誤差を次の左眼用画像の画像フレームに加算するようにすることで、本発明は表示画像が立体画像（三次元画像）の場合にも適用できる。

本発明は、動きの大きい画像や輝度の低い画像に対してもパターンノイズや擬似輪郭が抑制された三次元誤差拡散による高画質画像を提供するプラズマディスプレイなどのデジタル表示装置に適用可能である。

１三次元誤差拡散装置
１０動き量算出部
２０平均輝度算出部
３０信頼度算出部
４０画像選択部
５０補正画像生成部

Claims

現画像の注目画素に対する動き量を算出する動き量算出手段と、
前記現画像の注目画素を含む近傍画素領域の平均輝度を算出する平均輝度算出手段と、
誤差拡散法による中間階調画像の生成において、前記現画像の注目画素に対する誤差を前記現画像または次画像の少なくとも一方に拡散する三次元誤差拡散手段を有し、
前記三次元誤差拡散手段は、前記現画像の注目画素に対して前記動き量算出手段の算出する動き量が第１の所定値以上であるか、または前記現画像の注目画素に対して前記平均輝度算出手段の算出する平均輝度が第２の所定値以上であれば、前記現画像の注目画素に対する誤差を前記現画像の注目画素に対応する前記次画像の画素に拡散させる
三次元誤差拡散装置。
前記動き量算出手段が算出した動き量の信頼度を動き量信頼度として算出する動き量信頼度算出手段を有し、
前記動き量信頼度算出手段が算出した動き量信頼度が第３の所定値以下の場合には、前記三次元誤差拡散手段が前記現画像の注目画素に対する誤差を前記現画像にのみ拡散する請求項１記載の三次元誤差拡散装置。
前記動き量算出手段が算出した動き量の信頼度を動き量信頼度として算出する動き量信頼度算出手段を有し、
前記動き量信頼度算出手段が算出した動き量信頼度が第３の所定値以下であって、かつ前記平均輝度算出手段が算出した平均輝度が第４の所定値以下の場合には、前記三次元誤差拡散手段が前記現画像の注目画素に対する誤差を前記現画像にのみ拡散する請求項１記載の三次元誤差拡散装置。
画像が立体表示画像を構成する右眼用画像または左眼用画像の場合に、前記現画像が前記右眼用画像ならば前記三次元誤差拡散手段が誤差を拡散する前記次画像が前記現画像である右眼用画像の次の右眼用画像であり、前記現画像が前記左眼用画像ならば前記三次元誤差拡散手段が誤差を拡散する前記次画像が前記現画像である左眼用画像の次の左眼用画像である請求項１〜３のいずれか１項に記載の三次元誤差拡散装置。
現画像の注目画素に対する動き量を算出する動き量算出ステップと、
前記現画像の注目画素を含む近傍画素領域の平均輝度を算出する平均輝度算出ステップと、
誤差拡散法による中間階調画像の生成において、前記現画像の注目画素に対する誤差を前記現画像または次画像の少なくとも一方に拡散する三次元誤差拡散ステップを有し、
前記三次元誤差拡散ステップは、前記現画像の注目画素に対して前記動き量算出ステップで算出する動き量が第１の所定値以上であるか、または前記現画像の注目画素に対して前記平均輝度算出ステップで算出する平均輝度が第２の所定値以上であれば、前記現画像の注目画素に対する誤差を前記現画像の注目画素に対応する前記次画像の画素に拡散させる
三次元誤差拡散方法。
前記動き量算出ステップ算出した動き量の信頼度を動き量信頼度として算出する動き量信頼度算出ステップを有し、
前記動き量信頼度算出ステップ算出した動き量信頼度が第３の所定値以下の場合には、前記三次元誤差拡散ステップで前記現画像の注目画素に対する誤差を前記現画像にのみ拡散する請求項５記載の三次元誤差拡散方法。
前記動き量算出ステップで算出した動き量の信頼度を動き量信頼度として算出する動き量信頼度算出ステップを有し、
前記動き量信頼度算出ステップで算出した動き量信頼度が第３の所定値以下であって、かつ前記平均輝度算出ステップで算出した平均輝度が第４の所定値以下の場合には、前記三次元誤差拡散ステップで前記現画像の注目画素に対する誤差を前記現画像にのみ拡散する請求項５記載の三次元誤差拡散方法。
画像が立体表示画像を構成する右眼用画像または左眼用画像の場合に、前記現画像が前記右眼用画像ならば前記三次元誤差拡散ステップで誤差を拡散する前記次画像が前記現画像である右眼用画像の次の右眼用画像であり、前記現画像が前記左眼用画像ならば前記三次元誤差拡散ステップで誤差を拡散する前記次画像が前記現画像である左眼用画像の次の左眼用画像である請求項５〜７のいずれか１項に記載の三次元誤差拡散方法。