JP2008310117A - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2008310117A
JP2008310117A JP2007158547A JP2007158547A JP2008310117A JP 2008310117 A JP2008310117 A JP 2008310117A JP 2007158547 A JP2007158547 A JP 2007158547A JP 2007158547 A JP2007158547 A JP 2007158547A JP 2008310117 A JP2008310117 A JP 2008310117A
Authority
JP
Japan
Prior art keywords
texture
texture component
component
image
fine texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007158547A
Other languages
English (en)
Other versions
JP2008310117A5 (ja
JP4893489B2 (ja
Inventor
Shinichiro Gomi
信一郎 五味
Masami Ogata
昌美 緒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007158547A priority Critical patent/JP4893489B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2008/057682 priority patent/WO2008152861A1/ja
Priority to TW097114527A priority patent/TW200908699A/zh
Priority to EP08740724.3A priority patent/EP2040459A4/en
Priority to US12/376,983 priority patent/US8369624B2/en
Priority to KR1020087026000A priority patent/KR20100019298A/ko
Priority to CN2008800005811A priority patent/CN101543041B/zh
Publication of JP2008310117A publication Critical patent/JP2008310117A/ja
Publication of JP2008310117A5 publication Critical patent/JP2008310117A5/ja
Application granted granted Critical
Publication of JP4893489B2 publication Critical patent/JP4893489B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディスプレイ装置等に適用して、従来に比して細部の質感を向上する。
【解決手段】本発明は、入力画像S1からテクスチャ成分S4を抽出、縮小して細テクスチャ成分S3を生成し、この細テクスチャ成分S3と入力画像S1とを画像合成する。
【選択図】 図1

Description

本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディスプレイ装置等に適用することができる。本発明は、入力画像からテクスチャ成分を抽出、縮小して細テクスチャ成分を生成し、この細テクスチャ成分と入力画像とを画像合成することにより、従来に比して細部の質感を向上する。
従来、ディスプレイ装置等の各種映像機器では、輝度信号に含まれる高域成分、エッジ成分等を強調して画質を向上する方法が種々に提案されており、例えば特開平8−56316号公報には、ノイズの増大を防止してコントラストを強調する方法が提案されている。
しかしながらこれらの従来手法では、表示画像のめりはり等を増大し得るものの、草花、木々の葉、岩肌等の細部の質感については向上できない問題がある。
特に、スケーリングにより、SDTV(Standard Definition Television)方式のビデオ信号をHDTV(High Definition Television)方式のビデオ信号にフォーマット変換した場合には、これら草花、木々の葉、岩肌等の細部の質感が失われ、従来手法では、この細部の質感を向上できない問題がある。
特開平8−56316号公報
本発明は以上の点を考慮してなされたもので、細部の質感を向上することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
上記の課題を解決するため請求項1の発明は、画像処理装置に適用して、入力画像からテクスチャ成分を抽出するテクスチャ抽出部と、前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成部と、前記細テクスチャ成分と前記入力画像とを画像合成するブレンド部と、前記ブレンド部における画像合成比率を設定するテクスチャ付加量制御部とを備えるようにする。
また請求項2の発明は、画像処理方法に適用して、入力画像からテクスチャ成分を抽出するテクスチャ抽出ステップと、前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成ステップと、前記細テクスチャ成分と前記入力画像とを画像合成して出力画像を生成するブレンドステップと、前記ブレンドステップにおける画像合成比率を設定するテクスチャ付加量制御ステップとを備えるようにする。
また請求項13の発明は、画像処理方法のプログラムに適用して、入力画像からテクスチャ成分を抽出するテクスチャ抽出ステップと、前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成ステップと、前記細テクスチャ成分と前記入力画像とを画像合成して出力画像を生成するブレンドステップと、前記ブレンドステップにおける画像合成比率を設定するテクスチャ付加量制御ステップとを備えるようにする。
また請求項14の発明は、画像処理方法のプログラムを記録した記録媒体に適用して、前記プログラムは、入力画像からテクスチャ成分を抽出するテクスチャ抽出ステップと、前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成ステップと、前記細テクスチャ成分と前記入力画像とを画像合成して出力画像を生成するブレンドステップと、前記ブレンドステップにおける画像合成比率を設定するテクスチャ付加量制御ステップとを備えるようにする。
請求項1、請求項2、請求項13又は請求項14の構成により、入力画像から抽出したテクスチャ成分によるブロックを縮小して基本ブロックを作成し、この基本ブロックを元のブロックに繰り返し配置して細テクスチャ成分を生成し、この細テクスチャ成分と入力画像とを画像合成して出力画像を生成すれば、テクスチャ成分による空間周波数を増大させて細部の質感を向上させることができる。また画像合成比率の設定により、エッジ等における不都合な処理を回避することができる。
本発明によれば、細部の質感を向上することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例の構成
図1は、本発明の実施例1の画像処理装置を示すブロック図である。この映像信号処理装置1は、例えばディスプレイ装置等の各種映像機器に内蔵され、入力映像信号S1による入力画像の画質を向上して出力映像信号S2を出力する。なお以下においては、この映像信号処理装置1による処理系統を1系統とし、入力映像信号S1のうちの輝度信号のみをこの映像信号処理装置1で処理するものとして説明する。しかしながらこの画像処理装置による処理は、処理系統を3系統とし、輝度信号、色差信号を各系統で実行してもよく、また原色色信号、補色色信号を構成する各色信号を各系統で実行してもよい。
ここでこの実施例において、映像信号処理装置1は、所定のプログラムの実行により入力映像信号S1を処理するプロセッサにより構成され、この実施例ではこのプログラムが事前にインストールされて提供される。しかしながらこれに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録してプログラムを提供するようにしてもよく、インターネット等のネットワークを介したダウンロードによりプログラムを提供するようにしてもよい。またこれに代えて、映像信号処理装置1をハードウエアにより構成してもよい。
この映像信号処理装置1は、入力映像信号S1から草花、木々の葉、岩肌等の、背景、前景等の一様な部位における細部構造成分(以下、テクスチャ成分と呼ぶ)を抽出する。映像信号処理装置1は、この抽出したテクスチャ成分を縮小してより空間周波数の高い細テクスチャ成分S3を生成する。またこの細テクスチャ成分S3を元の入力映像信号S1に貼りつけるように画像合成し、これにより入力映像信号S1の細部の質感を向上して出力映像信号S2による出力画像を出力する。なおここでこの細部構造成分であるテクスチャ成分は、映像の各部を特徴付ける大規模構造の信号成分との相対的なものであり、これにより処理対象の入力映像信号によって、さらには入力映像信号による映像の各部で、周波数帯域が異なるものとなる。しかしながらこの実施例では特性を固定したフィルタにより入力映像信号から高域成分を抽出することにより、入力映像信号からテクスチャ成分を抽出する。
このため映像信号処理装置1において、テクスチャ生成部2は、入力映像信号S1から高域成分を抽出してテクスチャ成分を抽出し、この抽出したテクスチャ成分を縮小して細テクスチャ成分S3を生成する。すなわちテクスチャ生成部2において、テクスチャ抽出部3は、入力映像信号S1を二次元のローパスフィルタ(LPF)4に入力し、ここで入力映像信号S1から低域成分を抽出する。テクスチャ抽出部3は、減算回路5において、この低域成分を入力映像信号S1から減算し、入力映像信号S1からテクスチャ成分S4を抽出する。
細テクスチャ生成部6は、このテクスチャ成分S4を縮小して細テクスチャ成分を生成する。すなわち図2に示すように、細テクスチャ生成部6において、タイリング部7は、入力画像を分割して形成されるブロック毎に、各ブロックのテクスチャ成分を縮小して基本ブロックを形成する。またこの基本ブロックを元のブロックに配置し直し、これによりテクスチャ成分S4を縮小して細テクスチャ成分S5を生成する。
より具体的に、タイリング部7は、例えば図3(A)に示すように、水平方向及び垂直方向にそれぞれ8×2画素のブロックBLをテクスチャ成分S4に設定する。なお1つのブロックBLを構成する画素数は、必要に応じて種々に設定することができる。また入力画像を等分割する場合に限らず、例えば入力映像信号S1の平坦度等に応じて分割する大きさを可変するようにしてもよい。なおこのような平坦度に応じて分割する大きさを可変する場合としては、例えば平坦な部分程、ブロックの大きさを大きくすればよい。また輝度信号及び色差信号等の3系統により処理する場合は、各系統でブロックBLに境界が重なり合わないように、系統毎にブロックBLの位置をシフトさせてもよい。
タイリング部7は、ブロックBL毎に、ブロックBLの中心部分BLAを切り出し、図3(B)に示すように、この切り出した部分BLAをスケーリングにより縮小して基本ブロックBBLを形成する。タイリング部7は、入力映像信号S1の平坦度に応じて、又はテクスチャ成分S4の平坦度に応じて、この切り出す部分BLAの大きさを可変し、これにより画質を向上する。具体的には、平坦度が高い場合程、切り出す部分BLAを大きくする。なおこの図3(B)の例では、16画素×16画素のブロックBLの中心部分、水平方向及び垂直方向に8×n/d画素の部分BLAを切り出し、この切り出した部分BLAをスケーリングして8画素×8画素の基本ブロックBBLを作成する。
タイリング部7は、図3(C)に示すように、この基本ブロックBBLをそれぞれ元のブロックBLに配置し直し、細テクスチャ成分S5を生成する。
段差低減部8(図2)は、細テクスチャ成分S5における基本ブロックBBL間の段差を軽減して細テクスチャ成分S6を出力する。ここで図3(D)においてハッチングにより示すように、段差低減部8は、基本ブロックBBLの境界に隣接する1画素においてのみ、ローパスフィルタの特性によるフィルタリング処理を実行し、これにより高域成分の劣化を極力低減してブロック境界の段差を軽減する。なお具体的に、符号G1により示す水平方向に延長する境界にのみに隣接する画素については、タップ係数が1、2、1の垂直方向のローパスフィルタによりフィルタリング処理を実行する。また符号G2により示す垂直方向に延長する境界にのみに隣接する画素については、タップ係数が1、2、1の水平方向のローパスフィルタによりフィルタリング処理を実行する。また符号G3により示す垂直方向及び水平方向に延長する境界に隣接する画素については、タップ係数が1、2、1の水平方向及び垂直方向のローパスフィルタによりフィルタリング処理を実行する。
差分拡散部9は、この段差低減部8から出力される細テクスチャ成分S6と元のテクスチャ成分S4との差分値を周辺画素に拡散させて細テクスチャ成分S7を生成する。すなわち差分拡散部9において、減算部10は、段差低減部8から出力される細テクスチャ成分S6から元のテクスチャ成分S4を減算し、これにより次式により示す差分errを計算する。なおここで g(i,j )は、位置(i,j )の注目画素におけるテクスチャ成分S4の値であり、 f(i,j )は、段差低減部8から出力される細テクスチャ成分S6の値である。
Figure 2008310117
差分拡散部9は、図4に示す特性のFloyd & Steinberg のエラーフィルタ11にこの差分errを入力し、減算回路12において、段差低減部8から出力される細テクスチャ成分S6からこのエラーフィルタ11の出力を減算する。これにより差分拡散部9は、次式により示すように、差分errを周辺画素に拡散する。なおこの差分値拡散用のフィルタは、Floyd & Steinberg のフィルタに限らず、種々のフィルタを適用することができる。
Figure 2008310117
なおここで左辺のf(i+1,j )、f(i-1,j+1 )、f(i,j+1 )、f(i+1,j+1 )は、位置(i,j )の注目画素の差分errを差分拡散した後の隣接画素の細テクスチャ成分値であり、右辺のf(i+1,j )、f(i-1,j+1 )、f(i,j+1 )、f(i+1,j+1 )は、差分拡散する前の隣接画素の細テクスチャ成分値である。なおこの注目画素と隣接画素との関係を図5に示す。
細テクスチャ生成部6は、段差低減部8から出力される誤差拡散処理前の細テクスチャ成分S6と、減算回路12から出力される誤差拡散処理した細テクスチャ成分S7とをテクスチャ合成部15に出力する(図1)。
テクスチャ合成部15は、テクスチャ付加量制御部16から出力されるテクスチャ度texness 、texness tiling 、変動ゲインgfluct を用いて、次式の演算処理を実行し、細テクスチャ成分S6及びS7を合成して細テクスチャ成分S3を生成する。ここでTex no err diffは、誤差拡散処理前の細テクスチャ成分S6の値であり、Tex err diff は、誤差拡散処理した細テクスチャ成分S7の値である。またテクスチャ度texness 、texness tiling は、それぞれ細テクスチャ成分S6及びS7について、テクスチャ成分である確からしさを示すパラメータである。また変動ゲインgfluct は、基本ブロックの連続による違和感を防止するための利得であり、この実施例では入力映像信号S1の高域成分量に応じて生成される。またmin (A,B)は、A及びBから値の小さい側を選択する関数である。
Figure 2008310117
これによりテクスチャ合成部15は、誤差拡散していない細テクスチャ成分S6の成分量と、誤差拡散した細テクスチャ成分S6の成分量とを相補的に変化させて、これら細テクスチャ成分S6及びS7を合成し、より処理に適した細テクスチャ成分S6、S7により細テクスチャ成分S3(synthesized tex.)を出力する。具体的に、テクスチャ合成部15は、草花、木々の葉、岩肌等の細部構造の部位では、誤差拡散していない細テクスチャ成分S6の成分量を増大させ、各種被写体間の境界、エッジでは誤差拡散した細テクスチャ成分S7の成分量を増大させる。
ブレンド部17は、利得tex gain、テクスチャ付加量制御部16から出力されるブレンド比αにより、次式の演算処理を実行し、テクスチャ生成部2から出力される細テクスチャ成分S3を入力映像信号S1に貼り付けるように、これら細テクスチャ成分S3(texure)、入力映像信号S1(in)を合成して映像信号S9(out )を出力する。なおここで利得tex gainは、この映像信号処理装置1における処理の程度を指示するパラメータであり、この実施例ではユーザーの操作により入力する。しかしながら例えばアニメ、映画等の入力映像信号S1の属性に応じて、また入力映像信号S1のオリジナルのソースがSDTVによるものかHDTVによるものか等に応じて、さらには平坦度等の入力映像信号S1の解析により、自動的に設定してもよい。
Figure 2008310117
ピーク検波部18は、ブレンド部17から出力される映像信号S9を入力し、隣接画素からの輝度レベルの立ち上がり量を検出する。すなわち図6に示すように、ピーク検波部18は、周辺画素ul〜ur、l、r、bl〜brのうちで最も輝度値の高い画素を検出し、注目画素Cの輝度値から減算して減算値を出力する。
ピーク抑圧部19は、ピーク検波部18で検出した減算値を所定のしきい値で判定し、周辺画素より輝度値が急激に立ち上がる注目画素を検出する。ピーク抑圧部19は、この周辺画素より輝度値が急激に立ち上がる注目画素に対して、2次元のローパスフィルタを適用して輝度値を立ち下げ、これにより画素単位で局所的に立ち上がった輝度値を抑圧して出力映像信号S2を出力する。なおこの局所的に立ち上がった輝度値の抑圧は、例えば周辺画素の何れかの画素値と置き換える場合等、種々の手法を適用することができる。
テクスチャ付加量制御部16は、入力映像信号S1の処理により、テクスチャ度texness 、texness tiling 、変動ゲインgfluct 、ブレンド比αを計算して出力する。すなわち図7に示すように、テクスチャ付加量制御部16において、変動ゲイン計算部20は、入力映像信号S1を処理して変動ゲインgfluct を出力する。ここで図8に示すように、変動ゲイン計算部20は、入力映像信号S1をローパスフィルタ(LPF)21に入力して低域成分を抽出し、減算回路22において、入力映像信号S1からこの低域成分を減算して入力映像信号S1の高域成分を検出する。
ゲイン設定部23は、この高域成分の信号レベルを判定して、図9に示すように、ローパスフィルタ21の出力値に対する入力映像信号S1の信号レベルが上限値fluct diff max及び下限値-fluct diff minの範囲では、減算回路22の出力値に比例して利得が増大するように、またこの上限値fluct diff max及び下限値-fluct diff minの範囲外では、それぞれ上限値fluct gain max及び下限値fluct gain minとなるように変動ゲインgfluct を設定する。なお変動ゲインgfluct は、要は、連続する基本ブロックにおける画素値の変化が自然画における画素値の変化に近づくように、画素値を微妙に変化させるものである。従って変動ゲインgfluct は、この図9に示す特性により生成する場合に限らす、入力映像信号S1の高域成分量、信号レベル等に応じて種々に生成することができ、例えば図9において破線により示すように、上限値fluct diff max及び下限値-fluct diff minの間で折り返すような特性により設定してもよい。
勾配解析部25は、入力映像信号S1を処理して、輝度勾配行列の固有値λ1、λ2を計算し、これにより注目画素のエッジらしさを示すパラメータを検出する。すなわち勾配解析部25は、入力映像信号S1の画素毎に、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向と直交するエッジ方向を検出する。
ここで図10に示すように、勾配解析部25は、注目画素を中心とした範囲Wにおける画素値を用いた演算処理により、次式により表される輝度勾配の行列Gを画素毎に生成する。なおここで図10は、注目画素を中心にしたx方向及びy方向の±3画素をこの範囲Wに設定した例である。
Figure 2008310117
なおここでw(i,j) は、(6)式により表されるガウス型の重みであり、gは、画像輝度Iのx方向の偏微分gx と、画像輝度Iのy方向の偏微分gy とにより(7)式で表される輝度勾配である。
Figure 2008310117
Figure 2008310117
これにより勾配解析部25は、注目画素を中心とした所定範囲Wについて、注目画素を基準にして重み付け処理してなる輝度勾配を検出する。
勾配解析部25は、輝度勾配の行列Gを処理することにより、図11に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向v1、このエッジ勾配方向v1に直交する方向であるエッジ方向v2について、それぞれ画素値の勾配の分散を示す固有値λ1、λ2を検出する。
具体的に、勾配解析部25は、次式の演算処理により、固有値λ1、λ2(λ1≧λ2)を検出する。
Figure 2008310117
Figure 2008310117
但し、aは、次式による。
Figure 2008310117
テクスチャ度計算部26は、図12に示すように、値1で飽和する特性によりエッジ勾配方向v1の固有値λ1の値が小さくなるに従って値が増大するコントラストのパラメータfを計算する。ここでこのエッジ勾配方向v1の固有値λ1の値が大きい場合には、画素値の勾配が最も大きい方向において、この画素値の勾配が大きい場合であることから、注目画素は、コントラストの強い部位であると言える。従ってこの注目画素は、草花、木々の葉、岩肌等の細部構造に係る部位である確率が低いと言え、テクスチャ度が低いと言える。従ってテクスチャ度計算部26は、この場合、この固有値λ1が増大するに従って値が値1から値0に近づくように、コントラストのパラメータfを計算する。
またテクスチャ度計算部26は、図13に示すように、エッジ勾配方向v1と直交する方向v2の固有値λ2をエッジ勾配方向v1の固有値λ1を割り算して割り算値λ2/λ1を計算する。テクスチャ度計算部26は、この割り算値λ2/λ1が所定値aveで値1のピーク値となり、この割り算値λ2/λ1がこの所定値から値が遠ざかるに従って値が減少するようにエッジ揃い度のパラメータgを生成する。
ここでこの割り算値λ2/λ1は、注目画素がエッジの場合であって、方向がそろっている場合程、値が小さくなる。またノイズ成分が多くなり、エッジが交差しているような場合には、これとは逆に値が大きくなる。これにより割り算値λ2/λ1の値が著しく小さい場合、著しく大きい場合、この注目画素は、草花、木々の葉、岩肌等の細部構造に係る部位である確率が低いと言え、テクスチャ度が低いと言える。これによりテクスチャ度計算部26は、割り算値λ2/λ1より細部構造に係る部位である確率が増大するに従って値が値0から値1に近づくようにエッジ揃い度のパラメータgを計算する。
テクスチャ度計算部26は、この2つのパラメータf及びgを乗算してテクスチャ度texness を出力する。
タイリング部27は、タイリング部7と同一に、このテクスチャ度texness を処理し、タイリング部7から出力される細テクスチャ成分S5に対応するテクスチャ度texness tiling を出力する。なおこの場合、画像勾配部、テクスチャ計算部を別途設け、この画像勾配部、テクスチャ計算部でタイリング部7から出力される細テクスチャ成分S5又は段差低減部8から出力される細テクスチャ成分S6を処理してテクスチャ度texness tiling を求めるようにしてもよい。
タイリング部28は、タイリング部7と同一に、勾配解析部25から出力される固有値λ1、λ2を処理して、タイリング部7から出力される細テクスチャ成分S5に対応する固有値λ1t、λ2tを計算する。なおこの場合に、タイリング部27について上述したと同様に、画像勾配部を別途設け、タイリング部7から出力される細テクスチャ成分S5又は段差低減部8から出力される細テクスチャ成分S6を処理して、細テクスチャ成分S5に対応する固有値λ1t、λ2tを計算してもよい。
エッジ解析部29は、これらのλ1、λ2、λ1t、λ2tを処理して、エッジである可能性が高くなるに従って値が減少するエッジによる重み付け係数αtype-Eを生成する。すなわちエッジ解析部29は、図14に示すように、固有値λ1に基づいて、値1から値0の範囲で、エッジ勾配方向v1にコントラストが高くなってエッジである確率が高くなるに従って値の増大するパラメータSを生成する。また図15に示すように、固有値λ2及びλ1の割り算値λ2/λ1に基づいて、輝度勾配が揃ってエッジである確率が高くなるに従って値の増大するパラメータtを生成する。エッジ解析部29は、これら固有値λ1及びλ2から生成したパラメータS及びtを乗算して、入力映像信号S1における注目画素のエッジらしさを示すパラメータedgness を生成する。
また同様に、細テクスチャ成分S5に対応する固有値λ1t、λ2tを処理して、細テクスチャ成分S5における注目画素のエッジらしさを示すパラメータedgnessttileを生成する。
エッジ解析部29は、この2つのパラメータedgness 、edgnessttileを次式の演算処理により処理し、エッジ等の部位で映像信号S9における細テクスチャ成分S3の成分量が低下するようにエッジによる重み付け係数αtype-Eを生成する。
Figure 2008310117
アクティビティ計算部30は、入力映像信号S1を次式の演算処理により処理し、近傍画素との間の差分絶対値act(x,y)を計算する。なおここでd(x,y)は、位置(x,y) の注目画素における画素値である。またd(x+1,y)、d(x,y+1)は、水平方向及び垂直方向の隣接画素の画素値である。
Figure 2008310117
アクティビティ計算部30は、注目画素毎に、注目画素を中心にして水平方向及び垂直方向にm画素及びn画素の領域を設定し、次式の演算処理によりこの差分絶対値act(x,y)を処理し、これによりアクティビティact blk raw 、このアクティビティact blk raw を領域内の最大値act max 及び最小値act min の差分値act max −act min で正規化した正規化アクティビティact blk normを計算する。なおΣの範囲は、このm画素及びn画素の領域である。
Figure 2008310117
タイリング部31は、タイリング部7と同一に、アクティビティ計算部30で求めたアクティビティact blk raw を処理し、タイリング部7から出力される細テクスチャ成分S5に対応するアクティビティact tile rawを計算する。なおこの場合に、タイリング部27について上述したと同様に、画像勾配部、アクティビティ計算部を別途設け、タイリング部7から出力される細テクスチャ成分S5又は段差低減部8から出力される細テクスチャ成分S6を処理して、アクティビティact tile raw を計算してもよい。
アクティビティ解析部32は、アクティビティ計算部30で求めた正規化アクティビティact blk norm を入力し、図16に示すように、値1から値0の範囲で、正規化アクティビティact blk norm の値の増大に従って値の増大するパラメータαact normを生成する。これによりアクティビティ解析部32は、アクティビティが増大するに従って値の増大するパラメータαact normを生成する。
またアクティビティ解析部32は、アクティビティact tile raw をアクティビティact blk raw で割り算し、図17に示すように、値1から値0の範囲で、割り算値の増大により値が減少するパラメータαact ratio を生成する。ここでアクティビティを検出する領域に、エッジ、孤立点等が存在する場合、この割り算値は、値が増大することになる。これに対してこのようなエッジ、孤立点等が存在せず、領域内における画素値の変動が一様である場合、この画素値の変動に係る周波数成分に応じて、この割り算値は、値1より小さな値になる。これによりアクティビティ解析部32は、周囲にエッジ、孤立点等が存在する確率が増大するに従って値の小さくなるパラメータαact ratio を生成する。
アクティビティ解析部32は、このようにして計算した2つのパラメータαact norm、αact ratio を乗算し、これにより画素値の変動が一定である部位で映像信号S9において細テクスチャ成分S3の割合が増大するように、アクティビティによる重み付け係数αactivityを出力する。
アクティビティ比計算部33は、次式の演算処理により、注目画素のアクティビティact tile raw を、基本ブロック内における各画素のアクティビティact tile raw の平均値で割り算し、アクティビティの比率ratio pix vs blkを計算する。
Figure 2008310117
アクティビティ比解析部34は、このアクティビティの比率ratio pix vs blkを入力し、図18に示すように、値1から値0の範囲で、この比率ratio pix vs blkの増大により値が減少する重み付け係数αpix vs blkを生成する。ここでこの比率ratio pix vs blkは、基本ブロック内に、異質のテクスチャ成分が存在する場合に、値が大きくなる。具体的には、草花の細部構造に係る部位と岩等の細部構造に係る部位とが混在する場合等である。これによりアクティビティ比解析部34は、異質のテクスチャ成分が存在する確率が増大するに従って値の小さくなる重み付け係数αpix vs blkを生成し、画素値の変動が一定である部位で映像信号S9において細テクスチャ成分の割合が増大するように、重み付け係数αpix vs blkを生成する。
乗算回路35は、次式の演算処理により、エッジ解析部29、アクティビティ解析部32、アクティビティ比解析部34で求めた重み付け係数αtype-E、αactivity、αpix vs blkを乗算し、ブレンド比αを求める。
Figure 2008310117
(2)実施例の動作
以上の構成において、入力映像信号S1は(図1)、テクスチャ抽出部3において高域成分が抽出されて、草花、木々の葉、岩肌等の細部構造成分であるテクスチャ成分が抽出される。ここでこのようにして抽出される高域成分は、例えば背景、前景等の色、輝度がほぼ一様な部位であっても、自然画においては、微妙に変動しており、この微妙な変動により自然画では草花、木々の葉、岩肌等の細部の質感が表現される。
従ってこのテクスチャ成分が劣化している場合には、草花、木々の葉、岩肌等の細部の質感が乏しいものとなる。この質感の向上にあっては、高域成分の強調によりある程度は改善できるものの、これら草花、木々の葉、岩肌等の細部構造に係る周波数成分自体が欠落している場合には、単にノイズ量のみ増大して何ら質感を向上できないことになる。
特に、スケーリングにより、SDTV方式のビデオ信号をHDTV方式のビデオ信号にフォーマット変換した場合等には、解像度の増大により相対的にこれら質感に係る高域成分が欠落することになり、質感が著しく損なわれることになる。
そこでこの実施例では、細テクスチャ生成部6において(図2及び図3)、このテクスチャ成分S4が、ブロックBLA毎に縮小されて基本ブロックBBLが生成される。またこの基本ブロックBBLが元のブロックBLに繰り返し貼り付けられて、元のテクスチャ成分S4に対して空間周波数を増大した細テクスチャ成分S5が生成される。またこの細テクスチャ成分S5が段差低減部8、テクスチャ合成部15等により処理されて細テクスチャ成分S3が生成され、この細テクスチャ成分S3が元の入力映像信号S1と画像合成される。これによりこの映像信号処理装置1では、草花、木々の葉、岩肌等の細部構造に係る周波数成分自体が欠落している場合であっても、この欠落した成分を補うように、高域成分の空間周波数を増大させることができ、これにより細部の質感を向上することができる。
しかしながらこのように基本ブロックBBLの繰り返しにより細部の質感を向上する場合、草花、木々の葉等の細部構造以外のエッジ成分等についても、同様に処理することになり、これにより種々の不都合が発生する。
そこでこの映像信号処理装置1では、入力映像信号S1と細テクスチャ成分S3との画像合成比率をテクスチャ付加量制御部16により制御し、これによりエッジ等における不都合な処理を回避して質感を向上する。
より具体的に、この映像信号処理装置1では、タイリング部7において細テクスチャ成分を生成する際に(図3)、ブロックBLの中央部分BLAを選択的に縮小して基本ブロックBBLを作成する。すなわち単にブロックBLを縮小して基本ブロックBBLを作成したのでは、基本ブロックBBLの繰り返しにより違和感が発生するのに対し、このようにブロックBLの中央部分BLAを選択的に縮小して基本ブロックBBLを作成すれば、より自然画に感じを近づけることができることが判った。これによりこの映像信号処理装置1では、自然な感じにより質感を向上することができる。
またこの中央部分BLAは、平坦度等に応じて大きさが変化するように設定される。ここでこの大きさの変化は、結局、基本ブロックBBLを作成する際の縮小率の変化であることから、細テクスチャ成分で増大させる空間周波数を変化させることになる。これにより平坦度に応じてこの中央部分BLAの大きさを変化させることにより、過不足なく空間周波数を増大させて高域を強調することができ、これによっても自然な感じにより質感を向上することができる。
また段差低減部8において、このタイリング部7で生成された細テクスチャ成分S5がフィルタリング処理され、細テクスチャ成分S5における基本ブロックBBL間の段差が抑圧される。これによりこの映像信号処理装置1では、基本ブロックBBLの繰り返しに係る周期成分が見て取られないようにすることができ、この周期成分による違和感を有効に回避することができる。この処理において段差低減部8では、基本ブロックBBLの境界に隣接画素についてのみフィルタリング処理して段差を抑圧し、これにより高域成分の低減を極力防止して段差が抑圧される(図3)。
また続く差分拡散部9において、元のテクスチャ成分S4との間の差分errが、注目画素の周辺画素に拡散される。これにより基本ブロックBBLの繰り返しにより空間周波数を増大させて、元のテクスチャ成分S4に対して著しく画素値が相違しないように、画素値を補正して細テクスチャ成分S7が生成される。これによりこの差分を拡散した細テクスチャ成分S7にあっては、このように基本ブロックBBLの繰り返しにより作成した場合であっても、元のテクスチャ成分S4における画素値の変化傾向を有し、これによっても違和感を防止して自然な感じで質感を向上することができる。
この映像信号処理装置1では、この差分を拡散した細テクスチャ成分S7と元の細テクスチャ成分S6とがテクスチャ合成部15で合成される。この合成の処理において、テクスチャ度texness 、texness tiling に応じて合成比率を可変することにより、例えば草花、木々の葉等の細部構造の部分については、元の細テクスチャ成分S6が増大するように、エッジ等の部分にあっては、差分を拡散した細テクスチャ成分S7が増大するように、これら細テクスチャ成分S6及びS7を合成して違和感無く質感を向上することができる。
また変動ゲインgfluct により利得を可変し、連続する基本ブロックにおける画素値の変化が自然画における画素値の変化に近づくようにすることができ、これによっても違和感無く質感を向上することができる。
これに対してテクスチャ付加量制御部16において(図7)、入力映像信号S1は、勾配解析部25において、画素値の勾配が最も大きなエッジ勾配方向v1、このエッジ勾配方向v1と直交するエッジ方向v2が検出され、この勾配方向v1及びv2について、それぞれ画素値の勾配の分散を示す固有値λ1、λ2が検出される(図10及び図11)。またこの固有値λ1、λ2がタイリング部28で処理され、タイリング部7から出力される細テクスチャ成分S5に対応する固有値λ1t、λ2tが求められる。これにより入力映像信号S1は、画素毎にエッジらしさを示すパラメータλ1、λ2、λ1t、λ2tが検出される。
入力映像信号S1は、これらのパラメータλ1、λ2、λ1t、λ2tのうちのパラメータλ1、λ2がテクスチャ度計算部26、タイリング部27で順次処理され(図12、図13)、テクスチャ度texness 、texness tiling が求められる。
またパラメータλ1、λ2、λ1t、λ2tがエッジ解析部29において処理され(図14、図15)、エッジの部位で細テクスチャ成分S3の割合が低下するように重み付け係数αtype-Eが生成され、この重み付け係数αtype-Eによりブレンド部13における細テクスチャ成分S3と入力映像信号S1との合成比率が設定される。これによりこの映像信号処理装置1では、エッジの部分では、入力映像信号S1の割合を増大させて、エッジ等の部分では基本ブロックの繰り返しにより高域成分を強調しないようにすることができ、これにより画質の劣化を有効に回避して質感を向上することができる。
また入力映像信号S1は、アクティビティ計算部30において、アクティビティが求められ、このアクティビティがタイリング部31で処理されて、タイリング部7から出力される細テクスチャ成分S5に対応するアクティビティが求められる。入力映像信号は、これらのアクティビティがアクティビティ解析部32で処理され(図16、図17)、画素値の変動が一定である部位で細テクスチャ成分S3の割合が増大するように、アクティビティによる重み付け係数αactivityが生成され、この重み付け係数αactivityによりブレンド部17における細テクスチャ成分S3と入力映像信号S1との合成比率が設定される。これによりこの実施例では、エッジ、孤立点等では、基本ブロックの繰り返しにより高域成分を強調しないようにしすることができ、これにより画質の劣化を有効に回避して質感を向上することができる。
また入力映像信号S1は、アクティビティ比計算部33において、入力映像信号S1のアクティビティと細テクスチャ成分S5に対応するアクティビティとの比率が求められ、続くアクティビティ比解析部34において、この比率に基づいて、画素値の変動が一定である部位で細テクスチャ成分の割合が増大するように、重み付け係数αpix vs blkが生成され(図18)、この重み付け係数αpix vs blkによりブレンド部17における細テクスチャ成分S3と入力映像信号S1との合成比率が設定される。これによりこの実施例では、基本ブロック内に、異質のテクスチャ成分が存在する場合には、基本ブロックの繰り返しにより高域成分を強調しないようにしすることができ、これにより画質の劣化を有効に回避して質感を向上することができる。
入力映像信号S1は、これらの重み付け係数αtype-E、αactivity、αpix vs blkによりブレンド部17において細テクスチャ成分S3と画像合成されて映像信号S9が生成される。ここでこのように各種のパラメータの検出により合成比率を可変し、さらには細テクスチャ成分S3の作成手法を工夫しても、このブレンド部17から出力される映像信号S9には、著しく輝度レベルの増大した画素が点状に分布し、これにより画質の劣化が知覚される。
そこで映像信号処理装置1では、続くピーク検波部18において、近傍画素より輝度値が立ち上がっている画素が検出される。またこの検出結果に基づいて、続くピーク抑圧部19において、輝度値の立ち上がりが抑圧される。これによりこの映像信号処理装置1では、著しく輝度レベルの増大した画素の点状の分布を防止し、画質の劣化が防止される。
(3)実施例の効果
以上の構成によれば、入力画像から高域成分を抽出、縮小して細テクスチャ成分を生成し、この細テクスチャ成分と入力画像とを画像合成することにより、従来に比して細部の質感を向上することができる。
また高域成分を抽出、縮小する際に、ブロックの中央部分を選択的に縮小して基本ブロックを作成することにより、より自然画に近づくように細テクスチャ成分を生成することができ、これにより自然な感じにより質感を向上することができる。
またフィルタリング処理により、細テクスチャ成分における基本ブロック間の段差を抑圧することにより、基本ブロックの周期成分による違和感を有効に回避することができる。
また高域成分に対する細テクスチャ成分の差分値を周辺画素に拡散させることにより、元のテクスチャ成分における画素値の変化を細テクスチャ成分に反映させることができ、これによっても違和感を防止して自然な感じにより質感を向上することができる。
またこの差分を拡散した細テクスチャ成分と元の細テクスチャ成分とを合成して処理することにより、合成比率の制御によって、例えば草花、木々の葉等の細部構造の部分については、元の細テクスチャ成分が増大するように、エッジ等の部分にあっては、差分を拡散した細テクスチャ成分が増大するように、これら細テクスチャ成分を合成して違和感無く質感を向上することができる。
具体的に、テクスチャである確からしさ示すテクスチャ度に応じて、合成比率を可変することにより、違和感無く質感を向上することができる。
また利得を変動させて、この利得により細テクスチャ成分を補正することにより、画素値の変化が自然画における画素値の変化に近づくようにすることができ、これによっても違和感無く質感を向上することができる。
また入力画像から注目画素のエッジらしさを示すパラメータを検出し、エッジの部位で細テクスチャ成分の割合が低下するように、画像合成比率を設定することにより、エッジ等の部分では基本ブロックの繰り返しにより高域成分を強調しないようにすることができ、これにより画質の劣化を有効に回避して質感を向上することができる。
また入力画像のアクティビティを検出し、画素値の変動が一定である部位で細テクスチャ成分の割合が増大するように画像合成比率を設定することにより、エッジ、孤立点等では、基本ブロックの繰り返しにより高域成分を強調しないようにすることができ、これにより画質の劣化を有効に回避して質感を向上することができる。
また入力画像のアクティビティと、細テクスチャ成分のアクティビティとの比率を計算し、この比率により、画素値の変動が一定である部位で細テクスチャ成分の割合が増大するように画像合成比率を設定することにより、異質のテクスチャ成分が存在する場合には、基本ブロックの繰り返しにより高域成分を強調しないようにすることができ、これにより画質の劣化を有効に回避して質感を向上することができる。
また出力画像における輝度値のピークを抑圧することにより、著しく輝度レベルの増大した画素の点状の分布を防止し、これにより画質の劣化を防止することができる。
なお上述の実施例においては、単に入力映像信号から高域成分を抽出してテクスチャ成分を抽出する場合について述べたが、本発明はこれに限らず、高域成分を抽出するフィルタの特性を動的に可変してテクスチャ成分を抽出する場合等、テクスチャ成分の抽出手法は種々の手法を広く適用することができる。
すなわち草花、木々の葉、岩肌等の、背景、前景等の一様な部位における細部構造成分にあっては、例えばズームアウトした映像では、著しく周波数の高い高域成分となるのに対し、ズームインした映像では、低い周波数帯域にまで分布するようになる。これにより例えば、画素値の変動の小さな比較的平坦な部位では、低い周波数成分までも抽出するようにしてテクスチャ成分を抽出することができる。またこれとは逆に画素値の変動の大きな部位では、高い周波数帯域の成分を抽出してテクスチャ成分を抽出することができる。
これにより例えば入力映像信号を各部で周波数解析し、周波数スペクトラムの分布に応じてフィルタのカットオフ周波数を各部で切り換えてテクスチャ成分を抽出する場合、色相、輝度値、平坦度等により各部の属性を判定し、この属性によりフィルタのカットオフ周波数を各部で切り換えてテクスチャ成分を抽出する場合等、フィルタの特性を動的に可変してテクスチャ成分を抽出するようにして一段と質感を向上することができる。
また上述の実施例においては、入力映像信号を処理することにより、動画像による入力画像を処理する場合について述べたが、本発明はこれに限らず、静止画像を処理する場合にも広く適用することができる。
また上述の実施例においては、本発明をディスプレイ装置に適用する場合について述べたが、本発明はこれに限らず、各種映像信号の記録再生装置、処理装置、編集装置、処理プログラム等に広く適用することができる。
本発明は、例えばディスプレイ装置等の映像機器に適用することができる。
本発明の実施例の映像信号処理装置を示すブロック図である。 図1の細テクスチャ生成部を示すブロック図である。 図2のタイリング部の動作の説明に供する略線図である。 図2の差分拡散部のエラーフィルタを示す略線図である。 図2の差分拡散部の動作の説明に供する略線図である。 図1のピーク抑圧部の説明に供する略線図である。 図1のテクスチャ付加量制御部を示すブロック図である。 図7の変動ゲイン部を示すブロック図である。 図8の変動ゲイン部の動作の説明に供する特性曲線図である。 図7の勾配解析部の動作の説明に供する略線図である。 図10の続きの説明に供する略線図である。 図7のテクスチャ度計算部の動作の説明に供する略線図である。 図12の続きの説明に供する略線図である。 図7のエッジ解析部の動作の説明に供する略線図である。 図14の続きの説明に供する略線図である。 図7のアクティビティ解析部の動作の説明に供する略線図である。 図16の続きの説明に供する略線図である。 図7のアクティビティ比解析部の動作の説明に供する略線図である。
符号の説明
1……映像信号処理装置、2……テクスチャ生成部、3……テクスチャ抽出部、6……細テクスチャ生成部、7、27、28、31……タイリング部、8……段差低減部、9……差分拡散部、15……テクスチャ合成部、16……テクスチャ付加量制御部、17……ブレンド部、18……ピーク検波部、10……ピーク抑圧部、20……変動ゲイン部、25……勾配解析部、26……テクスチャ度計算部、29……エッジ解析部、30……アクティビティ計算部、32……アクティビティ解析部、33……アクティビティ比計算部、34……アクティビティ比解析部

Claims (14)

  1. 入力画像からテクスチャ成分を抽出するテクスチャ抽出部と、
    前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成部と、
    前記細テクスチャ成分と前記入力画像とを画像合成するブレンド部と、
    前記ブレンド部における画像合成比率を設定するテクスチャ付加量制御部とを備える
    ことを特徴とする画像処理装置。
  2. 入力画像からテクスチャ成分を抽出するテクスチャ抽出ステップと、
    前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成ステップと、
    前記細テクスチャ成分と前記入力画像とを画像合成して出力画像を生成するブレンドステップと、
    前記ブレンドステップにおける画像合成比率を設定するテクスチャ付加量制御ステップとを備える
    ことを特徴とする画像処理方法。
  3. 前記細テクスチャ生成ステップは、
    前記ブロックの中央部分を選択的に縮小して前記基本ブロックを作成する
    ことを特徴とする請求項1に記載の画像処理方法。
  4. 前記細テクスチャ生成ステップは、
    前記細テクスチャ成分のフィルタリング処理により、前記細テクスチャ成分における前記基本ブロック間の段差を抑圧する段差抑圧ステップを有する
    ことを特徴とする請求項2に記載の画像処理方法。
  5. 前記細テクスチャ生成ステップは、
    前記テクスチャ成分に対する前記細テクスチャ成分の差分値を周辺画素に拡散させる差分拡散ステップを有する
    ことを特徴とする請求項2に記載の画像処理方法。
  6. 前記細テクスチャ生成ステップは、
    前記テクスチャ成分に対する前記細テクスチャ成分の差分値を周辺画素に拡散させる差分拡散ステップと、
    前記細テクスチャ成分に、前記差分拡散ステップにより差分拡散した前記細テクスチャ成分を合成する合成ステップを有し、
    前記ブレントステップで処理する前記細テクスチャ成分が、前記合成ステップで合成した前記細テクスチャ成分である
    ことを特徴とする請求項2に記載の画像処理方法。
  7. 前記合成ステップは、
    テクスチャである確からしさを示すテクスチャ度に応じて、合成比率を可変する
    ことを特徴とする請求項6に記載の画像処理方法。
  8. 前記細テクスチャ生成ステップは、
    変動する利得を前記細テクスチャ成分に乗算して出力する
    ことを特徴とする請求項2に記載の画像処理方法。
  9. 前記テクスチャ付加量制御ステップは、
    前記入力画像から注目画素のエッジらしさを示すパラメータを検出するエッジ検出ステップと、
    前記エッジ検出ステップで検出したパラメータを解析して、エッジの部位で前記細テクスチャ成分の割合が低下するように、前記画像合成比率を設定するエッジ解析ステップとを有する
    ことを特徴とする請求項2に記載の画像処理方法。
  10. 前記テクスチャ付加量制御ステップは、
    前記入力画像のアクティビティを検出するアクティビティ検出ステップと、
    前記アクティビティを解析して、画素値の変動が一定である部位で前記細テクスチャ成分の割合が増大するように、前記画像合成比率を設定するアクティビティ解析ステップとを有する
    ことを特徴とする請求項2に記載の画像処理方法。
  11. 前記テクスチャ付加量制御ステップは、
    前記入力画像のアクティビティを検出するアクティビティ検出ステップと、
    前記細テクスチャ成分のアクティビティを検出する細テクスチャ成分のアクティビティ検出ステップと、
    前記入力画像のアクティビティと、前記細テクスチャ成分のアクティビティとの比率を計算するアクティビティ比計算ステップと、
    前記比率により、前記画素値の変動が一定である部位で前記細テクスチャ成分の割合が増大するように、前記画像合成比率を設定するアクティビティ比解析ステップとを有する
    ことを特徴とする請求項2に記載の画像処理方法。
  12. 前記出力画像における画素値のピークを抑圧するピーク抑圧ステップを有する
    ことを特徴とする請求項2に記載の画像処理方法。
  13. 入力画像からテクスチャ成分を抽出するテクスチャ抽出ステップと、
    前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成ステップと、
    前記細テクスチャ成分と前記入力画像とを画像合成して出力画像を生成するブレンドステップと、
    前記ブレンドステップにおける画像合成比率を設定するテクスチャ付加量制御ステップとを備える
    ことを特徴とする画像処理方法のプログラム。
  14. 画像処理方法のプログラムを記録した記録媒体において、
    前記プログラムは、
    入力画像からテクスチャ成分を抽出するテクスチャ抽出ステップと、
    前記入力画像を分割して形成されるブロック毎に、前記テクスチャ成分によるブロックを縮小して基本ブロックを作成し、前記基本ブロックを前記ブロックに繰り返し配置することにより、前記テクスチャ成分の空間周波数を増大させた細テクスチャ成分を生成する細テクスチャ生成ステップと、
    前記細テクスチャ成分と前記入力画像とを画像合成して出力画像を生成するブレンドステップと、
    前記ブレンドステップにおける画像合成比率を設定するテクスチャ付加量制御ステップとを備える
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
JP2007158547A 2007-06-15 2007-06-15 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Expired - Fee Related JP4893489B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007158547A JP4893489B2 (ja) 2007-06-15 2007-06-15 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
TW097114527A TW200908699A (en) 2007-06-15 2008-04-21 Image processor, image processing method, program of the image processing method, and recording medium on which the program of the image processing method is recorded
EP08740724.3A EP2040459A4 (en) 2007-06-15 2008-04-21 IMAGE PROCESSOR, IMAGE PROCESSING METHOD, IMAGE PROCESSING METHOD PROGRAM, AND RECORDING MEDIUM IN WHICH PROGRAM OF IMAGE PROCESSING METHOD IS RECORDED
US12/376,983 US8369624B2 (en) 2007-06-15 2008-04-21 Image processing apparatus, image processing method, program of image processing method, and recording medium having program of image processing method recorded thereon
PCT/JP2008/057682 WO2008152861A1 (ja) 2007-06-15 2008-04-21 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR1020087026000A KR20100019298A (ko) 2007-06-15 2008-04-21 화상처리 장치, 화상처리 방법, 화상처리 방법의 프로그램 및 화상처리 방법의 프로그램을 기록한 기록매체
CN2008800005811A CN101543041B (zh) 2007-06-15 2008-04-21 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007158547A JP4893489B2 (ja) 2007-06-15 2007-06-15 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2008310117A true JP2008310117A (ja) 2008-12-25
JP2008310117A5 JP2008310117A5 (ja) 2010-04-30
JP4893489B2 JP4893489B2 (ja) 2012-03-07

Family

ID=40129474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007158547A Expired - Fee Related JP4893489B2 (ja) 2007-06-15 2007-06-15 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Country Status (7)

Country Link
US (1) US8369624B2 (ja)
EP (1) EP2040459A4 (ja)
JP (1) JP4893489B2 (ja)
KR (1) KR20100019298A (ja)
CN (1) CN101543041B (ja)
TW (1) TW200908699A (ja)
WO (1) WO2008152861A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154150A (ja) * 2006-12-20 2008-07-03 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2010133930A (ja) * 2008-10-31 2010-06-17 Denso Corp 液体性状検出装置
JP2011210197A (ja) * 2010-03-30 2011-10-20 Toshiba Corp 画像処理装置
JP2012231255A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 画像処理装置および画像処理方法
JP2013106214A (ja) * 2011-11-14 2013-05-30 Toshiba Corp 画像処理装置、及び画像処理方法
JP5337250B2 (ja) * 2009-09-04 2013-11-06 株式会社東芝 画像処理装置及びその方法
JP2017535904A (ja) * 2014-11-24 2017-11-30 日本テキサス・インスツルメンツ株式会社 オブジェクト検出のためのシステム及び方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI383665B (zh) * 2009-09-10 2013-01-21 Himax Media Solutions Inc 對比強化系統及方法
JP5454075B2 (ja) 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102724574B (zh) * 2011-05-11 2015-02-18 新奥特(北京)视频技术有限公司 一种多路视频开窗的实现方法
CN104584532B (zh) * 2012-08-23 2017-07-28 富士胶片株式会社 图像处理装置、摄像装置、计算机、图像处理方法及程序
CN104134201B (zh) * 2014-07-31 2017-03-29 广东威创视讯科技股份有限公司 纹理图像拼接的方法和装置
CN106296737A (zh) * 2016-08-09 2017-01-04 惠州学院 一种基于无背景学习的直接前景视频提取系统
CN107862709B (zh) * 2017-09-28 2020-03-27 北京华航无线电测量研究所 一种多方向模式连接规则的图像纹理描述方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04321379A (ja) * 1991-01-08 1992-11-11 Nec Corp 適応画像強調回路
JPH07170428A (ja) * 1993-01-19 1995-07-04 Matsushita Electric Ind Co Ltd 画像表示方法およびその装置
JPH09181940A (ja) * 1995-12-13 1997-07-11 Samsung Electron Co Ltd ビデオ信号のローカルコントラスト改善のための方法及び装置
JP2004266757A (ja) * 2003-03-04 2004-09-24 Sony Corp 画像処理装置および方法
JP2008154150A (ja) * 2006-12-20 2008-07-03 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856316A (ja) 1994-06-09 1996-02-27 Sony Corp 画像処理装置
JP4600011B2 (ja) * 2004-11-29 2010-12-15 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04321379A (ja) * 1991-01-08 1992-11-11 Nec Corp 適応画像強調回路
JPH07170428A (ja) * 1993-01-19 1995-07-04 Matsushita Electric Ind Co Ltd 画像表示方法およびその装置
JPH09181940A (ja) * 1995-12-13 1997-07-11 Samsung Electron Co Ltd ビデオ信号のローカルコントラスト改善のための方法及び装置
JP2004266757A (ja) * 2003-03-04 2004-09-24 Sony Corp 画像処理装置および方法
JP2008154150A (ja) * 2006-12-20 2008-07-03 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154150A (ja) * 2006-12-20 2008-07-03 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4661775B2 (ja) * 2006-12-20 2011-03-30 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8031945B2 (en) 2006-12-20 2011-10-04 Sony Corporation Image-processing device, image-processing method, program of image-processing method, and recording medium recording program of image-processing method
JP2010133930A (ja) * 2008-10-31 2010-06-17 Denso Corp 液体性状検出装置
JP5337250B2 (ja) * 2009-09-04 2013-11-06 株式会社東芝 画像処理装置及びその方法
JP2011210197A (ja) * 2010-03-30 2011-10-20 Toshiba Corp 画像処理装置
JP2012231255A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 画像処理装置および画像処理方法
US8712178B2 (en) 2011-04-25 2014-04-29 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2013106214A (ja) * 2011-11-14 2013-05-30 Toshiba Corp 画像処理装置、及び画像処理方法
JP2017535904A (ja) * 2014-11-24 2017-11-30 日本テキサス・インスツルメンツ株式会社 オブジェクト検出のためのシステム及び方法

Also Published As

Publication number Publication date
WO2008152861A1 (ja) 2008-12-18
CN101543041A (zh) 2009-09-23
KR20100019298A (ko) 2010-02-18
CN101543041B (zh) 2011-07-06
TWI375460B (ja) 2012-10-21
JP4893489B2 (ja) 2012-03-07
EP2040459A4 (en) 2013-08-21
US20100189359A1 (en) 2010-07-29
TW200908699A (en) 2009-02-16
US8369624B2 (en) 2013-02-05
EP2040459A1 (en) 2009-03-25

Similar Documents

Publication Publication Date Title
JP4893489B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5962393B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5094219B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
US8009903B2 (en) Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
US6792160B2 (en) General purpose image enhancement algorithm which augments the visual perception of detail in digital images
US9064331B2 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, and program
EP2750101B1 (en) Endoscopic video system with dynamic contrast and detail enhancement
US9495582B2 (en) Digital makeup
US7903898B2 (en) Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
US8971611B2 (en) Image process device, image process method, and image process program
EP2059902B1 (en) Method and apparatus for image enhancement
JP2008067373A (ja) 映像補正方法及び装置
JP2002133409A (ja) ピクセルカラーに基づくデジタル画像強調方法
JP5367667B2 (ja) 画像処理装置
WO2009081485A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20120133747A1 (en) Image processing apparatus, display apparatus, image processing method and image processing program
JP4992433B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP6587317B2 (ja) ガイデットフィルタベースのディテール強調
JP2007041834A (ja) 画像処理装置
JP2008009877A (ja) 画像処理装置,画像処理方法およびプログラム
JP2009118080A (ja) 画像信号処理装置及び画像信号処理方法
US20130343650A1 (en) Image processor, image processing method, and program
JP6541326B2 (ja) 画像処理装置及びその制御方法、画像表示装置、コンピュータプログラム
JP2008211840A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090128

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees