JP2010152518A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2010152518A
JP2010152518A JP2008328077A JP2008328077A JP2010152518A JP 2010152518 A JP2010152518 A JP 2010152518A JP 2008328077 A JP2008328077 A JP 2008328077A JP 2008328077 A JP2008328077 A JP 2008328077A JP 2010152518 A JP2010152518 A JP 2010152518A
Authority
JP
Japan
Prior art keywords
image
image processing
resolution
processing
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008328077A
Other languages
English (en)
Other versions
JP4528857B2 (ja
Inventor
Kota Mitsuya
浩太 三廼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008328077A priority Critical patent/JP4528857B2/ja
Priority to US12/555,586 priority patent/US7983454B2/en
Publication of JP2010152518A publication Critical patent/JP2010152518A/ja
Application granted granted Critical
Publication of JP4528857B2 publication Critical patent/JP4528857B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像の種類に応じた鮮鋭化処理を適用することが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、画像データに含まれた特定色領域を検出する検出手段と、前記画像データに対する鮮鋭化処理を含む画像処理のうちの、前記特定色領域に対するこの画像処理を制御するための画像処理制御信号を生成する画像処理制御手段と、前記画像処理制御信号に基づき前記画像データに対して前記画像処理を実行する画像処理手段と、を備えている。
【選択図】 図2

Description

本発明は、画像を鮮鋭化する鮮鋭化処理を実行する画像処理装置及び画像処理方法に関する。
近年、SD(Standard Definition)規格を超える解像度を持つパーソナルコンピュータ用ディスプレイで、映像コンテンツを視聴する機会が増加している。また、ハイビジョン放送の本格化に伴い、HD(High Definition)規格対応のテレビジョン受信機も一般家庭に普及してきている。
このような高い解像度をもつ映像表示装置に比べて、ビデオカメラ等の撮影機器により取得された映像データやSD規格対応のテレビジョン放送、DVD等は、解像度が低い。このため、何らかの手段によって、映像データの高解像度化を図る必要がある。また、映像の一部を拡大表示する場合や、ビデオカメラ使用時に、光学ズームを超えてデジタルズームによる撮影を行う場合にも、高解像度化の必要がある。
従来、高解像度化には、線形内挿や3次元畳み込み法(Cubic Convolution)による内挿が用いられていたが、十分な鮮鋭さが得られないという問題があった。そこで、画素と画素との間に新しい画素値データを生成し、高い周波数成分を創造し、鮮鋭化することで、画像の元の解像度を超える画像を生成する超解像化技術の研究が進められている(特許文献1、特許文献2参照)。また、上述したような映像入出力機器に対して、超解像機能を組み込むための開発も進められている。
特開2008−067110号公報 特開2008−146190号公報
しかしながら、このような鮮鋭化を含む処理(例えば、上記超解像化技術)を実際のデジタルテレビに実装した場合、映像の種類によっては、当該画像処理により悪影響が生じる可能性があることがわかった。
本発明の目的は、画像の種類に応じた鮮鋭化処理を適用することが可能な画像処理装置及び画像処理方法を提供することにある。
この発明の一実施形態に係る画像処理装置は、画像データに含まれた特定色領域を検出する検出手段と、前記画像データに対する鮮鋭化処理を含む画像処理のうちの、前記特定色領域に対するこの画像処理を制御するための画像処理制御信号を生成する画像処理制御手段と、前記画像処理制御信号に基づき前記画像データに対して前記画像処理を実行する画像処理手段と、を備えている。
この発明の一実施形態に係る画像処理装置は、画像データに含まれた特定色領域を検出し、前記画像データに対する鮮鋭化処理を含む画像処理のうちの、前記特定色領域に対するこの画像処理を制御するための画像処理制御信号を生成し、前記画像処理制御信号に基づき前記画像データに対して前記画像処理を実行する。
本発明によれば、画像の種類に応じた鮮鋭化処理を適用することが可能な画像処理装置及び画像処理方法を提供できる。
以下、図面を参照し、本発明の実施形態について説明する。
まず、図1を参照して、本発明の一実施形態に係る映像処理装置1(画像処理装置)の構成を説明する。この映像処理装置1は、例えば、DVDプレーヤ等の映像再生装置、セットトップボックス又はデジタルテレビジョン受信機等の映像表示装置である。映像処理装置1と他の映像処理機器とは所定の通信規格、例えば、HDMI(High Definition Multimedia Interface)規格に準拠したインタフェース(以下、HDMIインタフェースという)により接続することができる。映像処理装置1と他の映像処理機器のHDMIインタフェースとを介して、映像信号を送受信することができる。また、HDMI規格は、さらにその中でCEC(Consumer Electronics Control)規格を規定している。したがって、映像処理装置1と他の映像処理機器のHDMIインタフェースとを介して、CECに準拠した制御情報等を送受信することもできる。
また、映像処理装置1は、映像信号(画像データ)に対して鮮鋭化処理を含む画像処理を実行することができ、しかも、映像信号に含まれた特定色領域(顔画像領域)に対しては鮮鋭化処理を低減又はオフにすることができる。例えば、画像全体に対して均一に鮮鋭化処理を適用した場合、風景等の画像はより鮮鋭になり、ユーザは画質の向上を感じることができる。ところが、人物の顔等の画像が鮮鋭になり過ぎると、ユーザはその画像を見て不自然に感じてしまうことがある。このような不自然な画像を出力しないために、画像全体に対する鮮鋭化処理のレベルを下げる方法が考えられる。しかし、これでは、より鮮鋭に表示できるはずの風景等の画像の鮮鋭度を下げることになってしまう。そこで、この映像処理装置1は、映像信号に含まれた特定色領域(顔画像領域)に対する鮮鋭化処理を低減することにより、風景等の画像についてはより鮮鋭に出力し、人物の顔等の画像についてはより自然に出力することができる。この映像処理装置1による鮮鋭化処理の制御については、この後、詳しく説明する。
図1に示すように、映像処理装置1は、制御モジュール11、メモリ12、HDMI I/F13、映像処理モジュール14、及び表示部15を備える。また、図2に示すように、映像処理モジュール14は、超解像画像生成モジュール1411、特定色検出モジュール1412a、超解像画像生成制御モジュール1413を備えている。
制御モジュール111は、デジタルテレビジョン受信機11内の各部の動作を制御する。メモリ112は、各種の設定情報及び制御情報を格納する。例えば、メモリ112は、超解像画像生成のための各種パラメータを格納する。
HDMI I/F113は、他の映像処理機器に設けられたHDMI I/Fと接続し、HDMIに準拠した映像信号及び制御信号を送受信する。映像処理モジュール14は、HDMI I/F113を介して他の映像処理機器からの入力映像信号に対して、各種映像処理を施し、表示部115へ出力する。例えば、図2に示すように、映像処理モジュール14の超解像画像生成モジュール1411が、入力映像信号に対して超解像処理を実行し、超解像処理された映像信号を表示部15へ出力する。表示部15は、超解像処理された映像信号に基づく映像を画面に表示する。
超解像画像生成モジュール1411は、第1解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第2解像度である高解像度の画像信号を復元する鮮鋭化処理を行う。ここで、「本来の画素値」とは、例えば、低解像度(第1解像度)の画像信号を得たときと同じ被写体を、高解像度(第2解像度)のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。
さらに、詳しく説明すると、まず、オリジナルの入力映像から、アップコンバート処理によって、仮のフルHD高解像度映像を作る。つまり、隣り合う画素の情報をもとに間の画素を補間し、仮のフルHD高解像度映像を作る。補間された画素は必ずしもオリジナル映像にあったものとは言えない。つまり、計算誤差によるノイズやエッジの乱れなどが発生し得る。
次に、撮像モデル関数に基づき、仮のフルHD高解像度映像から、オリジナル映像と同じ解像度にダウンコンバートした映像を作る。撮像モデル関数とは、一般的なカメラが撮像素子の情報を映像信号に変換するのと同じ処理を計算で再現するものである。
ダウンコンバートした映像はオリジナルの入力映像と同じものになるはずであるが、アップコンバート処理における計算誤差などのため、ダウンコンバートした映像とオリジナルの入力映像との間には相違部分が発生する。この相違部分を検出し、また、周辺の画素の情報などを参考に計算誤差が出ないように補正して、オリジナルの入力映像に近い超解像処理された出力映像が生成される。
つまり、超解像処理とは、ダウンコンバートした映像とオリジナルの入力映像とを比較し、オリジナルの入力映像が本来持っているはずの信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を1回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した映像を後で視聴する場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。
なお、超解像画像生成モジュール1411は、例えば、特開2007−310837号公報、特開2008−98803号公報及び特開2000−188680号公報等に開示された公知・公用の技術を用いることも可能である。本実施形態の超解像画像生成モジュール1411の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いることができる。
例えば、特開2007−310837号公報に開示された超解像処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
また、特開2008−98803号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、第1の画素位置、及びこの第1の誤差、並びに第1の画素の周辺の第2の画素位置、及びこの第2の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点、及び注目画素を始点とする小数精度ベクトルを算出し、この小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル、及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像画像生成モジュール1411は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
また、特開2000−188680号公報に開示された複数フレーム画像間でのマッピングを利用した超解像処理を用いることもできる。
また、本実施形態の超解像画像生成モジュール1411における超解像処理では、引き伸ばした映像に独自のアルゴリズムを加えることで一度低解像度映像に変換、さらにその映像をオリジナルの入力映像と比較して差分を検出して更に補正処理を施すことで、高画質処理がされてもよい。
ただし、超解像画像生成モジュール1411における超解像処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であったり、あらゆる手法を適用することができる。
次に、図2に示すブロック図及び図6に示すフローチャートを参照し、超解像処理制御の一例について説明する。図2に示すように、映像処理モジュール14は、外部(他の映像処理機器)からの入力映像信号が超解像画像生成モジュール1411及び特定色検出モジュール1412aへ入力されるように構成されている。
入力映像信号が超解像画像生成モジュール1411及び特定色検出モジュール1412aへ入力されると(ST1、YES)、特定色検出モジュール1412aは、入力映像信号に含まれた特定色を検出し、例えばこの特定色を所定の割合以上で含む所定サイズ以上の領域を特定色領域として検出する(ST2)。より具体的な例を挙げると、特定色検出モジュール1412aは、入力映像信号に含まれた肌色を検出し、この肌色を所定の割合以上で含む所定サイズ以上の領域を特定色領域として検出する。言い換えると、特定色検出モジュール1412aは、人物の顔画像領域を検出する。
特定色領域が検出されると(ST2、YES)、特定色領域の検出結果(例えば特定色領域の位置情報)は、特定色検出モジュール1412aから超解像画像生成制御モジュール1413へ通知され、超解像画像生成制御モジュール1413は、特定色領域の検出結果に基づき、特定色領域に対する超解像処理の超解像制御信号を生成する(ST3)。例えば、超解像画像生成制御モジュール1413は、特定色領域の検出結果に基づき、特定色領域に対する超解像処理を低減又はオフするための超解像制御信号を生成する。
超解像制御信号は、超解像画像生成制御モジュール1413から超解像画像生成モジュール1411へ通知され、超解像画像生成モジュール1411は、超解像制御信号に基づき入力映像信号に対して超解像処理を実行する(ST4)。つまり、超解像画像生成モジュール1411は、超解像制御信号に基づき、特定色領域に対する超解像処理を低減したり、特定色領域に対する超解像処理をオフにしたりし、特定色領域以外の領域に対しては超解像処理を低減することなく適用する(ST4)。
例えば、映像処理装置1は、ユーザからの超解像処理のレベル設定を受け付けることができる。この場合、超解像画像生成モジュール1411は、特定色領域に対する超解像処理のレベルを設定されたレベルより低く設定したり、特定色領域に対する超解像処理をオフにしたりし、特定色領域以外の領域に対しては予め設定されたレベルの超解像処理を適用する。特定色領域に対する超解像処理のレベルを設定されたレベルより低く設定するとは、映像信号に悪影響が出ない程度に超解像処理のパラメータを設定することである。
なお、特定色領域に対する超解像処理をオフにするとは、特定色領域の映像信号が超解像画像生成モジュール1411を通過しないようにする処理であってもよいし(ハードウェアスルー処理)、特定色領域の映像信号が超解像画像生成モジュール1411を通過するが特定色領域の映像信号に対する超解像処理のパラメータを超解像処理効果が得られない値に設定する処理であってもよい(ソフトウェアスルー処理)。ハードウェアスルー処理の場合、特定色領域の映像信号は超解像画像生成モジュール1411を通過させず、特定色領域以外の映像信号は超解像画像生成モジュール1411を通過させることになり、映像処理モジュール14は、超解像画像生成モジュール1411を通過していない特定色領域の映像信号と、超解像画像生成モジュール1411を通過した特定色領域以外の映像信号とを合成して出力する。
即ち、特定色領域に対する超解像処理のオフは、超解像画像生成モジュール1411に特定色領域に対する映像信号を入力しないこと、又は超解像画像生成モジュール1411に映像信号を入力するが特定色領域に対する映像信号に対する超解像処理のパラメータを超解像処理効果が得られない値または得られ難い値に設定にする(例えば、鮮鋭化ゲインを持ち上げずゼロに設定したり、復元処理を行わない)ことのいずれかにより実現される。
特定色領域が検出されなければ(ST2、NO)、超解像画像生成モジュール1411は、入力映像信号(画像全体)に対して超解像処理を実行する(ST5)。入力映像信号が超解像画像生成モジュール1411及び特定色検出モジュール1412aへ入力されなくなると(ST6、YES)、処理が終了する。
近年、画素数1920×1080のフルHDパネル化された映像表示装置の普及が進み、フルHD解像度のフルHDコンテンツの映像を忠実に表示する事が可能になっている。また、フルHD解像度に満たない、地上デジタル放送又はDVDソフト等のSDコンテンツでもより綺麗に表示させたいと言う要求が高まっている。この要求に対応して、映像表示装置は、超解像処理によりSDコンテンツをフルHDコンテンツ並みの鮮鋭感のある画像に加工し表示することができる。しかし、超解像処理は、人の顔等の必ずしも鮮鋭感を必要としない画像までも鮮鋭感のある画像に加工され得る。そのため、人の顔等の画像上の凹凸又は皺が強調され得る。
上記説明した映像処理装置1は、このような不具合を解消することができる。つまり、映像処理装置1は、任意色の部分に対しての超解像画像生成処理を制御(抑制)することで、人の顔等の画像上の凹凸又は皺を強調することなく人の顔等の画像を自然に表示することができ、また人の顔以外の画像には鮮鋭感を持たせて表示することができる。
次に、図3を参照して、超解像処理制御の別例について説明する。図3に示すように、映像処理モジュール14を構成するようにしてもよい。つまり、映像処理モジュール14は、超解像画像生成モジュール1411、顔画像検出モジュール1412b、超解像画像生成制御モジュール1413を備えている。映像処理モジュール14は、外部(他の映像処理機器)からの入力映像信号が超解像画像生成モジュール1411及び顔画像検出モジュール1412bへ入力されるように構成されている。
入力映像信号が超解像画像生成モジュール1411及び顔画像検出モジュール1412bへ入力されると、顔画像検出モジュール1412bは、入力映像信号に含まれた顔画像領域を検出する。顔画像領域の検出は、デジタルカメラ等で既に採用されている顔検出技術を利用することができる。顔画像領域が検出されると、顔画像領域の検出結果(例えば顔画像領域の位置情報)は、顔画像検出モジュール1412bから超解像画像生成制御モジュール1413へ通知され、超解像画像生成制御モジュール1413は、顔画像領域の検出結果に基づき、顔画像領域に対する超解像処理を低減又はオフするための超解像制御信号を生成する。
超解像制御信号は、超解像画像生成制御モジュール1413から超解像画像生成モジュール1411へ通知され、超解像画像生成モジュール1411は、超解像制御信号に基づき、顔画像領域に対する超解像処理を低減したり、顔画像領域に対する超解像処理をオフにしたりし、顔画像領域以外の領域に対しては超解像処理を低減することなく適用する。
上記説明では、特定色領域(顔画像領域)に対する超解像処理の制御について説明したが、超解像処理以外の他の画像処理の制御であってもよい。例えば、特定色領域(顔画像領域)に対するシャープネス処理の制御であってもよい。シャープネス処理とは、画像データに含まれた画像のエッジを強調する処理である。なお、既に説明した内容と同内容は省略するか簡略する。
図4を参照して、シャープネス処理制御の一例について説明する。図4に示すように、映像処理モジュール14を構成するようにしてもよい。つまり、映像処理モジュール14は、シャープネス処理モジュール1421、特定色検出モジュール1422a、シャープネス処理制御モジュール1423を備えている。映像処理モジュール14は、外部(他の映像処理機器)からの入力映像信号がシャープネス処理モジュール1421及び特定色検出モジュール1422aへ入力されるように構成されている。
入力映像信号がシャープネス処理モジュール1421及び特定色検出モジュール1422aへ入力されると、特定色検出モジュール1422aは、入力映像信号に含まれた特定色領域を検出する。特定色領域が検出されると、特定色領域の検出結果(例えば特定色領域の位置情報)は、特定色検出モジュール1422aからシャープネス処理制御モジュール1423へ通知され、シャープネス処理制御モジュール1423は、特定色領域の検出結果に基づき、特定色領域に対するシャープネス処理を低減又はオフするためのシャープネス処理制御信号を生成する。
シャープネス処理制御信号は、シャープネス処理制御モジュール1423からシャープネス処理モジュール1421へ通知され、シャープネス処理モジュール1421は、シャープネス処理制御信号に基づき、特定色領域に対するシャープネス処理を低減したり、特定色領域に対するシャープネス処理をオフにしたりし、特定色領域以外の領域に対してはシャープネス処理を低減することなく適用する。
例えば、映像処理装置1は、ユーザからのシャープネス処理のレベル設定を受け付けることができる。この場合、シャープネス処理モジュール1421は、特定色領域に対するシャープネス処理のレベルを設定されたレベルより低く設定したり、特定色領域に対するシャープネス処理をオフにしたりし、特定色領域以外の領域に対しては予め設定されたレベルのシャープネス処理を適用する。特定色領域に対するシャープネス処理のレベルを設定されたレベルより低く設定するとは、映像信号に悪影響が出ない程度にシャープネス処理のパラメータを設定することである。
これにより、映像処理装置1は、任意色の部分に対してのシャープネス処理を制御(抑制)することで、人の顔等の画像のエッジを必要以上に強調することなく人の顔等の画像を自然に表示することができ、また人の顔等の画像以外の画像のエッジを強調して表示することができる。
次に、図5を参照して、シャープネス処理制御の別例について説明する。図5に示すように、映像処理モジュール14を構成するようにしてもよい。つまり、映像処理モジュール14は、シャープネス処理モジュール1421、顔画像検出モジュール1422b、シャープネス処理制御モジュール1423を備えている。映像処理モジュール14は、外部(他の映像処理機器)からの入力映像信号がシャープネス処理モジュール1421及び顔画像検出モジュール1422bへ入力されるように構成されている。
入力映像信号がシャープネス処理モジュール1421及び顔画像検出モジュール1422bへ入力されると、顔画像検出モジュール1422bは、入力映像信号に含まれた顔画像領域を検出する。顔画像領域が検出されると、顔画像領域の検出結果(例えば顔画像領域の位置情報)は、顔画像検出モジュール1422bからシャープネス処理制御モジュール1423へ通知され、シャープネス処理制御モジュール1423は、顔画像領域の検出結果に基づき、顔画像領域に対するシャープネス処理を低減又はオフするためのシャープネス処理制御信号を生成する。
シャープネス処理制御信号は、シャープネス処理制御モジュール1423からシャープネス処理モジュール1421へ通知され、シャープネス処理モジュール1421は、シャープネス処理制御信号に基づき、顔画像領域に対するシャープネス処理を低減したり、顔画像領域に対するシャープネス処理をオフにしたりし、顔画像領域以外の領域に対してはシャープネス処理を低減することなく適用する。
これにより、映像処理装置1は、顔画像の部分に対してのシャープネス処理を制御(抑制)することで、人の顔等の画像のエッジを必要以上に強調することなく人の顔等の画像を自然に表示することができ、また人の顔等の画像以外の画像のエッジを強調して表示することができる。
また、上記説明では、図2、図3を参照して超解像処理の制御について説明し、図4、図5を参照し、シャープネス処理の制御について説明したが、超解像処理とシャープネス処理の両方を制御するようにしてもよい。つまり、映像処理モジュール14が、入力映像信号に対して超解像処理とシャープネス処理とを実行することを前提として、特定色領域に対する超解像処理とシャープネス処理を低減又はオフにし、特定色領域以外の領域に対しては超解像処理とシャープネス処理とを低減することなく適用する。或いは、映像処理モジュール14が、顔画像領域に対する超解像処理とシャープネス処理を低減又はオフにし、顔画像領域以外の領域に対しては超解像処理とシャープネス処理とを低減することなく適用する。
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、CPU等を使ってソフトウェアで実現するものであってもよい。
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。 特定色検出及び超解像処理制御を実現するためのブロック図である。 顔画像検出及び超解像処理制御を実現するためのブロック図である。 特定色検出及びシャープネス処理制御を実現するためのブロック図である。 顔画像検出及びシャープネス処理制御を実現するためのブロック図である。 特定色領域に対する超解像処理の制御の一例を説明するためのフローチャートである。
符号の説明
1…映像処理装置、11…制御モジュール、12…メモリ、13…HDMI I/F、114…映像処理モジュール、15…表示部、1411…超解像画像生成モジュール、1412a…特定色検出モジュール、1413…超解像画像生成制御モジュール

Claims (7)

  1. 画像データに含まれた特定色領域を検出する検出手段と、
    前記画像データに対する鮮鋭化処理を含む画像処理のうちの、前記特定色領域に対するこの画像処理を制御するための画像処理制御信号を生成する画像処理制御手段と、
    前記画像処理制御信号に基づき前記画像データに対して前記画像処理を実行する画像処理手段と、
    を備えたことを特徴とする画像処理装置。
  2. 画像データに含まれた顔画像領域を検出する検出手段と、
    前記画像データに対する鮮鋭化処理を含む画像処理のうちの、前記顔画像領域に対するこの画像処理を制御するための画像処理制御信号を生成する画像処理制御手段と、
    前記画像処理制御信号に基づき前記画像データに対して前記画像処理を実行する画像処理手段と、
    を備えたことを特徴とする画像処理装置。
  3. 前記鮮鋭化処理は、第1の解像度の前記画像データから画素値を推定して画素を増やし、前記第1解像度より高い第2解像度の画像データを生成する超解像処理であることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記鮮鋭化処理は、前記画像データに含まれた画像のエッジを強調するシャープネス処理であることを特徴とする請求項1又は2に記載の画像処理装置。
  5. 前記画像処理制御手段は、前記鮮鋭化処理の第1の鮮鋭化レベルを第2の鮮鋭化レベルへ下げるための前記画像処理制御信号を生成することを特徴とする請求項1又は2に記載の画像処理装置。
  6. 前記検出手段により検出される特定色領域は、肌色領域であることを特徴とする請求項1に記載の画像処理装置。
  7. 画像データに含まれた特定色領域を検出し、
    前記画像データに対する鮮鋭化処理を含む画像処理のうちの、前記特定色領域に対するこの画像処理を制御するための画像処理制御信号を生成し、
    前記画像処理制御信号に基づき前記画像データに対して前記画像処理を実行する、
    ことを特徴とする画像処理方法。
JP2008328077A 2008-12-24 2008-12-24 画像処理装置及び画像処理方法 Active JP4528857B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008328077A JP4528857B2 (ja) 2008-12-24 2008-12-24 画像処理装置及び画像処理方法
US12/555,586 US7983454B2 (en) 2008-12-24 2009-09-08 Image processing apparatus and image processing method for processing a flesh-colored area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008328077A JP4528857B2 (ja) 2008-12-24 2008-12-24 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2010152518A true JP2010152518A (ja) 2010-07-08
JP4528857B2 JP4528857B2 (ja) 2010-08-25

Family

ID=42266223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008328077A Active JP4528857B2 (ja) 2008-12-24 2008-12-24 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US7983454B2 (ja)
JP (1) JP4528857B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011105391A1 (ja) * 2010-02-26 2011-09-01 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
KR20150007880A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 영상 화질 개선 방법, 장치 및 기록 매체
KR101769543B1 (ko) * 2011-01-04 2017-08-31 인하대학교 산학협력단 선명도 및 색 채도를 이용한 영상 화질 개선을 위한 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186427A (ja) * 2012-03-09 2013-09-19 Ricoh Co Ltd 映像処理装置
KR102488563B1 (ko) * 2016-07-29 2023-01-17 삼성전자주식회사 차등적 뷰티효과 처리 장치 및 방법
CN109327668A (zh) * 2018-10-29 2019-02-12 维沃移动通信有限公司 一种视频处理方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263639A (ja) * 1995-03-09 1996-10-11 Eastman Kodak Co 一連の低解像度画像から高解像度画像を生成する方法及び装置
JP2005094452A (ja) * 2003-09-18 2005-04-07 Nec Corp 画像処理方法、画像処理システムおよび画像処理プログラム
JP2006011619A (ja) * 2004-06-23 2006-01-12 Noritsu Koki Co Ltd 写真画像処理方法及びその装置
JP2006019930A (ja) * 2004-06-30 2006-01-19 Canon Inc 画像処理装置及び方法
JP2006025037A (ja) * 2004-07-06 2006-01-26 Seiko Epson Corp 画像処理システム
JP2007133810A (ja) * 2005-11-14 2007-05-31 Nikon Corp 画像処理装置
JP2008067110A (ja) * 2006-09-07 2008-03-21 Toshiba Corp 超解像度画像の生成装置
JP2008097657A (ja) * 2008-01-11 2008-04-24 Canon Inc 画像処理装置及び方法
JP2008234130A (ja) * 2007-03-19 2008-10-02 Tokyo Institute Of Technology 複数領域に対応した画質改善処理方法及び画質改善処理プログラム
JP2008278467A (ja) * 2007-03-30 2008-11-13 Sanyo Electric Co Ltd 画像処理装置および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0435254A (ja) 1990-05-25 1992-02-06 Nec Corp ディジタル伝送装置評価方式
JP3332398B2 (ja) * 1991-11-07 2002-10-07 キヤノン株式会社 画像処理装置及び画像処理方法
JPH11205594A (ja) 1998-01-20 1999-07-30 Fuji Xerox Co Ltd カラー画像認識装置およびカラー画像認識方法
JP4035254B2 (ja) 1999-03-09 2008-01-16 キヤノン株式会社 画像処理装置及び画像処理方法
US6873436B1 (en) * 2000-09-05 2005-03-29 Fuji Xerox Co., Ltd. Image processing device and recording medium
US20040114825A1 (en) * 2002-12-12 2004-06-17 Tzong-Der Wu Method of filtering video sources
US7315630B2 (en) * 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
JP2006319460A (ja) * 2005-05-10 2006-11-24 Matsushita Electric Ind Co Ltd 輝度信号処理装置
JP2006338377A (ja) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
JP4880292B2 (ja) * 2005-11-24 2012-02-22 富士フイルム株式会社 画像処理方法および画像処理プログラムならびに画像処理装置
JP2008146190A (ja) 2006-12-07 2008-06-26 Seiko Epson Corp 解像度変換装置、解像度変換方法、解像度変換プログラム及び画像表示システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263639A (ja) * 1995-03-09 1996-10-11 Eastman Kodak Co 一連の低解像度画像から高解像度画像を生成する方法及び装置
JP2005094452A (ja) * 2003-09-18 2005-04-07 Nec Corp 画像処理方法、画像処理システムおよび画像処理プログラム
JP2006011619A (ja) * 2004-06-23 2006-01-12 Noritsu Koki Co Ltd 写真画像処理方法及びその装置
JP2006019930A (ja) * 2004-06-30 2006-01-19 Canon Inc 画像処理装置及び方法
JP2006025037A (ja) * 2004-07-06 2006-01-26 Seiko Epson Corp 画像処理システム
JP2007133810A (ja) * 2005-11-14 2007-05-31 Nikon Corp 画像処理装置
JP2008067110A (ja) * 2006-09-07 2008-03-21 Toshiba Corp 超解像度画像の生成装置
JP2008234130A (ja) * 2007-03-19 2008-10-02 Tokyo Institute Of Technology 複数領域に対応した画質改善処理方法及び画質改善処理プログラム
JP2008278467A (ja) * 2007-03-30 2008-11-13 Sanyo Electric Co Ltd 画像処理装置および画像処理方法
JP2008097657A (ja) * 2008-01-11 2008-04-24 Canon Inc 画像処理装置及び方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011105391A1 (ja) * 2010-02-26 2011-09-01 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
JPWO2011105391A1 (ja) * 2010-02-26 2013-06-20 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
US8849029B2 (en) 2010-02-26 2014-09-30 Nec Corporation Image processing method, image processing device and program
JP5790944B2 (ja) * 2010-02-26 2015-10-07 日本電気株式会社 画像処理方法、画像処理装置及びプログラム
KR101769543B1 (ko) * 2011-01-04 2017-08-31 인하대학교 산학협력단 선명도 및 색 채도를 이용한 영상 화질 개선을 위한 장치 및 방법
KR20150007880A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 영상 화질 개선 방법, 장치 및 기록 매체
KR102071578B1 (ko) * 2013-07-12 2020-01-30 삼성전자주식회사 영상 화질 개선 방법, 장치 및 기록 매체

Also Published As

Publication number Publication date
US7983454B2 (en) 2011-07-19
US20100158403A1 (en) 2010-06-24
JP4528857B2 (ja) 2010-08-25

Similar Documents

Publication Publication Date Title
JP4444354B2 (ja) 画像処理装置、および画像処理方法
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP2010041336A (ja) 画像処理装置、および画像処理方法
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP4528857B2 (ja) 画像処理装置及び画像処理方法
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及系统
JP5089783B2 (ja) 画像処理装置及びその制御方法
CN110889809B9 (zh) 图像处理方法及装置、电子设备、存储介质
JP4427592B2 (ja) 画像処理装置、および画像処理方法
JP4543116B1 (ja) 画像処理装置、および画像処理方法
JP5178579B2 (ja) 画像処理装置
WO2017203941A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2006050042A (ja) 画像処理装置
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
US10764632B2 (en) Video signal processing apparatus, video signal processing method, and program
JP2010087871A (ja) 映像処理装置及び映像処理方法
US20100215286A1 (en) Image processing apparatus and image processing method
JP5130171B2 (ja) 画像信号処理装置および画像信号処理方法
JP4869302B2 (ja) 画像処理装置及び画像処理方法
JP4991884B2 (ja) 画像処理装置、および画像処理方法
JP2010081510A (ja) 映像処理装置及び映像処理方法
JP5075923B2 (ja) 画像処理装置、および画像処理方法
JP4897036B2 (ja) 画像処理装置、および画像処理方法
JP2010039135A (ja) 画像処理装置および画像処理方法
JP5023092B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100511

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4528857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250