JP2009055591A - 偽輪郭を探知および除去する方法および装置、ピクセルの輪郭可否を確認する方法および装置、またはシンプリシティを計算する方法および装置 - Google Patents

偽輪郭を探知および除去する方法および装置、ピクセルの輪郭可否を確認する方法および装置、またはシンプリシティを計算する方法および装置 Download PDF

Info

Publication number
JP2009055591A
JP2009055591A JP2008117683A JP2008117683A JP2009055591A JP 2009055591 A JP2009055591 A JP 2009055591A JP 2008117683 A JP2008117683 A JP 2008117683A JP 2008117683 A JP2008117683 A JP 2008117683A JP 2009055591 A JP2009055591 A JP 2009055591A
Authority
JP
Japan
Prior art keywords
pixel
contour
gradient
value
false contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008117683A
Other languages
English (en)
Other versions
JP5308062B2 (ja
Inventor
Il Soon Lim
一 淳 任
Seung-Sin Lee
承 信 李
Young-Ran Han
榮 蘭 韓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2009055591A publication Critical patent/JP2009055591A/ja
Application granted granted Critical
Publication of JP5308062B2 publication Critical patent/JP5308062B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】 偽輪郭を探知および除去する方法および装置、ピクセルの輪郭可否を確認する方法および装置、またはシンプリシティを計算する方法および装置を提供する。
【解決手段】 偽輪郭を探知および除去する方法は、入力映像のピクセルに対する輪郭可否を確認する段階と、ピクセルのシンプリシティを計算する段階と、輪郭可否およびシンプリシティに基づいてピクセルの偽輪郭可否を決定する段階と、偽輪郭に対する平滑化によって入力映像から偽輪郭を除去する段階とを含む。
【選択図】 図1

Description

本発明は、映像の偽輪郭を探知および除去する方法およびこの方法が適用される装置に関し、より詳細には、ビットの損失が発生した映像の復元またはビット深度の拡張などによって発生する偽輪郭を探知して除去する方法および装置に関する。
偽輪郭(false contour)が発生する原因は多様であるが、一般的には、輝度を示す量子化レベルが十分でない場合に主に発生する。このとき、輝度を決定する量子化レベルは、デジタル化された輝度を表現するビット深度(bit depth)によって決まるようになる。例えば、既存のビット深度程度では見えなかった偽輪郭は、低いビット深度映像に変換する場合に現れるようになる。さらに、既存のビット深度に復元する場合にも、偽輪郭が現れるようになる。これだけでなく、このような偽輪郭は、CE(Contrast Enhancement)、DE(Detail Enhancement)処理した場合や、JPEG(Joint Photographic Experts Groups)、MPEG(Moving Picture Experts Group)などの映像を圧縮したり復元する場合にも発生するようになる。
従来技術において、偽輪郭を除去する方法としては、青雑音マスク(blue noise mask)を用いる方法、ディザリング(dithering)方法、デリーとフェン(Daly and Feng)の方法などを挙げることができる。
入力映像のビット深度が出力映像のビット深度よりも低くなければならない過程において、ディザリング方法は、手順行列(ordered matrix)の結果としてビット深度を高めるものである。しかし、このようなディザリング方法は、人為的なパターンが映像全体に発生するという問題点を抱えている。また、同じ過程において、デリーとフェンの方法は、偽輪郭が存在する映像をローパスフィルタ(Low Pass Filter)を用いてビット深度を高めることによって、偽輪郭を除去するものである。この方法は、映像全体に対してローパスフィルタを採用するため、偽輪郭が現れる部分だけが平坦になるのではなく、エッジ(edge)などの信号成分もぼやけてしまうという問題点を抱えている。このような問題点を解決するために、偽輪郭が現れる部分を適切に見つけ出すことが極めて重要であると言える。
本発明は、前記した問題点を解決するために案出されたものであって、入力映像から偽輪郭を検出し、検出された偽輪郭だけを適応的に除去することで、ディテール領域を保存することができる偽輪郭探知および除去方法、およびこの方法が適用されるディスプレイ装置を提供することを目的とする。
また、本発明は、低いビット深度の入力映像を高いビット深度の出力映像に確張するときに発生する偽輪郭を検出し、検出された偽輪郭の領域だけに平滑化(smoothing)を実行することで、偽輪郭を探知および除去することができる偽輪郭探知および除去方法、またはこの方法が適用されるディスプレイ装置を提供することを他の目的とする。
また、本発明は、入力映像から偽輪郭が検出されたときに、グラジエント(gradient)値とシンプリシティ(simplicity)値を用いて偽輪郭検出の正確度を高め、グラジエント値およびシンプリシティ値を再利用して適応的な平滑化を実行することができる偽輪郭探知および除去方法、またはこの方法が適用されるディスプレイ装置を提供することを他の目的とする。
さらに、本発明は、グラジエント値およびシンプリシティ値を周辺ピクセル間の簡単な四則演算によって得て、平滑化方法も周辺ピクセル間の簡単な四則演算に基づいてその結果を得ることで、DMBや携帯電話などの低い計算/メモリ複雑性を要求する小型ディスプレイにも効果的に使用することができる偽輪郭探知および除去方法、またはこの方法が適用されるディスプレイ装置を提供することをさらに他の目的とする。
前記の目的を達成するために、本発明の一実施形態に係る偽輪郭を探知および除去する方法は、入力映像のピクセルに対する輪郭可否を確認する段階と、前記ピクセルのシンプリシティを計算する段階と、前記輪郭可否および前記シンプリシティに基づいて前記ピクセルの偽輪郭可否を決定する段階と、前記偽輪郭に対する平滑化によって前記入力映像から前記偽輪郭を除去する段階とを含む。
本発明の一側によれば、入力映像のピクセルに対する輪郭可否を確認する前記段階は、前記ピクセルごとにグラジエントを計算する段階と、前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する段階とを含むことができる。このとき、前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する前記段階は、前記ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しい場合に、前記ピクセルを輪郭であると判断する段階であり得る。
本発明の一側によれば、入力映像のピクセルに対する輪郭可否を確認する前記段階は、前記ピクセルに連結したピクセルの存在可否を確認する段階をさらに含むことができる。この場合に、前記ピクセルの前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する前記段階は、前記ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しく、前記連結したピクセルが存在する場合に、前記ピクセルを前記輪郭であると判断する段階であり得る。
本発明の一側によれば、前記ピクセルのシンプリシティを計算する前記段階は、前記ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接するピクセル間のピクセル値の差が所定の差値以下であるかを確認する段階と、前記ピクセル値の差が前記差値以下である場合に、前記互いに隣接するピクセル間の方向によって前記互いに隣接するピクセル間の結合力を測定する段階と、前記結合力に基づいて前記ピクセルのシンプリシティを計算する段階とを含むことができる。
本発明の一側によれば、前記偽輪郭に対する平滑化によって前記入力映像から前記偽輪郭を除去する前記段階は、前記ピクセルおよび前記ピクセルと隣接するピクセルのグラジエントおよびシンプリシティに基づいて平滑化程度を決定する段階と、前記平滑化程度に応じて前記偽輪郭を除去する段階とを含むことができる。
また、本発明の一実施形態に係るピクセルの輪郭可否を判断する方法は、入力映像のピクセルごとにグラジエントを計算する段階と、前記ピクセルに連結したピクセルの存在可否を確認する段階と、前記グラジエントおよび前記連結したピクセルの存在可否に基づいて前記ピクセルの輪郭可否を判断する段階とを含む。
さらに、本発明の一実施形態に係る入力映像に含まれたピクセルのシンプリシティを計算する方法は、ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接するピクセル間のピクセル値の差が所定の差値以下であるかを確認する段階と、前記ピクセル値の差が前記差値以下である場合に、前記互いに隣接するピクセル間の方向によって前記互いに隣接するピクセル間の結合力を測定する段階と、前記結合力に基づいて前記ピクセルのシンプリシティを計算する段階とを含む。
本発明によれば、入力映像から偽輪郭を検出し、検出された偽輪郭のみを適応的に除去することで、ディテール領域を保存することができる効果がある。
また、本発明によれば、低いビット深度の入力映像を高いビット深度の出力映像に確張するときに発生する偽輪郭を検出し、検出された偽輪郭の領域のみに平滑化を実行することで、偽輪郭を探知および除去することができる効果がある。
また、本発明によれば、入力映像から偽輪郭を検出するときに、グラジエント値とシンプリシティ値を用いて偽輪郭検出の正確度を高め、グラジエント値およびシンプリシティ値を再利用して適応的な平滑化を実行することができる効果がある。
さらに、本発明によれば、グラジエント値およびシンプリシティ値を周辺ピクセル間の簡単な四則演算によって得て、平滑化方法に対しても周辺ピクセル間の簡単な四則演算でその結果を得ることで、DMBや携帯電話などの低い計算/メモリ複雑性を要求する小型ディスプレイでも、効果的に使用することができる効果がある。
以下、添付の図面を参照しながら、本発明に係る多様な実施形態について詳しく説明する。
本発明は、映像の偽輪郭を探知および除去する方法およびこの方法が適用される装置に関し、より詳細には、ビットの損失が発生した映像の復元またはビット深度の拡張などによって発生する偽輪郭を探知して除去する方法および装置に関する。
また、本発明は、DMB(Digital Multimedia Broadcasting)プレーヤ、携帯電話などの移動通信端末機や、デジタルカメラ、カメラフォン、カムコーダ、デジタルテレビなどのデジタル映像を取得して保存またはディスプレイするすべてのデバイスに適用が可能である。
例えば、R/G/Bのビット深度が8/8/8ビットである入力映像の下位2(あるいは3)ビットの損失により、6/6/6(あるいは5/6/5)ビット映像が与えられた場合に、ビット数の不足によって出力映像に偽輪郭が発生する。このような場合に、本発明に係る偽輪郭探知および除去方法を用いれば、本来の8/8/8ビット映像に復元しながら発生する偽輪郭を探知して除去することができる。また、ビットの損失による復元によって発生する偽輪郭だけではなく、低いビット深度映像から高いビット深度映像に確張しながら発生する偽輪郭も、同じ方法を適用することで除去することができる。
図1は、本発明の一実施形態において、偽輪郭探知および除去方法を概括的に示したフローチャートである。
段階S101で、偽輪郭を探知して除去する偽輪郭探知および除去装置は、入力映像のピクセルに対する輪郭可否を確認する。上述したように、ビット深度の拡張またはビットの損失が発生した映像の復元などの過程によって偽輪郭が発生した映像を復元するためには、まず、入力された映像、すなわち入力映像のそれぞれのピクセルに対する輪郭可否を確認することができる。このようなピクセルの輪郭可否を確認する方法については、図2ないし図6を参照しながらより詳しく説明する。
段階S102で、偽輪郭探知および除去装置は、ピクセルのシンプリシティを計算する。ここで、映像に対してシンプルであると言うことは、ディテールが少なく、均質(homogeneous)であり、平滑(smooth)でありながらも、周波数領域で低周波成分が多いことを意味することができる。また、コンプレックス(complex)であると言うことは、ディテールやテクスチャ(texture)が多く、異質(heterogeneous)でありながらも、周波数領域で高周波成分が多いことを意味することができる。
映像において、ディテール領域(例えば、コンプレックス)とスムーズ領域(例えば、ディテール)の定量的な区分は、未だ明確に解決されていない問題である。既存には、グラジエントマップを用いてこれを区分しようという努力があったが、これは物体(object)の境界線(boundary)を探し出す方法であり、ディテール領域とスムーズ領域を区分する方法としては有用でなかった。
また、MPEG−2などでは、分散(variance)によってこれを区分しようともした。しかし、このような分散によってディテール領域とスムーズ領域とを区分できない場合もある。すなわち、本発明において、シンプリシティは、このような既存の方法の短所を解決し、偽輪郭探知に用いることができる定量的な測定基準(metric)として提案されている。
このようなシンプリシティを計算する方法については、図7ないし図8を参照しながらより詳しく説明する。
段階S103で、偽輪郭探知および除去装置は、輪郭可否およびシンプリシティに基づいてピクセルの偽輪郭可否を決定する。このとき、偽輪郭探知および除去装置は、入力映像のピクセルのうちから、輪郭であり、シンプリシティが所定の値以上であるピクセルを偽輪郭として決定することができる。シンプリシティと輪郭可否に基づいて偽輪郭可否を決定する方法については、図9を参照しながらより詳しく説明する。
段階S104で、偽輪郭探知および除去装置は、偽輪郭に対する平滑化によって入力映像から偽輪郭を除去する。このとき、偽輪郭探知および除去装置は、ピクセルおよびこのピクセルと隣接するピクセルのグラジエントおよびシンプリシティに基づいて平滑化程度を決定し、このような平滑化程度に応じて偽輪郭を除去することができる。このとき、平滑化程度に応じて偽輪郭を除去するために、偽輪郭探知および除去装置は、平滑化程度に応じ、下記の数式(1)のように所定の平滑化フィルタのうちの1つの平滑化フィルタを用いて、ピクセルおよび隣接したピクセルに対する偽輪郭を除去することができる。
Figure 2009055591
ここで、前記数式(1)は、本発明の一実施例として用いられた平滑化フィルタの一例に過ぎず、本発明がこのような実施例に限定されることはなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から必要に応じて多様な修正および変形が可能であろう。このような平滑化フィルタを用いて偽輪郭を除去する方法については、図10の一例を参照しながらより詳しく説明する。
図2は、本発明の一実施形態において、輪郭可否を確認する方法を示したフローチャートである。図2に示されたように、段階S201ないし段階S203は、図1で説明した段階S101に含まれて実行される。
段階S201で、偽輪郭探知および除去装置は、ピクセルごとにグラジエントを計算する。このとき、偽輪郭探知および除去装置は、入力映像のうちのピクセルに該当するx軸偏微分値およびy軸偏微分値を用いて、下記の数式(2)のようにグラジエントを計算することができる。
|G|=|Gx|+|Gy|.・・・(2)
ここで、前記数式(2)において、Gはグラジエントを、Gxはx軸偏微分値を、Gyはy軸偏微分値をそれぞれ意味することができる。
入力映像に対するx軸偏微分値およびy軸偏微分値は、多様な演算を簡便化するために多様なマスクを用いて計算することができる。一例として、偽輪郭探知および除去装置は、ピクセルを中心とする3×3サイズのピクセル群にゾーベルマスク(sobel mask)を適用することで、x軸偏微分値およびy軸偏微分値を計算することができる。このとき、ゾーベルマスクは、下記の数式(3)のように表現されるxマスクおよびyマスクを含むことができる。
Figure 2009055591
ここで、前記数式(3)において、xMaskはxマスクを表現する行列を、yMaskはyマスクを表現する行列をそれぞれ意味することができる。
すなわち、偽輪郭探知および除去装置は、ピクセル群にゾーベルマスクのxマスクを表現する行列およびyマスクを表現する行列をそれぞれ掛けることで、x軸偏微分値およびy軸偏微分値をそれぞれ得ることができるし、前記数式(2)を用いることで、ピクセルに対するグラジエントを計算することができる。
また、偽輪郭探知および除去装置は、x軸偏微分値およびy軸偏微分値を、計算による演算複雑性を減らすために、ピクセルを所定の位置に含んでいる2×2ピクセル群にグラジエントマスクを適用することで、x軸偏微分値およびy軸偏微分値を計算することもできる。
このとき、グラジエントマスクは、下記の数式(4)のように表現されるxマスクおよびyマスクを含むことができる。
Figure 2009055591
ここで、前記数式(4)において、xGMaskはxマスクを表現する行列を、yGMaskはyマスクを表現する行列をそれぞれ意味することができる。このようなグラジエントマスクは、DMBや携帯電話などの低い計算/メモリ複雑性を要求する小型ディスプレイで効果的に使用することができる。
図3は、ピクセルの直角方向グラジエントを計算する方法を説明するための一例であり、図4は、ピクセルの対角方向グラジエントを計算する方法を説明するための一例である。下位2ビットの損失は、2(2、ここで、kは損失ビット数)だけの間隙を発生させる。このような間隙が偽輪郭の原因となるのであるが、グラジエントのマップを用いることで、間隙が発生した領域を探し出すことができる。例えば、ゾーベルマスクを用いる場合に、下位2ビットの損失によるグラジエント値が、直角方向は「16」、対角方向は「24」と「8」となる。すなわち、「16」、「24」、および「8」は、ゾーベルマスクを用いてグラジエントを計算した場合に、ピクセルの輪郭可否を決定するのに用いられるようになる。
図3では、直角方向の偽輪郭を含む入力映像301に対して、入力映像301のそれぞれのピクセルを中心とする3×3サイズのピクセル群ごとに、前記数式(3)に示されたxマスク302およびyマスク303をそれぞれ適用して中心ピクセルに対するx軸偏微分値およびy軸偏微分値を求め、x軸偏微分値およびy軸偏微分値または前記数式(2)を用いてグラジエント計算する過程を示している。さらに、図3では、その結果として、「0」と、上述したような直角方向の偽輪郭を意味する「16」とで構成されたグラジエントマップ304を示している。
図4では、対角方向の偽輪郭を含む入力映像401に対して、入力映像401のそれぞれのピクセルを中心とする3×3サイズのピクセル群ごとに、前記数式(3)に示されたxマスク402およびyマスク403をそれぞれ適用して中心ピクセルに対するx軸偏微分値およびy軸偏微分値を求め、x軸偏微分値およびy軸偏微分値または前記数式(2)を用いてグラジエント計算する過程を示している。また、図4では、その結果として、「0」と、上述したような対角方向の偽輪郭を意味する「24」および「8」とで構成されたグラジエントマップ404を示している。
段階S202で、偽輪郭探知および除去装置は、ピクセルに連結したピクセルの存在可否を確認する。このとき、偽輪郭探知および除去装置は、3×3サイズのピクセル群で形成された4つのパターン、または2×2サイズのピクセル群で形成された4つのパターンを用いることで、ピクセルと連結したピクセルの存在可否を確認することができる。このような連結したピクセルの存在可否は、孤立したピクセルを除去するために用いることができる。すなわち、映像から現れたアーチファクト(artifact)は、多数のピクセルが連結しているときに目に見えるビジュアルアーチファクト(visual artifact)となるため、孤立したピクセルを除去することが好ましい。
図5は、3×3サイズのパターンを用いて、任意のピクセルに連結したピクセルの存在可否を確認する方法を説明するための一例であり、図6は、2×2サイズのパターンを用いて、任意のピクセルに連結したピルセルの存在可否を確認する方法を説明するための一例である。偽輪郭探知および除去装置は、孤立したピクセルを除去するために、定められたパターンを用いることができる。図7では、直線傾向の輪郭線を探し出す3×3パターンを示しているし、図8では、直線傾向だけではなく曲線傾向の輪郭線までも探し出すことができる2×2パターンを示している。
段階S203で、偽輪郭探知および除去装置は、グラジエントに基づいてピクセルの輪郭可否を判断する。偽輪郭探知および除去装置において、ピクセルの輪郭可否を判断する方法は、グラジエントに基づく方法と、グラジエントおよび連結したピクセルの存在可否すべてを用いる方法とがある。
グラジエントのみを用いる方法において、偽輪郭探知および除去装置は、ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しい場合に、このピクセルを輪郭と判断することができる。また、グラジエントと連結したピクセルの存在可否すべてを用いる方法においては、ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しく、連結したピクセルが存在する場合に、このピクセルを輪郭と判断することができる。
図7は、本発明の一実施形態において、ピクセルのシンプリシティを計算する方法を示したフローチャートである。図7に示されたように、段階S701ないし段階S704は、図1で説明した段階S102に含まれて実行される。
段階S701において、偽輪郭探知および除去装置は、ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接したピクセル間のピクセル値の差が所定の差値以下であるかを確認する。このとき、前記互いに隣接したピクセルは、ピクセル群内の任意のピクセルと、任意のピクセルから直角方向または対角方向のうちの少なくとも1つの方向に存在する最も近いピクセルを含むことができる。
段階S702で、偽輪郭探知および除去装置は、ピクセル値の差が前記差値以下である場合には段階S703を実行し、ピクセル値の差が前記差値を超過する場合には、次のピクセルに対して段階S701を実行することができる。
段階S703で、偽輪郭探知および除去装置は、互いに隣接するピクセル間の方向によって互いに隣接するピクセル間の結合力を測定する。このとき、偽輪郭探知および除去装置は、互いに隣接したピクセル間に直角方向または対角方向による所定の加重値を結合力として測定することができる。例えば、直角方向に対しては「1」の加重値を、対角方向に対しては「0.5」の加重値を結合力として測定することができる。
段階S704で、偽輪郭探知および除去装置は、結合力に基づいてピクセルのシンプリシティを計算する。このとき、偽輪郭探知および除去装置は、ピクセル群内で測定された結合力の合計をピクセルのシンプリシティとして決定することができる。
図8は、シンプリシティを計算する方法を説明するための一例である。
シンプリシティの値は、上述したように、結合力(bond)を用いて計算することができる。結合力は、自分のピクセルとその周辺の8つのピクセルとの間の結合を数値的に示したものである。例えば、中央に位置したピクセル値が直角方向に位置した周辺ピクセル値と等しければ、結合力を「1」として設定するし、対角方向に位置した周辺ピクセル値と等しければ、「0.5」として設定することができる。すなわち、隣接するピクセル値間の相関関係は、距離に反比例すると知られているため、対角方向は、直角方向よりも小さい「0.5」で設定することができる。このような結合力をサーチウィンドウ(search window)、すなわち図7で説明したn×nサイズのピクセル群内のすべてのピクセルに対して計算をし、これをすべて加えた値をピクセル郡内の中央に位置したピクセルのシンプリシティの値として決定することができる。
5×5ピクセル群810内の1つのピクセルとその周辺の8つのピクセル820を見れば、直角方向を意味する実線の矢印821は「1」の結合力を、対角方向を意味する点線の矢印822は「0.5」の結合力をそれぞれ意味する。すなわち、すべてのピクセルの対角方向と直角方向に対して矢印で表示した21個のピクセルで成されたピクセル群830において、中心ピクセルのシンプリシティを計算すれば、46の値を有するようになる。ここで、5×5ピクセル群810に該当する25個のピクセルのうち、角に位置したピクセル4つは、相関関係が著しく低いため計算から除去した。
本発明の一実施形態では、5×5サイズのピクセル群を用いてシンプリシティを計算する方法を説明したが、これは、本発明の全般的な理解を援助するために提供されたものに過ぎず、本発明がこのような実施例に限定されることはなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正および変形が可能であろう。例えば、5×5サイズのピクセル群の代わりに、3×3サイズのピクセル群を用いることもできる。すなわち、より精密なシンプリシティの値を得るためには、5×5サイズのピクセル群が適合するし、演算複雑性を減らすためには、3×3サイズのピクセル群が適合する。
図8のように、5×5サイズのピクセル群を用いる場合には、シンプリシティの最大値は46となり(ピクセル群内のすべてのピクセルの強度(intensity)が等しい場合)、最小値は0となる。ここで、シンプリシティの値が大きいということは、該当するピクセルが位置した付近が単純であるという視覚的意味を有している。
また、ここでは、例として、「1」と「0.5」を結合力の加重値として設定したが、「2」と「1」、「4」と「2」などの多様な変形が可能である。また、ここでは、サーチウィンドウとして、3×3サイズのピクセル群および5×5サイズのピクセル群を用いたが、2×2サイズのピクセル群または7×7サイズのピクセル群などの多様なサイズをサーチウィンドウとして用いることもできる。これだけではなく、結合力の値を計算をするときに、直角方向と対角方向の両者を考慮せずに、直角方向だけを考慮することもできる。
これに加え、ピクセルの結合力の計算において、自分と隣接するピクセルが同じであるか否かによって、結合力値を「1」あるいは「0.5」ずつ増加させたが、自分と隣接するピクセル間のピクセル差によって、他の結合力値を加えることができる。例えば、自分と隣接するピクセル間の差が「0」であれば、結合力値を「4」だけ増加させ、自分と隣接するピクセル間の差が「1」であれば、結合力値を「3」だけ増加させ、自分と隣接するピクセル間の差が「2」であれば、結合力値を「2」だけ増加させ、自分と隣接するピクセル間の差が「3」であれば、結合力値を「1」だけ増加させることもできる。
図9は、偽輪郭を除去する方法を説明するための一例である。
入力映像のそれぞれのピクセルに対する偽輪郭可否とシンプリシティマップが得られた後には、偽輪郭マップ、シンプリシティの値、グラジエントの値を用いて入力映像の偽輪郭を除去することができる。このとき、偽輪郭の除去において、複数の平均フィルタ(average filter)を平滑化フィルタ(smoothing filter)として用いることができる。例えば、前記数式(1)のように表現された多様なマスクサイズの平均フィルタを用いることができる。多数のマスクサイズのうちの1つを選択することは、周辺ピクセルと自分ピクセルのグラジエント値とシンプリシティ値によって決定されるようになる。いずれかのピクセルが偽輪郭であると判断されて平滑化を実施する場合に、周辺に本当のエッジ成分や信号成分に該当するグラジエント値があるか否かを判断する。
この場合に、本当のエッジ成分や信号成分は、一般的には、大きいグラジエント値で示されるようになる。本当のエッジ成分や信号成分を保存するためには、偽輪郭を除去するときに平滑化を弱くする必要があり、弱い平滑化フィルタを選択することができる。
また、該当するピクセルがシンプル領域にあるものの、シンプリシティの値が小さい場合には(すなわち、多少コンプレックスする場合)、弱い平滑化フィルタを用いることができる。このように、平滑化過程は、自分と周辺ピクセルのグラジエントの値とシンプリシティの値に応じて適応的に実行されるようになる。
図9に示された段階S901ないし段階S905は、図1で説明した段階S104に含まれて実行される偽輪郭の除去方法の一例を示すものである。
段階S901で、偽輪郭探知および除去装置は、ピクセルとこのピクセルに隣接したピクセルに対してグラジエントを所定の第1値と比較し、グラジエントが第1値未満である場合には段階S902を実行し、第1値以上である場合には段階S905を実行することができる。
段階S902で、偽輪郭探知および除去装置は、ピクセルと隣接したピクセルに対してシンプリシティを所定の第2値と比較し、シンプリシティが第2値以上である場合には段階S903を実行し、第2値未満である場合には段階S904を実行することができる。
段階S903、段階S904、または段階S905において、偽輪郭探知および除去装置は、それぞれに所定の平滑化フィルタを用いることで、ピクセルおよび隣接したピクセルに対する平滑化を実行して偽輪郭を除去することができる。すなわち、段階S903から段階S905に行くほど、偽輪郭探知および除去装置は、より一層弱い平滑化フィルタを用いてピクセルおよび隣接するピクセルに対する平滑化を実行して偽輪郭を除去することができる。
図10は、偽輪郭に対して平滑化フィルタを適用する方法を説明するための一例である。
平滑化を実行するときは、偽輪郭とその周辺に対してのみ実行し、これ以外の地域では実行をしない。このようにすることで、ディテール領域やテクスチャ領域は、平滑化過程で保存されるようになる。
すなわち、入力映像1001から偽輪郭が発生した領域1002内のピクセル1003に対しては、平均フィルタである平滑化フィルタを適用するし、偽輪郭が発生しない領域1004内のピクセル1005に対しては、平滑化フィルタを適用しないことで、ディテール領域やテクスチャ領域を保存することができる。
図11は、入力映像と結果映像との間の差を説明するための一例を示したグラフである。
グラフ1100は、ピクセルの距離に対するピクセル強度のグラフであって、6ビット入力映像と8ビット出力映像に対して示している。このとき、入力映像から偽輪郭が発生した区間のステップ(step)傾向のグラフがランプ(ramp)傾向のグラフに改善されていることを容易に知ることができる。
図12は、本発明の一実施形態において、偽輪郭探知および除去装置の内部構成を説明するためのブロック図である。図12に示されたように、偽輪郭探知および除去装置1200は、輪郭可否確認部1210と、シンプリシティ計算部1220と、偽輪郭可否決定部1230と、偽輪郭可否除去部1240とを含んで構成される。
輪郭可否確認部1210は、入力映像のピクセルに対する輪郭可否を確認する。上述したように、ビット深度の拡張またはビットの損失が発生した映像の復元などの過程によって偽輪郭が発生した映像を復元するためには、まず、入力された映像、すなわち入力映像のそれぞれのピクセルに対する輪郭可否を確認することができる。このようなピクセルの輪郭可否を確認するために、輪郭可否確認部1210は、グラジエント計算部1211と、連結ピクセル確認部1212と、輪郭判断部1213を含むことができる。
グラジエント計算部1211は、ピクセルごとにグラジエントを計算する。このとき、偽輪郭探知および除去装置は、入力映像のうちのピクセルに該当するx軸偏微分値およびy軸偏微分値を用いて、前記数式(2)のようにグラジエントを計算することができる。
入力映像に対するx軸偏微分値およびy軸偏微分値は、多様な演算を簡便化するために、多様なマスクを用いて計算することができる。一例として、偽輪郭探知および除去装置は、ピクセルを中心とする3×3サイズのピクセル群にゾーベルマスクを適用することで、x軸偏微分値およびy軸偏微分値を計算することができる。このとき、ゾーベルマスクは、前記数式(3)のように表現されるxマスクおよびyマスクを含むことができる。
すなわち、グラジエント計算部1211は、ピクセル群にゾーベルマスクのxマスクを表現する行列およびyマスクを表現する行列をそれぞれ掛けることで、x軸偏微分値およびy軸偏微分値をそれぞれ得ることができるし、前記数式(2)を用いることで、ピクセルに対するグラジエントを計算することができる。
また、グラジエント計算部1211は、x軸偏微分値およびy軸偏微分値を、計算による演算複雑性を減らすために、ピクセルを所定の位置に含んでいる2×2ピクセル群にグラジエントマスクを適用することで、x軸偏微分値およびy軸偏微分値を計算することもできる。
このとき、グラジエントマスクは、前記数式(4)のように表現されるxマスクおよびyマスクを含むことができる。このようなグラジエントマスクは、DMBや携帯電話などの低い計算/メモリ複雑性を要求する小型ディスプレイで効果的に使用することができる。
連結ピクセル確認部1212は、ピクセルに連結されたピクセルの存在可否を確認する。このとき、偽輪郭探知および除去装置は、3×3サイズのピクセル群で形成された4つのパターン、または2×2サイズのピクセル群で形成された4つのパターンを用いることで、ピクセルと連結したピクセルの存在可否を確認することができる。このような連結されたピクセルの存在可否は、孤立したピクセルを除去するために用いられるようになる。すなわち、映像から現れたアーチファクトは、多数のピクセルが連結しているときに目に見えるビジュアルアーチファクトとなるため、孤立したピクセルを除去することが好ましい。
輪郭判断部1213は、グラジエントに基づいてピクセルの輪郭可否を判断する。輪郭判断部1213でピクセルの輪郭可否を判断する方法は、グラジエントに基づく方法と、グラジエントおよび連結したピクセルの存在可否すべてを用いる方法とがある。
グラジエントのみを用いる方法において、輪郭判断部1213は、ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しい場合に、このピクセルを輪郭と判断することができる。また、グラジエントと連結したピクセルの存在可否すべてを用いる方法において、輪郭判断部1213は、ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しく、連結したピクセルが存在する場合に、このピクセルを輪郭と判断することができる。
シンプリシティ計算部1220は、ピクセルのシンプリシティを計算する。ここで、映像に対してシンプルであると言うことは、ディテールが少なく、均質である、平滑でありながらも、周波数領域で低周波成分が多いことを意味することができる。また、コンプレックスであると言うことは、ディテールやテクスチャが多く、異質でありながらも、周波数領域で高周波成分が多いことを意味することができる。
映像において、ディテール領域(例えば、コンプレックス)とスムーズ領域(例えば、ディテール)との定量的な区分は、未だに明確に解決されていない問題である。既存には、グラジエントマップを用いてこれを区分しようとする努力があったが、これは物体の境界線を探し出す方法であり、ディテール領域とスムーズ領域を区分する方法としては有用でなかった。
また、MPEG−2などでは、分散によってこれを区分したりもした。しかし、このような分散によって、ディテール領域とスムーズ領域とを区分できない場合もある。すなわち、本発明において、シンプリシティは、このような既存の方法の短所を解決し、偽輪郭探知に用いることができる定量的な測定基準として提案されている。
シンプリシティを計算するために、シンプリシティ計算部1220は、ピクセル値差確認部1221と、結合力測定部1222と、計算部1223とを含むことができる。
ピクセル値差確認部1221は、ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接したピクセル間のピクセル値の差が所定の差値以下であるかを確認する。このとき、互いに隣接したピクセルは、ピクセル群内の任意のピクセルと、任意のピクセルから直角方向または対角方向のうちの少なくとも1つの方向に存在する最も近いピクセルを含むことができる。
結合力測定部1222は、ピクセル値の差が前記差値以下である場合に、互いに隣接したピクセル間の方向によって、互いに隣接するピクセル間の結合力を測定する。このとき、結合力測定部1222は、互いに隣接したピクセル間に直角方向または対角方向による所定の加重値を結合力として測定することができる。例えば、直角方向に対しては「1」の加重値を、対角方向に対しては「0.5」の加重値を結合力として測定することができる。
計算部1223は、結合力に基づいてピクセルのシンプリシティを計算する。このとき、計算部1223は、ピクセル群内で測定された結合力の合計をピクセルのシンプリシティとして決定することができる。
偽輪郭可否決定部1230は、輪郭可否およびシンプリシティに基づいてピクセルの偽輪郭可否を決定する。このとき、偽輪郭探知および除去装置は、入力映像のピクセルのうち、輪郭であり、シンプリシティが所定の値以上であるピクセルを偽輪郭として決定することができる。
偽輪郭可否除去部1240は、偽輪郭に対する平滑化によって入力映像から偽輪郭を除去する。このとき、偽輪郭可否除去部1240は、ピクセルおよびこのピクセルと隣接したピクセルのグラジエントおよびシンプリシティに基づいて平滑化程度を決定し、このような平滑化程度に応じて偽輪郭を除去することができる。このとき、平滑化程度に応じて偽輪郭を除去するために、偽輪郭可否除去部1240は、平滑化程度に応じて、前記数式(1)のように所定の平滑化フィルタのうちの1つの平滑化フィルタを用いることで、ピクセルおよび隣接したピクセルに対する偽輪郭を除去することができる。
ここで、前記数式(1)は、本発明の一実施例として用いられる平滑化フィルタの一例に過ぎず、本発明がこのような実施例に限定されることはなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から必要に応じて多様な修正および変形が可能であろう。
このように、本発明に係る偽輪郭探知および除去方法、または偽輪郭探知および除去装置を用いれば、入力映像から偽輪郭を検出し、検出された偽輪郭のみを適応的に除去することで、ディテール領域を保存することができる上に、低いビット深度の入力映像を高いビット深度の出力映像に確張するときに発生する偽輪郭を検出し、検出された偽輪郭の領域のみに平滑化を実行することで、偽輪郭を探知および除去することができる。また、入力映像から偽輪郭を検出するときに、グラジエント値とシンプリシティ値を用いて偽輪郭検出の正確度を高め、グラジエント値およびシンプリシティ値を再利用して適応的な平滑化を実行することができる上に、グラジエント値およびシンプリシティ値を周辺ピクセル間の簡単な四則演算によって得て、平滑化方法に対しても周辺ピクセル間の簡単な四則演算に基づいてその結果を得ることで、DMBや携帯電話などの低い計算/メモリ複雑性を要求する小型ディスプレイでも効果的に使用することができる。
輪郭可否判断方法および装置、シンプリシティ計算方法および装置については、図1ないし図12を参照しながら詳しく説明したため、重複する説明は省略する。
なお、本発明に係る実施形態は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態に制限されるものではない。
本発明の一実施形態において、偽輪郭探知および除去方法を概括的に示したフローチャートである。 本発明の一実施形態において、輪郭可否を確認する方法を示したフローチャートである。 ピクセルの直角方向グラジエントを計算する方法を説明するための一例を示した図である。 ピクセルの対角方向グラジエントを計算する方法を説明するための一例を示した図である。 3×3サイズのパターンを用いて任意のピクセルに連結したピクセルの存在可否を確認する方法を説明するための一例を示した図である。 2×2サイズのパターンを用いて任意のピクセルに連結したピルセルの存在可否を確認する方法を説明するための一例を示した図である。 本発明の一実施形態において、ピクセルのシンプリシティを計算する方法を示したフローチャートである。 シンプリシティを計算する方法を説明するための一例を示した図である。 偽輪郭を除去する方法を説明するための一例を示した図である。 偽輪郭に対して平滑化フィルタを適用する方法を説明するための一例を示した図である。 入力映像と結果映像間との差を説明するための一例を示したグラフである。 本発明の一実施形態において、偽輪郭探知および除去装置の内部構成を説明するためのブロック図である。
符号の説明
1200 偽輪郭探知および除去装置
1210 輪郭可否確認部
1211 グラジエント計算部
1212 連結ピクセル確認部
1213 輪郭判断部
1220 シンプリシティ計算部
1221 ピクセル値差確認部
1222 結合力測定部
1223 計算部
1230 偽輪郭可否決定部
1240 偽輪郭可否除去部
1241 平滑度程度決定部
1242 平滑化部

Claims (24)

  1. 偽輪郭を探知および除去する方法において、
    入力映像のピクセルに対する輪郭可否を確認する段階と、
    前記ピクセルのシンプリシティを計算する段階と、
    前記輪郭可否および前記シンプリシティに基づいて前記ピクセルの偽輪郭可否を決定する段階と、
    前記偽輪郭に対する平滑化によって前記入力映像から前記偽輪郭を除去する段階と、
    を含むことを特徴とする偽輪郭探知および除去方法。
  2. 入力映像のピクセルに対する輪郭可否を確認する前記段階は、
    前記ピクセルごとにグラジエントを計算する段階と、
    前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する段階と、
    を含むことを特徴とする請求項1に記載の偽輪郭探知および除去方法。
  3. 前記ピクセルごとにグラジエントを計算する前記段階は、
    前記入力映像のうちの前記ピクセルに該当するx軸偏微分値およびy軸偏微分値を用いて、下記数式(1)のようにグラジエントを計算することを特徴とする請求項2に記載の偽輪郭探知および除去方法。
    |G|=|Gx|+|Gy|.・・・(1)
    ここで、前記Gは前記グラジエントを、前記Gxは前記x軸偏微分値を、前記Gyは前記y軸偏微分値をそれぞれ意味する。
  4. 前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する前記段階は、
    前記ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しい場合に、前記ピクセルを輪郭であると判断することを特徴とする請求項2に記載の偽輪郭探知および除去方法。
  5. 入力映像のピクセルに対する輪郭可否を確認する前記段階は、
    前記ピクセルに連結したピクセルの存在可否を確認する段階、
    をさらに含み、
    前記ピクセルの前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する前記段階は、
    前記ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しく、前記連結したピクセルが存在する場合に、前記ピクセルを前記輪郭であると判断することを特徴とする請求項2に記載の偽輪郭探知および除去方法。
  6. 前記ピクセルのシンプリシティを計算する前記段階は、
    前記ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接したピクセル間のピクセル値の差が所定の差値以下であるかを確認する段階と、
    前記ピクセル値の差が前記差値以下である場合に、前記互いに隣接したピクセル間の方向によって前記互いに隣接するピクセル間の結合力を測定する段階と、
    前記結合力に基づいて前記ピクセルのシンプリシティを計算する段階と、
    を含むことを特徴とする請求項1に記載の偽輪郭探知および除去方法。
  7. 前記互いに隣接したピクセルは、前記ピクセル群内の任意のピクセルと前記任意のピクセルから直角方向または対角方向のうちの少なくとも1つの方向に存在する最も近いピクセルを含み、
    前記互いに隣接したピクセル間の方向によって前記互いに隣接したピクセル間の結合力を測定する前記段階は、
    前記互いに隣接したピクセル間に前記直角方向または前記対角方向による所定の加重値を前記結合力として測定することを特徴とする請求項6に記載の偽輪郭探知および除去方法。
  8. 前記偽輪郭に対する平滑化によって前記入力映像から前記偽輪郭を除去する前記段階は、
    前記ピクセルおよび前記ピクセルと隣接するピクセルのグラジエントおよびシンプリシティに基づいて平滑化程度を決定する段階と、
    前記平滑化程度に応じて前記偽輪郭を除去する段階と、
    を含むことを特徴とする請求項1に記載の偽輪郭探知および除去方法。
  9. 前記平滑化程度に応じて前記偽輪郭を除去する前記段階は、
    前記平滑化程度に応じて、下記数式(2)のように所定の平滑化フィルタのうちの1つの平滑化フィルタを用いることで、前記ピクセルおよび前記隣接するピクセルに対する前記偽輪郭を除去することを特徴とする請求項8に記載の偽輪郭探知および除去方法。
    Figure 2009055591
  10. ピクセルの輪郭可否を判断する方法において、
    入力映像のピクセルごとにグラジエントを計算する段階と、
    前記ピクセルに連結したピクセルの存在可否を確認する段階と、
    前記グラジエントおよび前記連結したピクセルの存在可否に基づいて前記ピクセルの輪郭可否を判断する段階と、
    を含むことを特徴とする輪郭可否判断方法。
  11. 前記ピクセルごとにグラジエントを計算する前記段階は、
    前記入力映像のうちの前記ピクセルに該当するx軸偏微分値およびy軸偏微分値を用いて、下記数式(1)のようにグラジエントを計算することを特徴とする請求項10に記載の輪郭可否判断方法。
    |G|=|Gx|+|Gy|.・・・(1)
    ここで、前記Gは前記グラジエントを、前記Gxは前記x軸偏微分値を、前記Gyは前記y軸偏微分値をそれぞれ意味する。
  12. 前記x軸偏微分値および前記y軸偏微分値は、前記ピクセルを中心とする3×3サイズのピクセル群にゾーベルマスクを適用して計算され、
    前記ゾーベルマスクは、下記数式(3)のように表現されるxマスクおよびyマスクを含むことを特徴とする請求項11に記載の輪郭可否判断方法。
    Figure 2009055591
    ここで、前記xMaskは前記xマスクを表現する行列を、前記yMaskは前記yマスクを表現する行列をそれぞれ意味する。
  13. 前記x軸偏微分値および前記y軸偏微分値は、前記ピクセルを所定の位置に含む2×2ピクセル群にグラジエントマスクを適用して計算され、
    前記グラジエントマスクは、下記数式(4)のように表現されるxマスクおよびyマスクを含むことを特徴とする請求項11に記載の輪郭可否判断方法。
    Figure 2009055591
    ここで、前記xGMaskは前記xマスクを表現する行列を、前記yGMaskは前記yマスクを表現する行列をそれぞれ意味する。
  14. 前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する前記段階は、
    前記ピクセルのグラジエントが損失したビットの数による直角方向値または対角方向値と等しい場合に、前記ピクセルを輪郭と判断することを特徴とする請求項10に記載の輪郭可否判断方法。
  15. 入力映像に含まれたピクセルのシンプリシティを計算する方法において、
    ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接するピクセル間のピクセル値の差が所定の差値以下であるかを確認する段階と、
    前記ピクセル値の差が前記差値以下である場合に、前記互いに隣接したピクセル間の方向によって前記互いに隣接したピクセル間の結合力を測定する段階と、
    前記結合力に基づいて前記ピクセルのシンプリシティを計算する段階と、
    を含むことを特徴とするシンプリシティ計算方法。
  16. 前記互いに隣接したピクセルは、前記ピクセル群内の任意のピクセルと前記任意のピクセルから直角方向または対角方向のうちの少なくとも1つの方向に存在する最も近いピクセルを含むことを特徴とする請求項15に記載のシンプリシティ計算方法。
  17. 前記互いに隣接するピクセル間の方向によって前記互いに隣接するピクセル間の結合力を測定する前記段階は、
    前記互いに隣接するピクセル間に直角方向または対角方向による所定の加重値を前記結合力として測定することを特徴とする請求項15に記載のシンプリシティ計算方法。
  18. 偽輪郭を探知および除去する装置において、
    入力映像のピクセルに対する輪郭可否を確認する輪郭可否確認部と、
    前記ピクセルのシンプリシティを計算するシンプリシティ計算部と、
    前記輪郭可否および前記シンプリシティに基づいて前記ピクセルの偽輪郭可否を決定する偽輪郭可否決定部と、
    前記偽輪郭に対する平滑化によって前記入力映像から前記偽輪郭を除去する偽輪郭除去部と、
    を含むことを特徴とする偽輪郭探知および除去装置。
  19. 前記輪郭可否確認部は、
    前記ピクセルごとにグラジエントを計算するグラジエント計算部と、
    前記グラジエントに基づいて前記ピクセルの輪郭可否を判断する輪郭判断部と、
    を含むことを特徴とする請求項18に記載の偽輪郭探知および除去装置。
  20. 前記シンプリシティ計算部は、
    前記ピクセルを中心として含んでいるn×nサイズのピクセル群内において、互いに隣接するピクセル間のピクセル値の差が所定の差値以下であるかを確認するピクセル値差確認部と、
    前記ピクセル値の差が前記差値以下である場合に、前記互いに隣接したピクセル間の方向によって前記互いに隣接するピクセル間の結合力を測定する結合力測定部と、
    前記結合力に基づいて前記ピクセルのシンプリシティを計算する計算部と、
    を含むことを特徴とする請求項18に記載の偽輪郭探知および除去装置。
  21. 前記偽輪郭除去部は、
    前記ピクセルおよび前記ピクセルと隣接したピクセルのグラジエントおよびシンプリシティに基づいて平滑化程度を決定する平滑化程度決定部と、
    前記平滑化程度に応じて前記偽輪郭を除去する平滑化部と、
    を含むことを特徴とする請求項18に記載の偽輪郭探知および除去装置。
  22. ピクセルの輪郭可否を判断する装置において、
    入力映像のピクセルごとにグラジエントを計算するグラジエント計算部と、
    前記ピクセルに連結したピクセルの存在可否を確認する連結ピクセル確認部と、
    前記グラジエントおよび前記連結したピクセルの存在可否に基づいて前記ピクセルの輪郭可否を判断する輪郭判断部と、
    を含むことを特徴とする輪郭可否判断装置。
  23. 前記グラジエント計算部は、
    前記入力映像のうちの前記ピクセルに該当するx軸偏微分値およびy軸偏微分値を用いて、下記数式(1)のように前記グラジエントを計算することを特徴とする請求項22に記載の輪郭可否判断装置。
    |G|=|Gx|+|Gy|.・・・(1)
    ここで、前記Gは前記グラジエントを、前記Gxは前記x軸偏微分値を、前記Gyは前記y軸偏微分値をそれぞれ意味する。
  24. 前記x軸偏微分値および前記y軸偏微分値は、前記ピクセルを所定の位置に含む2×2ピクセル群にグラジエントマスクを適用して計算され、
    前記グラジエントマスクは、下記数式(4)のように表現されるxマスクおよびyマスクを含むことを特徴とする請求項23に記載の輪郭可否判断装置。
    Figure 2009055591
    ここで、前記xGMaskは前記xマスクを表現する行列を、前記yGMaskは前記yマスクを表現する行列をそれぞれ意味する。
JP2008117683A 2007-08-28 2008-04-28 偽輪郭を探知及び除去する方法並びに装置 Active JP5308062B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070086739A KR101303667B1 (ko) 2007-08-28 2007-08-28 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치
KR10-2007-0086739 2007-08-28

Publications (2)

Publication Number Publication Date
JP2009055591A true JP2009055591A (ja) 2009-03-12
JP5308062B2 JP5308062B2 (ja) 2013-10-09

Family

ID=40407610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008117683A Active JP5308062B2 (ja) 2007-08-28 2008-04-28 偽輪郭を探知及び除去する方法並びに装置

Country Status (4)

Country Link
US (2) US9177365B2 (ja)
JP (1) JP5308062B2 (ja)
KR (1) KR101303667B1 (ja)
CN (1) CN101378508B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046115A (ja) * 2015-08-25 2017-03-02 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2019110568A (ja) * 2019-02-15 2019-07-04 Kddi株式会社 動画像符号化装置、動画像処理システム、動画像符号化方法、およびプログラム
WO2019208189A1 (ja) * 2018-04-26 2019-10-31 ソニー株式会社 画像復号装置、および画像復号方法、並びにプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303667B1 (ko) 2007-08-28 2013-09-04 삼성전자주식회사 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치
US8295607B1 (en) * 2008-07-09 2012-10-23 Marvell International Ltd. Adaptive edge map threshold
US20100245672A1 (en) * 2009-03-03 2010-09-30 Sony Corporation Method and apparatus for image and video processing
BRPI1007869B1 (pt) * 2009-03-12 2021-08-31 Interdigital Madison Patent Holdings Métodos, aparelhos e mídia de armazenamento legível por computador para seleção de parâmetro de filtro baseado em região para filtragem de remoção de artefatos
JP2011040910A (ja) * 2009-08-07 2011-02-24 Sony Corp 信号処理装置、再生装置、信号処理方法及びプログラム
CN103918274B (zh) 2011-11-01 2015-08-26 杜比实验室特许公司 对具有扩展动态范围的图像的分层编码中的自适应伪轮廓预防
US8731323B2 (en) 2011-11-23 2014-05-20 Stmicroelectronics Asia Pacific Pte Ltd. General banding and codec banding artifact removal
KR101849586B1 (ko) * 2011-12-30 2018-06-01 엘지디스플레이 주식회사 의사윤곽제거장치 및 의사윤곽제거방법
US9911179B2 (en) 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
CN104200793B (zh) 2014-08-21 2016-09-07 京东方科技集团股份有限公司 一种图像的边界判别方法、装置和显示面板
US10136148B2 (en) 2015-05-18 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
CN106470293B (zh) * 2015-08-20 2019-07-09 联咏科技股份有限公司 图像处理装置及图像处理方法
CN106470292B (zh) * 2015-08-20 2019-08-27 联咏科技股份有限公司 图像处理装置及图像处理方法
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
TWI743746B (zh) * 2020-04-16 2021-10-21 瑞昱半導體股份有限公司 影像處理方法及影像處理電路
WO2022245024A1 (ko) * 2021-05-20 2022-11-24 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
CN114022468B (zh) * 2021-11-12 2022-05-13 珠海安联锐视科技股份有限公司 一种安防监控中物品遗留丢失检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944648A (ja) * 1995-08-01 1997-02-14 Sony Corp 画像処理装置及び画像処理方法
JPH10162139A (ja) * 1996-11-28 1998-06-19 Nikon Corp 画像処理装置、および画像処理プログラムを記録した媒体
JP2000004381A (ja) * 1998-04-17 2000-01-07 Matsushita Electric Ind Co Ltd 偽輪郭補正装置および方法
JP2000011188A (ja) * 1998-04-20 2000-01-14 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2000022939A (ja) * 1998-06-30 2000-01-21 Sharp Corp 画像縮小装置及び画像縮小プログラムを記録した記録媒体
JP2000101846A (ja) * 1998-09-18 2000-04-07 Fuji Xerox Co Ltd 画像情報符号化装置
JP2005137936A (ja) * 1994-05-27 2005-06-02 Fukuda Denshi Co Ltd 超音波診断装置
JP2006333922A (ja) * 2005-05-31 2006-12-14 Canon Inc 照射野領域抽出方法及び放射線撮影装置
JP2007011939A (ja) * 2005-07-04 2007-01-18 Noritsu Koki Co Ltd 画像判定装置及びその方法
JP2007181189A (ja) * 2005-11-30 2007-07-12 Nec Corp 画像処理装置、表示装置、画像処理方法及びプログラム
WO2007089803A2 (en) * 2006-01-31 2007-08-09 Thomson Licensing Methods and apparatus for edge-based spatio-temporal filtering

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204920A (en) * 1990-01-12 1993-04-20 U.S. Philips Corporation Method and apparatus for region and texture coding
US5218649A (en) * 1990-05-04 1993-06-08 U S West Advanced Technologies, Inc. Image enhancement system
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
KR100219628B1 (ko) * 1997-02-15 1999-09-01 윤종용 루프필터링 방법 및 루프필터
JP2003510932A (ja) * 1999-09-28 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ フィルタ処理装置及び方法
US6633654B2 (en) * 2000-06-19 2003-10-14 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges
AU2003208527A1 (en) 2002-03-26 2003-10-08 Koninklijke Philips Electronics N.V. Video signal post-processing method
US7440633B2 (en) * 2003-12-19 2008-10-21 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
JP4189467B2 (ja) 2004-05-27 2008-12-03 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
WO2006010276A1 (en) * 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
KR101108435B1 (ko) * 2005-05-31 2012-02-16 서강대학교산학협력단 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
JP5662023B2 (ja) * 2006-12-28 2015-01-28 トムソン ライセンシングThomson Licensing ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトを検出する方法と、装置と、アプリケーション・プログラムを有するプログラム記憶装置
KR101303667B1 (ko) 2007-08-28 2013-09-04 삼성전자주식회사 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치
US8264591B2 (en) * 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005137936A (ja) * 1994-05-27 2005-06-02 Fukuda Denshi Co Ltd 超音波診断装置
JPH0944648A (ja) * 1995-08-01 1997-02-14 Sony Corp 画像処理装置及び画像処理方法
JPH10162139A (ja) * 1996-11-28 1998-06-19 Nikon Corp 画像処理装置、および画像処理プログラムを記録した媒体
JP2000004381A (ja) * 1998-04-17 2000-01-07 Matsushita Electric Ind Co Ltd 偽輪郭補正装置および方法
JP2000011188A (ja) * 1998-04-20 2000-01-14 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2000022939A (ja) * 1998-06-30 2000-01-21 Sharp Corp 画像縮小装置及び画像縮小プログラムを記録した記録媒体
JP2000101846A (ja) * 1998-09-18 2000-04-07 Fuji Xerox Co Ltd 画像情報符号化装置
JP2006333922A (ja) * 2005-05-31 2006-12-14 Canon Inc 照射野領域抽出方法及び放射線撮影装置
JP2007011939A (ja) * 2005-07-04 2007-01-18 Noritsu Koki Co Ltd 画像判定装置及びその方法
JP2007181189A (ja) * 2005-11-30 2007-07-12 Nec Corp 画像処理装置、表示装置、画像処理方法及びプログラム
WO2007089803A2 (en) * 2006-01-31 2007-08-09 Thomson Licensing Methods and apparatus for edge-based spatio-temporal filtering

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046115A (ja) * 2015-08-25 2017-03-02 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
WO2017033560A1 (ja) * 2015-08-25 2017-03-02 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US10819988B2 (en) 2015-08-25 2020-10-27 Kddi Corporation Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, and computer readable storage medium
WO2019208189A1 (ja) * 2018-04-26 2019-10-31 ソニー株式会社 画像復号装置、および画像復号方法、並びにプログラム
JP2019110568A (ja) * 2019-02-15 2019-07-04 Kddi株式会社 動画像符号化装置、動画像処理システム、動画像符号化方法、およびプログラム

Also Published As

Publication number Publication date
US20090060375A1 (en) 2009-03-05
CN101378508B (zh) 2011-04-06
JP5308062B2 (ja) 2013-10-09
US9177365B2 (en) 2015-11-03
US20160055625A1 (en) 2016-02-25
CN101378508A (zh) 2009-03-04
US9424630B2 (en) 2016-08-23
KR20090021866A (ko) 2009-03-04
KR101303667B1 (ko) 2013-09-04

Similar Documents

Publication Publication Date Title
JP5308062B2 (ja) 偽輪郭を探知及び除去する方法並びに装置
KR101108435B1 (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
Li et al. Passive detection of doctored JPEG image via block artifact grid extraction
CN111311482B (zh) 背景虚化方法、装置、终端设备及存储介质
CN108038833B (zh) 一种梯度相关性检测的图像自适应锐化方法和存储介质
JP5158202B2 (ja) 画像補正装置および画像補正方法
WO2017096814A1 (zh) 一种图像处理方法及装置
JPWO2002067589A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
CN111489319A (zh) 基于多尺度双边滤波和视觉显著性的红外图像增强方法
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
TWI439961B (zh) Conversion algorithm for voids generated after converting 2D images
Dou et al. Anti-forensics of diffusion-based image inpainting
US6876778B2 (en) Edge enhancement method and apparatus in digital image scalar-up circuit
CN112579985A (zh) 基于频域特征排列的图像数字版权保护方法及系统
Šroba et al. Impact of Gaussian noise and image filtering to detected corner points positions stability
CN106530286A (zh) 确定清晰度级别的方法及装置
CN107862679B (zh) 图像检测区域的确定方法及装置
JP4270504B2 (ja) 電子透かし挿入方法、電子透かし挿入装置及び電子透かし挿入プログラム並びに電子透かし検出方法、電子透かし検出装置及び電子透かし検出プログラム
KR100882085B1 (ko) 영상의 컨트라스트 향상 방법
CN114596210A (zh) 噪声估计方法、装置、终端设备及计算机可读存储介质
JP5563583B2 (ja) ブロックノイズ減少システムおよび方法
JP4930638B2 (ja) 画像補正装置および画像補正方法
US9652689B2 (en) Magnification factor estimation device and method for same
CN111340715B (zh) 一种图像的网格纹弱化方法、装置及电子设备
CN112862726A (zh) 图像处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130520

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5308062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250