JP2008503828A - ブロック型画像処理のための方法及び電子装置 - Google Patents

ブロック型画像処理のための方法及び電子装置 Download PDF

Info

Publication number
JP2008503828A
JP2008503828A JP2007517617A JP2007517617A JP2008503828A JP 2008503828 A JP2008503828 A JP 2008503828A JP 2007517617 A JP2007517617 A JP 2007517617A JP 2007517617 A JP2007517617 A JP 2007517617A JP 2008503828 A JP2008503828 A JP 2008503828A
Authority
JP
Japan
Prior art keywords
boundary
pixels
block
image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007517617A
Other languages
English (en)
Inventor
ロベルト エイチ ヒェルデルブロム
エッヒェレン ラムベルトゥス エイ ファン
マルコ ケイ ボスマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008503828A publication Critical patent/JP2008503828A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

電子装置が、境界線検出器と、分析装置と、インクルーダとを機能的に有する電子回路を有する。該境界線検出器は、画像(41)における関連領域(45)と関連しない領域(43)との間の境界線(47)を決定するように動作する。前記分析装置は、境界線(47)により横切られるピクセルのブロック(55)を分析するように動作する。前記インクルーダは、前記分析に依存して、境界線(47)により横切られるピクセルのブロック(55)を関連領域(45)に含めるように動作する。本発明は、さらに、ブロック型の画像処理のための画像の関連領域を決定する方法に関する。該方法は、画像の関連する及び関連しない領域の間の境界線を決定するステップと、該境界線により横切られるピクセルのブロックを分析するステップと、該分析に依存して境界線により横切られるピクセルのブロックを関連領域に含めるステップとを有する。本発明は、プログラム可能な装置が本発明の方法を実行するように動作させる制御ソフトウェア、及び本発明の装置に使用する電子回路にも関する。

Description

本発明は、ブロック型画像処理のために画像の関連領域を決定することができる電子装置に関する。
本発明は、このような装置に使用する電子回路にも関する。
本発明は、更に、ブロック型画像処理のために画像の関連領域を決定する方法に関する。
本発明は、プログラム可能な装置がこのような方法を実行するように動作する制御ソフトウェアにも関する。
このような装置及び方法の一例は、国際公開された特許出願WO03/071805から知られる。上記文書は、画像における関連領域(例えばコンテンツ)及び関連しない領域(例えば4:3フォーマットで供給された16:9ビデオセグメントの黒い縁)を区別することを記載している。黒い縁を効率よく圧縮するために、黒い縁とコンテンツとの間の境界線は、部分的に満たされたブロックを黒くすることにより、(例えば8×8のピクセルのブロックの)ブロック境界線に位置合わせをされる。この方法は、除去されたコンテンツの線が時には看取者を非常に刺激して非常に目立つという障害をもつ。
本発明の第1の目的は、関連領域及び関連しない領域を有する画像の画像処理の知覚性を低減する、最初の段落に記載されたタイプの電子装置を提供することである。
本発明の第2の目的は、関連領域及び関連しない領域を有する画像の画像処理の知覚性を低減する、最初の段落に記載されたタイプの方法を提供することである。
本発明によると、第1の目的は、前記電子装置が、画像の関連領域と関連しない領域との間の境界線を決定するための境界線検出器を機能的に有する電子回路と、境界線により横切られるピクセルのブロックを分析するための分析装置と、該分析に依存して境界線により横切られるピクセルのブロックを関連領域に含めるインクルーダ(includer)とを有することで実現される。電子装置は、例えば単一の画像を(例えばJPEGを用いて)圧縮する、複数の(動きのある)画像を(例えばMPEG−2ビデオ圧縮を用いて)圧縮する、又は複数の画像のフィールド/フレーム比を(例えばフィリップス・デジタル・ナチュラル・モーションテクノロジを用いて)増加するために、画像の関連領域を決定しうる。いくつかの装置では、画像プロセッサは、装置の主たる機能に依存して、ビデオプロセッサと称する。あるアスペクト比から他のアスペクト比、例えば16:9から4:3に変換されたムービー又はテレビジョンプログラムは、画像の周り(上下又は左右)にしばしば黒いバーを示す。(例えば100Hzのテレビジョンにフィリップス・デジタル・ナチュラル・モーションテクノロジを用いて)フィールド/フレーム比が増加される場合、不正確なモーションベクトルが画像において黒いアーチファクト(artefact)を生じ得る。しかしながら、WO03/071805に記載されるようなコンテンツの線の除去は、アーチファクトよりもさらに目立つことが時々あり得る。コンテンツの線を除去することが、関連領域の縁がサブタイトル又はロゴのような重要な情報を含んでいるときのほとんどの場合に目立つ、ということを発明者らは認識している。関連領域の縁を分析することにより、縁を処理する独立した決定が各画像に対してなされ得る。電子装置は、例えばPC、テレビジョン、セットトップボックス、ビデオレコーダ、ビデオプレーヤ又は他のタイプの民生電子機器であり得る。
本発明の電子装置の一実施例では、分析装置は、境界線の一方の側の第1ピクセルと、境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し、該第1及び第2のピクセルは境界線の付近に位置され、インクルーダは、決定された類似性が類似性閾値を超えるならば、境界線により横切られるピクセルのブロックを関連領域に含めるように動作する。サブタイトルを検出するために、境界線により横切られるピクセルのブロックにおける幾つのピクセルに対して輝度がある閾値を越えるかを判定するような他の態様で重要の情報を検出することも可能であり得るが、この実施例は、実験において最も効果的であると判明している。第1ピクセルの輝度が、好ましくは第2ピクセルの輝度と比較される。第1及び第2ピクセルは、好ましくは隣接するピクセルである。
類似性閾値は、境界線により横切られるブロックの質に依存して決定されうる。境界線により横切られるブロックの質は、例えば全体の画像に対して測定されたノイズレベル又は境界線により横切られたブロックの推定されたアーチファクトの可能性であり得る。もし、アーチファクトが大いに見込まれるならば、境界線に横切られる低品質のブロックが関連領域に含まれにくくするために、類似性閾値を上げることが有利である。同じ目的で、本発明の方法又は装置に使用される他のパラメータも、境界線に横切られるブロックの品質に依存して(動的に)決定されうる。
境界線検出器は、画像の関連領域と関連しない領域との間の複数のありそうな境界線を決定するように動作し得る。分析装置は、各々のありそうな境界線に対して、ありそうな境界線の一方の側の第1ピクセルと、該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し得、該第1及び第2ピクセルは、ありそうな境界線付近に位置される。分析装置は、各々のありそうな境界線に対して決定された類似性に基づいて最終的な境界線を決定するように、さらに動作し得る。インクルーダは、最終的な境界線の決定された類似性が類似性閾値を超えるならば、最終的な境界線により横切られるピクセルのブロックを関連領域に含めるように動作し得る。インクルーダにより用いられる境界線が、黒い縁付近の、2つの最も異なるピクセルの線の間の境界線の場合、必須ではない情報ピクセルの線を除くことは、しばしば最も目立たないことである。ありそうな境界線は、好ましくは隣接した境界線(例えば、第1及び第2ピクセルは、第1のありそうな境界線により隔てられ、第2及び第3のピクセルは、第2のありそうな境界線により隔てられる、以下同様)である。
電子回路は、さらに、もし前記ピクセルブロックが関連領域に含まれていないならば、境界線により横切られるピクセルのブロックにデフォルトの値を割り当てる動作をする画像プロセッサを有する。多くの画像処理アルゴリズム(例えばMPEG-2ビデオ圧縮)は、自動的に黒い領域をより効率的に及び/又はより正確に処理する。境界線により横切られるピクセルのブロックを黒くすることは、後に続く画像処理ステップが、自動的に、より効率的に及び/又はより正確に画像を処理することを保証することができる。
境界線検出器は、画像の縁から始まるピクセルの線を分析し、ピクセルの第1線を位置することにより境界線を決定するように動作され得、該ピクセルの少なくとも1つは、あるセットの値の一部である値を持つ。もしピクセルがあるレベル(例えば、28と256との間の値)よりも上の輝度の値を持つならば、該ピクセルは、黒い縁の一部には最もなりそうにない。境界線は、好ましくはピクセルの第1の線及び前の線を隔てる態様で選択される。
電子回路は、もし事前に規定された関連領域が、前記関連領域よりも既定の量以上小さくないならば、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域からの画像データを処理するように動作する画像プロセッサを有し得、そうでなければ、画像プロセッサは前記関連領域からの画像データを処理する。実際に処理される領域の頻繁な変化を避けるために(頻繁な変化も目立つものになり得る)、現在の規定された関連領域が、事前に規定された関連領域よりも既定の量(例えば、高さ又は幅で2ブロック)以上大きくならない限り、事前に規定された関連領域(画像データではなく、例えば座標又はブロック数)は、現在の規定された関連領域の代わりに使用され得る。この場合には、関連領域の画像データは、サブタイトルのような必須の情報になりがちである。
画像プロセッサは、もし前記関連領域に類似する関連領域が、最近ビデオシーケンスの前の画像に対して相対的に稀にしか規定されないならば、ビデオシーケンスの前の画像の処理に事前に使用される領域からの画像データを処理するように動作し得る。したがって、もし最近同じ関連領域が相対的にしばしば規定されるならば、現在の規定された関連領域も使用され得る。もしそうでなければ、前の画像の処理に事前に使用される領域は、実際に処理される領域が頻繁に変化することを避けるために使用される。
分析装置は、第1ピクセルの既定の数のセグメントに依存して、第1及び第2ピクセルの間の類似性を決定するように動作し得、各ピクセル値は、第2ピクセルの反対側のセグメントの対応するピクセル値と、少なくともある程度異なる。このタイプのセグメントは、類似性の正確な測定を付与するということを実験的に示している。
本発明によると、第2の目的は、前記方法が、画像における関連する及び関連しない領域の間の境界線を決定するステップと、境界線により横切られるピクセルのブロックを分析するステップと、該分析に依存して関連領域の境界線により横切られるピクセルのブロックを含めるステップとを有することで実現される。前記方法は、例えば、民生電子装置における専用の画像プロセッサ又は一般の用途のコンピュータにおける一般の用途のプロセッサにより実行される。
本発明の方法の一実施例では、境界線により横切られるピクセルのブロックを分析するステップが、境界線の一方の側の第1ピクセルと境界線のもう一方の側の第2ピクセルとの間の類似性を決定するステップを有し、該第1及び第2ピクセルは、境界線付近に位置され、分析に依存して、境界線により横切られるピクセルのブロックを関連領域に含めるステップは、境界線に対して決定された類似性が類似性閾値を超えるならば、境界線により横切られるピクセルのブロックを関連領域に含めるステップを有する。
類似性閾値は、境界線により横切られるブロックの品質に依存して決定され得る。
画像の関連する及び関連しない領域の間の境界線を決定するステップは、画像の関連する及び関連しない領域の間の複数のありそうな境界線を決定するステップを有し得る。境界線の一方の側の第1ピクセルと境界線の他方の側の第2ピクセルとの間の類似性を決定するステップは、各々のありそうな境界線に対して、ありそうな境界線の一方の側の第1ピクセルと、該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するステップを有し得る。前記方法は、さらに、各々のありそうな境界線に対して決定された類似性に基づいて最終的な境界線を決定するステップを有し得る。決定された類似性が類似性閾値を超えるならば境界線によって横切られるピクセルのブロックを関連領域に含めるステップは、最終的な境界線の決定された類似性が類似性に閾値を超えるならば最終的な境界線によって横切られるピクセルのブロックを関連領域に含めるステップを有し得る。
前記方法は、さらに、前記ピクセルのブロックが関連領域に含まれないならば、境界線により横切られるピクセルのブロックにデフォルトの値を割り当てるステップを有し得る。
境界線を決定するステップは、画像の縁から始まるピクセルの線を分析するステップと、ピクセルの第1線を位置するステップとを有し得、少なくとも1つのピクセルは、あるセットの値の一部である値を有する。
該方法は、更に、もし事前に規定された関連領域が、前記関連領域よりも既定の量以上に小さくないならば、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域からの画像データを処理するステップを有し得、そうでなければ前記関連領域からの画像データを処理するステップを有し得る。
事前に規定された関連領域は、もし前記関連領域に類似する関連領域がビデオシーケンスにおける前の画像に対して最近相対的に稀にしか規定されないならば、前記ビデオシーケンスの前の画像の処理に事前に使用される領域になり得る。
第1及び第2ピクセル間の類似性は、第1ピクセルの規定された数のセグメントに依存し得、ここで各ピクセル値は、第2ピクセルの反対側のセグメントの対応するピクセル値と少なくともある程度異なる。
本発明の方法及び電子装置のこれら及び他の態様は、図を参照して更に明らかにされ、説明されるだろう。
図面において対応する要素は、同じ参照符号により識別される。
本発明の方法は、図1及び図3を参照して、画像41の関連領域45及び関連しない領域43の間の境界線47を決定するステップ1と、境界線47により横切られるピクセルのブロック55を分析するステップ3と、該分析に依存して境界線47により横切られるピクセルのブロック55を関連領域45に含めるステップ5とを有する。境界線47を決定するステップ1は、画像41の縁から始まるピクセルの線を分析するステップ7と、ピクセルの第1線を位置するステップ9とを有し得、該ピクセルの少なくとも1つのピクセルは、あるセットの値の一部である値を持つ。これは、例えばあるレベルより上(例えば256の輝度の値が使用される場合に、28の黒いレベルよりも上)のピクセル値をもつ第1線を探すということを伴い得る。
境界線47により横切られるピクセルのブロック55を分析するステップ3は、境界線47の一方の側の第1ピクセルと、境界線47の他方の側の第2ピクセルとの間の類似性を決定するステップ11を有し得、該第1及び第2ピクセルは、境界線47の付近に位置される。もしステップ3がステップ11を有するならば、前記分析に依存して境界線47により横切られるピクセルのブロック55を関連領域45に含めるステップ5は、もし境界線47に対して決定された類似性が類似性閾値を超えるならば、境界線47により横切られるピクセルのブロック55を関連領域45に含めるステップ13を有する。第1及び第2のピクセル間の類似性は、第1ピクセルの既定の数のセグメント(例えば8ピクセル)に依存し得る。ここで各ピクセル値は、第2ピクセルの反対側のセグメントの対応するピクセル値と少なくともある程度異なる。これは、例えば、第1の黒ではない線の各ピクセルが、少なくともある程度(例えば4)最後の黒い線における隣り合うピクセルよりも明るくなっている、セグメントの数を数えることを伴い得る。もしセグメントの全ての量に対する数えられたセグメントのパーセンテージが、類似性閾値(例えば50%)を超えるならば、境界線47は、「シャープなエッジ」とみなされ得る。もし「シャープなエッジ」が見つけられる(類似性が十分に高くない)ならば、境界線47により横切られるピクセルのブロック55は、関連領域45に含まれるべきではない。類似性閾値及び/又は各ピクセル値が少なくとも対応するピクセルとは異なるべきある程度の量は、境界線により横切られるブロックの品質に依存して決定され得る。境界線に横切られるブロックの品質は、例えば画像全体に対して測定されるノイズレベル又はこれらのブロックにおいて推定されるアーチファクトの可能性であり得る。アーチファクトの可能性は、例えば境界線により横切られる、異なるブロックのモーションベクトルを比較することにより推定され得る。モーションベクトルが調和していないならば、特にビデオシーケンスにおいて速い動きが生じる場合、アーチファクトは非常に見込まれる。アーチファクトが非常に見込まれるならば、類似性閾値を増加させる及び/又は各ピクセル値が対応するピクセルとは少なくとも異なるべきある程度の量を減少させ、これにより、境界線によって横切られる低品質のブロックが関連領域に含まれるであろう可能性を下げることが有利である。
本発明の方法は、さらに、もし事前に規定された関連領域が既定の量以上に前記関連領域45よりも小さくないならば、前記画像41を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定される関連領域からの画像データを処理し、そうでなければ前記関連領域45からの画像データを処理するステップ17を有し得る。事前に規定された関連領域は、もし前記関連領域45に類似する関連領域がビデオシーケンスにおける前の画像に対して最近相対的に稀にしか規定されないならば、ビデオシーケンスの前の画像の処理に事前に使用される領域であり得る。これは、例えば最後の数秒(例えば最後の120フレーム)において見られる「シャープなエッジ」に対応する関連領域のヒストグラムを形成し、もし事前に使用された関連領域が「シャープなエッジ」に対応するならば、何回か(例えば80回)該事前に使用された関連領域を挿入し得る。もし「シャープなエッジ」に対応する関連領域がヒストグラムに存在しないならば、現在規定された関連領域からの画像データが処理されるべきである。もし「シャープなエッジ」対応する関連する領域がヒストグラムに存在するならば、現在の規定された関連領域45がこの事前に規定された関連領域よりも既定の量(例えば幅又は高さ2ブロック)以上大きくない限り、ヒストグラムにおいて最も高い値をもつシャープなエッジに対応する事前に規定された関連領域(すなわち事前に相対的にしばしば規定された関連領域)からの画像データが処理されるべきである。後者の場合は、現在の既定された関連領域45からの画像データが処理されるべきである。少なくともある数の白いピクセルが境界線47により横切られるピクセルのブロックにおいて検出される場合、前記既定の量は低くされ得る。現在の画像の処理に使用されるべき、関連領域を選択するためのアルゴリズムは、関連領域が低品質の境界線に横切られるブロックを含むフレームの数を減少するために、境界線により横切られるブロックの品質を考慮しうる。
実際に使用される関連領域を時間に関してより安定にするために、実際に使用される関連領域を減少させた後、実際に使用される関連領域がある期間増加しないという、ホールド時間が実施され得る。ホールド時間は、境界線により横切られるブロックの品質に依存して(動的に)規定され得る。もし境界線に横切られるブロックが低い品質を持つならば、ホールド時間を減少させて、それにより関連領域が低品質な境界線に横切られたブロックを含むフレームの数を減らすことが有利である。もちろん、したがって関連領域の変化は、より頻繁に起こりそうである。
本発明の方法は、さらに、もし前記ピクセルのブロック55が関連領域45に含まれないならば、境界線47により横切られるピクセルのブロック55にデフォルトの値を割り当てるステップ15を有し得る。これは、例えば後続の画像処理ステップをより効率的に及び/又は正確にするために、関連しないと既定されるピクセルを黒くし得る。ステップ15及び17は、単一のステップに組み合わされ得る。
一実施例の方法が、図2において示される(図3も参照されたい)。この実施例では、画像41の関連領域45と関連しない領域43との間の境界線を決定するステップ1は、画像41における関連領域45と関連しない領域43との間の複数のありそうな境界線47,49及び51(例えばピクセルの4つの連続する線間の3つの境界線)を決定するステップ21を有する。更に、境界線の一方の側の第1ピクセルと該境界線の他方の側の第2ピクセルとの間の類似性を決定するステップ11は、各々のありそうな境界線47,49及び51に対して、ありそうな境界線の一方の側の第1ピクセルと該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するステップ23を有する。この実施例は、更に、各々のありそうな境界線47,49及び51に対して決定された類似性に基づいて最終的な境界線を決定する(例えば明るいセグメントの最も高いパーセンテージをもつ境界線を選択する)ステップ25を有する。また、規定の類似性が類似性閾値を超えるならば境界線により横切られるピクセルブロック55を関連領域45に含めるステップ13は、最終的な境界線の規定の類似性が(例えば、50%よりも高く)類似性閾値を越えるならば最終的な境界線により横切られるピクセルブロック55を関連領域45に含めるステップ27を有する。
本発明の方法のこの実施例に類似する方法は、図4において示される。この類似する方法は、前記分析に依存して境界線により横切られるピクセルブロックを関連領域に含めるステップ5を含まず、それゆえステップ13又は27も含まない。この方法は、例えば、関連領域及び関連しない領域の間の境界線をブロックの境界線に合わせる必要がない場合、たとえばブロック型ではない画像処理アルゴリズムの場合に使用することができる。
本発明の電子装置61(図5を参照されたい)は、電子回路63を有する。該電子回路63は、境界線検出器71、分析装置73及びインクルーダ75を機能的に有する。境界線検出器71は、画像の関連する及び関連しない領域の間の境界線を決定するように動作する。分析装置73は、境界線により横切られるピクセルのブロックを分析するように動作する。インクルーダ75は、前記分析に依存して境界線により横切られるピクセルのブロックを関連領域に含めるように動作する。電子装置61は、例えばPC,テレビジョン、セットトップボックス、ビデオレコーダ、ビデオプレーヤ又は他のタイプの民生電気機器であり得る。論理回路は、例えばフィリップス・トライメディア・メディアプロセッサ又はフィリップス・ネクスペリア・オーディオビデオ入力プロセッサであり得る。電子装置61は、さらに、入力65、例えばSCART、コンポジット、SVHS又はコンポーネントソケット若しくはTVチューナを有し得る。電子装置61は、更に、出力67、例えばSCART、コンポジット、SVHS又はコンポーネントソケット若しくは無線トランスミッタを有し得る。代替として、電子装置61は、電子回路63が結合されるディスプレイを有し得る(示されていない)。電子装置61は、ストレージ手段69も有し得る。ストレージ手段69は、例えば処理されていない及び処理された画像データを格納するため並びに/又は事前に規定された関連領域に関する情報を格納するために使用され得る。画像は、写真又は例えばビデオフレームであり得る。
電子回路63は、更に、ピクセルの前記ブロックが関連領域に含まれないならば、境界線により横切られるピクセルのブロックにデフォルトの値を割り当てるように動作する画像プロセッサ77を有し得る。代替として又は追加として、画像プロセッサ77は、もし事前に規定された関連領域が、既定の量以上に前記関連領域よりも小さくないならば、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域からの画像データを処理するように動作し得、そうでなければ前記画像プロセッサは、前記関連領域からの画像データを処理する。境界線検出器71、分析装置73、インクルーダ75及び画像プロセッサ77は、例えば、電子回路63により実行可能であるソフトウェアであり得る。電子回路63は、1以上の集積回路を有し得る。
本発明は、好適な実施例に関して記載されているが、上記で概要を述べられた原理の範囲内の本発明の変形例は、当業者には明白だろうということは理解されるだろう。したがって、本発明は、好適な実施例に限定されず、このような変形例を含めることを意図されている。本発明は、どの新規の特徴にも及びどの特徴の組み合わせにも属する。請求項における参照符号は、本発明の保護する範囲を制限しない。「有する」という動詞及びその動詞の活用形の使用は、請求項において述べられたもの以外の要素又はステップの存在を排除しない。要素の単数形の表記は、このような要素又はステップが複数存在することを排除しない。
当業者には明らかであるように、「手段」は、動作を実行する又は特定された機能を実行するように設計されるいかなるハードウェア(例えば別体の又は集積化された回路若しくは電子素子)又はソフトウェア(プログラム又はプログラムの一部)を含み、単独又は他の機能と結合しており、孤立又は他の要素と共同であると理解される。本発明は、いくつかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施することができる。「制御ソフトウェア」は、フロッピー(登録商標)ディスクのようなコンピュータ可読媒体に記憶される、インターネットのようなネットワークを介してダウンロード可能である、又は他の態様で市場に出すことができるいかなるソフトウェアも意味すると理解されるべきである。
図1は、本発明の方法のフローチャートである。 図2は、本発明の方法の一実施例のフローチャートである。 図3は、本発明の電子装置又は方法で処理され得る画像の一例である。 図4は、画像における関連する及び関連しない領域の間の境界線を検出する、改善された方法のフローチャートである。 図5は、本発明の電子装置のブロックダイヤグラムである。

Claims (15)

  1. ‐画像の関連領域と関連しない領域との間の境界線を決定するための境界線検出器と、
    ‐前記境界線により横切られるピクセルのブロックを分析するための分析装置と、
    ‐前記分析に依存して前記境界線により横切られるピクセルのブロックを前記関連領域に含めるためのインクルーダと、
    を機能的に有する電子回路を有する電子装置。
  2. ‐前記分析装置が、前記境界線の一方の側の第1ピクセルと、前記境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し、該第1及び第2ピクセルは前記境界線の付近に位置されるようなものであり、
    ‐前記インクルーダが、前記決定された類似性が類似性閾値を超えるならば前記境界線により横切られるピクセルのブロックを前記関連領域に含めるように動作する、
    請求項1に記載の電子装置。
  3. 前記類似性閾値が、前記境界線により横切られる前記ブロックの品質に依存して決定される、請求項2に記載の電子装置。
  4. ‐前記境界線検出器が、画像の関連領域と関連しない領域との間の複数のありそうな境界線を決定するように動作し、
    ‐前記分析装置が、各々のありそうな境界線に対して、ありそうな境界線の一方の側の第1ピクセルと、該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し、前記第1及び第2ピクセルが、前記ありそうな境界線の付近に位置されるようなものであり、
    ‐前記分析装置が、更に、各々のありそうな境界線に対して決定された類似性に基づいて、最終的な境界線を決定するように動作し、
    ‐前記インクルーダが、前記最終的な境界線の決定された類似性が類似性閾値を越えるならば、前記最終的な境界線により横切られるピクセルのブロックを前記関連領域に含めるように動作する、
    請求項2に記載の電子装置。
  5. 前記電子回路が、更に、前記ピクセルのブロックが前記関連領域に含まれないならば、前記境界線により横切られる前記ピクセルのブロックにデフォルトの値を割り当てるように動作する画像プロセッサを有する、請求項1に記載の電子装置。
  6. 前記境界線検出器が、前記画像の縁から始まるピクセルの線を分析し、ピクセルの第1線を位置することにより境界線を決定するように動作し、該ピクセルの少なくとも1つのピクセルが、あるセットの値の一部である値を持つ、請求項1に記載の電子装置。
  7. 前記電子回路が、更に、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域が前記関連領域よりも既定の量以上に小さくないならば、該事前に規定された関連領域からの画像データを処理するように動作する画像プロセッサを有し、そうでなければ、該画像プロセッサは、前記関連領域からの画像データを処理する、請求項1に記載の電子装置。
  8. もし前記関連領域に類似する関連領域が前記ビデオシーケンスにおける前の画像に対して最近相対的に稀にしか規定されないならば、前記画像プロセッサが、前記ビデオシーケンスの先行する画像の処理に事前に使用される領域からの画像データを処理するように動作する、請求項7に記載の電子装置。
  9. 前記分析装置が、規定の数のセグメントの第1ピクセルに依存して前記第1及び第2ピクセルの間の前記類似性を決定するように動作し、各ピクセル値は、反対側のセグメントの第2ピクセルの対応するピクセル値とは少なくともある程度異なる、請求項1に記載の電子装置。
  10. 請求項1の装置に使用する電子回路。
  11. ブロック型の画像処理のための画像の関連領域を決定する方法であって、
    ‐画像の関連及び関連しない領域の間の境界線を決定するステップと、
    ‐該境界線により横切られるピクセルのブロックを分析するステップと、
    ‐該分析に依存して前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップと、
    を有する方法。
  12. ‐前記境界線により横切られるピクセルのブロックを分析するステップが、前記境界線の一方の側の第1ピクセルと、前記境界線の他方の側の第2ピクセルとの間の類似性を決定するステップを有し、該第1及び第2ピクセルが前記境界線の付近に位置されるものであり、
    ‐前記分析に依存して前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップが、もし前記境界線に対して決定された前記類似性が類似性閾値を超えるならば、前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップを有する、
    請求項11に記載の方法。
  13. 前記類似性閾値が、前記境界線により横切られる前記ブロックの品質に依存して決定される、請求項12に記載の方法。
  14. ‐前記画像の関連及び関連しない領域の間の境界線を決定するステップが、画像の関連及び関連しない領域の間の複数のありそうな境界線を決定するステップを有し、
    ‐前記境界線の一方の側の第1ピクセルと、前記境界線の他方の側の第2ピクセルとの間の類似性を決定するステップが、各々のありそうな境界線に対して、前記ありそうな境界線の一方の側の第1ピクセルと、前記ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するステップを有し、
    ‐更に、各々のありそうな境界線に対して決定された前記類似性に基づいて最終的な境界線を決定するステップを有し、
    ‐もし前記決定された類似性が類似性閾値を超えるならば前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップは、もし前記最終的な境界線の前記決定された類似性が類似性閾値を超えるならば前記最終的な境界線により横切られるピクセルのブロックを前記関連領域に含めるステップを有する、
    請求項12に記載の方法。
  15. プログラム可能な装置が請求項11の方法を実行するようにさせる、制御ソフトウェア。
JP2007517617A 2004-06-24 2005-06-20 ブロック型画像処理のための方法及び電子装置 Withdrawn JP2008503828A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04102930 2004-06-24
PCT/IB2005/052020 WO2006000983A1 (en) 2004-06-24 2005-06-20 Electronic device and method for block-based image processing

Publications (1)

Publication Number Publication Date
JP2008503828A true JP2008503828A (ja) 2008-02-07

Family

ID=34970638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007517617A Withdrawn JP2008503828A (ja) 2004-06-24 2005-06-20 ブロック型画像処理のための方法及び電子装置

Country Status (6)

Country Link
US (1) US20080063063A1 (ja)
EP (1) EP1762091A1 (ja)
JP (1) JP2008503828A (ja)
KR (1) KR20070026638A (ja)
CN (1) CN1973540A (ja)
WO (1) WO2006000983A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086007B2 (en) * 2007-10-18 2011-12-27 Siemens Aktiengesellschaft Method and system for human vision model guided medical image quality assessment
CN101727667B (zh) * 2008-10-16 2012-09-12 北京大学 一种挂网图像的边界检测方法及装置
TWI504248B (zh) * 2008-10-27 2015-10-11 Realtek Semiconductor Corp 影像處理裝置及影像處理方法
KR101681589B1 (ko) * 2010-07-27 2016-12-01 엘지전자 주식회사 영상 처리 장치 및 그 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW307971B (ja) * 1994-03-31 1997-06-11 Matsushita Electric Ind Co Ltd
EP0913993A1 (en) * 1997-10-28 1999-05-06 Deutsche Thomson-Brandt Gmbh Method and apparatus for automatic format detection in digital video picture
US6340992B1 (en) * 1997-12-31 2002-01-22 Texas Instruments Incorporated Automatic detection of letterbox and subtitles in video
FR2793375A1 (fr) * 1999-05-06 2000-11-10 Thomson Multimedia Sa Procede de detection de bandes noires dans une image video
KR100474760B1 (ko) * 2001-10-08 2005-03-08 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
CN1636408A (zh) * 2002-02-22 2005-07-06 皇家飞利浦电子股份有限公司 处理视频图像的方法
EP1408684A1 (fr) * 2002-10-03 2004-04-14 STMicroelectronics S.A. Procédé et système d'affichage video avec recadrage automatique
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method

Also Published As

Publication number Publication date
US20080063063A1 (en) 2008-03-13
EP1762091A1 (en) 2007-03-14
KR20070026638A (ko) 2007-03-08
CN1973540A (zh) 2007-05-30
WO2006000983A1 (en) 2006-01-05

Similar Documents

Publication Publication Date Title
JP5233014B2 (ja) 方法および装置
US8594449B2 (en) MPEG noise reduction
US9275440B2 (en) Image processing device and image processing method
US20130169834A1 (en) Photo extraction from video
JP2008527525A (ja) グラフィカルなオブジェクトを検出するための方法及び電子装置
US8503814B2 (en) Method and apparatus for spectrum estimation
JP7295950B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
JP4118688B2 (ja) ビデオ画像のセグメンテーションに基づく強調を行うシステム及び方法
JP7169449B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
CN110996183B (zh) 视频摘要的生成方法、装置、终端及存储介质
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
KR101020496B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터-판독가능 저장 매체
US8135231B2 (en) Image processing method and device for performing mosquito noise reduction
US20090040377A1 (en) Video processing apparatus and video processing method
US8165421B2 (en) Method and apparatus for image processing by using stored image
JP2008503828A (ja) ブロック型画像処理のための方法及び電子装置
US8831354B1 (en) System and method for edge-adaptive and recursive non-linear filtering of ringing effect
TWI517097B (zh) 增強影像對比之方法及裝置以及非暫時性計算機可讀媒體
US20180091808A1 (en) Apparatus and method for analyzing pictures for video compression with content-adaptive resolution
JP2006279413A (ja) 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体
JP2007048104A (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
US20170278286A1 (en) Method and electronic device for creating title background in video frame
US20110280438A1 (en) Image processing method, integrated circuit for image processing and image processing system
JP4282512B2 (ja) 画像処理装置、画像処理装置における2値化閾値管理方法及び画像処理プログラム
JP2009282556A (ja) 信号処理装置および画像表示装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080902