JP2008503828A - ブロック型画像処理のための方法及び電子装置 - Google Patents
ブロック型画像処理のための方法及び電子装置 Download PDFInfo
- Publication number
- JP2008503828A JP2008503828A JP2007517617A JP2007517617A JP2008503828A JP 2008503828 A JP2008503828 A JP 2008503828A JP 2007517617 A JP2007517617 A JP 2007517617A JP 2007517617 A JP2007517617 A JP 2007517617A JP 2008503828 A JP2008503828 A JP 2008503828A
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- pixels
- block
- image
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
電子装置が、境界線検出器と、分析装置と、インクルーダとを機能的に有する電子回路を有する。該境界線検出器は、画像(41)における関連領域(45)と関連しない領域(43)との間の境界線(47)を決定するように動作する。前記分析装置は、境界線(47)により横切られるピクセルのブロック(55)を分析するように動作する。前記インクルーダは、前記分析に依存して、境界線(47)により横切られるピクセルのブロック(55)を関連領域(45)に含めるように動作する。本発明は、さらに、ブロック型の画像処理のための画像の関連領域を決定する方法に関する。該方法は、画像の関連する及び関連しない領域の間の境界線を決定するステップと、該境界線により横切られるピクセルのブロックを分析するステップと、該分析に依存して境界線により横切られるピクセルのブロックを関連領域に含めるステップとを有する。本発明は、プログラム可能な装置が本発明の方法を実行するように動作させる制御ソフトウェア、及び本発明の装置に使用する電子回路にも関する。
Description
本発明は、ブロック型画像処理のために画像の関連領域を決定することができる電子装置に関する。
本発明は、このような装置に使用する電子回路にも関する。
本発明は、更に、ブロック型画像処理のために画像の関連領域を決定する方法に関する。
本発明は、プログラム可能な装置がこのような方法を実行するように動作する制御ソフトウェアにも関する。
このような装置及び方法の一例は、国際公開された特許出願WO03/071805から知られる。上記文書は、画像における関連領域(例えばコンテンツ)及び関連しない領域(例えば4:3フォーマットで供給された16:9ビデオセグメントの黒い縁)を区別することを記載している。黒い縁を効率よく圧縮するために、黒い縁とコンテンツとの間の境界線は、部分的に満たされたブロックを黒くすることにより、(例えば8×8のピクセルのブロックの)ブロック境界線に位置合わせをされる。この方法は、除去されたコンテンツの線が時には看取者を非常に刺激して非常に目立つという障害をもつ。
本発明の第1の目的は、関連領域及び関連しない領域を有する画像の画像処理の知覚性を低減する、最初の段落に記載されたタイプの電子装置を提供することである。
本発明の第2の目的は、関連領域及び関連しない領域を有する画像の画像処理の知覚性を低減する、最初の段落に記載されたタイプの方法を提供することである。
本発明によると、第1の目的は、前記電子装置が、画像の関連領域と関連しない領域との間の境界線を決定するための境界線検出器を機能的に有する電子回路と、境界線により横切られるピクセルのブロックを分析するための分析装置と、該分析に依存して境界線により横切られるピクセルのブロックを関連領域に含めるインクルーダ(includer)とを有することで実現される。電子装置は、例えば単一の画像を(例えばJPEGを用いて)圧縮する、複数の(動きのある)画像を(例えばMPEG−2ビデオ圧縮を用いて)圧縮する、又は複数の画像のフィールド/フレーム比を(例えばフィリップス・デジタル・ナチュラル・モーションテクノロジを用いて)増加するために、画像の関連領域を決定しうる。いくつかの装置では、画像プロセッサは、装置の主たる機能に依存して、ビデオプロセッサと称する。あるアスペクト比から他のアスペクト比、例えば16:9から4:3に変換されたムービー又はテレビジョンプログラムは、画像の周り(上下又は左右)にしばしば黒いバーを示す。(例えば100Hzのテレビジョンにフィリップス・デジタル・ナチュラル・モーションテクノロジを用いて)フィールド/フレーム比が増加される場合、不正確なモーションベクトルが画像において黒いアーチファクト(artefact)を生じ得る。しかしながら、WO03/071805に記載されるようなコンテンツの線の除去は、アーチファクトよりもさらに目立つことが時々あり得る。コンテンツの線を除去することが、関連領域の縁がサブタイトル又はロゴのような重要な情報を含んでいるときのほとんどの場合に目立つ、ということを発明者らは認識している。関連領域の縁を分析することにより、縁を処理する独立した決定が各画像に対してなされ得る。電子装置は、例えばPC、テレビジョン、セットトップボックス、ビデオレコーダ、ビデオプレーヤ又は他のタイプの民生電子機器であり得る。
本発明の電子装置の一実施例では、分析装置は、境界線の一方の側の第1ピクセルと、境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し、該第1及び第2のピクセルは境界線の付近に位置され、インクルーダは、決定された類似性が類似性閾値を超えるならば、境界線により横切られるピクセルのブロックを関連領域に含めるように動作する。サブタイトルを検出するために、境界線により横切られるピクセルのブロックにおける幾つのピクセルに対して輝度がある閾値を越えるかを判定するような他の態様で重要の情報を検出することも可能であり得るが、この実施例は、実験において最も効果的であると判明している。第1ピクセルの輝度が、好ましくは第2ピクセルの輝度と比較される。第1及び第2ピクセルは、好ましくは隣接するピクセルである。
類似性閾値は、境界線により横切られるブロックの質に依存して決定されうる。境界線により横切られるブロックの質は、例えば全体の画像に対して測定されたノイズレベル又は境界線により横切られたブロックの推定されたアーチファクトの可能性であり得る。もし、アーチファクトが大いに見込まれるならば、境界線に横切られる低品質のブロックが関連領域に含まれにくくするために、類似性閾値を上げることが有利である。同じ目的で、本発明の方法又は装置に使用される他のパラメータも、境界線に横切られるブロックの品質に依存して(動的に)決定されうる。
境界線検出器は、画像の関連領域と関連しない領域との間の複数のありそうな境界線を決定するように動作し得る。分析装置は、各々のありそうな境界線に対して、ありそうな境界線の一方の側の第1ピクセルと、該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し得、該第1及び第2ピクセルは、ありそうな境界線付近に位置される。分析装置は、各々のありそうな境界線に対して決定された類似性に基づいて最終的な境界線を決定するように、さらに動作し得る。インクルーダは、最終的な境界線の決定された類似性が類似性閾値を超えるならば、最終的な境界線により横切られるピクセルのブロックを関連領域に含めるように動作し得る。インクルーダにより用いられる境界線が、黒い縁付近の、2つの最も異なるピクセルの線の間の境界線の場合、必須ではない情報ピクセルの線を除くことは、しばしば最も目立たないことである。ありそうな境界線は、好ましくは隣接した境界線(例えば、第1及び第2ピクセルは、第1のありそうな境界線により隔てられ、第2及び第3のピクセルは、第2のありそうな境界線により隔てられる、以下同様)である。
電子回路は、さらに、もし前記ピクセルブロックが関連領域に含まれていないならば、境界線により横切られるピクセルのブロックにデフォルトの値を割り当てる動作をする画像プロセッサを有する。多くの画像処理アルゴリズム(例えばMPEG-2ビデオ圧縮)は、自動的に黒い領域をより効率的に及び/又はより正確に処理する。境界線により横切られるピクセルのブロックを黒くすることは、後に続く画像処理ステップが、自動的に、より効率的に及び/又はより正確に画像を処理することを保証することができる。
境界線検出器は、画像の縁から始まるピクセルの線を分析し、ピクセルの第1線を位置することにより境界線を決定するように動作され得、該ピクセルの少なくとも1つは、あるセットの値の一部である値を持つ。もしピクセルがあるレベル(例えば、28と256との間の値)よりも上の輝度の値を持つならば、該ピクセルは、黒い縁の一部には最もなりそうにない。境界線は、好ましくはピクセルの第1の線及び前の線を隔てる態様で選択される。
電子回路は、もし事前に規定された関連領域が、前記関連領域よりも既定の量以上小さくないならば、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域からの画像データを処理するように動作する画像プロセッサを有し得、そうでなければ、画像プロセッサは前記関連領域からの画像データを処理する。実際に処理される領域の頻繁な変化を避けるために(頻繁な変化も目立つものになり得る)、現在の規定された関連領域が、事前に規定された関連領域よりも既定の量(例えば、高さ又は幅で2ブロック)以上大きくならない限り、事前に規定された関連領域(画像データではなく、例えば座標又はブロック数)は、現在の規定された関連領域の代わりに使用され得る。この場合には、関連領域の画像データは、サブタイトルのような必須の情報になりがちである。
画像プロセッサは、もし前記関連領域に類似する関連領域が、最近ビデオシーケンスの前の画像に対して相対的に稀にしか規定されないならば、ビデオシーケンスの前の画像の処理に事前に使用される領域からの画像データを処理するように動作し得る。したがって、もし最近同じ関連領域が相対的にしばしば規定されるならば、現在の規定された関連領域も使用され得る。もしそうでなければ、前の画像の処理に事前に使用される領域は、実際に処理される領域が頻繁に変化することを避けるために使用される。
分析装置は、第1ピクセルの既定の数のセグメントに依存して、第1及び第2ピクセルの間の類似性を決定するように動作し得、各ピクセル値は、第2ピクセルの反対側のセグメントの対応するピクセル値と、少なくともある程度異なる。このタイプのセグメントは、類似性の正確な測定を付与するということを実験的に示している。
本発明によると、第2の目的は、前記方法が、画像における関連する及び関連しない領域の間の境界線を決定するステップと、境界線により横切られるピクセルのブロックを分析するステップと、該分析に依存して関連領域の境界線により横切られるピクセルのブロックを含めるステップとを有することで実現される。前記方法は、例えば、民生電子装置における専用の画像プロセッサ又は一般の用途のコンピュータにおける一般の用途のプロセッサにより実行される。
本発明の方法の一実施例では、境界線により横切られるピクセルのブロックを分析するステップが、境界線の一方の側の第1ピクセルと境界線のもう一方の側の第2ピクセルとの間の類似性を決定するステップを有し、該第1及び第2ピクセルは、境界線付近に位置され、分析に依存して、境界線により横切られるピクセルのブロックを関連領域に含めるステップは、境界線に対して決定された類似性が類似性閾値を超えるならば、境界線により横切られるピクセルのブロックを関連領域に含めるステップを有する。
類似性閾値は、境界線により横切られるブロックの品質に依存して決定され得る。
画像の関連する及び関連しない領域の間の境界線を決定するステップは、画像の関連する及び関連しない領域の間の複数のありそうな境界線を決定するステップを有し得る。境界線の一方の側の第1ピクセルと境界線の他方の側の第2ピクセルとの間の類似性を決定するステップは、各々のありそうな境界線に対して、ありそうな境界線の一方の側の第1ピクセルと、該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するステップを有し得る。前記方法は、さらに、各々のありそうな境界線に対して決定された類似性に基づいて最終的な境界線を決定するステップを有し得る。決定された類似性が類似性閾値を超えるならば境界線によって横切られるピクセルのブロックを関連領域に含めるステップは、最終的な境界線の決定された類似性が類似性に閾値を超えるならば最終的な境界線によって横切られるピクセルのブロックを関連領域に含めるステップを有し得る。
前記方法は、さらに、前記ピクセルのブロックが関連領域に含まれないならば、境界線により横切られるピクセルのブロックにデフォルトの値を割り当てるステップを有し得る。
境界線を決定するステップは、画像の縁から始まるピクセルの線を分析するステップと、ピクセルの第1線を位置するステップとを有し得、少なくとも1つのピクセルは、あるセットの値の一部である値を有する。
該方法は、更に、もし事前に規定された関連領域が、前記関連領域よりも既定の量以上に小さくないならば、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域からの画像データを処理するステップを有し得、そうでなければ前記関連領域からの画像データを処理するステップを有し得る。
事前に規定された関連領域は、もし前記関連領域に類似する関連領域がビデオシーケンスにおける前の画像に対して最近相対的に稀にしか規定されないならば、前記ビデオシーケンスの前の画像の処理に事前に使用される領域になり得る。
第1及び第2ピクセル間の類似性は、第1ピクセルの規定された数のセグメントに依存し得、ここで各ピクセル値は、第2ピクセルの反対側のセグメントの対応するピクセル値と少なくともある程度異なる。
本発明の方法及び電子装置のこれら及び他の態様は、図を参照して更に明らかにされ、説明されるだろう。
図面において対応する要素は、同じ参照符号により識別される。
本発明の方法は、図1及び図3を参照して、画像41の関連領域45及び関連しない領域43の間の境界線47を決定するステップ1と、境界線47により横切られるピクセルのブロック55を分析するステップ3と、該分析に依存して境界線47により横切られるピクセルのブロック55を関連領域45に含めるステップ5とを有する。境界線47を決定するステップ1は、画像41の縁から始まるピクセルの線を分析するステップ7と、ピクセルの第1線を位置するステップ9とを有し得、該ピクセルの少なくとも1つのピクセルは、あるセットの値の一部である値を持つ。これは、例えばあるレベルより上(例えば256の輝度の値が使用される場合に、28の黒いレベルよりも上)のピクセル値をもつ第1線を探すということを伴い得る。
境界線47により横切られるピクセルのブロック55を分析するステップ3は、境界線47の一方の側の第1ピクセルと、境界線47の他方の側の第2ピクセルとの間の類似性を決定するステップ11を有し得、該第1及び第2ピクセルは、境界線47の付近に位置される。もしステップ3がステップ11を有するならば、前記分析に依存して境界線47により横切られるピクセルのブロック55を関連領域45に含めるステップ5は、もし境界線47に対して決定された類似性が類似性閾値を超えるならば、境界線47により横切られるピクセルのブロック55を関連領域45に含めるステップ13を有する。第1及び第2のピクセル間の類似性は、第1ピクセルの既定の数のセグメント(例えば8ピクセル)に依存し得る。ここで各ピクセル値は、第2ピクセルの反対側のセグメントの対応するピクセル値と少なくともある程度異なる。これは、例えば、第1の黒ではない線の各ピクセルが、少なくともある程度(例えば4)最後の黒い線における隣り合うピクセルよりも明るくなっている、セグメントの数を数えることを伴い得る。もしセグメントの全ての量に対する数えられたセグメントのパーセンテージが、類似性閾値(例えば50%)を超えるならば、境界線47は、「シャープなエッジ」とみなされ得る。もし「シャープなエッジ」が見つけられる(類似性が十分に高くない)ならば、境界線47により横切られるピクセルのブロック55は、関連領域45に含まれるべきではない。類似性閾値及び/又は各ピクセル値が少なくとも対応するピクセルとは異なるべきある程度の量は、境界線により横切られるブロックの品質に依存して決定され得る。境界線に横切られるブロックの品質は、例えば画像全体に対して測定されるノイズレベル又はこれらのブロックにおいて推定されるアーチファクトの可能性であり得る。アーチファクトの可能性は、例えば境界線により横切られる、異なるブロックのモーションベクトルを比較することにより推定され得る。モーションベクトルが調和していないならば、特にビデオシーケンスにおいて速い動きが生じる場合、アーチファクトは非常に見込まれる。アーチファクトが非常に見込まれるならば、類似性閾値を増加させる及び/又は各ピクセル値が対応するピクセルとは少なくとも異なるべきある程度の量を減少させ、これにより、境界線によって横切られる低品質のブロックが関連領域に含まれるであろう可能性を下げることが有利である。
本発明の方法は、さらに、もし事前に規定された関連領域が既定の量以上に前記関連領域45よりも小さくないならば、前記画像41を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定される関連領域からの画像データを処理し、そうでなければ前記関連領域45からの画像データを処理するステップ17を有し得る。事前に規定された関連領域は、もし前記関連領域45に類似する関連領域がビデオシーケンスにおける前の画像に対して最近相対的に稀にしか規定されないならば、ビデオシーケンスの前の画像の処理に事前に使用される領域であり得る。これは、例えば最後の数秒(例えば最後の120フレーム)において見られる「シャープなエッジ」に対応する関連領域のヒストグラムを形成し、もし事前に使用された関連領域が「シャープなエッジ」に対応するならば、何回か(例えば80回)該事前に使用された関連領域を挿入し得る。もし「シャープなエッジ」に対応する関連領域がヒストグラムに存在しないならば、現在規定された関連領域からの画像データが処理されるべきである。もし「シャープなエッジ」対応する関連する領域がヒストグラムに存在するならば、現在の規定された関連領域45がこの事前に規定された関連領域よりも既定の量(例えば幅又は高さ2ブロック)以上大きくない限り、ヒストグラムにおいて最も高い値をもつシャープなエッジに対応する事前に規定された関連領域(すなわち事前に相対的にしばしば規定された関連領域)からの画像データが処理されるべきである。後者の場合は、現在の既定された関連領域45からの画像データが処理されるべきである。少なくともある数の白いピクセルが境界線47により横切られるピクセルのブロックにおいて検出される場合、前記既定の量は低くされ得る。現在の画像の処理に使用されるべき、関連領域を選択するためのアルゴリズムは、関連領域が低品質の境界線に横切られるブロックを含むフレームの数を減少するために、境界線により横切られるブロックの品質を考慮しうる。
実際に使用される関連領域を時間に関してより安定にするために、実際に使用される関連領域を減少させた後、実際に使用される関連領域がある期間増加しないという、ホールド時間が実施され得る。ホールド時間は、境界線により横切られるブロックの品質に依存して(動的に)規定され得る。もし境界線に横切られるブロックが低い品質を持つならば、ホールド時間を減少させて、それにより関連領域が低品質な境界線に横切られたブロックを含むフレームの数を減らすことが有利である。もちろん、したがって関連領域の変化は、より頻繁に起こりそうである。
本発明の方法は、さらに、もし前記ピクセルのブロック55が関連領域45に含まれないならば、境界線47により横切られるピクセルのブロック55にデフォルトの値を割り当てるステップ15を有し得る。これは、例えば後続の画像処理ステップをより効率的に及び/又は正確にするために、関連しないと既定されるピクセルを黒くし得る。ステップ15及び17は、単一のステップに組み合わされ得る。
一実施例の方法が、図2において示される(図3も参照されたい)。この実施例では、画像41の関連領域45と関連しない領域43との間の境界線を決定するステップ1は、画像41における関連領域45と関連しない領域43との間の複数のありそうな境界線47,49及び51(例えばピクセルの4つの連続する線間の3つの境界線)を決定するステップ21を有する。更に、境界線の一方の側の第1ピクセルと該境界線の他方の側の第2ピクセルとの間の類似性を決定するステップ11は、各々のありそうな境界線47,49及び51に対して、ありそうな境界線の一方の側の第1ピクセルと該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するステップ23を有する。この実施例は、更に、各々のありそうな境界線47,49及び51に対して決定された類似性に基づいて最終的な境界線を決定する(例えば明るいセグメントの最も高いパーセンテージをもつ境界線を選択する)ステップ25を有する。また、規定の類似性が類似性閾値を超えるならば境界線により横切られるピクセルブロック55を関連領域45に含めるステップ13は、最終的な境界線の規定の類似性が(例えば、50%よりも高く)類似性閾値を越えるならば最終的な境界線により横切られるピクセルブロック55を関連領域45に含めるステップ27を有する。
本発明の方法のこの実施例に類似する方法は、図4において示される。この類似する方法は、前記分析に依存して境界線により横切られるピクセルブロックを関連領域に含めるステップ5を含まず、それゆえステップ13又は27も含まない。この方法は、例えば、関連領域及び関連しない領域の間の境界線をブロックの境界線に合わせる必要がない場合、たとえばブロック型ではない画像処理アルゴリズムの場合に使用することができる。
本発明の電子装置61(図5を参照されたい)は、電子回路63を有する。該電子回路63は、境界線検出器71、分析装置73及びインクルーダ75を機能的に有する。境界線検出器71は、画像の関連する及び関連しない領域の間の境界線を決定するように動作する。分析装置73は、境界線により横切られるピクセルのブロックを分析するように動作する。インクルーダ75は、前記分析に依存して境界線により横切られるピクセルのブロックを関連領域に含めるように動作する。電子装置61は、例えばPC,テレビジョン、セットトップボックス、ビデオレコーダ、ビデオプレーヤ又は他のタイプの民生電気機器であり得る。論理回路は、例えばフィリップス・トライメディア・メディアプロセッサ又はフィリップス・ネクスペリア・オーディオビデオ入力プロセッサであり得る。電子装置61は、さらに、入力65、例えばSCART、コンポジット、SVHS又はコンポーネントソケット若しくはTVチューナを有し得る。電子装置61は、更に、出力67、例えばSCART、コンポジット、SVHS又はコンポーネントソケット若しくは無線トランスミッタを有し得る。代替として、電子装置61は、電子回路63が結合されるディスプレイを有し得る(示されていない)。電子装置61は、ストレージ手段69も有し得る。ストレージ手段69は、例えば処理されていない及び処理された画像データを格納するため並びに/又は事前に規定された関連領域に関する情報を格納するために使用され得る。画像は、写真又は例えばビデオフレームであり得る。
電子回路63は、更に、ピクセルの前記ブロックが関連領域に含まれないならば、境界線により横切られるピクセルのブロックにデフォルトの値を割り当てるように動作する画像プロセッサ77を有し得る。代替として又は追加として、画像プロセッサ77は、もし事前に規定された関連領域が、既定の量以上に前記関連領域よりも小さくないならば、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域からの画像データを処理するように動作し得、そうでなければ前記画像プロセッサは、前記関連領域からの画像データを処理する。境界線検出器71、分析装置73、インクルーダ75及び画像プロセッサ77は、例えば、電子回路63により実行可能であるソフトウェアであり得る。電子回路63は、1以上の集積回路を有し得る。
本発明は、好適な実施例に関して記載されているが、上記で概要を述べられた原理の範囲内の本発明の変形例は、当業者には明白だろうということは理解されるだろう。したがって、本発明は、好適な実施例に限定されず、このような変形例を含めることを意図されている。本発明は、どの新規の特徴にも及びどの特徴の組み合わせにも属する。請求項における参照符号は、本発明の保護する範囲を制限しない。「有する」という動詞及びその動詞の活用形の使用は、請求項において述べられたもの以外の要素又はステップの存在を排除しない。要素の単数形の表記は、このような要素又はステップが複数存在することを排除しない。
当業者には明らかであるように、「手段」は、動作を実行する又は特定された機能を実行するように設計されるいかなるハードウェア(例えば別体の又は集積化された回路若しくは電子素子)又はソフトウェア(プログラム又はプログラムの一部)を含み、単独又は他の機能と結合しており、孤立又は他の要素と共同であると理解される。本発明は、いくつかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施することができる。「制御ソフトウェア」は、フロッピー(登録商標)ディスクのようなコンピュータ可読媒体に記憶される、インターネットのようなネットワークを介してダウンロード可能である、又は他の態様で市場に出すことができるいかなるソフトウェアも意味すると理解されるべきである。
Claims (15)
- ‐画像の関連領域と関連しない領域との間の境界線を決定するための境界線検出器と、
‐前記境界線により横切られるピクセルのブロックを分析するための分析装置と、
‐前記分析に依存して前記境界線により横切られるピクセルのブロックを前記関連領域に含めるためのインクルーダと、
を機能的に有する電子回路を有する電子装置。 - ‐前記分析装置が、前記境界線の一方の側の第1ピクセルと、前記境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し、該第1及び第2ピクセルは前記境界線の付近に位置されるようなものであり、
‐前記インクルーダが、前記決定された類似性が類似性閾値を超えるならば前記境界線により横切られるピクセルのブロックを前記関連領域に含めるように動作する、
請求項1に記載の電子装置。 - 前記類似性閾値が、前記境界線により横切られる前記ブロックの品質に依存して決定される、請求項2に記載の電子装置。
- ‐前記境界線検出器が、画像の関連領域と関連しない領域との間の複数のありそうな境界線を決定するように動作し、
‐前記分析装置が、各々のありそうな境界線に対して、ありそうな境界線の一方の側の第1ピクセルと、該ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するように動作し、前記第1及び第2ピクセルが、前記ありそうな境界線の付近に位置されるようなものであり、
‐前記分析装置が、更に、各々のありそうな境界線に対して決定された類似性に基づいて、最終的な境界線を決定するように動作し、
‐前記インクルーダが、前記最終的な境界線の決定された類似性が類似性閾値を越えるならば、前記最終的な境界線により横切られるピクセルのブロックを前記関連領域に含めるように動作する、
請求項2に記載の電子装置。 - 前記電子回路が、更に、前記ピクセルのブロックが前記関連領域に含まれないならば、前記境界線により横切られる前記ピクセルのブロックにデフォルトの値を割り当てるように動作する画像プロセッサを有する、請求項1に記載の電子装置。
- 前記境界線検出器が、前記画像の縁から始まるピクセルの線を分析し、ピクセルの第1線を位置することにより境界線を決定するように動作し、該ピクセルの少なくとも1つのピクセルが、あるセットの値の一部である値を持つ、請求項1に記載の電子装置。
- 前記電子回路が、更に、前記画像を有するビデオシーケンスの少なくとも1つ前の画像に対して事前に規定された関連領域が前記関連領域よりも既定の量以上に小さくないならば、該事前に規定された関連領域からの画像データを処理するように動作する画像プロセッサを有し、そうでなければ、該画像プロセッサは、前記関連領域からの画像データを処理する、請求項1に記載の電子装置。
- もし前記関連領域に類似する関連領域が前記ビデオシーケンスにおける前の画像に対して最近相対的に稀にしか規定されないならば、前記画像プロセッサが、前記ビデオシーケンスの先行する画像の処理に事前に使用される領域からの画像データを処理するように動作する、請求項7に記載の電子装置。
- 前記分析装置が、規定の数のセグメントの第1ピクセルに依存して前記第1及び第2ピクセルの間の前記類似性を決定するように動作し、各ピクセル値は、反対側のセグメントの第2ピクセルの対応するピクセル値とは少なくともある程度異なる、請求項1に記載の電子装置。
- 請求項1の装置に使用する電子回路。
- ブロック型の画像処理のための画像の関連領域を決定する方法であって、
‐画像の関連及び関連しない領域の間の境界線を決定するステップと、
‐該境界線により横切られるピクセルのブロックを分析するステップと、
‐該分析に依存して前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップと、
を有する方法。 - ‐前記境界線により横切られるピクセルのブロックを分析するステップが、前記境界線の一方の側の第1ピクセルと、前記境界線の他方の側の第2ピクセルとの間の類似性を決定するステップを有し、該第1及び第2ピクセルが前記境界線の付近に位置されるものであり、
‐前記分析に依存して前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップが、もし前記境界線に対して決定された前記類似性が類似性閾値を超えるならば、前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップを有する、
請求項11に記載の方法。 - 前記類似性閾値が、前記境界線により横切られる前記ブロックの品質に依存して決定される、請求項12に記載の方法。
- ‐前記画像の関連及び関連しない領域の間の境界線を決定するステップが、画像の関連及び関連しない領域の間の複数のありそうな境界線を決定するステップを有し、
‐前記境界線の一方の側の第1ピクセルと、前記境界線の他方の側の第2ピクセルとの間の類似性を決定するステップが、各々のありそうな境界線に対して、前記ありそうな境界線の一方の側の第1ピクセルと、前記ありそうな境界線の他方の側の第2ピクセルとの間の類似性を決定するステップを有し、
‐更に、各々のありそうな境界線に対して決定された前記類似性に基づいて最終的な境界線を決定するステップを有し、
‐もし前記決定された類似性が類似性閾値を超えるならば前記境界線により横切られるピクセルのブロックを前記関連領域に含めるステップは、もし前記最終的な境界線の前記決定された類似性が類似性閾値を超えるならば前記最終的な境界線により横切られるピクセルのブロックを前記関連領域に含めるステップを有する、
請求項12に記載の方法。 - プログラム可能な装置が請求項11の方法を実行するようにさせる、制御ソフトウェア。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04102930 | 2004-06-24 | ||
PCT/IB2005/052020 WO2006000983A1 (en) | 2004-06-24 | 2005-06-20 | Electronic device and method for block-based image processing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008503828A true JP2008503828A (ja) | 2008-02-07 |
Family
ID=34970638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007517617A Withdrawn JP2008503828A (ja) | 2004-06-24 | 2005-06-20 | ブロック型画像処理のための方法及び電子装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080063063A1 (ja) |
EP (1) | EP1762091A1 (ja) |
JP (1) | JP2008503828A (ja) |
KR (1) | KR20070026638A (ja) |
CN (1) | CN1973540A (ja) |
WO (1) | WO2006000983A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8086007B2 (en) * | 2007-10-18 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for human vision model guided medical image quality assessment |
CN101727667B (zh) * | 2008-10-16 | 2012-09-12 | 北京大学 | 一种挂网图像的边界检测方法及装置 |
TWI504248B (zh) * | 2008-10-27 | 2015-10-11 | Realtek Semiconductor Corp | 影像處理裝置及影像處理方法 |
KR101681589B1 (ko) * | 2010-07-27 | 2016-12-01 | 엘지전자 주식회사 | 영상 처리 장치 및 그 방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW307971B (ja) * | 1994-03-31 | 1997-06-11 | Matsushita Electric Ind Co Ltd | |
EP0913993A1 (en) * | 1997-10-28 | 1999-05-06 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for automatic format detection in digital video picture |
US6340992B1 (en) * | 1997-12-31 | 2002-01-22 | Texas Instruments Incorporated | Automatic detection of letterbox and subtitles in video |
FR2793375A1 (fr) * | 1999-05-06 | 2000-11-10 | Thomson Multimedia Sa | Procede de detection de bandes noires dans une image video |
KR100474760B1 (ko) * | 2001-10-08 | 2005-03-08 | 엘지전자 주식회사 | 영상내의 오브젝트 영역 추출방법 |
CN1636408A (zh) * | 2002-02-22 | 2005-07-06 | 皇家飞利浦电子股份有限公司 | 处理视频图像的方法 |
EP1408684A1 (fr) * | 2002-10-03 | 2004-04-14 | STMicroelectronics S.A. | Procédé et système d'affichage video avec recadrage automatique |
US7778480B2 (en) * | 2004-11-23 | 2010-08-17 | Stmicroelectronics Asia Pacific Pte. Ltd. | Block filtering system for reducing artifacts and method |
-
2005
- 2005-06-20 EP EP05747529A patent/EP1762091A1/en not_active Withdrawn
- 2005-06-20 KR KR1020067027094A patent/KR20070026638A/ko not_active Application Discontinuation
- 2005-06-20 CN CNA2005800209001A patent/CN1973540A/zh active Pending
- 2005-06-20 US US11/570,537 patent/US20080063063A1/en not_active Abandoned
- 2005-06-20 JP JP2007517617A patent/JP2008503828A/ja not_active Withdrawn
- 2005-06-20 WO PCT/IB2005/052020 patent/WO2006000983A1/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
US20080063063A1 (en) | 2008-03-13 |
EP1762091A1 (en) | 2007-03-14 |
KR20070026638A (ko) | 2007-03-08 |
CN1973540A (zh) | 2007-05-30 |
WO2006000983A1 (en) | 2006-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5233014B2 (ja) | 方法および装置 | |
US8594449B2 (en) | MPEG noise reduction | |
US9275440B2 (en) | Image processing device and image processing method | |
US20130169834A1 (en) | Photo extraction from video | |
JP2008527525A (ja) | グラフィカルなオブジェクトを検出するための方法及び電子装置 | |
US8503814B2 (en) | Method and apparatus for spectrum estimation | |
JP7295950B2 (ja) | 映像増強制御方法、装置、電子機器及び記憶媒体 | |
JP4118688B2 (ja) | ビデオ画像のセグメンテーションに基づく強調を行うシステム及び方法 | |
JP7169449B2 (ja) | 映像増強制御方法、装置、電子機器及び記憶媒体 | |
CN110996183B (zh) | 视频摘要的生成方法、装置、终端及存储介质 | |
CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
KR101020496B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터-판독가능 저장 매체 | |
US8135231B2 (en) | Image processing method and device for performing mosquito noise reduction | |
US20090040377A1 (en) | Video processing apparatus and video processing method | |
US8165421B2 (en) | Method and apparatus for image processing by using stored image | |
JP2008503828A (ja) | ブロック型画像処理のための方法及び電子装置 | |
US8831354B1 (en) | System and method for edge-adaptive and recursive non-linear filtering of ringing effect | |
TWI517097B (zh) | 增強影像對比之方法及裝置以及非暫時性計算機可讀媒體 | |
US20180091808A1 (en) | Apparatus and method for analyzing pictures for video compression with content-adaptive resolution | |
JP2006279413A (ja) | 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体 | |
JP2007048104A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
US20170278286A1 (en) | Method and electronic device for creating title background in video frame | |
US20110280438A1 (en) | Image processing method, integrated circuit for image processing and image processing system | |
JP4282512B2 (ja) | 画像処理装置、画像処理装置における2値化閾値管理方法及び画像処理プログラム | |
JP2009282556A (ja) | 信号処理装置および画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080902 |