JP2017123641A - デジタル画像の圧縮比を制御する方法及び装置 - Google Patents

デジタル画像の圧縮比を制御する方法及び装置 Download PDF

Info

Publication number
JP2017123641A
JP2017123641A JP2016209876A JP2016209876A JP2017123641A JP 2017123641 A JP2017123641 A JP 2017123641A JP 2016209876 A JP2016209876 A JP 2016209876A JP 2016209876 A JP2016209876 A JP 2016209876A JP 2017123641 A JP2017123641 A JP 2017123641A
Authority
JP
Japan
Prior art keywords
digital image
pixels
compression ratio
scene
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016209876A
Other languages
English (en)
Other versions
JP6815164B2 (ja
JP2017123641A5 (ja
Inventor
ファン, シン ダニエルソン
Danielsson Fan Xing
ファン, シン ダニエルソン
ニクラス ダニエルソン,
Danielsson Niclas
ニクラス ダニエルソン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2017123641A publication Critical patent/JP2017123641A/ja
Publication of JP2017123641A5 publication Critical patent/JP2017123641A5/ja
Application granted granted Critical
Publication of JP6815164B2 publication Critical patent/JP6815164B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】シーンを表示するデジタル画像の圧縮比を制御する方法及び装置を提供する。
【解決手段】シーンを表示する立体デジタル画像を受信S802し、ブロックマッチングアルゴリズムを実施することS804によって、立体デジタル画像の2つの画像間のマッチング画素のペアを決定し、マッチング画素のペアの中でも1つのマッチング画素のペアの一致信頼性を各々定義する信頼性指数を計算S806し、シーンを表示するデジタル画像を設定しS808、信頼性指数に基づいて立体デジタル画像の圧縮比を制御することによって、立体デジタル画像を符号化するS810。
【選択図】図8

Description

本発明は概して、デジタル画像の圧縮比を制御するための方法及び装置に関する。
画像の処理内では、ビットレート又は画像サイズを縮小しながら、考慮される画像の品質を維持するために継続的な取組みがなされている。通常、監視する目的において、画像を符号化する時に、多くの場合、静的な被写体に対して動きのある被写体がある程度優先されうる、例えば歩いている人を含む画像部分には、人が歩く舗道を含む画像部分よりも高いビットレート、すなわち、低い圧縮比(degree of compression)が割り当てられる。多くの場合、これは画像の符号化には有利な方法であるが、幾つかの場合には、例えば動いている木の葉等の興味の対象とならないが動いている被写体を含む画像部分が低い圧縮比で符号化され、これにより不必要なビットレートが(徒に)消費される結果となる場合がある。また、画像のノイズが間違って動きであると識別され、ビットレートが消費されうる。例えば、暗闇、雨、雪、又は霧による画像品質の低下もまた、同様の問題を引き起こしうる。
従って、この背景における改善が必要である。
上述を考慮し、本発明の目的は、上記の欠点のうちの1つ又は幾つかを解決するか少なくとも低減させることである。概して、上記の目的は添付の独立特許クレームによって達成される。
第1の態様によれば、本発明は、シーンを表示するデジタル画像の圧縮比を制御する方法であって、シーンの第1の視野及び第2の視野を表す第1のデジタル画像及び第2のデジタル画像をそれぞれ受信することと、第1のデジタル画像と第2のデジタル画像に、ブロックマッチングアルゴリズムを実施することによって、第1のデジタル画像と第2のデジタル画像との間のマッチング画素のペアを決定することと、各々が、マッチング画素のペアの中でも1つのマッチング画素のペアの一致信頼性(matching confidence)を定義する信頼性指数(confidence metric)を計算することと、シーンを表示するデジタル画像を設定することと、
信頼性指数に基づいてシーンを表示するデジタル画像の圧縮比を制御することによって、シーンを表示するデジタル画像を符号化することを含む方法によって実現される。
本書において、「信頼性指数に基づいてシーンを表示するデジタル画像の圧縮比(degree of compression)を制御する」という語は、デジタル画像の少なくとも一部に対して、信頼性指数によりデジタル画像の少なくとも一部の圧縮比(compression ratio)が決定される、あるいは信頼性指数がその決定に寄与することを理解すべきである。信頼性指数が、デジタル画像の少なくとも一部の圧縮比を決定するための、符号化アルゴリズムへの幾つかの入力のうちの単なる1つであってよいことに注意すべきである。しかしながら、信頼性指数は、デジタル画像の少なくとも一部の圧縮比の決定に少なくとも寄与する。幾つかの実施形態によれば、全デジタル画像の圧縮比は同じであることにも注意すべきである。他の実施形態によれば、デジタル画像の異なる部分は、異なる圧縮比で符号化される。圧縮比は、画像の特定部分(領域、エリア等)の圧縮比を設定することによって制御されうる。圧縮比は、例えば0〜51(H.264)、1〜255(VP9)、又は1〜100等からの範囲の量子化パラメータ値(QP値)によって具現化されうる。本書において、「圧縮比(degree of compression)」、「圧縮比(compression ratio)」、及び「圧縮レベル」という用語は、広い意味において、元の圧縮されていない画素を表示するビットよりも少ないビットを使用して画素を符号化することを示すために、交互に使用されうることに注意すべきである。
本書において、「シーンを表示するデジタル画像を設定する」という用語は、計算された信頼性指数に基づいて圧縮されるデジタル画像が決定されると理解すべきである。これは例えば常に第1のデジタル画像を使用する等のプリセットパラメータによって実現可能である。これはまた、個々の場合に応じて、例えば第1のデジタル画像と第2のデジタル画像のうちでも最適なコントラスト値を有するデジタル画像を使用する等、シーンを表示するデジタル画像を決定することによっても実現されうる。シーンを表示するデジタル画像の設定はまた、第1の画像と第2の画像の組み合わせ、例えば立体画像の形態であってもよい。
本発明者らは、カメラが適所にシフトされたために、異なる角度から取得した同じシーンの2つの画像が、画像のコンテンツを分析するために有利に使用されうることを認識している。適切なブロックマッチングアルゴリズムを用いることによって、2つの画像間の画素のブロック間の一致の確実性を使用して、画像内にテクスチャを有する、明確に定義された詳細にわたる被写体が決定され、また画像のノイズがある部分も決定されうる。つまり、第1のデジタル画像と第2のデジタル画像の詳細にわたる非反復的にテクスチャ加工された領域は明確に一致する(一致信頼性が高い)が、他の領域は明確に一致しない(一致信頼性が低い)場合がある。
ブロックマッチングアルゴリズムは例えば、シーンの深度マップを計算するためのアルゴリズムであってよい。ブロックマッチングアルゴリズムは、例えば第1のデジタル画像と第2のデジタル画像のうちの1つ等における画素のテンプレートブロックと、第1のデジタル画像と第2のデジタル画像のうちの他方の画素のブロックとの間の絶対差分の合計を計算することを含みうる。これを、第1のデジタル画像と第2のデジタル画像のうちの他方の画素の複数のブロックに対して行っている時に、最適な一致が決定されうる。複数の計算された合計(すなわち、ブロック一致特性)の情報を使用して、最適な一致の一致信頼性の信頼性指数が計算されうる、あるいは少なくとも画素のペアに対し、最適な一致のブロックごとに1つ(すなわち、中央画素又はその類似のもの)の一致信頼性の信頼性指数が計算されうる。第1のデジタル画像の全ての画素が、第2のデジタル画像の画素と一致する必要がないことに注意すべきである。幾つかの実施形態によれば、ブロックマッチングアルゴリズムを使用して、例えば第1のデジタル画像における1個おきの、4個おきの、又は16個おきの画素のみが、第2のデジタル画像における画素と照合されうる。
本発明では、テクスチャを有する、明確に定義された詳細にわたる被写体を含まない画像の部分の、第1のデジタル画像と第2のデジタル画像との間の一致信頼性は、この場合のブロックマッチングアルゴリズムが画素の特定のブロックに対して幾つかの見込みある一致を結果として出しうるため、低いものとなり得る。例えば、テクスチャがない大きな表面、例えば白テーブル等においては、例えば第1の画像等におけるテーブルの部分を含む画素の特定のブロックが、第2の画像における画素の複数のブロックとおそらく一致する、すなわち、画素の全てのブロックがテーブルの部分を示す。上記エリアは、シーンを表示するデジタル画像において一定の圧縮比で有利に符号化され得、圧縮比は、テクスチャを有する、明確に定義された詳細にわたる被写体を含む画像の部分とは異なる。上記に従って符号化されたシーンを表示するデジタル画像は、第1のデジタル画像、第2のデジタル画像、第1及び第2のデジタル画像を含むステレオデジタル画像、第1及び第2のデジタル画像の合成、又は第1及び第2のデジタル画像の任意の他の組み合わせのうちの1つであってよいことに注意すべきである。
更に、画像のノイズのある部分、例えば動いている枝葉、空から落ちてくる雨粒又は雪等は、第1及び第2の画像の間で明確に一致しえない。上記エリアはまた、テクスチャを有する、明確に定義された詳細にわたる被写体を含む画像の部分とは異なる、一定の圧縮比でも有利に符号化されうる。
この方法のユーザが、第1のデジタル画像のどのコンテンツをシーンを表示する符号化されたデジタル画像において高品質に保ちたいのかに応じて、別の信頼性指数と比べて特定の信頼性指数が上げられる又は下げられる。
本発明は特に、監視する目的においては例えば芝生、木、及び/又は壁等のみを含むエリア等の特定エリアの品質の重要度が低いため、ビットレートを制限しながらアプリケーションを監視することにおいて有利でありうる。従来技術では、芝生を示す画像領域における多くの詳細が原因で不必要に高品質に符号化される場合があり、また木の葉が多数の異なる色を持つ(又は木の枝葉が散乱している)場合、又は風が強い場合、木が不必要に高品質に符号化される場合がある。本発明では、上記問題が軽減されうる。
幾つかの実施形態によれば、第1及び第2のマッチング画素のペアが決定され、信頼性指数を計算するステップが、第1のマッチング画素のペアの一致信頼性を定義する第1の信頼性指数と、第2のマッチング画素のペアの一致信頼性を定義する第2の信頼性指数を計算することを含み、シーンを表示するデジタル画像を符号化するステップが、第1の信頼性指数に基づいて、シーンを表示するデジタル画像の第1の部分の圧縮比を制御することと、第2の信頼性指数に基づいて、シーンを表示するデジタル画像の第2の部分の圧縮比を制御することを含む.
この結果、シーンを表示するデジタル画像を符号化している時に、少なくとも2度の圧縮比が用いられる。これは、例えば芝生が1度の圧縮比で符号化され得、移動している車が異なる度合いの圧縮比で符号化されうることを意味する。
幾つかの実施形態によれば、少なくとも第3及び第4のマッチング画素のペアが決定され、信頼性指数を計算するステップが、第3のマッチング画素のペアの一致信頼性を定義する第3の信頼性指数と、第4のマッチング画素のペアの一致信頼性を定義する第4の信頼性指数を計算することを含み、シーンを表示するデジタル画像を符号化するステップが、第3及び第4の信頼性指数の組み合わせに基づいて、シーンを表示するデジタル画像の第3の部分の圧縮比を制御することを含む。例えば、第3の部分が異なる信頼性指数に対応する画素を含む時は、第3の部分の圧縮比を制御するためにこれらの信頼性指数の平均値、中央値、最大値又は最小値が使用されうる。これにより、第3の部分の圧縮比をより大きく制御することにつながり、本方法へのノイズの影響が小さくなり得る。
幾つかの実施形態によれば、デジタル画像の第3の部分の範囲は、第3及び第4のマッチング画素のペア各々の画素の、第1及び/又は第2の画像における位置を含めた連結構成要素の分析に基づいている。
連結構成要素の分析は、連結構成要素ラベリング、ブロッブ(blob)抽出、領域ラベリング、ブロッブディスカバリー(blob discovery)、又は領域抽出とも称されうる。本書において、「連結構成要素の分析」という用語は、信頼性指数の中での連結領域を検出するためのアルゴリズムとして理解すべきである。従って、これは、検出された領域の信頼性指数が変動しようとも、検出された領域(例えば第3の部分)に使用される一定の圧縮比につながりうる。例えば、第3の部分の圧縮比を制御するために、連結信頼性指数の平均値、中央値、最大値、又は最小値が使用されうる。この実施形態では、シーンを表示するデジタル画像において同じ圧縮比で符号化されるより大きいエリア/領域が決定されうるため、より効率的な符号化プロセスが達成されうる。
幾つかの実施形態によれば、シーンを表示するデジタル画像を符号化するステップが、デジタル画像の画素のブロックを用いたコーデックを使用することを含み、各ブロックは形状及びサイズを有し、第3の部分の範囲は更に、第3の領域に含まれる画素の少なくとも1つのブロックの形状及びサイズに基づいている。
本書において、「画素のブロック」という用語は、デジタル画像を符号化する時に使われるデジタル画像の画素の基本単位であることを理解すべきである。
画素のブロックは、幾つかの映像符号化基準においてマクロブロックと称されうる。映像符号化基準H.264では、画素のブロックのサイズが16×16画素であってよい。映像符号化基準H.265においてはマクロブロックの代わりにいわゆるコーディングツリーユニット(CTU)が用いられるため、H.265では、画素のブロックのサイズは16×16から64×64画素の間で変動しうる。画素のブロックの他の基準(コーデック等)及びサイズも使用されうる。この実施形態では、シーンを表示するデジタル画像の同じ圧縮比を有する部分の範囲が、画素の一又は複数のブロックとおおよそ、あるいは完全に重なり合いうるため、より効率的な符号化プロセスが達成されうる。この実施形態においては、例えばH.264,H.265、MPEG−4 Part2、又はVP9codec等の全ての適切なブロックベースのコーデック(すなわちブロックを用いたコーデック)が使用されうることを理解すべきである。
幾つかの実施形態によれば、本方法は更に、信頼性指数のうちの1つの信頼性指数を所定の閾値と比較するステップを含み、信頼性指数が閾値以上である場合、圧縮比を制御するステップが、第1の圧縮比を使用することを含み、信頼性指数が閾値未満である場合、圧縮比を制御するステップが、第1の圧縮比よりも高い第2の圧縮比を使用することを含む。
この実施形態では、信頼性指数が低いために、信頼性指数が高い場合に比べて、シーンを表示するデジタル画像の対応する領域の圧縮比が高くなりうる。言い換えれば、第1及び第2のデジタル画像におけるテクスチャを有する、明確に定義された詳細にわたる被写体を含むエリアについては、ブロックマッチングアルゴリズムの結果、2つの画像間の一致信頼性が高くなりうる。従って、上記エリアはシーンを表示するデジタル画像の視聴者にとってより興味深いものでありうるため、上記エリアの圧縮比は低くなる。例えば芝生等の単調な表面、又は木の葉等のノイズのあるコンテンツを含むエリアについては、ブロックマッチングアルゴリズムの結果、2つの画像間の一致信頼性が低くなりうる。従って、上記エリアはシーンを表示するデジタル画像の視聴者にとって興味の対象ではない場合があるため、上記エリアの圧縮比は高くなる。
幾つかの実施形態によれば、圧縮比は2つのみ存在し、1つは「良くない」領域/画素向けであり、1つは「良好な」領域/画素向けであることに注意すべきである。しかしながら、他の実施形態によれば、信頼性指数と圧縮比(圧縮比)との間のマッピングは連続的な機能であってよい。他の実施形態によれば、マッピングは、例えば符号化している時に画素のブロックに対してQP値を決定する際等に、結果として2を超える圧縮比が得られる(良好な/良くない場合のように)個別のマッピング機能であってよい。QP値は普通、整数値である。
幾つかの実施形態によれば、シーンを表示するデジタル画像を符号化するステップは、デジタル画像の画素のブロックを用いたコーデックを使用することを含み、シーンを表示するデジタル画像の画素の各ブロックに対して、シーンを表示するデジタル画像を符号化するステップは更に、画素のブロックの少なくとも一部の画素の各画素に対して、画素に対応する信頼性指数を読み出すことによって、画素のブロックの圧縮比を制御することと、画素のブロックの少なくとも一部の画素の読み出された信頼性指数に基づいて画素のブロックの圧縮比を制御することとを含む。
この実施形態によれば、シーンを表示するデジタル画像の画素の各ブロックは、圧縮比が決定される領域として見なされる。これは、画素のブロックにおける画素に対応する信頼性指数を考慮することによって行われうる。全ての画素が信頼性指数に対応する必要はないが、画素のブロックのうちの少なくとも一部の画素は信頼性指数に対応することに配慮することが重要である。これは、符号化アルゴリズムが画素の特定のブロックを符号化する時は通常、圧縮比の入力を必要とし、その結果、シーンを表示するデジタル画像の圧縮比を制御するための簡単な方法が達成されうることにおいて、有利でありうる。
幾つかの実施形態によれば、画素のブロックの圧縮比を制御することが、読み出された各信頼性指数を閾値と比較することと、閾値以上である信頼性指数の数を数えることと、数に基づいて画素のブロックの圧縮比を制御することとを含む。
言い換えれば、画素のブロックにおける明確に一致する(高い一致信頼性を有する)画素の数に基づいて、圧縮比が決定される。例えば数がX以上である場合、圧縮比はY1であり、数がX未満である場合、圧縮比はY2であり、Y2はY1と比べてより高い圧縮比を表す。上述したのと同様に、数と圧縮比との間のマッピングは、二値の、連続的な、又は個別のものであってよい。
幾つかの実施形態によれば、画素のブロックの圧縮比を制御することは、読み出された信頼性指数の合計、平均値、最大値及び中央値のうちの1つを計算することによって、画素のブロックについての圧縮比を定義することを含む。
幾つかの実施形態によれば、シーンを表示するデジタル画像を設定するステップは、第1のデジタル画像又は第2のデジタル画像を、シーンを表示するデジタル画像として使用することを含む。この実施形態では、従って第1のデジタル画像と第2のデジタル画像との画素間の一致信頼性に基づいて1つの画像のみが符号化される。他の実施形態によれば、シーンを表示するデジタル画像を設定するステップが、第1のデジタル画像と第2のデジタル画像とをシーンを表示するデジタル画像として含む立体デジタル画像を使用することを含み、第1のデジタル画像と第2のデジタル画像の両方が符号化される。
幾つかの実施形態によれば、ブロックマッチングアルゴリズムは、第1のデジタル画像の画素のブロックを第2のデジタル画像の立体画像と比較することと、各比較に対して差分値を計算することとを含み、信頼性指数は、差分閾値未満の差分値の数を数えることによって計算される。差分閾値は一定の値であってよい、あるいは、例えば最低差分値等の差分値によって変化しうる。1個又は数個の差分値のみが閾値未満である場合、第2のデジタル画像における画素の1個又は数個のブロックの差分値のみが結果的に閾値未満であったため、高い一致信頼性で最低差分値がマッチング画素のペアに対応すると結論付けられうる。しかしながら、第2のデジタル画像における多くのブロックが結果的に同様の低い差分値になった場合、第2のデジタル画像における画素の多くのブロックの差分値が結果的に閾値未満であったため、低い一致信頼性で最低の差分値がマッチング画素のペアに対応すると結論づけられうる。後者は、第1のデジタル画像における画素のブロックが、テクスチャを有する、明確に定義されたコンテンツを含まないことを示唆しうる。
例えばPattern Analysis and Machine IntelligenceのIEEE Transactionsの11号34巻において発行されたX. Hu氏及びP. Mordohai氏による「A Quantitative Evaluation of Confidence Measures for Stereo Vision」のセクション3に記載されるように、マッチング画素のペアの一致信頼性を定義する他の方法が採用されうる。例えば、信頼性の値を計算するために、異なる値間でのマッピングの曲率、及び第1のデジタル画像におけるブロックと第2のデジタル画像におけるブロックとの間の縦方向の並進距離が使用されうる。信頼性指数の計算を更に、以下の詳細説明において記載する。
第2の態様では、本発明は、処理能力を有するデバイスによって実行されると第1の態様の方法を実施するように適合された命令を有するコンピュータ可読記憶媒体を提供する。
第3の態様では、本発明は、シーンを表示するデジタル画像の圧縮比を制御するためのエンコーダを提供し、該エンコーダは、それぞれシーンの第1の視野と第2の視野を表示する第1のデジタル画像と第2のデジタル画像とを受信するように配置された受信構成要素を備える。エンコーダは更に、第1のデジタル画像と第2のデジタル画像にブロックマッチングアルゴリズムを実施することによって、第1のデジタル画像と第2のデジタル画像との間のマッチング画素のペアを決定するように配置されたマッチング構成要素(910)を備えうる。マッチング構成要素は更に、マッチング画素のペアのうちの1つのマッチング画素のペアの一致信頼性を各々定義する信頼性指数を計算するように配置されうる。エンコーダは更に、シーンを表示するデジタル画像を設定し、信頼性指数に基づいてシーンを表示するデジタル画像の圧縮比を制御することによって、シーンを表示するデジタル画像を符号化するように配置された符号化構成要素を備えうる。
一実施形態によれば、エンコーダは、シーンの第1の視野及び第2の視野を表示する第1のデジタル画像及び第2のデジタル画像を取得するように配置されたステレオカメラに含まれうる。
第2及び第3の態様は、一般的に、第1の態様と同じ特徴及び利点を有しうる。
本発明の上記及び追加の目的、特徴、利点は、付随する図面を参照しつつ、本発明の実施形態の以下の例示的かつ非限定的な詳細説明を通して、より明確に理解されるであろう。図面では類似要素に対して同じ参照番号が使用されている。
圧縮比がどのようにして同じシーンの異なる視野を各々示す2つの画像に基づいて制御されるかを示す概略例図である。 2つの画像に対して実施されるブロックマッチングアルゴリズムの実施例を示す図である。 ブロックマッチングアルゴリズムからの結果の例を示す図である。 ブロックマッチングアルゴリズムからの結果の例を示す図である。 a〜cは、圧縮比と信頼性指数との間の3つの異なるマッピング例を示す図である。 同じ圧縮比を使用して符号化される画像の部分の範囲を決定するための連結構成要素の分析の使用を示す概略例図である。 画素のブロックに対する圧縮比を決定するために画素のブロック内における画素の信頼性指数の使用例を示す図である。 一実施形態に係るシーンを表示するデジタル画像の圧縮比を制御する方法を示す図である。 一実施形態に係るエンコーダを示す箱図表である。
図1に、それぞれシーンの第1の視野及び第2の視野を表示する例示の2つのデジタル画像102、118を示す。この実施例では、ステレオカメラ(図示せず)によって第1のデジタル画像102と第2のデジタル画像118が取得される。第1のデジタル画像102は、ステレオカメラの左側のセンサによって取得され、第2のデジタル画像118はステレオカメラの右側のセンサによって取得される。シーンは、カメラに近い被写体(例:人間)116と、カメラから更に離れた被写体(例:人間)112とを含む。シーンは更に、幹108と枝葉106を含む木104を含む。2人の人間116、112及び木104は芝生114に立っている。画像102、118は更に、空120を示す。立体映像効果(又は視差効果)に起因して、被写体(すなわち人間116と木104)の距離が近い場合、第1のデジタル画像102と第2のデジタル画像118は2つの際立って異なる視野を示す。これは、2つの画像102、118において人間116と木104がなぜそんなに異なる位置に図示されるのかの理由である。他の被写体である人間112も2つの画像102、118において異なる位置に示されているが、ステレオカメラまで比較的距離が遠いため、差は小さい。ステレオカメラの代わりに、ある程度の距離を離され、シーンから遠く離れた同じ(又は類似の)点に向けられた2つの普通のカメラによって、第1のデジタル画像102と第2のデジタル画像118を取得することができることに注意すべきである。
従って、ステレオカメラは、わずかに異なる位置から2つの画像を取得する。第1のデジタル画像102におけるほとんどの画素について、第2のデジタル画像118において対応する画素が見つかり、これら2つの画素によりマッチング画素のペアが形成され、画素間の距離は視差値である。視差マップは、全ての画素の視差値の集合である。従って、大きな視差値がカメラからの短い距離に対応し、小さな視差値がカメラからの長い距離に対応するように、視差値は、画素によって描かれるシーンにおけるカメラから要素への距離に関連している。つまり、視差はシーンの奥行きに対応する。
画像1における画素に対応する画像2における画素を見つけるプロセスは、ステレオマッチングと称される。とても簡単に言えば、ステレオマッチングは、第1のデジタル画像102における画素を第2のデジタル画像118における全ての画素と比較することであると説明することができ、第1のデジタル画像102における画素との差が最も少ない第2のデジタル画像118における画素が、マッチング画素である。つまり、最小差分値がわかれば、マッチング画素が見つかるということである。しかしながら、上記ステレオマッチングの速さとまた正確さをも上げるために、ブロックマッチングアルゴリズムが使用されうる。上記ブロックマッチングアルゴリズムを図2に概略的に示す。取得される第1のデジタル画像102と第2のデジタル画像118間のわずかな位置の相違は多くの場合水平方向の違いだけであることから、幾つかの実施形態によれば、第1のデジタル画像118における画素のブロック210、212を、水平方向の位置が異なる第2のデジタル画像118における画素の複数のブロック202、204とのみ比較すればよい。各比較において、単一の画素のみの代わりに、各画像102、118における画素のブロックが使用されるため、第1のデジタル画像102と第2のデジタル画像118との間でマッチング画素のペア206、208の決定においてより適した決定が達成されうる。
例えば、第1のデジタル画像102と第2のデジタル画像118との間でマッチング画素のペア206の決定において、画素のブロック212が、第2のデジタル画像118において同様の位置にある画素の複数のブロック204と比較される。図2の実施例では、画素のブロック212が、第2のデジタル画像118における画素の4つのブロック204と比較される。(画素の複数のブロック204の中で太字で囲まれたブロックによって示される)画素の最も右側のブロックが最適に一致すると決定され、従ってマッチング画素のペア206は、第1のデジタル画像の画素のブロック212における中央画素(又は画素のブロック212の幅/高さが偶数である場合は、最も中央の画素のうちの1つ)と、第2のデジタル画像における画素の複数のブロック204の中で画素の最も右側のブロックにおける中央画素(又は画素のブロック212の幅/高さが偶数である場合は、最も中央の画素のうちの1つ)を含む。
図示した第2のマッチング画素のペア208においては、第2のデジタル画像118における画素の複数のブロック202の中から(左右方向の)第3のブロックが、第1のデジタル画像102における画素のブロック210と最適に一致すると決定される。
つまり、ブロックマッチングアルゴリズムは、第1のデジタル画像102において座標(x、y)で画素を選択することを含みうる。次に、第2のデジタル画像118における対応する画素が、座標(x+d、y)で選択され、ここでdはある整数値である。次に、第2のデジタル画像118の(x+d、y)における画素周囲の隣接する対応する画素に対し、((x、y)における)第1のデジタル画像102からの画素周囲の隣接する全ての画素の絶対又は二乗強度差が計算される。次に、第2のデジタル画像118における複数のブロック202、204のうちの次のブロックと比較するために、決定された検索範囲において値dが整数値で変化する。最良マッチングブロックは、最小二乗適合アルゴリズムを使用して決定されうる。ブロックマッチングアルゴリズムは、画素のマッチングブロックの検索を座標xからどのくらい離れたところで実施すべきか、すなわちdの最大値を設定することを含みうる。
図3〜4は各々、(例えば最小二乗適合で決定された)第1のデジタル画像における画素のブロックと、第2のデジタル画像における画素の複数のブロックとの間の強度差302を示す図である。図3は、はっきりとした最良適合306を示し、図4は、図中の他の強度差と比べ大して違わない最良適合406を示す。
図4におけるそれほどはっきりしていない最良適合406について考えられる1つの説明は、画素の比較されたブロックが全て、構造又はエッジがない(例えば単色の平坦な表面の)画像(すなわち第1のデジタル画像と第2のデジタル画像)の領域に対応するということである。図4におけるそれほどはっきりしていない最良適合406について考えられる別の説明は、画素の比較されたブロックが全て、普通それほど興味の対象ではない、例えば動いている木の葉、又は暗いエリア、又は雨、雪、又は霧を示すエリア等の不明瞭な領域を含む画像(すなわち第1のデジタル画像と第2のデジタル画像)の領域に対応するということである。上記エリアにおいては、第2の画像における画素の幾つかのブロックの強度差302がおそらく同様の結果となるため、最小値は不鮮明になり明確には定義されない。また、例えばカメラのセンサ特性及びカメラの利得増幅器が原因で、画像におけるノイズの多い領域の強度差302も、同様の結果になりうる。
第1のデジタル画像における画素のブロックのシーンのコンテンツが第2のデジタル画像に隠れて(遮蔽されて)いる場合も同様である。上記画素(画素のブロック)の最良適合は、マッチング画素が第2のデジタル画素にそもそも存在しない可能性があるため、明確に定義されない場合がある。
逆に、図3はおそらく第1のデジタル画像における画素のブロックと第2のデジタル画像における画素の複数のブロックとを比較した結果であり、ここで第1のデジタル画像における画素のブロックは、テクスチャを有し、明確に定義され、詳細にわたる一又は複数の被写体(複数可)を示す画像における領域に対応する。上記比較により通常、その場所における小さな誤差により強度302に大きな差が生まれるため、明確に定義された最小値(最良適合306)が結果として得られる。
図3〜4に示すように例えば図面を使用して、信頼性指数が計算されうる。信頼性指数は従って、(図2の参照記号206、208によって示すように)マッチング画素のペアの一致信頼性を定義する。一実施形態によれば、信頼性指数を決定するために、第2のデジタル画像における画素の複数のブロック各々と、第1のデジタル画像における画素のブロック各々との間の強度の差302又は差分値が使用される。例えば、差分閾値308、408を下回る差分値の数が使用されうる。最良適合306、406の強度差に基づいて閾値308、408が計算されうる、すなわち閾値は、最適合の強度差に値304を足した値であってよい。値304は、所定の静的な値であってよい、あるいは値304は、最良適合306、406の強度差の値(例えば、最良適合306、406の強度差に一定の値を乗算したもの)に基づくものであってよい。この実施形態によれば、(図4に示すように)差分閾値308、408を下回る差分値302の数が大きい場合、マッチング画素のペアの一致信頼性は、(図3に示すように)差分閾値308、408を下回る差分値302の数が少ない場合に比べて低くなる。
他の実施形態によれば、マッチング画素のペアの一致信頼性を計算するために、測定された強度差302の曲率が使用されうる。例えば、最良適合306、406の左側の測定された強度差302は2次曲線にマッピングされ得、最良適合306、406の右側の測定された強度差302は2次曲線にマッピングされうる。次に、信頼性指数を決定するために、2つの2次曲線のパラメータが使用されうる。上述したように、マッチング画素のペアの信頼性指数を決定するための他のアルゴリズムが可能である。
次に、シーンを表示するように設定されたデジタル画像の圧縮比を制御するために、マッチング画素のペアの信頼性値が使用されうる。シーンを表示するように設定されたデジタル画像は、信頼性指数を計算するために使用される第1のデジタル画像と第2のデジタル画像のうちの1つであってよく、第1のデジタル画像と第2のデジタル画像を含む立体デジタル画像であってよい、あるいは、第1のデジタル画像と第2のデジタル画像の他の任意の組み合わせであってよい(例えば各半分)。
図5a〜cに、信頼性指数と、圧縮比/圧縮レベルとの間のマッピング機能の3つの実施形態を示す。圧縮比は例えば、H.264のQP値に関連していてよく、従って1〜51の範囲である。しかしながら、圧縮比の範囲は、使用される圧縮方法/コーデックによって変わり、全ての適切な範囲が可能である。図5a〜cの実施例では、圧縮比は一般に、信頼性指数に逆に依存する。これは、第1の値を有する第1の信頼性指数は、第1の値よりも低い値を有する信頼性指数に対応する圧縮比と比べて、低い(又は図5a〜bの場合は場合により等しい)圧縮比に対応することを意味する。例えば、図5aにおいて、信頼性指数が閾値以上である場合、第1の圧縮比が使用され、信頼性指数が閾値未満である場合、第1の圧縮比よりも高い第2の圧縮比が使用される。
図5a〜cに示すように、マッピングは個別的(5a及び5b)又は連続的(5c)であってよい。図5aに示す実施形態では、2つの圧縮比のみが使用される。この場合、結果的に得られる、シーンを表示する画像は一般に、2種類の画素/領域を含むと言うことができ、圧縮比が低い「良い」画素/領域の種類が使用され、圧縮比が高い「悪い」画素/領域が使用される。図5において、良い画素/領域は、第1のデジタル画像と第2のデジタル画像との間ではっきりと照合されるが、悪い画素/領域ははっきりと照合されない。
マッピングは個別的であってもよいが、それでも図5bに示すように、2を超える可能な圧縮比が含まれる。図5cでは、マッピングは連続的である。
ここで図1に戻る。図1の下の部分は、第1のデジタル画像102と第2のデジタル画像118との間のマッチング画素のペアの信頼性指数に基づいて、シーンを表示するデジタル画像において使用される圧縮比の表示132を示す図である。図1の実施例において、第1のデジタル画像102は、シーンを表示するデジタル画像として設定される。表示132は従って、第1のデジタル画像102の異なる領域と、これを符号化するために使用される圧縮比を概略的に示している。図1の表示132では、色の濃い領域は低い圧縮比を表し、色の薄い領域は高い圧縮比を表す。視覚化しやすくするために、黒い境界線で領域を囲んでいる。例えば、テクスチャを有し、明確に定義された詳細にわたる被写体である、カメラに近い人116は、第1のデジタル画像102と第2のデジタル画像118との間で簡単に、また明らかに照合されうる。この結果、人を表す第1のデジタル画像102と第2のデジタル画像118との間のマッチング画素は、高い一致信頼性を有する。
図1の実施例では、人116をカバーする画像の長方形部分は、同じ圧縮比で符号化される。上記長方形部分134の範囲は、例えば人を表示する画素の位置が関与する連結構成要素分析の結果(従って、高い一致信頼性を有するマッチング画素のペアの一部)であり得る。この場合、領域134の範囲は更に、例えば領域134が上記画素のブロックのエッジに沿うように、シーンを表示するデジタル画像を符号化するために使用されるコーデックによって用いられるデジタル画像の画素のブロック(例:マクロブロック又はコーディングツリーユニット(CTU))のサイズ及び形状に基づいていてよい。領域134の圧縮比は、領域134内の画素の信頼性指数の組み合わせを使用して制御されうる。言い換えれば、領域134の圧縮比を制御するために、信頼性指数に対応する領域134内の全ての画素(すなわち、上記で定義したようにマッチング画素のペアの一部)に対し、これらの信頼性指数が読み出され、例えば合計、平均化等がなされる。
図6に更に、同じ圧縮比を使用して符号化されうる領域の範囲を決定するための連結構成要素の分析の使用を示す。図中のドット302は各々、第1の信頼性指数に対応する画素を表し、図中の二乗304は各々、第2の異なる信頼性指数に対応する画素を表す。図6から分かるように、領域306、308の範囲は、信頼性指数と画素の位置により変化する。
ここで図1に戻る。表示132は更に、5つの領域136、138、140、142、144を含み、各領域は、一領域内で同じ圧縮比で符号化される。例えば、人116と比べてカメラから更に離れて位置しているがそれでもテクスチャを有する、非常に明確に定義された詳細にわたる被写体である人112は従って、かなり高い一致信頼性で第1のデジタル画像102と第2のデジタル画像118との間で照合されうる。このため、シーンを表示する画像における領域140の圧縮比が低くなる。しかしながら、カメラに近い人116に対応する領域134の圧縮比に比べて、領域140の圧縮比は高い。
明確に定義された被写体ではあるが、それほど詳細ではない又ははっきりとしたテクスチャがない木104の幹108はそれでも、かなり高い一致信頼性で照合されうる。しかしながらこの場合、第1のデジタル画像108において幹108の一部である画素のブロックに対するブロックマッチングアルゴリズムにおける最良適合は、(上述した図3〜4と共に説明したように)あまりはっきりとしていない可能性がある。この結果、シーンを表示するデジタル画像の圧縮比の表示132における対応するエリアでは、2人の人116、112の圧縮比と比べて高い幹108の圧縮比が示されている。
更に、図1の例示画像102、118の芝生114と空120は両方とも、それほど詳細でない又はテクスチャを有さない均一な領域である。この結果、上記領域は、表示132において色の薄い領域136、138によって示すように、高い圧縮比で符号化されうる。
木104の枝葉106に関し、第1のデジタル画像102と第2のデジタル画像118のこの部分は、上述したように多くのノイズを含みうる。この結果、領域の圧縮比を決定するために、第1のデジタル画像102と第2のデジタル画像118との間でマッチング画素の信頼性指数を使用する方法では、上記領域は高い圧縮比で符号化され得、これは白い領域144による表示132において示される。
幾つかの実施形態によれば、シーンを表示するデジタル画像を符号化するステップは、デジタル画像の画素のブロックを用いたコーデックを使用することを含む。この場合、圧縮比は、シーンを表示するデジタル画像のブロックレベルで決定されうる。つまり、画素の各ブロックは、その画素のブロック内で同じ圧縮比を使用して符号化されうるということである。これは、画素のブロックにおける少なくとも幾つかの画素の各画素に対して、画素に対応する信頼性指数を読み出すことと、読み出された信頼性指数の値を使用して画素のブロックに対する圧縮比を制御することによって達成されうる。上記実施形態を、図7と共にここで説明する。
図7に、画素の2つのブロック602、604を示す。画素の各ブロック602、604は、信頼性指数606に対応する4つの画素を含む。画素のブロックは更に、上述したように、信頼性指数に対応していない画素を含みうる。
例えば、画素のブロック602、604の圧縮比は、各読み出された信頼性指数606を閾値と比較することと、閾値以上の信頼性指数の数を数えることと、その数に基づいて画素のブロックの圧縮比を制御することとによって定義されうる。このため、例えば図7の実施例における閾値が0.8である場合、左側の画素のブロック602に対する数は4となり、右側の画素のブロック604の数は1となる。次にこれらの数が、図5のマッピングスキームと同様であるが、x軸が閾値以上の信頼性指数の数を表すマッピングスキームを使用することによって、画素のブロックに対する圧縮比へマッピングされうる。例えば、左側の画素のブロック602の圧縮比は、右側の画素のブロック604の圧縮比と比べて低い場合がある。この実施形態を使用して、画素のブロック内で「一意に」マッチングされた画素の量又は割合に基づいて画素のブロックの圧縮比が決定され、一意にマッチングされた画素の定義は、第1のデジタル画像と第2のデジタル画像との間の画素の一致信頼性が結果的に閾値以上の信頼性指数につながるということである。
別の実施例によれば、画素のブロック602、604の圧縮比は、読み出された信頼性指数の合計、平均値、最大値及び中央値のうちの一つを計算することによって、画素のブロックに対する圧縮比を定義することによって制御されうる。次に、これらの任意の計算結果が、例えば図5のマッピングスキームと同様であるが、x軸が計算結果を表すマッピングスキームを使用することによって、画素のブロックに対する圧縮比にマッピングされうる。
シーンを表示するデジタル画像の圧縮比を制御するためのエンコーダ900をここで、図8及び9と共に説明する。
エンコーダ900は、シーンの第1及び第2の視野を表示する第1のデジタル画像102と第2のデジタル画像118を受信するS802ように配置された受信構成要素904を備える。幾つかの実施形態によれば、エンコーダによって受信された単一のビットストリーム902から第1のデジタル画像102及び第2のデジタル画像118が抽出される。他の実施形態によれば、受信構成要素によって、各々第1のデジタル画像102及び第2のデジタル画像118のうちの1つを含む2つのビットストリームが受信される。
エンコーダ900は更に、第1のデジタル画像102及び第2のデジタル画像118にブロックマッチングアルゴリズムを適用することS804によって、第1のデジタル画像102及び第2のデジタル画像118を使用して第1のデジタル画像と第2のデジタル画像との間のマッチング画素のペアを決定するように配置されたマッチング構成要素910を備える。マッチング構成要素910は更に、信頼性指数を計算するS806ように配置され、各信頼性指数により、複数のマッチング画素のペアのうちの1つのマッチング画素のペアの一致信頼性が定義される。
エンコーダ900は更に、シーンを表示するデジタル画像を設定するS808ように配置された符号化構成要素916を備える。このため、符号化構成要素916は、第1のデジタル画像102及び第2のデジタル画像118のうちの一方あるいは両方(のうちの少なくとも一部)を受信するように配置される。
符号化構成要素916は更に、マッチング画素のペアに関する情報914と、マッチング画素のペアの信頼性指数についての情報912とを使用することによって、シーンを表示するデジタル画像を符号化するS810ように配置される。これは、信頼性指数に基づいてシーンを表示するデジタル画像の圧縮比を制御するように符号化構成要素を構成することによって行われる。
符号化構成要素916は更に、シーンを表示するデジタル画像の符号化バージョン918を出力するように配置される。
エンコーダ900は任意選択的に、マッチング画素のペアの第1のデジタル画像102及び/又は第2のデジタル画像118における位置と、マッチング画素のペアにそれぞれ対応する信頼性指数を含めた連結構成要素分析(CCA)S812に基づいてデジタル画像の領域を決定するように配置されうる。CCAは、エンコーダ900のマッチング構成要素910、符号化構成要素916、又は他の任意の構成要素によって実施されうる。
符号化構成要素916は任意選択的に更に、画素のブロックにおける画素のうちの少なくとも幾つかの読み出された信頼性指数に基づいて、シーンを表示するデジタル画像の画素のブロックの圧縮比(例:QP値)を制御するS814ように配置されうる。
エンコーダ900は、幾つかの実施形態によれば、シーンの第1の視野と第2の視野を表示する第1のデジタル画像と第2のデジタル画像を取得するように配置されたステレオカメラの一部であってよい。他の実施形態によれば、エンコーダ900は、第1のデジタル画像と第2のデジタル画像を受信するために1つのステレオカメラ、又は2つの普通のカメラに別々に連結されている。
以上に開示されたシステム(例:エンコーダ)及び方法は、ソフトウェア、ファームウェア、ハードウェア又はこれらの組み合わせとして実装されうる。ハードウェアの実装態様では、上記の説明で言及した機能性ユニット又は構成要素間のタスクの分割は必ずしも物理的ユニットへの分割に対応せず、逆に、1つの物理的構成要素が複数の機能性を有し得、1つのタスクが協働する幾つかの物理的構成要素によって実行されうる。特定の構成要素、又は全ての構成要素は、デジタル信号プロセッサ又はマイクロプロセッサによって実行されるソフトウェアとして実装、又はハードウェアあるいは特定用途向け集積回路として実装されうる。上記ソフトウェアは、コンピュータ記憶媒体(又は非一過性媒体)及び通信媒体(又は一過性媒体)を含みうるコンピュータ可読媒体に配分されうる。当業者には既知であるように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するために、任意の方法又は技術において実装される揮発性及び非揮発性、取外し可能及び固定型媒体の両方を含む。コンピュータ記憶媒体は、非限定的に、RAM、ROM、EEPROM、フラッシュメモリ、又は他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、又は他の光学ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、又は他の磁気記憶デバイス、又は所望の情報の保存に使用することができ、コンピュータによるアクセスが可能な他の任意の媒体を含む。

Claims (12)

  1. シーンを表示するデジタル画像の圧縮比を制御する方法であって、
    前記シーンの第1の視野及び第2の視野を表示する第1のデジタル画像(102)及び第2のデジタル画像(118)をそれぞれ受信すること(S802)と、
    前記第1のデジタル画像と前記第2のデジタル画像に、前記シーンの深度マップを計算するためのアルゴリズムであるブロックマッチングアルゴリズムを実施すること(S806)によって、前記第1のデジタル画像と前記第2のデジタル画像との間のマッチング画素のペア(206、208)を決定することと、
    前記マッチング画素のペアの中でも1つのマッチング画素のペアの一致信頼性を各々定義する信頼性指数(606)を計算すること(S806)と、
    前記シーンを表示する前記デジタル画像を決定すること(S808)であって、前記シーンを表示する前記デジタル画像が、前記第1のデジタル画像、前記第2のデジタル画像、及び前記第1のデジタル画像と前記第2のデジタル画像とを含む立体画像のうちの1つであると決定される、決定することと、
    前記信頼性指数に基づいて前記シーンを表示する前記デジタル画像の圧縮比を制御することによって、前記シーンを表示する前記デジタル画像を符号化すること(S810)と、
    前記信頼性指数のうちの1つの信頼性指数を所定の閾値と比較することと、
    前記信頼性指数が前記閾値以上であると決定されたら、第1の圧縮比を使用して前記圧縮比を制御することと、
    前記信頼性指数が前記閾値未満であると決定されたら、前記第1の圧縮比よりも高い第2の圧縮比を使用して前記圧縮比を制御することと
    を含む方法。
  2. 第1のマッチング画素のペアと、第2のマッチング画素のペアとが決定され、前記信頼性指数を計算するステップが、前記第1のマッチング画素のペアの一致信頼性を定義する第1の信頼性指数と、前記第2のマッチング画素のペアの一致信頼性を定義する第2の信頼性指数とを計算することを含み、前記シーンを表示する前記デジタル画像を符号化するステップが、
    前記第1の信頼性指数に基づいて前記シーンを表示する前記デジタル画像の第1の部分の圧縮比を制御することと、前記第2の信頼性指数に基づいて前記シーンを表示する前記デジタル画像の第2の部分の圧縮比とを制御することと
    を含む、請求項1に記載の方法。
  3. 少なくとも第3と第4のマッチング画素のペアが決定され、信頼性指数を計算するステップが、第3のマッチング画素のペアの一致信頼性を定義する第3の信頼性指数と、第4のマッチング画素のペアの一致信頼性を定義する第4の信頼性指数とを計算することとを含み、前記シーンを表示する前記デジタル画像を符号化するステップが、前記第3の信頼性指数と前記第4の信頼性指数の組み合わせに基づいて前記シーンを表示する前記デジタル画像の第3の部分の圧縮比を制御することを含む、請求項1又は2に記載の方法。
  4. 前記デジタル画像の前記第3の部分の範囲が、前記第3のマッチング画素のペアと前記第4のマッチング画素のペア各々の画素の、前記第1の画像及び/又は前記第2の画像における位置を含めた連結構成要素の分析(S812)に基づいている、請求項3に記載の方法。
  5. 前記シーンを表示する前記デジタル画像を符号化するステップが、前記デジタル画像の画素のブロック(602、604)を用いたコーデックを使用することを含み、前記ブロックは各々形状とサイズを有し、前記第3の部分の範囲は更に、第3の領域に含まれる画素の少なくとも1つのブロックの形状及びサイズに基づいている、請求項4に記載の方法。
  6. 前記シーンを表示する前記デジタル画像を符号化するステップが、前記デジタル画像の画素のブロック(602、604)を用いたコーデックを使用することを含み、前記シーンを表示する前記デジタル画像の画素の各ブロックに対して、前記シーンを表示する前記デジタル画像を符号化するステップは更に、
    前記画素のブロックの少なくとも一部の画素の各画素に対して、前記画素に対応する信頼性指数を読み出すことによって、前記画素のブロックの圧縮比を制御することと、前記画素のブロックの前記少なくとも一部の画素の前記読み出された信頼性指数に基づいて前記画素のブロックの圧縮比を制御すること(S814)とを含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記画素のブロックの圧縮比を制御することが、読み出された信頼性指数を各々、閾値と比較することと、前記閾値以上の前記信頼性指数の個数を計数することと、前記個数の計数値に基づいて前記画素のブロックの圧縮比を制御することと
    を含む、請求項6に記載の方法。
  8. 前記画素のブロックの圧縮比を制御することが、
    前記読み出された信頼性指数の合計、平均値、最大値、及び中央値のうちの1つを計算することによって、前記画素のブロックの圧縮比を定義することと
    を含む、請求項6に記載の方法。
  9. 前記ブロックマッチングアルゴリズムは、前記第1のデジタル画像の画素のブロックを前記第2のデジタル画像の画素の複数のブロックと比較することと、各比較に対して差分値を計算することとを含み、信頼性指数は、差分閾値未満の差分値の個数を計数することによって計算される、請求項1から8のいずれか一項に記載の方法。
  10. 処理能力を有するデバイスによって実行されると、請求項1から9の何れか一項に記載の方法を実施するように適合された命令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
  11. シーンを表示するデジタル画像の圧縮比を制御するためのエンコーダ(900)であって、
    前記シーンの第1の視野と第2の視野を表示する第1のデジタル画像(102)と第2のデジタル画像(118)とをそれぞれ受信する(S802)ように配置された受信構成要素(904)と、
    前記第1のデジタル画像と前記第2のデジタル画像に前記シーンの深度マップを計算するためのアルゴリズムであるブロックマッチングアルゴリズムを実施すること(S804)によって、前記第1のデジタル画像と前記第2のデジタル画像との間のマッチング画素のペア(206、208)を決定し、
    前記マッチング画素のペアのうちの1つのマッチング画素のペアの一致信頼性を各々が定義する信頼性指数(606)を計算する(S806)
    ように配置されたマッチング構成要素(910)と、
    前記シーンを表示する前記デジタル画像を決定する(S808)ように配置された符号化構成要素(916)であって、前記シーンを表示する前記デジタル画像が、前記第1のデジタル画像、前記第2のデジタル画像、及び前記第1のデジタル画像と前記第2のデジタル画像とを含む立体画像のうちの1つであると決定され、
    前記信頼性指数に基づいて前記シーンを表示する前記デジタル画像の圧縮比を制御することによって、前記シーンを表示する前記デジタル画像を符号化(S810)し、
    前記信頼性指数のうちの1つの信頼性指数を所定の閾値と比較し、
    前記信頼性指数が前記閾値以上であると決定されたら、第1の圧縮比を使用して圧縮比を制御し、
    前記信頼性指数が前記閾値未満であると決定されたら、前記第1の圧縮比よりも高い第2の圧縮比を使用して圧縮比を制御する
    ように配置された符号化構成要素(916)と
    を備えるエンコーダ(900)。
  12. 請求項11のエンコーダを備え、前記シーンの前記第1の視野と前記第2の視野とを表示する前記第1のデジタル画像と前記第2のデジタル画像とをキャプチャするように配置されたステレオカメラ。
JP2016209876A 2015-11-05 2016-10-26 デジタル画像の圧縮比を制御する方法及び装置 Active JP6815164B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15193151.6 2015-11-05
EP15193151.6A EP3166315A1 (en) 2015-11-05 2015-11-05 A method and apparatus for controlling a degree of compression of a digital image

Publications (3)

Publication Number Publication Date
JP2017123641A true JP2017123641A (ja) 2017-07-13
JP2017123641A5 JP2017123641A5 (ja) 2019-11-07
JP6815164B2 JP6815164B2 (ja) 2021-01-20

Family

ID=54540872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016209876A Active JP6815164B2 (ja) 2015-11-05 2016-10-26 デジタル画像の圧縮比を制御する方法及び装置

Country Status (6)

Country Link
US (1) US10313693B2 (ja)
EP (2) EP3313077B1 (ja)
JP (1) JP6815164B2 (ja)
KR (1) KR102343867B1 (ja)
CN (1) CN106686388B (ja)
TW (1) TWI709916B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235945A1 (ja) 2017-06-23 2018-12-27 住友化学株式会社 組成物、フィルム、積層構造体、発光装置及びディスプレイ

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3477548B1 (en) * 2017-10-24 2020-02-19 Axis AB Method and image capturing device for detecting fog in a scene
DE102018122842A1 (de) * 2018-09-18 2020-03-19 Volume Graphics Gmbh Computerimplementiertes Verfahren zur Komprimierung von Messdaten aus einer Messung eines Messvolumens

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074042A (ja) * 2005-09-02 2007-03-22 Ricoh Co Ltd 動画像処理装置及び方法
WO2011080892A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 ステレオ画像符号化装置、方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768404A (en) 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
JP4246723B2 (ja) 2005-08-29 2009-04-02 日本電信電話株式会社 フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2286385A4 (en) 2008-06-06 2013-01-16 Reald Inc TRUNKING GAIN STEREOSCOPIC IMAGES
US8401280B2 (en) * 2009-12-21 2013-03-19 Electronics And Telecommunications Research Institute Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results
US9076267B2 (en) 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method
CN102438142B (zh) * 2011-11-08 2013-10-16 北京空间机电研究所 一种基于深空背景的自适应图像压缩方法
CN104662896B (zh) * 2012-09-06 2017-11-28 诺基亚技术有限公司 用于图像处理的装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074042A (ja) * 2005-09-02 2007-03-22 Ricoh Co Ltd 動画像処理装置及び方法
WO2011080892A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 ステレオ画像符号化装置、方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOYAN HU AND PHILIPPOS MORDOHAI: "A Quantitative Evaluation of Confidence Measures for Stereo Vision", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. Volume 34, Issue 11, JPN6020001032, 31 January 2012 (2012-01-31), US, pages 2121 - 2133, ISSN: 0004307182 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235945A1 (ja) 2017-06-23 2018-12-27 住友化学株式会社 組成物、フィルム、積層構造体、発光装置及びディスプレイ

Also Published As

Publication number Publication date
KR102343867B1 (ko) 2021-12-27
US10313693B2 (en) 2019-06-04
EP3313077B1 (en) 2019-09-25
TW201727535A (zh) 2017-08-01
CN106686388A (zh) 2017-05-17
US20170134739A1 (en) 2017-05-11
KR20170053133A (ko) 2017-05-15
TWI709916B (zh) 2020-11-11
EP3166315A1 (en) 2017-05-10
JP6815164B2 (ja) 2021-01-20
EP3313077A1 (en) 2018-04-25
CN106686388B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US10909707B2 (en) System and methods for measuring depth using an array of independently controllable cameras
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
JP5969389B2 (ja) オブジェクト認識ビデオ符号化ストラテジ
US9159121B2 (en) Method for image denoising
US11818502B2 (en) Systems and methods for perspective shifting in video conferencing session
US20140198977A1 (en) Enhancement of Stereo Depth Maps
US10013772B2 (en) Method of controlling a quality measure and system thereof
Verhack et al. Steered mixture-of-experts for light field coding, depth estimation, and processing
US20190164259A1 (en) Method and apparatus for removing turbid objects in an image
JP2017123641A (ja) デジタル画像の圧縮比を制御する方法及び装置
Zhou et al. Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks
CN113784129A (zh) 点云质量评估方法、编码器、解码器及存储介质
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
US8768073B2 (en) Method, system and computer program product for coding a region of interest within an image of multiple views
Haque et al. Gaussian-Hermite moment-based depth estimation from single still image for stereo vision
Sherki et al. A Review on Design of Low Bit Rate Video Encoding for Image Compression
JP2015049807A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Doutre et al. Correcting sharpness variations in stereo image pairs
Bhattacharya et al. Localized image enhancement using depth map
US20160134871A1 (en) Method and device for encoding image using preprocessing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190924

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200110

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815164

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250