JP2018513627A - 画像符号化／復号方法および関連装置 - Google Patents

画像符号化／復号方法および関連装置 Download PDF

Info

Publication number
JP2018513627A
JP2018513627A JP2017551284A JP2017551284A JP2018513627A JP 2018513627 A JP2018513627 A JP 2018513627A JP 2017551284 A JP2017551284 A JP 2017551284A JP 2017551284 A JP2017551284 A JP 2017551284A JP 2018513627 A JP2018513627 A JP 2018513627A
Authority
JP
Japan
Prior art keywords
image
current image
random access
current
access point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017551284A
Other languages
English (en)
Other versions
JP6549246B2 (ja
Inventor
露 ▲虞▼
露 ▲虞▼
旭光 左
旭光 左
寅 ▲趙▼
寅 ▲趙▼
▲海▼涛 ▲楊▼
▲海▼涛 ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2018513627A publication Critical patent/JP2018513627A/ja
Application granted granted Critical
Publication of JP6549246B2 publication Critical patent/JP6549246B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像符号化/復号方法および関連装置が提供される。画像復号方法は、現在の画像を取得するステップと、知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、K個の参照画像に従って、現在の画像を復号するステップとを含む。実施形態で提供される技術的解決手段は、ビデオ符号化/復号効率を改善することを助ける。

Description

本発明は、画像処理技術の分野に関し、詳細には、画像符号化方法、画像復号方法および関連装置に関する。
従来のビデオ符号化においては、符号化されたビデオがランダムアクセス機能をサポートするために、符号化されたビデオにいくつかのランダムアクセスポイント（random access point）が挿入される。ビデオは、ランダムアクセスポイントを使用することによって、ランダムアクセス機能をサポートする複数のビデオセグメントにセグメント化され、これは、簡潔にランダムアクセスセグメントと呼ばれてよい。1つのランダムアクセスセグメントは、1以上の画像（picture）を含む。イントラ符号化（Intra coding）は、ランダムアクセスセグメント内の画像に対して実行されてよく、または、ランダムアクセスセグメント内の画像は、インター予測によって、ランダムアクセスセグメント内の別の画像を参照して符号化されてよく、これは、簡潔にインター符号化（Inter coding）と呼ばれる。
従来技術では、ランダムアクセスセグメント内の画像は、そのランダムアクセスセグメント内でのみ、別の画像の参照画像（reference picture/frame）として使用されることができる。すなわち、ランダムアクセスポイント間のインター予測（Inter prediction）は許可されない。この従来機構は、いくつかのシナリオにおいて、ビデオ符号化/復号効率を比較的大きく制限し得る。
本発明の実施形態は、ビデオ符号化/復号効率を改善するために、画像符号化/復号方法および関連装置を提供する。
本発明の実施形態の第1の態様は、画像復号方法を提供し、方法は、
現在の画像を取得するステップと、
知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、
K個の参照画像に従って、現在の画像を復号するステップとを含む。
第1の態様を参照すると、第1の態様の第1の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。
第1の態様または第1の態様の第1の可能な実施を参照すると、第1の態様の第2の可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択するステップは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択するステップを含む。
第1の態様の第2の可能な実施を参照すると、第1の態様の第3の可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。
第1の態様の第2の可能な実施または第1の態様の第3の可能な実施を参照すると、第1の態様の第4の可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するステップをさらに含む。
第1の態様の第2の可能な実施、第1の態様の第3の可能な実施または第1の態様の第4の可能な実施を参照すると、第1の態様の第5の可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示す。
第1の態様の第5の可能な実施を参照すると、第1の態様の第6の可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
第1の態様の第5の可能な実施または第1の態様の第6の可能な実施を参照すると、第1の態様の第7の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
第1の態様または第1の態様の第1乃至第7の可能な実施のうちのいずれか1つを参照すると、第1の態様の第8の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
第1の態様の第8の可能な実施を参照すると、第1の態様の第9の可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。
第1の態様または第1の態様の第1乃至第9の可能な実施のいずれか1つを参照すると、第1の態様の第10の可能な実施では、K個の参照画像に従って、現在の画像を復号するステップは、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するステップを含む。
第1の態様または第1の態様の第1乃至第10の可能な実施のいずれか1つを参照すると、第1の態様の第11の可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本発明の実施形態の第2の態様は、画像符号化方法を提供し、方法は、
現在の画像を取得するステップと、
知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、
K個の参照画像に従って、現在の画像を符号化するステップとを含む。
第2の態様を参照すると、第2の態様の第1の可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
第2の態様の第1の可能な実施を参照すると、第2の態様の第2の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
第2の態様または第2の態様の第1および第2の可能な実施のいずれか1つを参照すると、
第2の態様の第3の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
第2の態様の第3の可能な実施を参照すると、第2の態様の第4の可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。
第2の態様または第2の態様の第1乃至第4の可能な実施を参照すると、第2の態様の第5の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。
第2の態様または第2の態様の第1乃至第5の可能な実施のいずれか1つを参照すると、第2の態様の第6の可能な実施では、
現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本発明の実施形態の第3の態様は、画像復号装置を提供し、装置は、
現在の画像を取得するように構成される取得ユニットと、
知識ベースから、現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニットと、
K個の参照画像に従って、現在の画像を復号するように構成される復号ユニットとを含む。
第3の態様を参照すると、第3の態様の第1の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。
第3の態様または第3の態様の第1の可能な実施を参照すると、第3の態様の第2の可能な実施では、参照ユニットは、具体的には、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択するように構成される。
第3の態様の第2の可能な実施を参照すると、第3の態様の第3の可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。
第3の態様の第2の可能な実施または第3の態様の第3の可能な実施を参照すると、第3の態様の第4の可能な実施では、参照ユニットは、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するようにさらに構成される。
第3の態様の第2の可能な実施、第3の態様の第3の可能な実施または第3の態様の第4の可能な実施を参照すると、第3の態様の第5の可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示す。
第3の態様の第5の可能な実施を参照すると、第3の態様の第6の可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
第3の態様の第5の可能な実施または第3の態様の第6の可能な実施を参照すると、第3の態様の第7の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
第3の態様または第3の態様の第1乃至第7の可能な実施のいずれか1つを参照すると、第3の態様の第8の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
第3の態様の第8の可能な実施を参照すると、第3の態様の第9の可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。
第3の態様または第3の態様の第1乃至第9の可能な実施のいずれか1つを参照すると、第3の態様の第10の可能な実施では、復号ユニットは、具体的には、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するように構成される。
第3の態様または第3の態様の第1乃至第10の可能な実施のいずれか1つを参照すると、第3の態様の第11の可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本発明の実施形態の第4の態様は、画像符号化装置を提供し、装置は、
現在の画像を取得するように構成される取得ユニットと、
知識ベースから、現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニットと、
K個の参照画像に従って、現在の画像を符号化するように構成される符号化ユニットとを含む。
第4の態様を参照すると、第4の態様の第1の可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
第4の態様の第1の可能な実施を参照すると、第4の態様の第2の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
第4の態様または第4の態様の第1および第2の可能な実施のいずれか1つを参照すると、第4の態様の第3の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
第4の態様の第3の可能な実施を参照すると、第4の態様の第4の可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。
第4の態様または第4の態様の第1乃至第4の可能な実施のいずれか1つを参照すると、第4の態様の第5の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。
第4の態様または第4の態様の第1乃至第5の可能な実施のいずれか1つを参照すると、第4の態様の第6の可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
加えて、本願の実施形態の第5の態様は、画像復号装置を提供する。画像復号装置は、ストレージおよびストレージに結合されるプロセッサを含む。ストレージは命令を記憶するように構成され、プロセッサは命令を実行するように構成される。命令を実行すると、プロセッサは、命令に従って第1の態様の方法を実行してよい。
加えて、本願の実施形態の第6の態様は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は、画像を復号するために使用されるプログラムコードを記憶する。プログラムコードは、第1の態様の方法を実行するために使用される命令を含む。
本願の実施形態の第7の態様は、画像復号装置を提供する。画像復号装置に含まれるユニットは、第1の態様の方法を実行することができる。
加えて、本願の実施形態の第8の態様は、画像符号化装置を提供する。画像符号化装置は、ストレージおよびストレージに結合されるプロセッサを含む。ストレージは命令を記憶するように構成され、プロセッサは命令を実行するように構成される。命令を実行すると、プロセッサは、命令に従って第2の態様の方法を実行してよい。
加えて、本願の実施形態の第9の態様は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は、画像を符号化するために使用されるプログラムコードを記憶する。プログラムコードは、第2の態様の方法を実行するために使用される命令を含む。
本願の実施形態の第10の態様は、画像符号化装置を提供する。画像符号化装置に含まれるユニットは、第2の態様の方法を実行することができる。
本発明の実施形態の技術的解決手段では、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。
本発明の実施形態における技術的解決手段をより明確に説明するために、以下では、実施形態または従来技術を説明するために必要とされる添付図面を簡潔に説明する。明らかに、以下の説明における添付図面は単に、本発明のいくつかの実施形態を示し、当業者は、創造的努力無しに、これらの添付図面から他の図面をさらに導出してよい。
図1-aは、本発明の実施形態に係る、画像ブロック分割のいくつかの概略図である。 図1-bは、本発明の実施形態に係る、画像ブロック分割のいくつかの概略図である。 図1-cは、本発明の実施形態に係る、画像符号化方法の概略フローチャートである。 図2は、本発明の実施形態に係る、画像復号方法の概略フローチャートである。 図3-aは、本発明の実施形態に係る、画像復号方法の概略フローチャートである。 図3-bは、本発明の実施形態に係る、画像復号システムアーキテクチャの概略図である。 図3-cは、本発明の実施形態に係る、ランダムアクセスセグメントを定義する2つの他の概略図である。 図3-dは、本発明の実施形態に係る、ランダムアクセスセグメントを定義する2つの他の概略図である。 図3-eは、本発明の実施形態に係る、2つの他の画像復号システムアーキテクチャの概略図である。 図3-fは、本発明の実施形態に係る、2つの他の画像復号システムアーキテクチャの概略図である。 図4-aは、本発明の実施形態に係る、画像復号方法の概略フローチャートである。 図4-bは、本発明の実施形態に係る、別の画像復号システムアーキテクチャの概略図である。 図5-aは、本発明の実施形態に係る、別の画像符号化方法の概略フローチャートである。 図5-bは、本発明の実施形態に係る、2つの画像符号化システムアーキテクチャの概略図である。 図5-cは、本発明の実施形態に係る、2つの画像符号化システムアーキテクチャの概略図である。 図5-dは、本発明の実施形態に係る、2つの画像符号化システムアーキテクチャの概略図である。 図6は、本発明の実施形態に係る、画像復号装置の概略フローチャートである。 図7は、本発明の実施形態に係る、別の画像復号装置の概略フローチャートである。 図8は、本発明の実施形態に係る、画像符号化装置の概略フローチャートである。 図9は、本発明の実施形態に係る、別の画像符号化装置の概略フローチャートである。
本発明の実施形態は、ビデオ符号化/復号効率を改善するために、画像符号化/復号方法および関連装置を提供する。
本発明の明細書、特許請求の範囲および添付図面では、“第1”、“第2”、“第3”、“第4”等々の用語は、異なるオブジェクト間で区別するように意図されるが、特定の順序を示さない。加えて、“含む”、“含む”という用語またはその任意の他の変形は、非排他的な包含をカバーするように意図される。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品またはデバイスは、列挙されたステップまたはユニットに限定されないが、任意で、列挙されていないステップまたはユニットをさらに含み、または、任意で、プロセス、方法、製品またはデバイスの別の固有のステップまたはユニットをさらに含む。
詳細な説明は、以下で別々に提供される。
以下では、最初に、本発明の実施形態で使用され得るいくつかの概念を説明する。
たいていの符号化フレームワークでは、ビデオシーケンスは、一連の画像（英語：picture）を含む。画像はさらに、スライス（英語：slice）に分割される。sliceはさらに、ブロック（英語：block）に分割される。ビデオ符号化中、符号化処理は、pictureの左上隅の位置から始めて、ブロック単位で、左から右に、上から下へ1行ずつ行われてよい。いくつかの新しいビデオ符号化標準では、“block”の概念がさらに拡張される。H.264標準では、マクロブロック（英語：macroblock、略してMB）がある。MBは、予測符号化のために使用されることができる複数の予測ブロック（英語：partition）にさらに分割されてよい。HEVC標準では、“符号化ユニット”（英語：coding unit、略してCU）、“予測ユニット”（英語：prediction unit、略してPU）および“変換ユニット”（英語：transform unit、略してTU）等の基本概念が使用される。Unitは、機能に関して複数のユニットに分割され、新しいツリーベース構造を使用して、記述が行われる。例えば、CUは、四分木に従ってより小さいCUに分割されてよく、四分木構造を形成するために、より小さいCUはさらに分割されてよい。PUおよびTUのための同様のツリー構造もある。CU、PUおよびTUは本質的には、“block”の概念に全て包含される。CUは、マクロブロックMBと同様であり、符号化されるべき画像を分割および符号化するための基本ユニットである。PUは、予測符号化のための基本ユニットである。CUは、分割モードに従って、複数のPUにさらに分割される。TUは、予測残差を変換するための基本ユニットである。高効率ビデオ符号化（英語：high efficiency video coding、略してHEVC）標準では、CUは、符号化ツリーユニット（英語：coding tree unit、略してCTU）等と総称的に呼ばれてよい。
HEVC標準では、符号化ユニットのサイズは、64×64、32×32、16×16および8×8の4つのレベルを含んでよい。符号化ユニットの各レベルは、イントラ予測およびインター予測に従って、異なるサイズの予測ユニットに分割されてよい。例えば、図1-aおよび図1-bに示されるように、図1-aは、イントラ予測に対応する予測ユニット分割方式を例示し、図1-bは、インター予測に対応するいくつかの予測ユニット分割方式を例示する。
ビデオ符号化技術の進化プロセスにおいて、ビデオ符号化の専門家は、隣接する符号化/復号されるべきブロック間の時間相関および空間相関を使用することによって、符号化効率を可能な限り改善する複数の方法を発明している。H.264/アドバンスドビデオ符号化（英語：advanced video coding、略してAVC）標準では、スキップモード（skip mode）およびダイレクトモード（direct mode）は、符号化効率を改善する有効な手段となる。低ビットレートの場合、2つの符号化モードが使用されるブロックは、符号化シーケンス全体の半分よりも多くを占めることがある。スキップモードが使用されるとき、1つのスキップモードマークのみがビットストリームにおいて転送される必要があり、その結果、現在の画像ブロックの動きベクトルは、隣接する動きベクトルを使用することによって推測されることができ、参照ブロックの値は、動きベクトルに従って、現在の画像ブロックの再構成値として直接コピーされる。加えて、ダイレクトモードが使用されるとき、符号器は、隣接する動きベクトルを使用することによって、現在の画像ブロックの動きベクトルを推測してよく、参照ブロックの値を、動きベクトルに従って、現在の画像ブロックの推測値として直接コピーする。符号器側は、推測値を使用することによって、現在の画像ブロックのために符号化予測を実行する。現在、最新の高効率ビデオ符号化（英語：high efficiency video coding、略してHEVC）標準では、ビデオ符号化効率は、いくつかの新しい符号化手法を導入することによってさらに改善される。マージ（merge）符号化モードおよび適応動きベクトル予測（英語：advanced motion vector prediction、略してAMVP）モードは、2つの重要なインター予測手法である。マージ（merge）符号化中、現在の符号化されるべきブロックの隣接する符号化ブロックの動き情報（動きベクトル（英語：motion vector、略してMV））、予測方向、参照フレーム索引等を含んでよい）は、候補動き情報セットを形成するために使用される。比較すると、最高符号化効率をもたらす候補動き情報は、現在の符号化されるべきブロックの動き情報として選択されてよい。現在の符号化されるべきブロックの予測値は、参照フレームから見つかり、現在の符号化されるべきブロックに対して、予測符号化が実行される。加えて、隣接する符号化ブロックの選択されるべき動き情報を示す索引値は、ビットストリームに書き込まれてよい。適応動きベクトル予測モードが使用される場合、隣接する符号化ブロックの動きベクトルは、現在の符号化されるべきブロックの動きベクトルの予測値として使用され、最高符号化効率をもたらす動きベクトルは、現在の符号化されるべきブロックの動きベクトルを予測するために選択されてよく、選択されるべき隣接する動きベクトルを示す索引値は、ビデオビットストリームに書き込まれてよい。
以下では、最初に、本発明の実施形態で提供される画像符号化方法を説明する。本発明の本実施形態で提供される画像符号化方法は、画像符号化装置によって実行される。画像符号化装置は、ビデオを出力または記憶する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、モバイル電話またはビデオサーバ等のデバイスであってよい。
本発明の画像符号化方法の実施形態では、画像符号化方法は、現在の画像を取得するステップと、知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、K個の参照画像に従って、現在の画像を符号化するステップとを含んでよい。
図1-cを参照すると、図1-cは、本発明の実施形態に係る画像符号化方法の概略フローチャートである。図1-cに示されるように、本発明の本実施形態で提供される画像符号化方法は以下のステップを含んでよい。
S101. 現在の画像を取得する。
S102. 知識ベースから、現在の画像のK個の参照画像を選択し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。
知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。従って、K個の参照画像における少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さない場合があり、確かに、いくつかの場合では、K個の参照画像の全ては、現在の画像が配置されるランダムアクセスセグメントに属し得る。
K個の参照画像は、現在の画像の全ての参照画像であってよく、または、現在の画像のいくつかの参照画像であってよい。
任意で、例えば、Kは、1、2、3、4、5、8、9、10、20、30、43、50または別の正の整数と等しくてよい。
異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
Xは、1以上の整数である。
任意で、例えば、Xは、1、2、3、4、5、7、9、11、20、30、43、50または別の正の整数と等しくてよい。
S103. K個の参照画像に従って、現在の画像を符号化する。
K個の参照画像に従って、現在の画像を符号化することは、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の元のピクセル値および予測ピクセル値に従って、現在の画像の予測残差を取得することと、現在の画像ブロックの予測残差を第1のビデオビットストリームに書き込むこととを含んでよい。
本実施形態の解決手段の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。
任意で、本発明のいくつかの可能な実施では、現在の画像のK個の参照画像は、事前に設定されたポリシーに基づいて、知識ベースから選択されてよい。例えば、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい。例えば、特定の閾値は、0.85、70%、81%、88%または要件を満たす別の値であってよい。例えば、類似度は、2つの画像特徴ベクトル間の線形相関、または、2つの画像特徴ベクトル内の要素のグループ間の最大差の逆数、または、2つの画像特徴ベクトル間のハミング距離の逆数である。
任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT、Scale-invariant feature transform）および/または画像の加速堅牢特徴（SURF、Speeded Up Robust Features）を含んでよく、確かに、別の画像特徴を含んでよい。
知識ベースは様々な画像を含み得る。例えば、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像に対して圧縮符号化を実行することによって取得される再構成画像を含んでよい。現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット（scene cut）画像および/または背景画像を含んでよい。
シーンカット画像および/または背景画像は、複数の方式で取得されてよい。例えば、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得されてよく、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。
解決手段は、1つ以上の背景画像が、現在の画像の参照画像として選択され、選択された背景画像は、現在の画像の前の最も近い背景画像でなくてよいケースをサポートすることがわかる。研究および実行プロセスから、本機構が、ビデオにおける冗長情報をより柔軟に除去することを助けることが判明する。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得されてよく、且つ/または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。第1のビデオビットストリームおよび第2のビデオビットストリームは、異なるビデオビットストリームである。例えば、第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。第1のビデオビットストリーム内の画像の番号は、表示順序における画像間の相対関係を示す。例えば、比較的小さい番号を持つ画像は、表示順序において、比較的大きい番号を持つ画像の前に現れる。第2のビデオビットストリーム内の画像の番号は、時間順序を示さなくてよい。それぞれ第1のビデオビットストリームおよび第2のビデオビットストリーム内にあり、同じ番号を有する画像は、同じ時点に必ずしも対応していない。
任意で、本発明のいくつかの可能な実施では、現在の画像の参照画像索引は第1のビデオビットストリームに書き込まれてよい。現在の画像の参照画像索引は、現在の画像の参照画像を直接または間接的に示してよい。例えば、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。復号器側は、現在の画像の参照画像索引に従って、現在の画像の参照画像を決定してよい。
以下では、本発明の実施形態で提供される画像復号方法をさらに説明する。本発明の本実施形態で提供される画像復号方法は、画像復号装置によって実行される。画像復号装置は、ビデオを出力または記憶する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、モバイル電話またはビデオサーバ等のデバイスであってよい。
本発明の画像復号方法の実施形態では、画像復号方法は、現在の画像を取得するステップと、知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、K個の参照画像に従って、現在の画像を符号化するステップとを含んでよい。
図2を参照すると、図2は、本発明の別の実施形態に係る画像復号方法の概略フローチャートである。図2に示されるように、本発明の別の実施形態で提供される画像復号方法は以下のステップを含んでよい。
201. 現在の画像を取得する。
画像復号プロセスでは、現在の画像は、第1のビデオビットストリームの一部に対応している、現在の復号されるべき画像と呼ばれてよい。
202. 知識ベースから、現在の画像のK個の参照画像を選択し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。知識ベースは、少なくとも2つの画像を含んでよい。
知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。従って、K個の参照画像における少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さない場合があり、確かに、いくつかの場合では、K個の参照画像の全ては、現在の画像が配置されるランダムアクセスセグメントに属し得る。
K個の参照画像は、現在の画像の全ての参照画像であってよく、または、現在の画像のいくつかの参照画像であってよい。
任意で、例えば、Kは、1、2、3、4、5、8、9、10、20、30、43、50または別の正の整数と等しくてよい。
異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
現在の画像がランダムアクセスポイントに配置される場合、現在の画像の前の最も近いランダムアクセスポイントは、現在の画像が配置されるランダムアクセスポイントであり、且つ、現在の画像の、別のビデオレイヤにある参照画像がランダムアクセスポイントに配置される場合、参照画像の前の最も近いランダムアクセスポイントは、参照画像が配置されるランダムアクセスポイントであることは留意されるべきである。
加えて、いくつかの符号化構造では、例えば、階層B（Hierarchical B）フレーム構造を使用することによって、現在の画像が配置されるビデオシーケンスを符号化することによって取得されるビットストリームでは、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の2番目に近いランダムアクセスポイントをさらに含んでよい。
Xは、1以上の整数である。
任意で、例えば、Xは、1、2、3、4、5、7、9、11、20、30、43、50または別の正の整数と等しくてよい。
203. K個の参照画像に従って、現在の画像を復号する。
K個の参照画像に従って、現在の画像を復号することは、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。
本実施形態の解決手段の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。あるいは、知識ベース内の少なくとも1つの画像は、画像復号装置内に事前に記憶されてよい。例えば、画像復号装置内に記憶される知識ベースは、画像符号化装置内に記憶されるものと同じ、または部分的に同じであってよく、画像復号装置および画像符号化装置の各々は、第2のビデオビットストリームを復号することによって、再構成画像を取得し、画像復号装置および画像符号化装置の各々によって維持される知識ベースに、取得された再構成画像を追加してよい。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。
現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。例えば、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、0.85、70%、85%、88%または要件を満たす別の値であってよい）。例えば、類似度は、2つの画像特徴ベクトル間の線形相関、または、2つの画像特徴ベクトル内の要素のグループ間の最大差の逆数、または、2つの画像特徴ベクトル間のハミング距離の逆数である。
任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT）および/または画像の加速堅牢特徴（SURF）を含んでよく、確かに、別の画像特徴を含んでよい。
任意で、本発明のいくつかの可能な実施では、例えば、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像を含んでよい。
任意で、本発明のいくつかの可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するステップをさらに含む。
具体的には、例えば、参照画像キャッシュは、参照画像索引と一致する参照画像について最初に検索されてよい。参照画像索引と一致する参照画像が、参照画像キャッシュから見つからない場合、第2のビデオビットストリームは、参照画像索引と一致する参照画像について、さらに検索されてよい。参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームは、サーバからさらに要求されてよく、第2のビデオビットストリームの増分ビットストリームは復号されて、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像は、現在の画像の参照画像として使用される。
知識ベースは様々な画像を含み得る。例えば、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像に対して圧縮符号化を実行することによって取得される再構成画像を含んでよい。現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含んでよい。
シーンカット画像および/または背景画像は、複数の方式で取得されてよい。例えば、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得されてよく、且つ/または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。第2のビデオビットストリームおよび第1のビデオビットストリームは、異なるビデオビットストリームである。例えば、第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。第1のビデオビットストリーム内の画像の番号は、表示順序における画像間の相対関係を示す。例えば、比較的小さい番号を持つ画像は、表示順序において、比較的大きい番号を持つ画像の前に現れる。第2のビデオビットストリーム内の画像の番号は、時間順序を示さなくてよい。それぞれ第1のビデオビットストリームおよび第2のビデオビットストリーム内にあり、同じ番号を有する画像は、同じ時点に必ずしも対応していない。
任意で、本発明のいくつかの可能な実施では、K個の参照画像に従って、現在の画像を復号することは、K個の参照画像を、現在の画像の参照画像リスト（reference picture list）に追加し、参照画像リスト内の参照画像に従って、現在の画像を復号することを含んでよい。
本発明の実施形態の前述の解決手段のより良い理解および実施を容易にするために、以下では、より具体的な適用シナリオを使用することによって、さらなる説明を行う。
図3-aおよび図3-bを参照すると、図3-aは、本発明の別の実施形態に係る、画像復号方法の概略フローチャートである。図3-aに示される画像復号方法は、図3-bに示される画像復号システムアーキテクチャに基づいて実施されてよい。
図3-aに示されるように、本発明の別の実施形態で提供される画像復号方法は、以下のステップを含んでよい。
S301. 画像復号装置は、第1のビデオビットストリームから現在の画像を取得する。
画像復号プロセスでは、現在の画像は、第1のビデオビットストリームの一部に対応している、現在の復号されるべき画像と呼ばれてよい。
画像復号装置は、参照画像キャッシュを含んでよい。参照画像キャッシュは、現在の復号されるべき画像に関する予測のための短期間参照画像および長期間参照画像を記憶してよい。
S302. 画像復号装置は、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像を、現在の画像の参照画像リストに追加し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。知識ベースは、少なくとも2つの画像を含んでよい。
特に、知識ベース内の画像は、画像復号装置内に事前に記憶される画像であってよい。画像は、現在の画像が配置されるビデオシーケンス内の画像に対応していなくてよく、例えば、複数のパターンを含む画像を含んでよく、または、コンピュータによって描画される画像を含んでよく、または、ネットワークからダウンロードされて知識ベースに追加される画像をさらに含んでよく、または、ポータブルな記憶デバイスから知識ベースにコピーされる画像を含んでよい。知識ベースは動的蓄積状態に設定されてよく、その中に含まれる画像は時間の経過と共に量および内容において連続的に更新される。画像は、符号化圧縮が実行されない画像を含んでよく、または、現在の画像が配置されるランダムアクセスセグメントに属さない画像もまた含んでよい。
知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。従って、K個の参照画像における少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さない場合があり、確かに、いくつかの場合では、K個の参照画像の全ては、現在の画像が配置されるランダムアクセスセグメントに属し得る。
異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
例えば、図3-cを参照すると、１つの独立レイヤおよび1つの従属レイヤを含む第1のビデオビットストリームの従属レイヤにおける、図3-c内の画像A（現在の画像）等の画像が復号される。画像Aが配置されるランダムアクセスセグメントは、従属レイヤにおいて、画像Aの前の最も近いランダムアクセスポイントRAP 2における画像から画像Aの後の最も近いランダムアクセスポイントRAP 4における画像まで、復号順で配列されている画像を含み、独立レイヤにおいて、画像Bの前の最も近いランダムアクセスポイントRAP 1における画像から画像Bの後の最も近いランダムアクセスポイントRAP 3における画像まで、復号順で配列されている画像をさらに含む。画像Bは、画像Aの、独立レイヤにある参照画像である。復号装置は、画像Cを、画像Aの参照画像として、知識ベースから選択し、画像Cを、画像Aの参照画像リストに追加し、画像Aを復号してよい。画像Cは、画像Aが配置されるランダムアクセスセグメントに属さない。
別の例については、図3-dを参照すると、１つの独立レイヤおよび2つの従属レイヤを含むビデオビットストリームの第2の従属レイヤにおける、図3-d内の画像A（現在の画像）等の画像が復号される。画像Aが配置されるランダムアクセスセグメントは、第2の従属レイヤにおいて、画像Aの前の最も近いランダムアクセスポイントRAP 5における画像から画像Aの後の最も近いランダムアクセスポイントRAP 6における画像まで、復号順で配列されている画像を含み、第1の従属レイヤにおいて、画像Bの前の最も近いランダムアクセスポイントRAP 3における画像から、画像Bの後の最も近いランダムアクセスポイントRAP 4における画像まで、復号順で配列されている画像を含み、独立レイヤにおいて、画像Cの前の最も近いランダムアクセスポイントRAP 1における画像から画像Cの後の最も近いランダムアクセスポイントRAP 2における画像まで、復号順で配列されている画像をさらに含む。画像Bは、画像Aの、第1の従属レイヤにある参照画像である。画像Cは、画像Bの、独立レイヤにある参照画像である。復号装置は、画像Dを、画像Aの参照画像として、知識ベースから選択し、画像Dは、画像Aが配置されるランダムアクセスセグメントに属さない。他のケースがこれから推測される。
現在の画像がランダムアクセスポイントに配置される場合、現在の画像の前の最も近いランダムアクセスポイントは、現在の画像が配置されるランダムアクセスポイントであり、且つ、現在の画像の、別のビデオレイヤにある参照画像がランダムアクセスポイントに配置される場合、参照画像の前の最も近いランダムアクセスポイントは、参照画像が配置されるランダムアクセスポイントであることは留意されるべきである。
加えて、いくつかの符号化構造では、例えば、階層B（Hierarchical B）フレーム構造を使用することによって、現在の画像が配置されるビデオシーケンスを符号化することによって取得されるビットストリームでは、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の2番目に近いランダムアクセスポイントをさらに含んでよい。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。
現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。例えば、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、70%、85%、88%または要件を満たす別の値であってよい）。あるいは、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度は、現在の画像の画像特徴と、知識ベース内の別の画像の画像特徴との間の類似度以上であってよい。
任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT）および/または画像の加速堅牢特徴（SURF）を含んでよく、確かに、別の画像特徴を含んでよい。
S303. 画像復号装置は、参照画像リスト内の参照画像に従って、現在の画像を復号する。
画像復号装置が、K個の参照画像に従って、現在の画像を復号することは、具体的には、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。
さらに、図3-eに例示されるように、画像復号装置は、背景画像の、第1のビデオビットストリームを復号することによって取得される再構成画像を、知識ベースに追加してよい。
さらに、図3-fに例示されるように、第1のビデオビットストリームを復号することによって取得されるビデオシーケンス内のシーンカット画像を取得するために、シーンカット検出は、第1のビデオビットストリームを復号することによって取得されるビデオシーケンスに対してさらに実行されてよく、シーンカット画像の取得された再構成画像は、知識ベースに追加される。
シーンカット検出について、複数の比較的成熟した方法がある。例えば、2つの隣接画像内のピクセルの複数のグループ間の平均ピクセル値差が計算される。平均ピクセル値差が閾値よりも大きいとき、2つの画像間でシーンカットが発生したと考えられる。別の例では、画像特徴（SIFT等）が、2つの画像から別々に抽出される。画像特徴間の一致度が閾値よりも小さい場合、2つの画像間でシーンカットが発生したと考えられる。
任意で、本発明のいくつかの可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像リストに追加するステップをさらに含む。
具体的には、例えば、参照画像キャッシュは、参照画像索引と一致する参照画像について最初に検索されてよい。参照画像索引と一致する参照画像が、参照画像キャッシュから見つからない場合、第2のビデオビットストリームは、参照画像索引と一致する参照画像について、さらに検索されてよい。参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームは、サーバからさらに要求されてよく、第2のビデオビットストリームの増分ビットストリームは復号されて、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像は、現在の画像の参照画像リストに追加される。
本実施形態の解決手段の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。
図4-aおよび図4-bを参照すると、図4-aは、本発明の別の実施形態に係る、画像復号方法の概略フローチャートである。図4-aに示される画像復号方法は、図4-bに示される画像復号システムアーキテクチャに基づいて実施されてよい。
図4-aに示されるように、本発明の別の実施形態で提供される画像復号方法は、以下のステップを含んでよい。
S401. 画像復号装置は、第2のビデオビットストリーム（知識ベース内のビットストリーム）を復号し、第2のビデオビットストリームを復号することによって取得される再構成画像を、知識ベースに追加する。
具体的には、例えば、画像復号装置は、第2のビデオビットストリーム内の少なくとも1つの画像を知識ベースに追加してよい。別の例では、第2のビデオビットストリーム内の複数の画像から合成された背景画像が、知識ベースに追加されてよい。
S402. 画像復号装置は、第1のビデオビットストリームから現在の画像を取得する。
画像復号プロセスでは、現在の画像は、第1のビデオビットストリームの一部に対応している、現在の復号されるべき画像と呼ばれてよい。
画像復号装置は、参照画像キャッシュを含んでよい。参照画像キャッシュは、現在の復号されるべき画像に関する予測のための短期間参照画像および長期間参照画像を記憶してよい。
第1のビデオビットストリームおよび第2のビデオビットストリームは、異なるビデオビットストリームである。例えば、第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。第1のビデオビットストリーム内の画像の番号は、表示順序における画像間の相対関係を示す。例えば、比較的小さい番号を持つ画像は、表示順序において、比較的大きい番号を持つ画像の前に現れる。第2のビデオビットストリーム内の画像の番号は、時間順序を示さなくてよい。それぞれ第1のビデオビットストリームおよび第2のビデオビットストリーム内にあり、同じ番号を有する画像は、同じ時点に必ずしも対応していない。
S403. 画像復号装置は、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像を、現在の画像の参照画像リストに追加し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。知識ベースは、少なくとも2つの画像を含んでよい。
特に、知識ベース内の画像は、画像復号装置内に事前に記憶される画像であってよい。画像は、現在の画像が配置されるビデオシーケンス内の画像に対応していなくてよく、例えば、複数のパターンを含む画像を含んでよく、または、コンピュータによって描画される画像を含んでよく、または、ネットワークからダウンロードされて知識ベースに追加される画像をさらに含んでよく、または、ポータブルな記憶デバイスから知識ベースにコピーされる画像を含んでよい。知識ベースは動的蓄積状態に設定されてよく、その中に含まれる画像は時間の経過と共に量および内容において連続的に更新される。画像は、符号化圧縮が実行されない画像を含んでよく、または、現在の画像が配置されるランダムアクセスセグメントに属さない画像もまた含んでよい。
知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。従って、K個の参照画像における少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さない場合があり、確かに、いくつかの場合では、K個の参照画像の全ては、現在の画像が配置されるランダムアクセスセグメントに属し得る。
異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
現在の画像がランダムアクセスポイントに配置される場合、現在の画像の前の最も近いランダムアクセスポイントは、現在の画像が配置されるランダムアクセスポイントであり、且つ、現在の画像の、別のビデオレイヤにある参照画像がランダムアクセスポイントに配置される場合、参照画像の前の最も近いランダムアクセスポイントは、参照画像が配置されるランダムアクセスポイントであることは留意されるべきである。
加えて、いくつかの符号化構造では、例えば、階層B（Hierarchical B）フレーム構造を使用することによって、現在の画像が配置されるビデオシーケンスを符号化することによって取得されるビデオビットストリームでは、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の2番目に近いランダムアクセスポイントをさらに含んでよい。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。
現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。例えば、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、70%、85%、88%または要件を満たす別の値であってよい）。あるいは、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度は、現在の画像の画像特徴と、知識ベース内の別の画像の画像特徴との間の類似度以上であってよい。例えば、類似度は、2つの画像特徴ベクトル間の線形相関、または、2つの画像特徴ベクトル内の要素のグループ間の最大差の逆数、または、2つの画像特徴ベクトル間のハミング距離の逆数である。
任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT）および/または画像の加速堅牢特徴（SURF）を含んでよく、確かに、別の画像特徴を含んでよい。
S404. 画像復号装置は、参照画像リスト内の参照画像に従って、現在の画像を復号する。
画像復号装置が、K個の参照画像に従って、現在の画像を復号することは、具体的には、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。
任意で、本発明のいくつかの可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像リストに追加するステップをさらに含む。
具体的には、例えば、参照画像キャッシュは、参照画像索引と一致する参照画像について最初に検索されてよい。参照画像索引と一致する参照画像が、参照画像キャッシュから見つからない場合、第2のビデオビットストリームは、参照画像索引と一致する参照画像について、さらに検索されてよい。参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームは、サーバからさらに要求されてよく、第2のビデオビットストリームの増分ビットストリームは復号されて、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像は、現在の画像の参照画像リストに追加される。
本実施形態の解決手段の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。
いくつかのより具体的な適用シナリオが、説明のための例として以下で使用される。前述の解決手段がオンラインストリーミングシナリオに適用される場合、ビデオが要求されたときに、ユーザ端末（画像復号装置）は、ビデオアクセス時間情報をサーバ側に送信すると仮定される。例えば、ビデオアクセス時間情報は、アクセスポイントと、オープニングクレジットとの間の間隔である。
サーバは、ビデオアクセス時間情報に従って、2つのビデオビットストリーム（第1のビデオビットストリームおよび第2のビデオビットストリーム）をユーザ端末に送信する。第2のビデオビットストリームに含まれる画像の数は、一般に、第1のビデオビットストリームに含まれる画像の数よりも小さい。
別の例では、前述の解決手段がオフラインストリーミングシナリオに適用される場合、ユーザ端末（画像復号装置）は、オフライン方式で、第1のビデオビットストリームをダウンロードしてよい。ユーザ端末は、ビデオが視聴されるときに、第1のビデオビットストリームを復号して、第1のビデオビットストリームの復号された画像を表示する。
例えば、ユーザ端末の復号プロセスは、以下の処理方式のうち少なくとも1つを含んでよい：
処理方式1: ユーザ端末によって、第1のビデオビットストリームを復号するプロセスでは、現在の画像が、第2のビデオビットストリーム内の指定された画像を参照して復号される必要があり、且つ、ユーザ端末に記憶される第2のビデオビットストリームは、指定された画像を含まないと判明した場合、ユーザ端末は、サーバ側に、指定された画像を含む第2のビデオビットストリームの増分ビットストリームを送信するように要求する。ユーザ端末は、第2のビデオビットストリームの増分ビットストリームを受信し、第2のビデオビットストリームの増分ビットストリームを第2のビデオビットストリームに組み込み、第2のビデオビットストリームの増分ビットストリームを復号して、指定された画像を取得し、指定された画像を、現在の画像の参照画像として使用し、指定された画像を、現在の画像の参照画像リストに追加する。ユーザ端末は、参照画像リストを使用することによって、現在の画像を復号する。
処理方式2: ユーザ端末によって、第1のビデオビットストリームを復号するプロセスでは、現在の画像が、第2のビデオビットストリーム内の指定された画像を参照して復号される必要があり、且つ、ユーザ端末の、第2のビデオビットストリームの復号された画像を記憶するメモリが、指定された画像を含むと判明した場合、ユーザ端末は、現在の復号されるべき画像の参照画像として、指定された画像を使用し、指定された画像を、現在の復号されるべき画像の参照画像リストに追加してよい。ユーザ端末は、参照画像リストを使用することによって、現在の画像を復号する。
処理方式3: ユーザ端末によって、第1のビデオビットストリームを復号するプロセスでは、現在の画像が、第2のビデオビットストリーム内の指定された画像を参照して復号される必要があり、且つ、ユーザ端末に記憶される第2のビデオビットストリームは指定された画像を含むが、ユーザ端末の、第2のビデオビットストリームの復号された画像を記憶するメモリが、指定された画像を含まないと判明した場合、ユーザ端末は、第2のビデオビットストリーム内の対応するビットストリームセグメントを復号して、指定された画像を取得し、指定された画像を、現在の画像の参照画像として使用し、指定された画像を、現在の画像の参照画像リストに追加する。ユーザ端末は、参照画像リストを使用することによって、現在の画像を復号する。指定された画像は、第2のビデオビットストリームの復号された画像を記憶するメモリに追加されてよい。
別の例では、第1のビデオビットストリームおよび第2のビデオビットストリームは、光ディスクまたは磁気ディスク等の記憶媒体に記憶されてよい。第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。例えば、画像の番号は、H.264等のビデオ符号化標準において使用される表示順序を示すために使用されるピクチャオーダーカウント（POC, Picture Order Count）である。第2のビデオビットストリームに含まれる画像の数は、一般に、第1のビデオビットストリームに含まれる画像の数よりも小さい。
画像復号装置は、第1のビデオビットストリーム内の少なくとも1つの画像を復号するための以下の解決手段を使用してよい。
まず、第2のビデオビットストリームに基づいて、画像復号装置は、現在の画像のための少なくとも1つの指定された再構成画像を取得する。より具体的には、第1のビデオビットストリームの復号された再構成画像を記憶する記憶装置は、第1の記憶装置と呼ばれ、且つ、第2のビデオビットストリームの復号された再構成画像を記憶する記憶装置は、第2の記憶装置と呼ばれる。第1のビデオビットストリーム内の現在の画像に対応する参照画像索引によると、第2の記憶装置は、参照画像索引と一致する再構成画像、すなわち、指定された再構成画像について検索される。指定された再構成画像が第2の記憶装置から見つからない場合、第2のビデオビットストリームが解析され、参照画像索引に対応するターゲット画像ビットストリームが、第2のビデオビットストリームから見つかり、ターゲット画像ビットストリームは復号されて、指定された再構成画像を取得し、指定された再構成画像は、第2の記憶装置に格納される。参照画像索引は、1つ以上の番号を含んでよい。各番号は、第2のビデオビットストリームの復号された画像のうちの1つに対応している。指定された再構成画像の数は、参照画像索引に含まれる番号の数と同じである。特に、第2の記憶装置が、指定された画像が第2の記憶装置に追加されるときにいっぱいである場合、第2の記憶装置における対応する数の画像は、指定された再構成画像によって置き換えられる。参照画像索引は、第1のビデオビットストリームに記憶されてよく、例えば、現在の画像のスライスヘッダ（slice header）に記憶されてよく、または、シーケンスパラメータセット（SPS, sequence parameter set）等の構文構造ユニットに記憶されてよい。加えて、参照画像索引は、第1のビデオビットストリーム以外の他の記憶空間に記憶されてよい。例えば、複数の参照画像索引はデータ構造を形成し、且つ、データ構造は符号化されて、次いで、第2のビデオビットストリームに記憶される。第2のビデオビットストリーム内の画像は、イントラ復号方式で復号されてよく、または、インター予測に基づくインター復号方式で復号されてよい。
画像復号装置は、指定された再構成画像を、第1のビデオビットストリーム内の現在の画像の参照画像として使用し、現在の画像を復号して、現在の画像の再構成画像を取得してよい。現在の画像の参照画像は、別の画像をさらに含んでよい。例えば、現在の画像の参照画像は、現在の画像が配置されるランダムアクセスセグメント内の復号された画像を含んでよい。復号方法は、インター予測に基づくインタービデオ復号方法であってよい。
より具体的には、複雑さを低減するために、第1のビデオビットストリーム内のランダムアクセスポイントにおける画像のみが、第2のビデオビットストリーム内の再構成画像を参照画像として使用することによって復号されることができる。従来のイントラ復号方式は、いくつかのランダムアクセスポイントにおける画像のために使用されてよい。ランダムアクセスポイントにおける2つのタイプの画像間で区別するために、異なるフレームタイプが、第1のビデオビットストリーム内で使用されてよい。第2のビデオビットストリーム内の非ランダムアクセスポイントにおける画像は、現在の画像が配置されるランダムアクセスセグメントにおける復号された画像のみであってよい。例えば、第2のビデオビットストリーム内の画像は、イントラ復号方式のみで復号されてよい。
画像復号装置は、第1のビデオビットストリーム内の全ての復号された画像のピクチャオーダーカウントに従って、第1のビデオビットストリーム内の復号された画像を順次表示してよい。
他の復号シナリオは、ここでは列挙されない。
図5-aおよび図5-bを参照すると、図5-aは、本発明の別の実施形態に係る、画像符号化方法の概略フローチャートである。図5-aに示される画像符号化方法は、図5-bに示される画像符号化システムアーキテクチャに基づいて実施されてよい。
図5-aに示されるように、本発明の別の実施形態で提供される画像符号化方法は、以下のステップを含んでよい。
S501. 画像符号化装置は、ビデオシーケンスから、少なくとも2つのキー画像を抽出し、キー画像を符号化することによって取得される再構成画像を、知識ベースに追加する。
図5-cに例示されるように、画像符号化装置は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行して、背景画像を取得し、背景画像を符号化して、符号化された背景画像を取得し、符号化された背景画像を復号して、背景画像の再構成画像を取得し、背景画像の取得された再構成画像を、知識ベースに追加してよい。
図5-dに例示されるように、画像符号化装置は、現在の画像が属するビデオシーケンスに対して、シーンカット検出を実行して、現在の画像が属するビデオシーケンス内のシーンカット画像を取得し、シーンカット画像の取得された再構成画像を、知識ベースに追加してよい。シーンカット検出について、複数の比較的成熟した方法がある。例えば、2つの隣接画像内のピクセルの複数のグループ間の平均ピクセル値差が計算される。平均ピクセル値差が閾値よりも大きいとき、2つの画像間でシーンカットが発生したと考えられる。別の例では、画像特徴（SIFT等）が、2つの画像から別々に抽出される。画像特徴間の一致度が閾値よりも小さい場合、2つの画像間でシーンカットが発生したと考えられる。
キー画像を抽出するために使用されることができる方法は、ビデオシーケンス内の少なくとも1つの画像と、時間領域において少なくとも1つの画像と隣接する画像との間の平均ピクセル値差を計算し、キー画像として、事前に設定された閾値よりも小さい平均ピクセル値差に対応する画像を使用することか、または、ビデオシーケンスの事前に設定された位置における少なくとも1つの画像をキー画像として使用することを含んでよい。例えば、事前に設定された位置における画像は、第1の画像、第2の画像および/または最後の画像を含む。
S502. 画像符号化装置は、ビデオシーケンスから現在の画像を取得する。
画像符号化プロセスでは、現在の画像は、ビデオシーケンス内の画像に対応している、現在の符号化されるべき画像と呼ばれてよい。
画像符号化装置は、参照画像キャッシュを含んでよい。参照画像キャッシュは、現在の符号化されるべき画像に関する予測のための短期間参照画像および長期間参照画像を記憶してよい。
S503. 画像符号化装置は、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像を、現在の画像の参照画像リストに追加し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。知識ベースは、少なくとも2つの画像を含んでよい。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、以下の方法のうちの少なくとも1つに基づいて、現在の画像のK個の参照画像を選択することを含んでよい。
方法1: 現在の画像に最も類似する少なくとも1つの画像が、知識ベースから選択される。平均二乗誤差およびSIFT特徴差等の複数の類似度メトリック（similarity metric）が、類似性の計算において使用されてよい。
方法2: 知識ベース内の画像は、現在の画像の参照画像リストに追加され、現在の画像のレート歪みコスト（RD cost, rate-distortion cost）を取得するために、プリコーディングが実行される。レート歪みコスト計算は、知識ベース内の少なくとも2つの画像に対して実行され、少なくとも2つの画像における最小レート歪みコストに対応する画像が、現在の画像の参照画像として選択される。
方法3: 知識ベースに事前に記憶される画像において、現在の画像の領域におけるものと類似するパターンを含む画像が、現在の画像の参照画像として画像から選択される。
特に、知識ベース内の画像は、画像符号化装置内に事前に記憶される画像を含んでよい。画像は、現在の画像が配置されるビデオシーケンス内の画像に対応していなくてよく、例えば、複数のパターンを含む画像を含んでよく、または、コンピュータによって描画される画像を含んでよく、または、ネットワークからダウンロードされて知識ベースに追加される画像をさらに含んでよく、または、ポータブルな記憶デバイスから知識ベースにコピーされる画像を含んでよい。知識ベースは動的蓄積状態に設定されてよく、その中に含まれる画像は時間の経過と共に量および内容において連続的に更新される。画像は、符号化圧縮が実行されない画像を含んでよく、または、現在の画像が配置されるランダムアクセスセグメントに属さない画像もまた含んでよい。
知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。従って、K個の参照画像における少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さない場合があり、確かに、いくつかの場合では、K個の参照画像の全ては、現在の画像が配置されるランダムアクセスセグメントに属し得る。
異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、符号化順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、符号化順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、符号化順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
現在の画像がランダムアクセスポイントに配置される場合、現在の画像の前の最も近いランダムアクセスポイントは、現在の画像が配置されるランダムアクセスポイントであり、且つ、現在の画像の、別のビデオレイヤにある参照画像がランダムアクセスポイントに配置される場合、参照画像の前の最も近いランダムアクセスポイントは、参照画像が配置されるランダムアクセスポイントであることは留意されるべきである。
加えて、いくつかの符号化構造では、例えば、階層B（Hierarchical B）フレーム構造を使用することによって、現在の画像が配置されるビデオシーケンスを符号化することによって取得されるビデオビットストリームでは、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の2番目に近いランダムアクセスポイントをさらに含んでよい。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像の画像特徴に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、70%、85%、88%または要件を満たす別の値であってよい）。あるいは、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度は、現在の画像の画像特徴と、知識ベース内の別の画像の画像特徴との間の類似度以上であってよい。
任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT）および/または画像の加速堅牢特徴（SURF）を含んでよく、確かに、別の画像特徴を含んでよい。
S504. 画像符号化装置は、参照画像リスト内の参照画像に従って、現在の画像を符号化する。
画像符号化装置が、K個の参照画像に従って、現在の画像を符号化することは、具体的には、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。
さらに、画像符号化方法は、画像符号化装置によって、知識ベース参照情報（すなわち、参照画像索引）を第1のビデオビットストリームに追加することをさらに含んでよい。知識ベース内の、現在の符号化されるべき画像のために参照される画像に関する情報は、知識ベース参照情報内に記録され、知識ベース参照情報は、知識ベース内の画像の画像番号、画像特徴記述子または画像のMD5チェックコードのうちの少なくとも1つであってよい。例えば、画像特徴は、SIFTおよび/またはSURFを含む。知識ベースが複数のタイプの画像を含む場合、知識ベース参照情報は、画像タイプ情報をさらに含んでよい。例えば、知識ベースが、N個の背景画像およびM個のシーン画像（NおよびMは正の整数である）を含むと構成される場合、知識ベース内の画像の索引は、画像タイプおよび画像タイプに対応する画像における画像の番号を使用することによって示されてよい。特に、知識ベースが、複数のタイプの画像を含み、且つ、各タイプが1つの画像のみに対応していると構成される場合、画像タイプは、知識ベース内の画像を示すように直接使用されてよい。
さらに、画像符号化装置は、キー画像を符号化することによって取得される第2のビデオビットストリームをさらに記憶または送信してよい。画像符号化装置は、第1のビデオビットストリームをさらに記憶または送信してよい。
本実施形態の解決手段の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。
本発明の実施形態は、ビデオビットストリームを提供する。ビデオビットストリームは、画像Aを含み、且つ、画像Aの画像特徴もまた含む。例えば、画像特徴は、SIFTおよび/またはSURFを含む。画像Aが復号される場合、知識ベース内の少なくとも1つの画像の画像特徴が計算される。知識ベース内の少なくとも1つの画像の画像特徴と、画像Aの画像特徴との間の差が、特定の閾値よりも小さい場合、知識ベース内の少なくとも1つの画像は、画像Aの参照画像として選択される。
本発明の実施形態は、第1のビデオビットストリームおよび第2のビデオビットストリームのうちの少なくとも1つを含む、ビデオビットストリームを提供する。第1のビデオビットストリームは画像Aを含み、第2のビデオビットストリームは画像Bを含み、第1のビデオビットストリームは、画像Bの画像特徴をさらに含む。例えば、画像特徴は、SIFTおよび/またはSURFを含む。画像Bの画像特徴は、画像Aに関連付けられる。例えば、画像Bの画像番号は、画像Aに対応するビットストリームセグメントにおける、スライスヘッダ情報に記憶されてよい。画像Aが復号されるとき、第2のビデオビットストリームは、最初に復号され、第2のビデオビットストリームの再構成画像は、知識ベース内に記憶される。次いで、画像Bの画像特徴は、第1のビデオビットストリームを解析することによって取得され、画像Bは、画像Bの画像特徴を使用することによって、画像Aの参照画像として、知識ベースから取り出されて、画像Aを復号する。
本発明の実施形態は、第1のビデオビットストリームおよび第2のビデオビットストリームのうちの少なくとも1つを含む、ビデオビットストリームを提供する。第1のビデオビットストリームは画像Aを含み、第2のビデオビットストリームは画像Bを含み、第1のビデオビットストリームは、第2のビデオビットストリーム内の画像Bの画像番号をさらに含む。画像Bの画像番号は、画像Aに関連付けられている。例えば、画像Bの画像番号は、画像Aのスライスヘッダ情報に記憶されてよい。画像Bの画像番号は、第1のビデオビットストリームにおける画像Aの画像番号からは独立している。例えば、画像Bの画像番号は、画像Bの画像番号と、画像Aの画像番号との間の差分値の形式ではなく、画像番号の絶対値の形式で、画像Aと対応するビットストリームセグメントにおけるスライスヘッダ情報に記憶される。画像Aが復号されると、第1のビデオビットストリームは、画像Bの画像番号を取得するために最初に復号されてよく、画像Bに対応するビットストリームセグメントは、次いで、画像Bの画像番号を使用することによって、第2のビデオビットストリームから見つかる。画像Bが復号によって取得された後、画像Bは、画像Aの参照画像として使用され、画像Aの参照画像リストに追加されて、画像Aを復号する。
例えば、第1のビデオビットストリームおよび第2のビデオビットストリームの各々は、画像番号のセットを使用する。すなわち、第2のビデオビットストリーム内の画像の画像番号と、第1のビデオビットストリーム内の画像の画像番号との間に関連性はない。時間的に、第1のビデオビットストリーム内の画像は、より小さい画像番号を有し、且つ、第2のビデオビットストリーム内にある画像よりも必ずしも遅くない。第1のビデオビットストリーム内の画像の画像番号は表示順序を示し、第2のビデオビットストリーム内の画像の画像番号は、表示順序によって制限されなくてよい。第2のビデオビットストリーム内の各画像の画像番号は、第1のビデオビットストリーム内の画像のための参照画像として、画像を使用する回数に従って、画像を番号付けすることによって取得されてよい。例えば、第2のビデオビットストリーム内の画像を参照画像として使用するより大きな回数は、画像のより小さな画像番号となる。第1のビデオビットストリームの復号された画像が表示され、第2のビデオビットストリームの復号された画像は表示されない。
図6を参照すると、本発明の実施形態は、画像復号装置を提供する。画像復号装置は、
現在の画像を取得するように構成される取得ユニット610と、
知識ベースから、現在の画像のK個の参照画像を選択するように構成される参照ユニット620であって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニット620と、
K個の参照画像に従って、現在の画像を復号するように構成される復号ユニット630とを含んでよい。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。
任意で、本発明のいくつかの可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。
任意で、本発明のいくつかの可能な実施では、参照ユニットは、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するようにさらに構成される。
任意で、本発明のいくつかの可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。
任意で、本発明のいくつかの可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
任意で、本発明のいくつかの可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
任意で、本発明のいくつかの可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。
任意で、本発明のいくつかの可能な実施では、復号ユニット630は、具体的には、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するように構成される。
任意で、本発明のいくつかの可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本実施形態における画像復号装置600の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。
本実施形態における画像復号装置600の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。
図7を参照すると、本発明の実施形態で提供される画像復号装置700は、
プロセッサ702およびストレージ703を含んでよい。プロセッサ702は、バス701を使用することによって、ストレージ703に結合および接続される。
プロセッサ702は、ストレージ703内のコードまたは命令を呼び出して、現在の画像を取得し、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像に従って、現在の画像を復号し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。
任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。
任意で、本発明のいくつかの可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。
任意で、本発明のいくつかの可能な実施では、プロセッサ702は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するようにさらに構成される。
任意で、本発明のいくつかの可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。
任意で、本発明のいくつかの可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
任意で、本発明のいくつかの可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
任意で、本発明のいくつかの可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。
任意で、本発明のいくつかの可能な実施では、プロセッサ702は、具体的には、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するように構成される。
任意で、本発明のいくつかの可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本実施形態における画像復号装置700の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。
本実施形態における画像復号装置700の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。
図8を参照すると、本発明の実施形態は、画像符号化装置800を提供する。画像符号化装置800は、取得ユニット810、参照ユニット820および符号化ユニット830を含んでよい。
取得ユニット810は、現在の画像を取得するように構成される。
参照ユニット820は、知識ベースから、現在の画像のK個の参照画像を選択するように構成され、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
符号化ユニット830は、K個の参照画像に従って、現在の画像を符号化するように構成される。
任意で、本発明のいくつかの可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
任意で、本発明のいくつかの可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
任意で、本発明のいくつかの可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。
任意で、本発明のいくつかの可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本実施形態における画像符号化装置800の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。
本実施形態における画像符号化装置800の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。
図9を参照すると、本発明の実施形態で提供される画像符号化装置900は、
プロセッサ902およびストレージ903を含んでよい。プロセッサ902は、バス901を使用することによって、ストレージ903に結合および接続される。プロセッサ902は、ストレージ903内のコードまたは命令を呼び出して、現在の画像を取得し、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像に従って、現在の画像を符号化し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。
任意で、本発明のいくつかの可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。
任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。
任意で、本発明のいくつかの可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。
任意で、本発明のいくつかの可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。
任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。
任意で、本発明のいくつかの可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。
本実施形態における画像符号化装置900の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。
本実施形態における画像符号化装置900の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。
説明を簡潔にするために、前述の方法の実施形態は、一連の動作として表現されていることは留意されるべきである。しかしながら、当業者は、本発明によると、いくつかのステップは他の順序で実行されてよく、または同時に実行されてよいため、本発明が、説明された動作順序に限定されないことを認識すべきである。加えて、当業者は、明細書で説明された全ての実施形態は例示的な実施形態であり、関連動作およびモジュールは、本発明に必ずしも必須ではないこともまた認識すべきである。
前述の実施形態では、各実施形態の説明は、それぞれの焦点を有する。実施形態で詳細に説明されない部分については、他の実施形態における関連する説明に対して参照が行われてよい。
本願で提供されるいくつかの実施形態では、開示される装置は、他の方式で実施されてよいことは理解されるべきである。例えば、説明される装置の実施形態は単に例である。例えば、ユニット分割は、単なる論理機能分割であるとともに、実際の実施において他の分割であってよい。例えば、複数のユニットまたは構成要素は、別のシステムに結合または統合されてよく、または、いくつかの特徴は無視されるか実行されなくてよい。加えて、表示または議論される相互結合または直接結合または通信接続は、いくつかのインタフェースを介して実施されてよい。装置またはユニット間の間接結合または通信接続は、電子的または他の形態で実施されてよい。
別々の部分として説明されるユニットは、物理的に分離していてもしていなくてもよく、ユニットとして表示される部分は、物理ユニットであってもなくてもよく、1つの位置に配置されてよく、または、複数のネットワークユニット上に分配されてよい。ユニットの一部または全ては、実施形態の解決手段の目的を達成するために、実際の要件に従って選択されてよい。
加えて、本発明の実施形態における機能ユニットは、1つの処理ユニットに統合されてよく、または、ユニットの各々は、物理的に孤立して存在してよく、または2つ以上のユニットは、1つのユニットに統合される。統合されたユニットは、ハードウェアの形態で実施されてよく、または、ソフトウェア機能ユニットの形態で実施されてよい。
統合されたユニットが、ソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用される場合、統合されたユニットは、コンピュータ可読記憶媒体に記憶されてよい。このような理解に基づくと、本発明の技術的解決手段は、本質的に、または、従来技術に貢献する部分は、または、技術的解決手段の全てまたは一部は、ソフトウェア製品の形態で実施されてよい。ソフトウェア製品は、記憶媒体に記憶され、且つ、コンピュータデバイス（パーソナルコンピュータ、サーバまたはネットワークデバイスであってよい）に、本発明の実施形態で説明される方法のステップの全てまたは一部を実行するように命令するための、いくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、読出し専用メモリ（ROM, Read-Only Memory）、ランダムアクセスメモリ（RAM, Random Access Memory）、リムーバブルハードディスク、磁気ディスクまたは光ディスク等の、プログラムコードを記憶することができる任意の媒体を含む。
前述の実施形態は単に、本発明の技術的解決手段を説明するように意図されるが、本発明を限定するようには意図されない。本発明は、前述の実施形態を参照して詳細に説明されるが、当業者は、彼らが本発明の実施形態の技術的解決手段の範囲から逸脱することなく、前述の実施形態で説明された技術的解決手段に対してさらに変更を行うことができ、または、そのいくつかの技術的特徴に対して、均等置換をさらに行うことができることを理解すべきである。
610 取得ユニット
620 参照ユニット
630 復号ユニット
702 プロセッサ
703 ストレージ
810 取得ユニット
820 参照ユニット
830 符号化ユニット
902 プロセッサ
903 ストレージ
図1-aは、本発明の実施形態に係る、画像ブロック分割のいくつかの概略図である。 図1-bは、本発明の実施形態に係る、画像ブロック分割のいくつかの概略図である。 図1-cは、本発明の実施形態に係る、画像符号化方法の概略フローチャートである。 図2は、本発明の実施形態に係る、画像復号方法の概略フローチャートである。 図3-aは、本発明の実施形態に係る、画像復号方法の概略フローチャートである。 図3-bは、本発明の実施形態に係る、画像復号システムアーキテクチャの概略図である。 図3-cは、本発明の実施形態に係る、ランダムアクセスセグメントを定義する2つの概略図である。 図3-dは、本発明の実施形態に係る、ランダムアクセスセグメントを定義する2つの概略図である。 図3-eは、本発明の実施形態に係る、2つの他の画像復号システムアーキテクチャの概略図である。 図3-fは、本発明の実施形態に係る、2つの他の画像復号システムアーキテクチャの概略図である。 図4-aは、本発明の実施形態に係る、画像復号方法の概略フローチャートである。 図4-bは、本発明の実施形態に係る、別の画像復号システムアーキテクチャの概略図である。 図5-aは、本発明の実施形態に係る、別の画像符号化方法の概略フローチャートである。 図5-bは、本発明の実施形態に係る、3つの画像符号化システムアーキテクチャの概略図である。 図5-cは、本発明の実施形態に係る、3つの画像符号化システムアーキテクチャの概略図である。 図5-dは、本発明の実施形態に係る、3つの画像符号化システムアーキテクチャの概略図である。 図6は、本発明の実施形態に係る、画像復号装置の概略構成図である。 図7は、本発明の実施形態に係る、別の画像復号装置の概略構成図である。 図8は、本発明の実施形態に係る、画像符号化装置の概略構成図である。 図9は、本発明の実施形態に係る、別の画像符号化装置の概略構成図である。
たいていの符号化フレームワークでは、ビデオシーケンスは、一連の画像（picture）を含む。画像はさらに、スライス（slice）に分割される。sliceはさらに、ブロック（block）に分割される。ビデオ符号化中、符号化処理は、pictureの左上隅の位置から始めて、ブロック単位で、左から右に、上から下へ1行ずつ行われてよい。いくつかの新しいビデオ符号化標準では、“block”の概念がさらに拡張される。H.264標準では、マクロブロック（macroblock、略してMB）がある。MBは、予測符号化のために使用されることができる複数の予測ブロック（partition）にさらに分割されてよい。HEVC標準では、“符号化ユニット”（coding unit、略してCU）、“予測ユニット”（prediction unit、略してPU）および“変換ユニット”（transform unit、略してTU）等の基本概念が使用される。Unitは、機能に関して複数のユニットに分割され、新しいツリーベース構造を使用して、記述が行われる。例えば、CUは、四分木に従ってより小さいCUに分割されてよく、四分木構造を形成するために、より小さいCUはさらに分割されてよい。PUおよびTUのための同様のツリー構造もある。CU、PUおよびTUは本質的には、“block”の概念に全て包含される。CUは、マクロブロックMBと同様であり、符号化されるべき画像を分割および符号化するための基本ユニットである。PUは、予測符号化のための基本ユニットである。CUは、分割モードに従って、複数のPUにさらに分割される。TUは、予測残差を変換するための基本ユニットである。高効率ビデオ符号化（high efficiency video coding、略してHEVC）標準では、CUは、符号化ツリーユニット（coding tree unit、略してCTU）等と総称的に呼ばれてよい。
ビデオ符号化技術の進化プロセスにおいて、ビデオ符号化の専門家は、隣接する符号化/復号されるべきブロック間の時間相関および空間相関を使用することによって、符号化効率を可能な限り改善する複数の方法を発明している。H.264/アドバンスドビデオ符号化（advanced video coding、略してAVC）標準では、スキップモード（skip mode）およびダイレクトモード（direct mode）は、符号化効率を改善する有効な手段となる。低ビットレートの場合、2つの符号化モードが使用されるブロックは、符号化シーケンス全体の半分よりも多くを占めることがある。スキップモードが使用されるとき、1つのスキップモードマークのみがビットストリームにおいて転送される必要があり、その結果、現在の画像ブロックの動きベクトルは、隣接する動きベクトルを使用することによって推測されることができ、参照ブロックの値は、動きベクトルに従って、現在の画像ブロックの再構成値として直接コピーされる。加えて、ダイレクトモードが使用されるとき、符号器は、隣接する動きベクトルを使用することによって、現在の画像ブロックの動きベクトルを推測してよく、参照ブロックの値を、動きベクトルに従って、現在の画像ブロックの推測値として直接コピーする。符号器側は、推測値を使用することによって、現在の画像ブロックのために符号化予測を実行する。現在、最新の高効率ビデオ符号化（high efficiency video coding、略してHEVC）標準では、ビデオ符号化効率は、いくつかの新しい符号化手法を導入することによってさらに改善される。マージ（merge）符号化モードおよび高度な動きベクトル予測（advanced motion vector prediction、略してAMVP）モードは、2つの重要なインター予測手法である。マージ（merge）符号化中、現在の符号化されるべきブロックの隣接する符号化ブロックの動き情報（動きベクトル（motion vector、略してMV））、予測方向、参照フレーム索引等を含んでよい）は、候補動き情報セットを形成するために使用される。比較すると、最高符号化効率をもたらす候補動き情報は、現在の符号化されるべきブロックの動き情報として選択されてよい。現在の符号化されるべきブロックの予測値は、参照フレームから見つかり、現在の符号化されるべきブロックに対して、予測符号化が実行される。加えて、隣接する符号化ブロックの選択されるべき動き情報を示す索引値は、ビットストリームに書き込まれてよい。高度な動きベクトル予測モードが使用される場合、隣接する符号化ブロックの動きベクトルは、現在の符号化されるべきブロックの動きベクトルの予測値として使用され、最高符号化効率をもたらす動きベクトルは、現在の符号化されるべきブロックの動きベクトルを予測するために選択されてよく、選択されるべき隣接する動きベクトルを示す索引値は、ビデオビットストリームに書き込まれてよい。
K個の参照画像に従って、現在の画像を符号化することは、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の元のピクセル値および予測ピクセル値に従って、現在の画像の予測残差を取得することと、現在の画像の予測残差を第1のビデオビットストリームに書き込むこととを含んでよい。
本発明の画像復号方法の実施形態では、画像復号方法は、現在の画像を取得するステップと、知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、K個の参照画像に従って、現在の画像を復号するステップとを含んでよい。
まず、第2のビデオビットストリームに基づいて、画像復号装置は、現在の画像のための少なくとも1つの指定された再構成画像を取得する。より具体的には、第1のビデオビットストリームの復号された再構成画像を記憶する記憶装置は、第1の記憶装置と呼ばれ、且つ、第2のビデオビットストリームの復号された再構成画像を記憶する記憶装置は、第2の記憶装置と呼ばれる。第1のビデオビットストリーム内の現在の画像に対応する参照画像索引によると、第2の記憶装置は、参照画像索引と一致する再構成画像、すなわち、指定された再構成画像について検索される。指定された再構成画像が第2の記憶装置から見つからない場合、第2のビデオビットストリームが解析され、参照画像索引に対応するターゲット画像ビットストリームが、第2のビデオビットストリームから見つかり、ターゲット画像ビットストリームは復号されて、指定された再構成画像を取得し、指定された再構成画像は、第2の記憶装置に格納される。参照画像索引は、1つ以上の番号を含んでよい。各番号は、第2のビデオビットストリームの復号された画像のうちの1つに対応している。指定された再構成画像の数は、参照画像索引に含まれる番号の数と同じである。特に、第2の記憶装置が、指定された再構成画像が第2の記憶装置に追加されるときにいっぱいである場合、第2の記憶装置における対応する数の画像は、指定された再構成画像によって置き換えられる。参照画像索引は、第1のビデオビットストリームに記憶されてよく、例えば、現在の画像のスライスヘッダ（slice header）に記憶されてよく、または、シーケンスパラメータセット（SPS, sequence parameter set）等の構文構造ユニットに記憶されてよい。加えて、参照画像索引は、第1のビデオビットストリーム以外の他の記憶空間に記憶されてよい。例えば、複数の参照画像索引はデータ構造を形成し、且つ、データ構造は符号化されて、次いで、第2のビデオビットストリームに記憶される。第2のビデオビットストリーム内の画像は、イントラ復号方式で復号されてよく、または、インター予測に基づくインター復号方式で復号されてよい。
さらに、画像符号化方法は、画像符号化装置によって、知識ベース参照情報（すなわち、参照画像索引）を第1のビデオビットストリームに追加することをさらに含んでよい。知識ベース内の、現在の符号化されるべき画像のために参照される画像に関する情報は、知識ベース参照情報内に記録され、知識ベース参照情報は、知識ベース内の画像の画像番号、画像特徴記述子または画像のMD5チェックコードのうちの少なくとも1つであってよい。例えば、画像特徴は、SIFTおよび/またはSURFを含む。知識ベースが複数のタイプの画像を含む場合、知識ベース参照情報は、画像タイプ情報をさらに含んでよい。例えば、知識ベースが、N個の背景画像およびM個のシーンカット画像（NおよびMは正の整数である）を含むと構成される場合、知識ベース内の画像の索引は、画像タイプおよび画像タイプに対応する画像における画像の番号を使用することによって示されてよい。特に、知識ベースが、複数のタイプの画像を含み、且つ、各タイプが1つの画像のみに対応していると構成される場合、画像タイプは、知識ベース内の画像を示すように直接使用されてよい。

Claims (57)

  1. 画像復号方法であって、
    現在の画像を取得するステップと、
    知識ベースから、前記現在の画像のK個の参照画像を選択するステップであって、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、
    前記K個の参照画像に従って、前記現在の画像を復号するステップとを含む方法。
  2. 前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される、請求項1に記載の方法。
  3. 知識ベースから、前記現在の画像のK個の参照画像を選択する前記ステップは、前記知識ベースから、前記現在の画像が属する第1のビデオビットストリームを復号することによって取得される、前記現在の画像の参照画像索引に基づいて、前記現在の画像の前記K個の参照画像を選択するステップを含む、請求項1または2に記載の方法。
  4. 前記参照画像索引と一致する参照画像は、前記現在の画像が配置される前記ランダムアクセスセグメントの前の再構成画像である、請求項3に記載の方法。
  5. 前記方法は、前記参照画像索引と一致する参照画像が、前記第2のビデオビットストリームから見つからない場合、サーバから、前記参照画像索引と一致する参照画像を含む前記第2のビデオビットストリームの増分ビットストリームを要求し、前記第2のビデオビットストリームの前記増分ビットストリームを復号して、前記参照画像索引と一致する前記参照画像を取得し、前記参照画像索引と一致する前記取得された参照画像を、前記現在の画像の参照画像として使用するステップをさらに含む、請求項3または4に記載の方法。
  6. 前記現在の画像の前記参照画像索引は、参照画像の番号、参照画像の画像特徴および/または前記現在の画像の画像特徴を示す、請求項3、4または5に記載の方法。
  7. 前記参照画像索引が、前記現在の画像の前記画像特徴を示す場合、前記K個の参照画像の画像特徴は、前記現在の画像の前記画像特徴と一致する、請求項6に記載の方法。
  8. 前記画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む、請求項6または7に記載の方法。
  9. 前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項1乃至8のいずれか1項に記載の方法。
  10. 前記シーンカット画像は、前記現在の画像が属する前記第2のビデオビットストリームまたは前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第2のビデオビットストリームまたは前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項9に記載の方法。
  11. 前記K個の参照画像に従って、前記現在の画像を復号する前記ステップは、前記K個の参照画像を、前記現在の画像の参照画像リストに追加し、前記参照画像リスト内の参照画像に従って、前記現在の画像を復号するステップを含む、請求項1乃至10のいずれか1項に記載の方法。
  12. 前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
    前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項1乃至11のいずれか1項に記載の方法。
  13. 画像符号化方法であって、
    現在の画像を取得するステップと、
    知識ベースから、前記現在の画像のK個の参照画像を選択するステップであって、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、
    前記K個の参照画像に従って、前記現在の画像を符号化するステップとを含む方法。
  14. 前記K個の参照画像の画像特徴は、前記現在の画像の画像特徴と一致する、請求項13に記載の方法。
  15. 前記画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む、請求項14に記載の方法。
  16. 前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項13乃至15のいずれか1項に記載の方法。
  17. 前記シーンカット画像は、前記現在の画像が属する前記ビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、前記背景画像は、前記現在の画像が属する前記ビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項16に記載の方法。
  18. 前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、前記知識ベース内の少なくとも1つの画像は、前記現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される、請求項13乃至17のいずれか1項に記載の方法。
  19. 前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
    前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項13乃至18のいずれか1項に記載の方法。
  20. 画像復号装置であって、
    現在の画像を取得するように構成される取得ユニットと、
    知識ベースから、前記現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニットと、
    前記K個の参照画像に従って、前記現在の画像を復号するように構成される復号ユニットとを含む装置。
  21. 前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される、請求項20に記載の装置。
  22. 前記参照ユニットは、具体的には、前記知識ベースから、前記現在の画像が属する第1のビデオビットストリームを復号することによって取得される、前記現在の画像の参照画像索引に基づいて、前記現在の画像の前記K個の参照画像を選択するように構成される、請求項20または21に記載の装置。
  23. 前記参照画像索引と一致する参照画像は、前記現在の画像が配置される前記ランダムアクセスセグメントの前の再構成画像である、請求項22に記載の装置。
  24. 前記参照ユニットは、前記参照画像索引と一致する参照画像が、前記第2のビデオビットストリームから見つからない場合、サーバから、前記参照画像索引と一致する参照画像を含む前記第2のビデオビットストリームの増分ビットストリームを要求し、前記第2のビデオビットストリームの前記増分ビットストリームを復号して、前記参照画像索引と一致する前記参照画像を取得し、前記参照画像索引と一致する前記取得された参照画像を、前記現在の画像の参照画像として使用するようにさらに構成される、請求項22または23に記載の装置。
  25. 前記現在の画像の前記参照画像索引は、参照画像の番号、参照画像の画像特徴および/または前記現在の画像の画像特徴を示す、請求項22、23または24に記載の装置。
  26. 前記参照画像索引が、前記現在の画像の前記画像特徴を示す場合、前記K個の参照画像の画像特徴は、前記現在の画像の前記画像特徴と一致する、請求項25に記載の装置。
  27. 前記画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む、請求項25または26に記載の装置。
  28. 前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項20乃至27のいずれか1項に記載の装置。
  29. 前記シーンカット画像は、前記現在の画像が属する前記第2のビデオビットストリームまたは前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第2のビデオビットストリームまたは前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項28に記載の装置。
  30. 前記復号ユニットは、具体的には、前記K個の参照画像を、前記現在の画像の参照画像リストに追加し、前記参照画像リスト内の参照画像に従って、前記現在の画像を復号するように構成される、請求項20乃至29のいずれか1項に記載の装置。
  31. 前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
    前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項20乃至30のいずれか1項に記載の装置。
  32. 画像符号化装置であって、
    現在の画像を取得するように構成される取得ユニットと、
    知識ベースから、前記現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニットと、
    前記K個の参照画像に従って、前記現在の画像を符号化するように構成される符号化ユニットとを含む装置。
  33. 前記K個の参照画像の画像特徴は、前記現在の画像の画像特徴と一致する、請求項32に記載の装置。
  34. 前記画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む、請求項33に記載の装置。
  35. 前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項32乃至34のいずれか1項に記載の装置。
  36. 前記シーンカット画像は、前記現在の画像が属する前記ビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、前記背景画像は、前記現在の画像が属する前記ビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項35に記載の装置。
  37. 前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、前記知識ベース内の少なくとも1つの画像は、前記現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される、請求項32乃至36のいずれか1項に記載の装置。
  38. 前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
    前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項32乃至37のいずれか1項に記載の装置。
  39. ストレージおよび前記ストレージに結合されるプロセッサを含む画像復号装置であって、
    前記プロセッサは、現在の画像を取得し、知識ベースから、前記現在の画像のK個の参照画像を選択し、前記K個の参照画像に従って、前記現在の画像を復号するように構成され、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、装置。
  40. 前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される、請求項39に記載の装置。
  41. 前記参照ユニットは、具体的には、前記知識ベースから、前記現在の画像が属する第1のビデオビットストリームを復号することによって取得される、前記現在の画像の参照画像索引に基づいて、前記現在の画像の前記K個の参照画像を選択するように構成される、請求項39または40に記載の装置。
  42. 前記参照画像索引と一致する参照画像は、前記現在の画像が配置される前記ランダムアクセスセグメントの前の再構成画像である、請求項41に記載の装置。
  43. 前記参照ユニットは、前記参照画像索引と一致する参照画像が、前記第2のビデオビットストリームから見つからない場合、サーバから、前記参照画像索引と一致する参照画像を含む前記第2のビデオビットストリームの増分ビットストリームを要求し、前記第2のビデオビットストリームの前記増分ビットストリームを復号して、前記参照画像索引と一致する前記参照画像を取得し、前記参照画像索引と一致する前記取得された参照画像を、前記現在の画像の参照画像として使用するようにさらに構成される、請求項41または42に記載の装置。
  44. 前記現在の画像の前記参照画像索引は、参照画像の番号、参照画像の画像特徴および/または前記現在の画像の画像特徴を示す、請求項41、42または43に記載の装置。
  45. 前記参照画像索引が、前記現在の画像の前記画像特徴を示す場合、前記K個の参照画像の画像特徴は、前記現在の画像の前記画像特徴と一致する、請求項44に記載の装置。
  46. 前記画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む、請求項44または45に記載の装置。
  47. 前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項39乃至46のいずれか1項に記載の装置。
  48. 前記シーンカット画像は、前記現在の画像が属する前記第2のビデオビットストリームまたは前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第2のビデオビットストリームまたは前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項47に記載の装置。
  49. 前記復号ユニットは、具体的には、前記K個の参照画像を、前記現在の画像の参照画像リストに追加し、前記参照画像リスト内の参照画像に従って、前記現在の画像を復号するように構成される、請求項39乃至48のいずれか1項に記載の装置。
  50. 前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
    前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項39乃至49のいずれか1項に記載の装置。
  51. ストレージおよび前記ストレージに結合されるプロセッサを含む画像符号化装置であって、
    前記プロセッサは、現在の画像を取得し、知識ベースから、前記現在の画像のK個の参照画像を選択し、前記K個の参照画像に従って、前記現在の画像を符号化するように構成され、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、装置。
  52. 前記K個の参照画像の画像特徴は、前記現在の画像の画像特徴と一致する、請求項51に記載の装置。
  53. 前記画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む、請求項52に記載の装置。
  54. 前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項51乃至53のいずれか1項に記載の装置。
  55. 前記シーンカット画像は、前記現在の画像が属する前記ビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、前記背景画像は、前記現在の画像が属する前記ビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項54に記載の装置。
  56. 前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、前記知識ベース内の少なくとも1つの画像は、前記現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される、請求項51乃至55のいずれか1項に記載の装置。
  57. 前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
    前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項51乃至56のいずれか1項に記載の装置。
JP2017551284A 2015-03-31 2016-03-25 画像符号化／復号方法および関連装置 Active JP6549246B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510150090.7 2015-03-31
CN201510150090.7A CN104768011B (zh) 2015-03-31 2015-03-31 图像编解码方法和相关装置
PCT/CN2016/077396 WO2016155576A1 (zh) 2015-03-31 2016-03-25 图像编解码方法和相关装置

Publications (2)

Publication Number Publication Date
JP2018513627A true JP2018513627A (ja) 2018-05-24
JP6549246B2 JP6549246B2 (ja) 2019-07-24

Family

ID=53649570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017551284A Active JP6549246B2 (ja) 2015-03-31 2016-03-25 画像符号化／復号方法および関連装置

Country Status (6)

Country Link
US (4) US10917638B2 (ja)
EP (2) EP3264767B1 (ja)
JP (1) JP6549246B2 (ja)
KR (1) KR102114715B1 (ja)
CN (1) CN104768011B (ja)
WO (1) WO2016155576A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768011B (zh) 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
EP3371974B1 (en) 2015-11-06 2024-05-01 Microsoft Technology Licensing, LLC Flexible reference picture management for video encoding
CN107634928B (zh) * 2016-07-18 2020-10-23 华为技术有限公司 一种码流数据的处理方法及装置
CN107635142B (zh) * 2016-07-18 2020-06-26 浙江大学 一种视频数据的处理方法及装置
CN107634930B (zh) * 2016-07-18 2020-04-03 华为技术有限公司 一种媒体数据的获取方法和装置
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
CN108243339B (zh) 2016-12-27 2021-02-26 浙江大学 图像编解码方法及装置
US10922551B2 (en) * 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
CN108184113B (zh) * 2017-12-05 2021-12-03 上海大学 一种基于图像间参考的图像压缩编码方法和系统
WO2019201239A1 (en) * 2018-04-17 2019-10-24 Mediatek Inc. Method and apparatus of neural network for video coding
CN110876083B (zh) * 2018-08-29 2021-09-21 浙江大学 指定参考图像的方法及装置及处理参考图像请求的方法及装置
CN111405291B (zh) * 2019-01-02 2021-10-19 浙江大学 视频编解码方法与装置
CN111416977B (zh) * 2019-01-07 2024-02-09 浙江大学 视频编码器、视频解码器及相应方法
CN111416981B (zh) * 2019-01-07 2023-06-02 浙江大学 视频图像解码、编码方法及装置
CN111416976B (zh) * 2019-01-08 2023-12-08 浙江大学 视频解码方法、视频编码方法、装置、设备及存储介质
WO2020156054A1 (zh) * 2019-02-03 2020-08-06 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
CN111526368B (zh) * 2019-02-03 2021-09-03 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
US20220360771A1 (en) * 2019-09-23 2022-11-10 Interdigital Vc Holdings France, Sas Prediction for video encoding and decoding using external reference
CN113301341A (zh) * 2021-05-27 2021-08-24 上海国茂数字技术有限公司 基于知识图像的视频编码方法、装置及可读存储介质
US11956441B2 (en) * 2021-12-23 2024-04-09 Ati Technologies Ulc Identifying long term reference frame using scene detection and perceptual hashing
WO2023143331A1 (zh) * 2022-01-25 2023-08-03 阿里巴巴（中国）有限公司 一种面部视频编码方法、解码方法及装置
CN115052160B (zh) * 2022-04-22 2023-07-07 江西中烟工业有限责任公司 基于云数据自动下载的图像编码方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004434A (ja) * 2008-06-23 2010-01-07 Sharp Corp 動画像記録装置、動画像再生装置、動画像削除装置、動画像記録方法、動画像再生方法、動画像削除方法及びそれら方法を実行可能なプログラム
WO2010106670A1 (ja) * 2009-03-19 2010-09-23 富士通株式会社 画像符号化装置、画像符号化制御方法および画像符号化プログラム
JP2012085216A (ja) * 2010-10-14 2012-04-26 Sony Computer Entertainment Inc 動画再生装置、情報処理装置および動画再生方法
JP2013168941A (ja) * 2012-02-16 2013-08-29 Robert Bosch Gmbh 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
CN101389034B (zh) * 2007-09-14 2010-06-09 华为技术有限公司 一种图像编/解码方法、装置及一种图像处理方法、系统
CN101534112A (zh) 2008-03-14 2009-09-16 富士迈半导体精密工业（上海）有限公司 开关装置
CN101534442B (zh) 2009-04-13 2011-01-12 腾讯科技（深圳）有限公司 视频编码系统及方法
CN101729898B (zh) 2009-11-16 2011-06-15 中国人民解放军国防科学技术大学 视频编码、解码方法与视频编码、解码装置
US10051264B2 (en) * 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
US20140003799A1 (en) * 2012-06-30 2014-01-02 Divx, Llc Systems and methods for decoding a video sequence encoded using predictions that include references to frames in reference segments from different video sequences
KR102259794B1 (ko) 2012-09-13 2021-06-02 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US20140086557A1 (en) * 2012-09-25 2014-03-27 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9723321B2 (en) 2012-10-08 2017-08-01 Samsung Electronics Co., Ltd. Method and apparatus for coding video stream according to inter-layer prediction of multi-view video, and method and apparatus for decoding video stream according to inter-layer prediction of multi view video
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
WO2015056158A1 (en) * 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
US9807407B2 (en) * 2013-12-02 2017-10-31 Qualcomm Incorporated Reference picture selection
KR102551609B1 (ko) * 2014-11-27 2023-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004434A (ja) * 2008-06-23 2010-01-07 Sharp Corp 動画像記録装置、動画像再生装置、動画像削除装置、動画像記録方法、動画像再生方法、動画像削除方法及びそれら方法を実行可能なプログラム
WO2010106670A1 (ja) * 2009-03-19 2010-09-23 富士通株式会社 画像符号化装置、画像符号化制御方法および画像符号化プログラム
JP2012085216A (ja) * 2010-10-14 2012-04-26 Sony Computer Entertainment Inc 動画再生装置、情報処理装置および動画再生方法
JP2013168941A (ja) * 2012-02-16 2013-08-29 Robert Bosch Gmbh 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
"ISO/IEC FDIS 14496-15:2013(E)", JPN6019018986, 22 January 2014 (2014-01-22), pages 71 - 8, ISSN: 0004040566 *
SIWEI MA, ET AL.: ""OVERVIEW OF IEEE 1857 VIDEO CODING STANDARD"", PROCEEDINGS OF 2013 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2013), JPN6018031963, 18 September 2013 (2013-09-18), pages 1500 - 1504, XP032965920, ISSN: 0003859634, DOI: 10.1109/ICIP.2013.6738308 *
SM SHEN, ET AL., "RESTRICTED MULTIPLE REFERENCE FRAMES WITH LONG TERM FRAME BUFFER", vol. Document: VCEG-O49, JPN6018031959, 30 November 2001 (2001-11-30), pages 1 - 7, ISSN: 0003859630 *
TOBY WALKER, ET AL., "FILE FORMAT FOR JVT VIDEO BASED ON MP4", vol. Document: JVT-C143, JPN6018031960, 17 January 2005 (2005-01-17), pages 1 - 5, ISSN: 0003949174 *
VASCONCELOS, N., ET AL.: ""Library-based coding: a representation for efficient video compression and retrieval"", PROCEEDINGS OF IEEE DATA COMPRESSION CONFERENCE 1997 (DCC'97), JPN6018031964, 27 March 1997 (1997-03-27), pages 1 - 10, ISSN: 0003859635 *
WENQING DAI, "EFFICIENT H.264 VIDEO CODING WITH A WORKING MEMORY OF OBJECTS", JPN6018031957, 22 December 2009 (2009-12-22), pages 1 - 63, ISSN: 0003859628 *
XIANGUO ZHANG, ET AL.: ""Background-Modeling-Based Adaptive Prediction for Surveillance Video Coding"", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 23, no. 2, JPN6018031965, 11 December 2013 (2013-12-11), pages 769 - 784, XP011536818, ISSN: 0003859636, DOI: 10.1109/TIP.2013.2294549 *
大久保 晴代（外２名）: "「ビデオＣＤオーサリングシステム」", NATIONAL TECHNICAL REPORT, vol. 42, no. 5, JPN6018051815, 18 October 1996 (1996-10-18), JP, pages 83 - 89, ISSN: 0003949179 *
大久保 榮 監修, 「インプレス標準教科書シリーズ 改訂三版H.264/AVC教科書」, vol. 第１版, JPN6018051813, 1 January 2009 (2009-01-01), JP, pages 169 - 180, ISSN: 0003949177 *
大久保榮監修, 「インプレス標準教科書シリーズ H.265/HEVC教科書」, vol. 初版, JPN6018031961, 21 October 2013 (2013-10-21), JP, pages 130 - 135, ISSN: 0003859632 *
大久保榮監修, 「インプレス標準教科書シリーズ 改訂三版H.264/AVC教科書」, vol. 第１版, JPN6018031962, 1 January 2009 (2009-01-01), JP, pages 311 - 323, ISSN: 0003949175 *
大久保榮監修, 「インプレス標準教科書シリーズ 改訂三版H.264/AVC教科書」, vol. 第１版, JPN6019018987, 1 January 2009 (2009-01-01), JP, pages 169 - 180, ISSN: 0004040572 *
小野定康（外２名）, 「ユビキタス技術 動画像の高能率符号化−MPEG-4とH.264−」, vol. 第１版, JPN6018031966, 20 April 2005 (2005-04-20), JP, pages 113 - 114, ISSN: 0003859637 *
戸内 順一, 「新 図解人工知能入門」, vol. 初版, JPN6018051811, 20 February 2010 (2010-02-20), JP, pages 14 - 15, ISSN: 0003949176 *
社団法人映像情報メディア学会編, 「総合マルチメディア選書 ＭＰＥＧ」, vol. 第１版, JPN6018031958, 20 April 1996 (1996-04-20), JP, pages 75 - 79, ISSN: 0003949173 *

Also Published As

Publication number Publication date
EP3866469A1 (en) 2021-08-18
US10917638B2 (en) 2021-02-09
KR20170122800A (ko) 2017-11-06
US20240129455A1 (en) 2024-04-18
EP3264767A4 (en) 2018-02-21
EP3264767A1 (en) 2018-01-03
US20180014012A1 (en) 2018-01-11
US11889058B2 (en) 2024-01-30
US11303888B2 (en) 2022-04-12
JP6549246B2 (ja) 2019-07-24
WO2016155576A1 (zh) 2016-10-06
US20220191476A1 (en) 2022-06-16
US20210168356A1 (en) 2021-06-03
CN104768011B (zh) 2018-03-06
CN104768011A (zh) 2015-07-08
EP3264767B1 (en) 2021-01-20
KR102114715B1 (ko) 2020-06-05

Similar Documents

Publication Publication Date Title
JP6549246B2 (ja) 画像符号化／復号方法および関連装置
US20200244986A1 (en) Picture prediction method and related apparatus
KR102010510B1 (ko) 비디오 이미지 인코딩 방법, 비디오 이미지 디코딩 방법, 인코딩 장치, 및 디코딩 장치
CN112585966A (zh) 以基于历史的运动向量为基础的帧间预测方法及其装置
JP7101818B2 (ja) マージモードでのビデオ符号化／復号のための方法および装置
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
WO2015192780A1 (en) Method and apparatus of candidate generation for single sample mode in video coding
TW201713116A (zh) 在區塊內複製模式中之參考圖像清單結構
KR20220057639A (ko) 픽처 예측 방법 및 픽처 예측 장치
GB2492778A (en) Motion compensated image coding by combining motion information predictors
CN109076234A (zh) 图像预测方法和相关设备
BR122021009778A2 (pt) Método e aparelho de decodificação de imagens com base em predição de movimento afim usando lista de candidatos a mvp afim no sistema de codificação de imagens
JP2021517798A (ja) インター予測モードに基づいた映像処理方法及びそのための装置
CN110708557A (zh) 解码器中的视频解码方法和设备、计算机设备
CN112385213A (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
CN104956676A (zh) 层间语法预测控制
CN111903123B (zh) 基于帧间预测模式的图像处理方法和用于该方法的装置
TW201338553A (zh) 用於評估要轉換成被跳過巨集區塊的巨集區塊候選者的方法、系統和電腦程式產品
EP3840382A1 (en) Inter-frame prediction method and device, and video encoder and video decoder
CN117859329A (zh) 用于基于块的视频编解码的符号预测
CN115955572A (zh) 编码方法、解码方法、电子设备和计算机可读存储介质
JP2012142845A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190626

R150 Certificate of patent or registration of utility model

Ref document number: 6549246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250