JP2018164293A - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Download PDF

Info

Publication number
JP2018164293A
JP2018164293A JP2018116564A JP2018116564A JP2018164293A JP 2018164293 A JP2018164293 A JP 2018164293A JP 2018116564 A JP2018116564 A JP 2018116564A JP 2018116564 A JP2018116564 A JP 2018116564A JP 2018164293 A JP2018164293 A JP 2018164293A
Authority
JP
Japan
Prior art keywords
displayable area
picture
video
decoding
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018116564A
Other languages
English (en)
Other versions
JP6648783B2 (ja
Inventor
啓史 青木
Hirofumi Aoki
啓史 青木
慶一 蝶野
Keiichi Chono
慶一 蝶野
塚田　正人
Masato Tsukada
正人 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2018164293A publication Critical patent/JP2018164293A/ja
Application granted granted Critical
Publication of JP6648783B2 publication Critical patent/JP6648783B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】漸次リフレッシュ方式において、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、復号装置における演算量を増加させることなく通知することが可能な映像符号化装置を提供する。
【解決手段】映像符号化器１０１は、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する。リフレッシュ制御器１０２は、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行う。表示可能領域符号化器１０３は、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する。多重化器１０４は、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する。
【選択図】図１

Description

本発明は、映像符号化技術、特に画面内符号化と画面間予測符号化とを適応的に切り替えて圧縮を行う適応予測符号化を用いた映像符号化技術に関する。
映像は膨大な情報量をもつため、それをデジタルデータとして記録・伝送するためには、効率よく圧縮符号化することが不可欠である。効率のよい圧縮を実現するため、映像圧縮符号化には様々な要素技術が用いられる。
映像圧縮符号化に用いられる要素技術に、予測符号化技術がある。予測符号化技術とは、映像を構成する各画素を順次符号化するにあたって、時空間近傍にある他の一つまたは複数の画素を用いて、現符号化対象画素の予測値を生成し、原信号を直接符号化する代わりに原信号と予測信号との差分信号を符号化する技術である。一般に映像を構成する各画素は時空間近傍画素との間に高い相関性を持つので、予測符号化技術を用いることにより、効率のよい圧縮が可能となる。
予測符号化技術のうち、同一のピクチャに含まれる画素群を参照して予測を行うものを画面内予測符号化と呼び、他のピクチャ（参照ピクチャと呼ぶ。）に含まれる画素群を参照して予測を行うものを画面間予測符号化と呼ぶ。一般に、映像には何らかの動きが含まれているので、画面間予測符号化技術は、通常、空間方向の変位情報を併せて用いることにより予測効率を高める、動き補償予測技術と併せて用いられる。なお、「ピクチャ」とは、画面の処理単位を表し、インターレース方式の映像をフィールド単位で符号化する場合にはフィールドに相当し、非インターレース方式（プログレッシブ方式）の映像を符号化する場合、および、インターレース方式の映像をフレーム単位で符号化する場合にはフレームに相当する。
一般に、映像は、空間方向よりも時間方向に特に高い相関性を持つ。そのため、予測符号化技術のうち、画面間予測符号化技術によって、特に効率のよい圧縮が可能となる。一方で、前景と背景の位置関係の移動、又は編集による映像切り替えなどの要因により、画面の全体又は一部において、時間的相関性が著しく低下する場合がある。このため、非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding (AVC)をはじめとする一般的な映像符号化方式は、ピクチャを小分割した部分画像を単位として、画面間予測符号化と画面内予測符号化とを、あるいは画面間予測符号化と画面内予測符号化と予測を用いない画面内符号化とを、適応的に切り替えて符号化する、適応予測符号化方式を採用している。上記切り替えの単位としては、映像符号化方式によって異なるが、典型的には、垂直方向16画素、水平方向16画素からなる矩形領域（マクロブロックと呼ぶ。）が用いられる。また、以下、画面内符号化を、イントラ符号化と呼ぶことがある。
上記の適応予測符号化方式を用いた場合、ピクチャごとの相関性の違いによって、予測効率に差異が生じ、ひいては圧縮効率に差異が生じる。その結果、ピクチャごとに所要符号量が変動する状況が発生する。加えて、その変動は、圧縮符号化により得られたデータ群（ビットストリームと呼ぶ。）を伝送する伝送路の伝送帯域とは無関係に発生する。したがって、一般的な映像符号化装置および復号装置は、符号量の変動を吸収し所定の伝送帯域での伝送を保証するために、ビットストリームを蓄積するためのバッファメモリを設けている。バッファメモリは、AVC 方式においては符号化画像バッファ（CPB: Coded Picture Buffer ）と呼ばれる。バッファメモリの容量は、符号化装置および復号装置が適用されるシステムの特性に応じて大きく異なるが、典型的には、たとえば伝送ビットレートに対して０．５秒分に相当する容量が設定される。
ところで、映像の記録・伝送にあたっては、テレビ放送におけるチャンネル切り替えや蓄積型コンテンツにおける特殊再生を始めとする様々なケースで、ビットストリームの途中からの復号開始（ランダムアクセス）が要求される。画面間予測符号化を用いて生成されたビットストリームに対して途中から復号を開始すると、未復号の参照ピクチャからの画面間予測処理により、正常に映像を復号することができない。したがって、上記適応予測符号化方式を採用した一般的な映像符号化装置は、ビットストリームの途中から復号を開始した場合でも所定の周期内で正常な復号画像を得られるように、画面内符号化を適宜挿入する符号化制御（リフレッシュと呼ぶ。）を行っている。
該リフレッシュ方式の一つに、ピクチャ全体を画面内符号化に制限したピクチャ（イントラ符号化ピクチャと呼ぶ。）を挿入する、瞬時リフレッシュ方式がある。図１４に、瞬時リフレッシュ方式の動作の一例を示す。図内破線枠で示した領域は、リフレッシュ制御の単位となるピクチャ群であり、これをリフレッシュピクチャグループ（RGOP: Refreshing Group Of Pictures）と呼ぶ。図１４に示す動作例においては、映像符号化装置は、４枚のピクチャごとにイントラ符号化ピクチャを挿入し、その後続の３枚のピクチャは、直前のイントラ符号化ピクチャよりも過去に符号化されたピクチャを参照ピクチャとしない、つまり、リフレッシュピクチャグループ内に閉じて画面間予測を行うように制御を行う。これによって、復号装置は、ビットストリームの途中から復号を開始する場合においても、各リフレッシュピクチャグループ先頭のイントラピクチャから復号処理を開始することによって、正しい復号画像を得ることができる。前記非特許文献１に記載のAVC 方式では、後続のピクチャに対して過去に符号化されたピクチャを参照させないよう制約を加えるイントラ符号化ピクチャをInstant Decoding Refresh (IDR)ピクチャと呼び、IDR ピクチャに対して、ビットストリーム内で特別なピクチャ識別子を付与している。AVC 方式にしたがう映像符号化装置は、リフレッシュピクチャグループ先頭のピクチャをIDR ピクチャとして符号化することにより、リフレッシュのための復号開始タイミングを映像復号装置に正しく通知できる。
しかし、瞬時リフレッシュ方式には、伝送遅延が増大するという問題がある。上記のように、一般に映像が持つ時間方向の相関性は高い。そのため、画面間予測が使えないイントラ符号化ピクチャは、他のピクチャに比べて、一定の画像品質を維持するために多くの符号量を必要とする。ピクチャ間の発生符号量の差異は、大きければ大きいほど、映像符号化装置および映像復号装置が具備すべき上記バッファメモリの所要量を増大させる。バッファメモリの容量増大は、符号化装置と復号装置との間での伝送遅延の増大につながる。したがって、映像を用いた機器の遠隔操作などの高度なリアルタイム性を必要とする用途においては、瞬時リフレッシュ方式は不適切である。
一方で、伝送遅延低減要求に応えるリフレッシュ方式として、画面を小分割した部分領域（以下、セグメントと呼ぶ。）単位で段階的にリフレッシュを行い、複数のピクチャをまたいでリフレッシュを完了させる方式（漸次リフレッシュ方式と呼ぶ。）がある。典型的な漸次リフレッシュ方式の一つに、例えば特許文献１などに開示されている、イントラスライスリフレッシュ方式がある。スライスとは、ピクチャ内の符号化単位ブロックの集合であり、ピクチャ内で他の符号化単位ブロックとは独立したセグメントを指す。また、イントラスライスとは、スライス内の全符号化単位でフレーム内符号化が選択され、同じフレーム内の他のスライスも含め該スライス外の画素を用いた予測が行われないスライスを指す。イントラスライスリフレッシュ方式は、ピクチャ内の一部をイントラスライスとして符号化し、イントラスライスとして符号化する位置を連続するピクチャでずらしていくことにより、ピクチャ内の任意の領域が一定期間内で一度はイントラスライスとして符号化されるよう制御して、リフレッシュを行う方式である。
図１５に、イントラスライスリフレッシュ方式の動作の一例を示す。以下、時刻t におけるピクチャをP(t)と表記する。図１５では、P(ti-4) ，P(ti) ，P(ti+4) が漸次リフレッシュの開始フレームとなっており、４枚のピクチャを経てリフレッシュを完了する。このリフレッシュ処理の開始から終了まで（図１５ではピクチャ４枚分）の期間をリフレッシュ期間と呼ぶ。図１５において、黒塗りで示した部分領域はイントラスライスを表す。リフレッシュ期間内において、画面内の全ての領域がそれぞれ少なくとも一度ずつイントラスライスとして設定されることにより、画面のリフレッシュが行われる。
図１５に示したイントラスライスリフレッシュ方式において、リフレッシュを確実に行うためには、図１５に示した瞬時リフレッシュ方式の場合と同様に、イントラスライス以外においても、予測において参照可能な範囲に制限が加えられる。図１５において破線枠で示した領域は、リフレッシュ制御の単位となる部分領域群であり、リフレッシュセグメントグループ(RGOS: Refreshing Group Of Segments)と呼ぶ。瞬時リフレッシュ方式におけるリフレッシュピクチャグループと同様に、各リフレッシュセグメントグループは、該リフレッシュセグメントグループに属する領域を持つ最初のピクチャよりも過去のピクチャから始まる別のリフレッシュセグメントグループを参照しないように制限される。このように符号化されたビットストリームを受信し復号する映像復号装置においては、リフレッシュ期間先頭のピクチャから復号を開始することにより、リフレッシュ期間終了位置のピクチャ以降は、画面全体で乱れのない正しい復号画像を得ることができる。以後、このリフレッシュ期間先頭ピクチャを同期開始ピクチャと呼び、同期開始ピクチャから符号化した場合に画面全体で乱れのない正しい復号画像を得ることができる最初のピクチャを、同期完了ピクチャと呼ぶ。
なお、漸次リフレッシュ方式は、必ずしもイントラスライスを利用する必要はなく、一般には、リフレッシュセグメントグループ間の予測参照関係を制約することで実現される。図１６に、一般化した漸次リフレッシュ方式の例を示す。リフレッシュを確実に行うためには、破線枠で示した各リフレッシュセグメントグループに属する領域は、該リフレッシュセグメントグループの先頭ピクチャよりも過去のピクチャから始まる別のリフレッシュセグメントグループを参照しないように制限される。さらに、より一般的には、リフレッシュ完了後の復号画像が、ビットストリームの最初から復号した画像と十分に類似することが保証される場合には、各リフレッシュセグメントグループに属する領域は、該リフレッシュセグメントグループの先頭フレームよりも過去のフレームから始まる別のリフレッシュセグメントグループを参照してもよい。
漸次リフレッシュ方式においては、リフレッシュによる符号量増加は、リフレッシュ期間全体に分配される。すなわち、瞬時リフレッシュ方式におけるイントラピクチャのように、画面全体で符号量を増加させるピクチャが存在しない。そのため、所要符号量のピクチャ間変動は、瞬時リフレッシュ方式を用いる場合に比べ抑制される。これにより、前記バッファメモリの所要量が小さくなり、ひいては符号化装置と復号装置の間の伝送遅延が低減される。
一方で、漸次リフレッシュ方式を用いた場合には、IDR ピクチャのような明示的なリフレッシュ開始点が存在しない。そのため、漸次リフレッシュ方式を利用してビットストリームを生成する映像符号化装置は、復号装置が同期開始ピクチャから復号を開始し、かつ同期完了ピクチャから画像の表示を再開できるように、リフレッシュにおける同期開始ピクチャと同期完了ピクチャの情報（リフレッシュ情報）をビットストリームに多重化し、復号装置に伝達する必要がある。
非特許文献１に記載されたAVC 方式では、リフレッシュ情報を符号化装置が復号装置に伝達する方法として、同期回復点補助情報メッセージ（Recovery Point SEI message）と呼ばれるデータ群を規定している。AVC方式に準拠した符号化装置は、同期回復点補助情報メッセージをビットストリームに多重化して復号装置に伝達する。同期回復点補助情報メッセージにより、AVC 方式に準拠した復号装置は、同期開始ピクチャから復号を開始し、かつ同期完了ピクチャから画像の表示を再開できる。同期回復点補助情報メッセージは、同期開始ピクチャと同期完了ピクチャの情報を含んでおり、瞬時リフレッシュ方式と漸次リフレッシュ方式の双方に対応する。
図１７のリストに、従来のAVC 方式に準拠した符号化装置と復号装置の間でリフレッシュ情報の伝達に用いられる、同期回復点補助情報メッセージを構成するシンタックス要素を示す。
recovery_frame_cntは、同期完了ピクチャを通知するパラメータである。すなわち、図１４に示す例ではP(ti-4) ，P(ti) ，P(ti+4) 、図１５に示す例ではP(ti-1) ，P(ti+3) ，P(ti+7) を通知する。対となる同期開始ピクチャは、同期回復点補助情報メッセージの存在自体により、映像復号装置に通知される。すなわち、AVC 方式に準拠した映像復号装置は、同期回復点補助情報メッセージが付与された同期開始ピクチャから復号を開始し、recovery_frame_cntによって指示される同期完了ピクチャまで復号を完了することで、画面全体で乱れのない復号画像を得ることができる。これにより、映像復号装置は、漸次リフレッシュ方式を用いて生成されたビットストリームに対しても、乱れのない画像のみを選択して表示することが可能となる。
exact_match_flagは、recovery_frame_cntによって指示される同期完了ピクチャにおいて、該同期開始ピクチャより復号を開始した場合の復号画像と、該ビットストリームを最初から受信し復号した場合の復号画像とが、完全一致するか否かを通知するパラメータである。
broken_link_flagは、該同期開始ピクチャより復号を開始した場合に、recovery_frame_cntによって指示される同期完了ピクチャまでの間に存在するピクチャ群において、視覚的に許容でないほどの乱れが発生する可能性があるか否かを通知するパラメータである。
changing_slice_group_idcは、該同期開始ピクチャより復号を開始する場合に、recovery_frame_cntによって指示される同期完了ピクチャまでの間に存在するピクチャ群において、復号処理を省略してもリフレッシュの完了に影響を与えない部分領域の存在を通知するためのパラメータである。
以上で、図１７のリストによる、従来のリフレッシュ情報多重化の例についての説明を終了する。
特開２００７−２２１４１１号公報（段落０００５，０００６）
ISO/IEC 14496-10 Information technology - coding of audio-visual objects Part 10: Advanced Video Coding, December 15, 2010
漸次リフレッシュ方式を用いる場合には、同期開始ピクチャから同期完了ピクチャまでの間のピクチャでは、部分的には画面のリフレッシュが完了している。リフレッシュが完了した部分領域内に、視聴者に対する即座の通知が必要な重要情報が存在する場合には、同期完了ピクチャを待たずに、リフレッシュが完了した領域だけでも部分的に表示を開始できることが望ましい。しかし、前記同期回復点補助情報メッセージを用いて同期開始ピクチャと同期完了ピクチャを通知する方式では、画面内のどの部分でリフレッシュが完了しているか否かを、映像復号装置が容易に知る手段がない。そのために、映像復号装置において、同期完了ピクチャまでは表示を開始することができない、すなわち、表示遅延が発生するという問題がある。
一方で、各リフレッシュセグメントグループにおける参照領域制約が厳密に守られている場合には、映像復号装置はその復号処理の過程において、予測の単位となる部分画像ごとに、予測処理において参照される範囲を知ることができる。これにより映像復号装置は、リフレッシュ済みの部分領域を計算によって求めることも可能である。しかし、映像復号装置に、予測参照範囲の情報を用いた計算によってリフレッシュ済みの部分領域を求める処理を行わせることは、映像復号装置の演算量を増大させるという問題がある。
また、前記リフレッシュセグメントグループにおける参照領域制約が厳密には守られていない場合、すなわち、同期回復点補助情報メッセージにおけるexact_match_flagが0 に設定される場合には、復号器は、予測参照範囲の情報を用いた計算によっても、リフレッシュ済みの部分領域を知ることができない。したがって、復号器が予測参照範囲情報を用いた計算によりリフレッシュ済みの部分領域を知るためには、映像符号化装置において予測参照範囲を制限する必要がある。すなわち、映像復号装置に、予測参照範囲の情報を用いた計算によってリフレッシュ済みの部分領域を求める処理を行わせることにより、必ずしも復号画像の完全一致を必要としないシステムにおいて、映像の圧縮効率を低下させ、相対的に映像品質を低下させるという問題がある。
本発明は、上記課題に鑑みて発明されたものであって、その目的は、漸次リフレッシュ方式において、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、復号装置における演算量を増加させることなく通知することが可能な、映像符号化装置、映像符号化方法およびプログラムを提供することにある。
また、本発明の目的は、漸次リフレッシュ方式において、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、映像品質を低下させることなく復号装置に通知することが可能な、映像符号化装置、映像符号化方法およびプログラムを提供することにある。
本発明の目的は、漸次リフレッシュ方式を用いて生成されたビットストリームを復号し映像を再生するにあたって、演算量を増加させることなく、同期完了ピクチャに至るまでに部分的に表示開始を行うことが可能な、映像復号装置、映像復号方法およびプログラムを提供することにある。
また、本発明の目的は、漸次リフレッシュ方式を用いて生成されたビットストリームを復号し映像を再生するにあたって、同期完了ピクチャに至るまでに部分的に高品質な映像の表示開始を行うことが可能な、映像復号装置、映像復号方法およびプログラムを提供することにある。
本発明による映像符号化装置は、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化手段と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御手段と、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化手段と、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化手段とを備えたことを特徴とする。
本発明による映像復号装置は、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除手段と、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号手段と、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御手段と、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して表示可能領域情報の少なくとも一部を抽出する表示可能領域復号手段とを備えたことを特徴とする。
本発明による映像符号化方法は、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成し、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行い、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成し、映像ビットストリームと表示可能領域情報ビットストリームとを多重化することを特徴とする。
本発明による映像復号方法は、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除し、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成し、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限し、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して表示可能領域情報の少なくとも一部を抽出することを特徴とする。
本発明による映像符号化プログラムは、コンピュータに、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化処理、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御処理、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化処理、および、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化処理を実行させることを特徴とする。
本発明による映像復号プログラムは、コンピュータに、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除処理、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号処理、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御処理、および、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して表示可能領域情報の少なくとも一部を抽出する表示可能領域復号処理を実行させることを特徴とする。
本発明によれば、映像符号化装置が生成したビットストリームを、映像復号装置が途中から受信し再生する場合に、同期完了ピクチャに至るまでに部分的に表示を開始でき、表示遅延を低減することができる。
本発明による第１の実施形態の映像符号化装置の構成例を示すブロック図である。 第１の実施形態の映像符号化装置の動作例を示すフローチャートである。 漸次リフレッシュ方式による映像符号化の例を示す説明図である。 表示可能領域情報を多重化する例を示す説明図である。 表示可能領域情報を多重化する他の例を示す説明図である。 表示可能領域情報を多重化するさらに他の例を示す説明図である。 表示可能領域情報を多重化するさらに他の例を示す説明図である。 本発明による第２の実施形態の映像復号装置の構成例を示すブロック図である。 第２の実施形態の映像復号装置の動作例を示すフローチャートである。 本発明による第３の実施形態の映像符号化装置の構成例を示すブロック図である。 本発明による第４の実施形態の映像符号化装置の構成例を示すブロック図である。 第４の実施形態の映像符号化装置の動作例を示すフローチャートである。 本発明によるプログラムを用いた情報処理システムの例を示すブロック図である。 瞬時リフレッシュ方式の動作例を示す説明図である。 イントラスライスリフレッシュ方式の動作例を示す説明図である。 一般化された漸次リフレッシュ方式の例を示す説明図である。 同期回復点補助情報メッセージを構成するシンタックス要素の例を示す説明図である。
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態の映像符号化装置のブロック図である。図示されるように、第１の実施形態の映像符号化装置は、映像符号化器１０１、リフレッシュ制御器１０２、表示可能領域符号化器１０３、および多重化器１０４を備える。本実施形態で特徴的なことは、リフレッシュ制御器１０２から得られるピクチャごとの表示可能領域の情報を符号化し、多重化器１０４に供給する、表示可能領域符号化器１０３を備えていることである。
映像符号化器１０１は、入力映像を構成する各ピクチャに対して符号化を行い、その映像ビットストリームを多重化器１０４に供給する。
リフレッシュ制御器１０２は、映像符号化器１０１において適応予測符号化が行われる場合に、意図するリフレッシュが行われるようにリフレッシュセグメントグループ間で予測制約が守られるように、映像符号化器１０１に制御信号を供給する。また、リフレッシュセグメントグループから得られる各ピクチャの表示可能領域の情報を、表示可能領域符号化器１０３に供給する。
表示可能領域符号化器１０３は、リフレッシュ制御器１０２より供給される表示可能領域情報を符号化し、表示可能領域情報ビットストリームとして多重化器１０４に供給する。
多重化器１０４は、映像符号化器１０１より得られる映像ビットストリームと、表示可能領域符号化器１０３より得られる表示可能領域情報ビットストリームとを多重化し、ビットストリームとして出力する。
次に、図２のフローチャートを参照して、第１の実施形態の映像符号化装置による映像符号化処理について説明する。
ステップS10001において、リフレッシュ制御器１０２は、リフレッシュ動作を規定する制御情報を、映像符号化器１０１、表示可能領域符号化器１０３に供給する。
ステップS10002において、映像符号化器１０１は、入力映像の各ピクチャを符号化し、その映像ビットストリームを多重化器１０４に供給する。
ステップS10003において、現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャである場合、ステップS10004に進む。現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャでない場合、ステップS10004の処理をスキップし、ステップS10005に進む。
ステップS10004において、表示可能領域符号化器１０３は、各ピクチャの表示可能領域を規定する情報を符号化し、そのビットストリームを多重化器１０４に出力する。
ステップS10005において、多重化器１０４は、映像符号化器１０１より供給される映像ビットストリームと、表示可能領域符号化器１０３より供給される表示可能領域情報ビットストリームとを多重化して、ビットストリームとして出力する。
ステップS10006において、ステップS10005で出力したビットストリームが、符号化すべき最後のピクチャに対応する場合、映像符号化を終了する。最後のピクチャでない場合、S10001に戻る。
このように構成することで、映像符号化装置は、漸次リフレッシュ方式を用いてビットストリームを生成するにあたって、該ビットストリームを途中から受信し再生する映像復号装置が同期完了ピクチャに至るまでに部分的に表示を開始でき表示遅延を低減するように、ビットストリームを構成することができる。その理由は、各ピクチャにおける表示可能開始領域を規定した制御情報を、多重化器１０４が表示可能領域符号化器１０３から受け取ってビットストリームに多重化し、上記制御情報を映像復号装置に伝送することにより、映像復号装置は、同期完了ピクチャに至るまでのピクチャにおいて部分的に表示可能な領域を知ることができるからである。
（実施例）
以下、上述した第１の実施形態の映像符号化装置の具体的な実施例を説明する。
本実施例では、フレームあたりの空間解像度が３２０×２４０画素のプログレッシブ映像に対して、画面を水平方向に均等に５分割した６４×２４０画素の領域のうち最も左側の領域をイントラ符号化セグメントとして設定し、これを５枚のピクチャを通じてイントラ符号化セグメントが重ならないようにずらしていくことでリフレッシュを行うこととする。
図３に、具体的にリフレッシュが行われていく様子を示す。図３において、時刻tiにおけるピクチャP(ti) を同期開始ピクチャ、P(ti+4) を同期完了ピクチャとする。また、時刻t におけるピクチャP(t)におけるリフレッシュ済みセグメントは、時刻tiから時刻t までに一度イントラ符号化セグメントとして設定された領域を指す。このとき、ピクチャP(ti) ，P(ti+1) ，P(ti+2) ，P(ti+3) ，P(ti+4) における各表示可能領域は、ピクチャ左側から６４×２４０画素、１２８×２４０画素、１９２×２４０画素、２５６×２４０画素、３２０×２４０画素の矩形領域となる。表示可能領域符号化器１０３は、それぞれの表示可能領域を符号化し、多重化器１０４に供給する。
上述した表示可能領域の情報は、例えば、非特許文献１の”Specification of syntax functions, categories, and descriptors”の記述に準じ、図４のリストに例示するように、補助情報メッセージ（Supplemental Enhancement Information message）の一部（部分表示可能領域補助情報メッセージと呼ぶ。）としてビットストリームに多重化してもよい。
以下、図４のリストにおける表示可能領域情報の多重化例を説明する。
recovery_starting_poc_cnt は、該部分表示可能領域補助情報メッセージが付与されたピクチャのピクチャ番号をCurrPicOrderCnt とするとき、以下の式１により求められるピクチャ番号RecvStartPicOrderCntによって規定されるピクチャを同期開始ピクチャとして復号を開始した場合に、該部分表示可能領域補助情報メッセージに示される表示可能領域が適用されることを示す。
RecvStartPicOrderCnt = CurrPicOrderCnt - recovery_starting_poc_cnt
・・・（式１）
partial_recovery_cnt_minus1 は、該部分表示可能領域補助情報メッセージに存在する、表示可能領域を表す矩形領域の数を表す。該部分表示可能領域補助情報メッセージが付与されたピクチャにおける表示可能領域は、該表示可能矩形領域の和集合として求められる。
exact_match_flag[i] は、該表示可能矩形領域において、RecvStartPicOrderCntによって規定されるピクチャより復号を開始した場合の復号画像と、該ビットストリームを最初から受信し復号した場合の復号画像とが、完全一致するか否かを示す。exact_match_flag[i] の復号値が1 の場合、該表示可能矩形領域内の全ての画素について、復号画像が完全一致することを示す。exact_match_flag[i] の復号値が0 の場合、該表示可能矩形領域において、復号画像が完全には一致しない可能性があることを示す。
recovery_rect_left_offset[i]，recovery_rect_right_offset[i] ， recovery_rect_top_offset[i] ，recovery_rect_bottom_offset[i]は、該表示可能矩形領域の画面上での位置を指定するパラメータ群である。復号画像の左上の画素の水平座標および垂直座標を共に0 とし、復号画像の右下の画素の水平座標と垂直座標を、PicWidthInSamples - 1，PicHeightInSamples - 1とおくとき、CurrPicOrderCnt で規定されるピクチャにおける該矩形領域の左上画素水平座標、左上画素垂直座標、右下画素水平座標、右下画素垂直座標を、 CurrRecvRectLeft[i] ，CurrRecvRectRight[i]， CurrRecvRectTop[i]，CurrRecvRectBottom[i] とおくと、CurrRecvRectLeft[i] ，CurrRecvRectRight[i]，CurrRecvRectTop[i]，CurrRecvRectBottom[i] の値は下記の式２により求められる。
CurrRecvRectLeft[i] = recovery_rect_left_offset[i]
CurrRecvRectRight[i] = PicWidthInSamples - 1 - recovery_rect_right_offset[i]
CurrRecvRectTop[i] = recovery_rect_top_offset[i]
CurrRecvRectBottom[i] = PicHeightInSamples - 1 - recovery_rect_bottom_offset[i]
・・・（式２）
以上で、図４における表示可能領域情報の多重化例の説明を終了する。
本実施例では、同期開始ピクチャから同期完了ピクチャまでのピクチャごとに、表示可能領域の情報を直接符号化し、補助情報メッセージとしてビットストリームに多重化する実施例を示した。しかし、本発明によれば、例えば、表示可能領域の情報を符号化する最初のピクチャでは図４の部分表示可能領域補助情報メッセージとして多重化し、その後のピクチャごとに、表示可能領域の更新情報を図５の部分表示可能領域更新補助情報メッセージとしてビットストリームに多重化してもよい。
以下、図５のリストにおける表示可能領域情報の多重化例を説明する。
partial_recovery_ref_poc_cntは、該部分表示可能領域更新補助情報メッセージが付与されたピクチャのピクチャ番号をCurrPicOrderCnt とするとき、以下の式３により求められるピクチャ番号PartRecvRefPicOrderCntによって規定されるピクチャに付与された部分表示可能領域更補助情報メッセージまたは部分表示可能領域更新補助情報メッセージによって規定される表示可能領域を参照して、該ピクチャの表示可能領域が算出されることを示す。
PartRecvRefPicOrderCnt = CurrPicOrderCnt - partial_recovery_ref_poc_cnt
・・・（式３）
exact_match_flag[i] は、該表示可能矩形領域において、RecoveryStartingPicOrderCnt によって規定されるピクチャより復号を開始した場合の復号画像と、該ビットストリームを最初から受信し復号した場合の復号画像とが、完全一致するか否かを示す。exact_match_flag[i] の復号値が1 の場合、該表示可能矩形領域内の全ての画素について、復号画像が完全一致することを示す。exact_match_flag[i] の復号値が0 の場合、該表示可能矩形領域において、復号画像が完全には一致しない可能性があることを示す。
recovery_rect_left_offset_decr[i] ，recovery_rect_right_offset_decr[i]，recovery_rect_top_offset_decr[i]，recovery_rect_bottom_offset_decr[i] は、該ピクチャにおける表示可能矩形領域を更新するパラメータ群である。PartRecvRefPicOrderCntによって規定されるピクチャにおいて定められた、i 番目の表示可能矩形領域の左上画素水平座標、左上画素垂直座標、右下画素水平座標、右下画素垂直座標を、RefRecvRectLeft[i]，RefRecvRectRight[i] ，RefRecvRectTop[i] ，RefRecvRectBottom[i]とおくとき、CurrPicOrderCnt で規定されるピクチャにおける該矩形領域の左上画素水平座標CurrRecvRectLeft[i] 、左上画素垂直座標CurrRecvRectRight[i]、右下画素水平座標CurrRecvRectTop[i]、右下画素垂直座標CurrRecvRectBottom[i] の値は下記の式４により求められる。
CurrRecvRectLeft[i] = RefRecvRectLeft[i] - recovery_rect_left_offset_decr[i]
CurrRecvRectRight[i] = RefRecvRectRight[i] + recovery_rect_right_offset_decr[i]
CurrRecvRectTop[i] = RefRecvRectTop[i] - recovery_rect_top_offset_decr[i]
CurrRecvRectBottom[i]=RefRecvRectBottom[i] + recovery_rect_bottom_offset_decr[i]
・・・（式４）
recovery_rect_left_offset_decr[i] ，recovery_rect_right_offset_decr[i]，recovery_rect_top_offset_decr[i]，recovery_rect_bottom_offset_decr[i] それぞれについて、変数がビットストリーム上に存在しないときには、値は0 であるとみなされる。
以上で、図５における表示可能領域更新情報の多重化例の説明を終了する。
また、本実施例では、表示可能領域情報を、図４および図５において、他の補助情報メッセージとは独立した補助情報メッセージとしてビットストリームに多重化する例を示した。しかし本発明によれば、例えば、同期開始ピクチャにおいて、図６のリストに例示するように、部分表示可能領域の情報を、図１７のリストに例示した同期回復点補助情報メッセージに重ね合わせて、ビットストリームに多重化してもよい。
以下、図６のリストにおける表示可能領域情報の多重化例について説明する。
partital_recovery_info_present_flag は、部分表示可能領域の情報が該補助情報メッセージ内に存在するか否かを表すパラメータである。
図６のリストに示されるその他のパラメータについては、図４および図１７のリストに示すパラメータと同じであるので、ここでは説明を省略する。
以上で、図６における表示可能領域情報の多重化例の説明を終了する。
また、以上の本発明の第１の実施形態の映像符号化装置における映像符号化処理の説明においては、表示可能領域をもつピクチャごとに、表示可能領域情報を符号化して、ビットストリームに多重化する動作例を示した。しかし、本発明によれば、例えば、同期開始ピクチャにおいて、図７のリストに例示するように、同期完了ピクチャに至るまでの表示可能領域の情報を同期回復点補助情報メッセージに重ね合わせて、ビットストリームに多重化してもよいし、いくつかのピクチャごとに、表示可能領域情報をまとめて符号化し、ビットストリームに多重化してもよい。
以下、図７のリストにおける表示可能領域情報の多重化例を説明する。
partial_recovery_update_info_present_flag[i]は、該同期開始ピクチャ以降のピクチャにおける、該i 番目の表示可能領域の更新情報が存在するか否かを示すパラメータである。
図７のリストに示されるその他のパラメータについては、図６および図１７のリストに示すパラメータと同じであるので、ここでは説明を省略する。
以上で、図７における表示可能領域情報の多重化例についての説明を終了する。
以上、本実施例では、表示可能領域情報を、ピクチャごとに補助情報メッセージとして多重化する実施例を示した。しかし、本発明によれば、例えば、ビットストリーム全体の符号化および復号に用いるシーケンスパラメータセットにおいて、表示可能領域情報を多重化してもよいし、その他の単位、例えばピクチャパラメータセットなどにおいて、表示可能領域情報を多重化してもよい。
また、本実施例では、表示可能領域情報が、同期開始ピクチャから同期完了ピクチャまでの全てのピクチャにおいて符号化して、ビットストリームに多重化された。しかし、本発明は、同期開始ピクチャから同期完了ピクチャまでの全てのピクチャにおける表示可能領域情報の符号化に限定されるものではなく、同期開始ピクチャから同期完了ピクチャまでのいずれかのピクチャにおいて、選択的に符号化して、ビットストリームに多重化してもよい。
また、本実施例では、画面左から右方向に向かって等間隔かつ重複なしにイントラ符号化セグメントをずらしていくことによりリフレッシュが行われた。しかし、本発明は、そのようなリフレッシュに限定されるものではなく、リフレッシュの方向は任意である。たとえば、右から左、上から下、左上から右下、あるいは画面中心から左右方向、画面中心から渦巻き状など、任意の方向にリフレッシュを行ってもよい。また、リフレッシュのためのイントラ符号化セグメントのずらし方は任意であり、ピクチャごとにイントラ符号化セグメントの大きさが異なっていてもよいし、同一領域をリフレッシュ期間内で二度以上イントラ符号化セグメントとして設定してもよい。さらに、本明細書に記載されている漸次リフレッシュ方式の説明において明らかなように、本発明は、イントラ符号化セグメントによるリフレッシュに限定されるものではなく、画面間予測符号化の予測範囲を制限するなどの任意の方法でリフレッシュを行ってもよい。
また、本実施例では、表示可能領域をピクチャの上下左右端からのオフセット値として符号化しビットストリームに多重化されたが、本発明は、表示可能領域をピクチャの上下左右端からのオフセット値として符号化することに限定されるものではなく、任意の表現方法で符号化してもよい。
また、本実施例では、非特許文献１に記載されているAVC 方式の記述方法に従って表示可能領域情報が多重化されたが、本発明は、AVC 方式の利用に限定されるものではなく、その他の映像符号化方式に対しても適用可能であり、二次元映像以外の任意次元の映像符号化方式に対して適用可能である。
また、本実施例では、表示可能領域を二次元画像上の矩形領域の集合として符号化し、ビットストリームに多重化したが、本発明は、二次元画像上の矩形領域の集合としての表示可能領域符号化に限定されるものではなく、表示可能領域を矩形集合以外の任意の表現方法を用いて符号化してもよいし、任意次元の領域として符号化してもよい。
以上で、本発明の第１の実施形態の映像符号化装置の説明を終了する。
（第２の実施形態）
図８は、本発明の第２の実施形態の映像復号装置のブロック図である。図８に示されるように、第２の実施形態の映像復号装置は、多重化解除器２０１、映像復号器２０２、表示可能領域復号器２０３、および映像出力制御器２０４を備える。本実施形態で特徴的なことは、ピクチャごとの表示可能領域の情報を復号して出力する、表示可能領域復号器２０３を備え、また、表示可能領域を解釈して表示可能領域外の復号画像を出力しないよう制御する、映像出力制御器２０４を備えていることである。
多重化解除器２０１は、ビットストリームの多重化を解除して、映像ビットストリームと、表示可能領域情報ビットストリームとを抽出し、映像ビットストリームを映像復号器２０２に供給し、表示可能領域情報ビットストリームを表示可能領域復号器２０３に供給する。
映像復号器２０２は、映像ビットストリームを復号し、得られた再構築画像を映像出力制御器２０４に供給する。
表示可能領域復号器２０３は、表示可能領域情報ビットストリームを復号し、得られた表示可能領域情報を映像出力制御器２０４に供給する。
映像出力制御器２０４は、映像復号器２０２より供給される再構築画像に対して、表示可能領域復号器２０３より得られる表示可能領域の外にある画像が表示されないよう制御を行って、処理結果を復号映像として出力する。
次に、図９のフローチャートを参照して、第２の実施形態の映像復号装置による映像復号処理を説明する。
ステップS20001において、多重化解除器２０１は、ビットストリームの多重化を解除して、映像ビットストリームと、表示可能領域情報ビットストリームとを抽出し、映像ビットストリームを映像復号器２０２に供給し、表示可能領域情報ビットストリームを表示可能領域復号器２０３に供給する。
ステップS20002において、映像復号器２０２は、映像ビットストリームを復号し、得られた再構築画像を映像出力制御器２０４に供給する。
ステップS20003において、該ピクチャに表示可能領域情報が付与されている場合、ステップS20004に進む。該ピクチャに表示可能領域情報が付与されていない場合、ステップS20004の処理をスキップし、ステップS20005に進む。
ステップS20004において、表示可能領域復号器２０３は、表示可能領域情報ビットストリームを復号し、得られた表示可能領域情報を映像出力制御器２０４に供給する。
ステップS20005において、映像出力制御器２０４は、映像復号器２０２より供給される再構築画像に対して、表示可能領域復号器２０３より得られる表示可能領域の外にある画像が表示されないよう制御を行って、処理結果を復号映像として出力する。
ステップS20006において、ステップS20002で復号したビットストリームが、復号すべき最後のピクチャに対応する場合、映像復号を終了する。最後のピクチャでない場合、S20001に戻る。
このように構成することで、映像復号装置は、漸次リフレッシュ方式を用いて生成されたビットストリームを途中から受信し再生するにあたって、表示可能領域を予測参照範囲から計算により求めることなく、演算量同期完了ピクチャの復号を待たずに部分的に表示を開始でき、表示遅延を低減できる。その理由は、映像復号装置が、表示可能領域を規定した情報を、映像符号化装置よりビットストリームとして受け取って、多重化解除器２０１が表示可能領域復号器２０３に供給することで、表示可能領域外の画像を復号映像として出力しないように映像出力制御器２０４が制御できるからである。
以上で、本発明の第２の実施形態の映像復号装置の説明を終了する。
（第３の実施形態）
図１０は、本発明の第３の実施形態の映像符号化装置のブロック図である。図１０に示されるように、第３の実施形態の映像符号化装置は、図１に示した第１の実施形態の映像符号化装置と比較すると、その構成要素は同じであるが、映像符号化器１０１より、表示可能領域符号化器１０３に、制御信号が供給される点が異なる。第３の実施形態の映像符号化装置の構成要素のうち、リフレッシュ制御器１０２、多重化器１０４の動作は、第１の実施形態の映像符号化装置における各構成要素の動作と同一であるため、以下では残りの各ブロックについて説明する。
映像符号化器１０１は、入力映像を構成する各ピクチャに対して符号化を行い、その映像ビットストリームを多重化器１０４に供給する。また、リフレッシュが完了した領域に関する情報を、表示可能領域情報符号化器１０３に供給する。
表示可能領域符号化器１０３は、リフレッシュ制御器１０２より供給される表示可能領域情報と、映像符号化器１０１より供給されるリフレッシュ完了領域情報から、表示可能領域情報を算出して符号化し、表示可能領域情報ビットストリームとして多重化器１０４に供給する。
第３の実施形態の映像符号化装置による映像符号化処理は、第１の実施形態の映像符号化装置による映像符号化処理と同様に図２のフローチャートによって表される。そこで、第３の実施形態の映像符号化装置による映像符号化処理の流れについては説明を省略する。
このように構成することで、第１の実施形態の映像符号化装置に比べて、より広い表示可能領域を映像復号装置に伝達できるという効果が得られる。その理由は、映像符号化器１０１において、リフレッシュ制御器１０２より供給される制御信号とは独立して結果的に画面内符号化が選択され、リフレッシュが完了し表示可能となった領域が発生した場合に、表示可能領域符号化器１０３は、より広い表示可能領域を符号化し、多重化器１０４に供給できるためである。
以上で、本発明の第３の実施形態の映像符号化装置の説明を終了する。
（第４の実施形態）
図１１は、本発明の第４の実施形態の映像符号化装置のブロック図である。図１１に示されるように、第４の実施形態の映像符号化装置は、図１に示した第１の実施形態の映像符号化装置と比較すると、その構成要素として、表示可能領域符号化制御器１０５を新たに備える点が異なる。第４の実施形態の映像符号化装置の構成要素のうち、映像符号化器１０１、リフレッシュ制御器１０２、多重化器１０４の動作は、第１の実施形態の映像符号化装置における各構成要素の動作と同一であるため、以下では残りの各ブロックについて説明する。
表示可能領域符号化制御器１０５は、表示可能領域情報の符号化を制御する制御信号を、表示可能領域符号化器１０３に供給する。
表示可能領域符号化器１０３は、リフレッシュ制御器１０２より供給される表示可能領域情報のうち、表示可能領域符号化制御器１０５より供給される制御信号によって符号化を指示された情報を符号化し、表示可能領域情報ビットストリームとして多重化器１０４に供給する。
次に、図１２のフローチャートを参照して、第４の実施形態の映像符号化装置による映像符号化処理を説明する。
ステップS10001において、リフレッシュ制御器１０２は、リフレッシュ動作を規定する制御情報を、映像符号化器１０１、表示可能領域符号化器１０３に供給する。
ステップS10002において、映像符号化器１０１は、入力映像の各ピクチャを符号化し、その映像ビットストリームを多重化器１０４に供給する。
ステップS10003において、現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャである場合、ステップS10007に進む。現在の符号化対象ピクチャが同期開始ピクチャから同期完了ピクチャまでのピクチャでない場合、ステップS10007およびステップS10004の処理をスキップし、ステップS10005に進む。
ステップS10007において、現在の表示可能領域が符号化対象領域である場合、ステップS10004に進む。そうでなければ、ステップS10004の処理をスキップし、スキップS10005に進む。
ステップS10004において、表示可能領域符号化器１０３は、各ピクチャの表示可能領域を規定する情報を符号化し、そのビットストリームを多重化器１０４に出力する。
ステップS10005において、多重化器１０４は、映像符号化器１０１より供給される映像ビットストリームと、表示可能領域符号化器１０３より供給される表示可能領域情報ビットストリームとを多重化して、ビットストリームとして出力する。
ステップS10006において、ステップS10005で出力したビットストリームが、符号化すべき最後のピクチャに対応する場合、映像符号化を終了する。最後のピクチャでない場合、S10001に戻る。
このように構成することで、第１の実施形態の映像符号化装置によって得られる効果に加えて、同期完了ピクチャに至るまでに表示開始が可能な画面内の部分領域を、映像符号化装置から映像復号装置に通知するにあたって、映像データの圧縮効率低下をより相対的に抑制することができるという効果が得られる。その理由は、表示可能領域符号化制御器１０５により、符号化対象となる表示可能領域が制限されるので、表示可能領域情報の伝送に必要なデータ量を削減できるからである。
以上で、本発明の第４の実施形態の映像符号化装置の説明を終了する。
上述した発明の実施の形態における説明からも明らかなように、本発明はハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図１３に示す情報処理システムは、プロセッサ１００１，プログラムメモリ１００２，記憶媒体１００３，１００４からなる。記憶媒体１００３，１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
図１３に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図８、図１０、図１１のそれぞれに示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図８、図１０、図１１のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化手段と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御手段と、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化手段と、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化手段とを備えたことを特徴とする映像符号化装置。
（付記２）前記表示可能領域符号化手段は、符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、前記表示可能領域情報ビットストリームを生成する付記１記載の映像符号化装置。
（付記３）表示可能領域を符号化するか否かを制御する表示可能領域符号化制御手段を備え、前記表示可能領域符号化手段は、前記表示可能領域符号化制御手段によって符号化すべきと判定された表示可能領域を選択して符号化する付記１または付記２記載の映像符号化装置。
（付記４）前記リフレッシュ制御手段は、イントラ符号化によってリフレッシュを行う付記１から付記３のうちのいずれか１つに記載の映像符号化装置。
（付記５）前記リフレッシュ制御手段は、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらし、前記映像符号化手段は、予測に基づいて符号化を行うにあたって、前記予測制限範囲を超える画面内予測または画面間予測による予測値を除外する付記１から付記４のうちのいずれか１つに記載の映像符号化装置。
（付記６）映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除手段と、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号手段と、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御手段と、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号手段とを備えたことを特徴とする映像復号装置。
（付記７）前記表示可能領域情報ビットストリームは、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含み、前記表示可能領域復号手段は、表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る付記６記載の映像復号装置。
（付記８）入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成し、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行い、前記リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成し、前記映像ビットストリームと前記表示可能領域情報ビットストリームとを多重化することを特徴とする映像符号化方法。
（付記９）符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、表示可能領域情報ビットストリームを生成する付記８記載の映像符号化方法。
（付記１０）表示可能領域を符号化するか否かを制御し、当該制御によって符号化すべきと判定された表示可能領域を選択して符号化する付記８または付記９記載の映像符号化方法。
（付記１１）ピクチャのリフレッシュを行う際、イントラ符号化によってリフレッシュを行う付記８から付記１０のうちのいずれか１つに記載の映像符号化方法。
（付記１２）ピクチャのリフレッシュを行う際、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらし、予測に基づいて符号化を行うにあたって、前記予測制限範囲を超える画面内予測または画面間予測による予測値を除外する付記８から付記１１のうちのいずれか１つに記載の映像符号化方法。
（付記１３）映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除し、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成し、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限し、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出することを特徴とする映像復号方法。
（付記１４）少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る付記１３記載の映像復号装置。
（付記１５）コンピュータに、入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化処理、ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御処理、リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化処理、および、映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化処理を実行させるための映像符号化プログラム。
（付記１６）コンピュータに、表示可能領域符号化処理で、符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、前記表示可能領域情報ビットストリームを生成させる付記１５記載の映像符号化プログラム。
（付記１７）コンピュータに、表示可能領域を符号化するか否かを制御する表示可能領域符号化制御処理を実行させ、表示可能領域符号化処理で、表示可能領域符号化制御処理で符号化すべきと判定された表示可能領域を選択して符号化させる付記１５または付記１６記載の映像符号化プログラム。
（付記１８）コンピュータに、リフレッシュ制御処理で、イントラ符号化によってリフレッシュを行わせる付記１５から付記１７のうちのいずれか１つに記載の映像符号化プログラム。
（付記１９）コンピュータに、リフレッシュ制御処理で、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらして処理させ、映像符号化処理で、予測に基づいて符号化を行うにあたって、前記予測制限範囲を超える画面内予測または画面間予測による予測値を除外させる付記１５から付記１８のうちのいずれか１つに記載の映像符号化プログラム。
（付記２０）コンピュータに、映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除処理、多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号処理、多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御処理、および、多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号処理を実行させるための映像復号プログラム。
（付記２１）コンピュータに、前記表示可能領域復号処理で、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を取得させる付記２０記載の映像復号プログラム。
以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１２年６月２５日に出願された日本特許出願２０１２−１４１９２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０１ 映像符号化器
１０２ リフレッシュ制御器
１０３ 表示可能領域符号化器
１０４ 多重化器
１０５ 表示可能領域符号化制御器
２０１ 多重化解除器
２０２ 映像復号器
２０３ 表示可能領域復号器
２０４ 映像出力制御器

Claims (10)

  1. 入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成する映像符号化手段と、
    ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行うリフレッシュ制御手段と、
    リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成する表示可能領域符号化手段と、
    映像ビットストリームと表示可能領域情報ビットストリームとを多重化する多重化手段とを備えた
    ことを特徴とする映像符号化装置。
  2. 前記表示可能領域符号化手段は、符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、前記表示可能領域情報ビットストリームを生成する
    請求項１記載の映像符号化装置。
  3. 映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除手段と、
    多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号手段と、
    多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御手段と、
    多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号手段とを備えた
    ことを特徴とする映像復号装置。
  4. 前記表示可能領域情報ビットストリームは、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含み、
    前記表示可能領域復号手段は、表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る
    請求項３記載の映像復号装置。
  5. 入力された動画像における画像データを予測に基づいて符号化して、符号化されたピクチャの映像ビットストリームを生成し、
    ピクチャにおける一部の領域をリフレッシュ単位領域とし、当該リフレッシュ単位領域をピクチャごとにずらすことでピクチャのリフレッシュを行い、
    前記リフレッシュの過程におけるピクチャごとの表示可能領域を符号化して表示可能領域情報ビットストリームを生成し、
    前記映像ビットストリームと前記表示可能領域情報ビットストリームとを多重化する
    ことを特徴とする映像符号化方法。
  6. 符号化対象ピクチャにおける表示可能領域と符号化済みのピクチャにおける表示可能領域との差分を用いて、表示可能領域情報ビットストリームを生成する
    請求項５記載の映像符号化方法。
  7. 映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除し、
    多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成し、
    多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限し、
    多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する
    ことを特徴とする映像復号方法。
  8. 少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を得る
    請求項７記載の映像復号装置。
  9. コンピュータに、
    映像データを含むビットストリームと、復号された画像における表示可能領域の情報を含むビットストリームとの多重化を解除する多重化解除処理、
    多重化解除された映像ビットストリームを予測に基づいて復号して画像データを生成する映像復号処理、
    多重化解除された表示可能領域情報に基づいて画像データの出力領域を制限する映像出力制御処理、および、
    多重化解除された表示可能領域情報ビットストリームを所定の方法により復号して前記表示可能領域情報の少なくとも一部を抽出する表示可能領域復号処理
    を実行させるための映像復号プログラム。
  10. コンピュータに、
    前記表示可能領域復号処理で、少なくとも復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を含む表示可能領域情報ビットストリームから、復号対象ピクチャにおける表示可能領域と復号済みのピクチャにおける表示可能領域の差分を取り出して、復号対象ピクチャにおける表示可能領域を取得させる
    請求項９記載の映像復号プログラム。
JP2018116564A 2012-06-25 2018-06-20 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Active JP6648783B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012141924 2012-06-25
JP2012141924 2012-06-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017153421A Division JP6358377B2 (ja) 2012-06-25 2017-08-08 映像復号装置、映像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018164293A true JP2018164293A (ja) 2018-10-18
JP6648783B2 JP6648783B2 (ja) 2020-02-14

Family

ID=49782587

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014522392A Active JP6194884B2 (ja) 2012-06-25 2013-05-31 映像符号化／復号装置、方法、プログラム
JP2017153421A Active JP6358377B2 (ja) 2012-06-25 2017-08-08 映像復号装置、映像復号方法及びプログラム
JP2018116564A Active JP6648783B2 (ja) 2012-06-25 2018-06-20 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014522392A Active JP6194884B2 (ja) 2012-06-25 2013-05-31 映像符号化／復号装置、方法、プログラム
JP2017153421A Active JP6358377B2 (ja) 2012-06-25 2017-08-08 映像復号装置、映像復号方法及びプログラム

Country Status (9)

Country Link
US (5) US10511862B2 (ja)
EP (1) EP2866438A4 (ja)
JP (3) JP6194884B2 (ja)
KR (5) KR101687092B1 (ja)
CN (5) CN107743231B (ja)
AU (1) AU2013282644B2 (ja)
CA (1) CA2876110C (ja)
HK (1) HK1207225A1 (ja)
WO (1) WO2014002385A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
KR102312681B1 (ko) * 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
KR102513784B1 (ko) 2015-10-07 2023-03-23 에스케이온 주식회사 리튬 이차 전지
CN112534810A (zh) * 2018-08-06 2021-03-19 夏普株式会社 运动图像解码装置以及运动图像编码装置
CN112956206B (zh) * 2018-08-29 2024-07-30 夏普株式会社 发送逐渐刷新的方法
WO2020054784A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2020054781A1 (ja) * 2018-09-11 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
JP7399977B2 (ja) * 2019-03-11 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
US20210136378A1 (en) * 2020-12-14 2021-05-06 Intel Corporation Adaptive quality boosting for low latency video coding
WO2022168516A1 (ja) * 2021-02-08 2022-08-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318788A (ja) * 1996-09-02 2007-12-06 Toshiba Corp 情報伝送システムにおける復号化・逆多重化装置
WO2009037726A1 (ja) * 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置
JP2011045138A (ja) * 2010-11-18 2011-03-03 Sanyo Electric Co Ltd 画像復号方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568200A (en) 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
CN1941905A (zh) 1996-09-02 2007-04-04 株式会社东芝 编解码设备及编码/多路复用设备和解码/多路分解设备
KR100604105B1 (ko) 1998-09-21 2006-07-26 소니 가부시끼 가이샤 부호화 장치 및 방법, 복호 장치 및 방법, 및 기록 매체
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
AU2003205899A1 (en) 2002-02-21 2003-09-09 British Telecommunications Public Limited Company Video processing
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8184660B2 (en) * 2005-09-15 2012-05-22 Lsi Corporation Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
JP4649615B2 (ja) 2006-02-16 2011-03-16 国立大学法人三重大学 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
US7898535B2 (en) * 2006-10-31 2011-03-01 Dell Products, Lp System and method for providing dynamic refresh rates for displays
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
KR101115547B1 (ko) * 2007-04-24 2012-03-05 노키아 코포레이션 미디어 파일들에서의 다중 디코딩 시각들을 시그날링
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
KR101401967B1 (ko) * 2007-12-04 2014-06-27 삼성전자주식회사 암호화된 데이터 스트림의 트릭 플레이 방법 및 장치
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP5050964B2 (ja) * 2008-03-31 2012-10-17 富士通株式会社 復号装置，復号方法および復号プログラム
JP4935746B2 (ja) 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
US9807422B2 (en) 2009-09-03 2017-10-31 Nec Corporation Video encoding device, video encoding method, and video encoding program
CN105847813B (zh) * 2010-07-13 2018-11-06 日本电气株式会社 视频解码装置和视频解码方法
WO2012008037A1 (ja) * 2010-07-15 2012-01-19 富士通株式会社 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
MY166191A (en) * 2011-06-30 2018-06-07 Ericsson Telefon Ab L M Absolute or explicit reference picture signaling
JP5760953B2 (ja) * 2011-10-31 2015-08-12 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、及び動画像符号化方法
KR102162119B1 (ko) * 2012-06-29 2020-10-06 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9479782B2 (en) * 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
GB2513303B (en) * 2013-04-16 2017-06-07 Canon Kk Method and device for partitioning an image
US10212435B2 (en) * 2013-10-14 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
US9866869B2 (en) * 2014-03-17 2018-01-09 Qualcomm Incorporated POC value design for multi-layer video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318788A (ja) * 1996-09-02 2007-12-06 Toshiba Corp 情報伝送システムにおける復号化・逆多重化装置
WO2009037726A1 (ja) * 2007-09-18 2009-03-26 Fujitsu Limited 動画像符号化装置および動画像復号装置
JP2011045138A (ja) * 2010-11-18 2011-03-03 Sanyo Electric Co Ltd 画像復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIROFUMI AOKI, ET AL.: "SEI messages for gradual decoding refresh", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-J0064.doc, JPN6019005544, 20 July 2012 (2012-07-20) *

Also Published As

Publication number Publication date
US11706457B2 (en) 2023-07-18
EP2866438A1 (en) 2015-04-29
US11412261B2 (en) 2022-08-09
HK1207225A1 (en) 2016-01-22
CN104412589A (zh) 2015-03-11
US10728579B2 (en) 2020-07-28
CN107743233B (zh) 2020-10-16
KR20150013902A (ko) 2015-02-05
KR20190053290A (ko) 2019-05-17
CN107749985A (zh) 2018-03-02
JP6358377B2 (ja) 2018-07-18
CN107743233A (zh) 2018-02-27
US20200322638A1 (en) 2020-10-08
EP2866438A4 (en) 2015-12-02
CA2876110A1 (en) 2014-01-03
CN107749985B (zh) 2020-05-15
CN107743232A (zh) 2018-02-27
CA2876110C (en) 2020-06-02
CN104412589B (zh) 2017-11-17
JP2017216735A (ja) 2017-12-07
JPWO2014002385A1 (ja) 2016-05-30
US11695961B2 (en) 2023-07-04
KR101687092B1 (ko) 2016-12-15
KR20180063354A (ko) 2018-06-11
US20220109881A1 (en) 2022-04-07
US10511862B2 (en) 2019-12-17
KR101781774B1 (ko) 2017-09-25
KR101979559B1 (ko) 2019-05-16
AU2013282644B2 (en) 2016-05-12
KR101865014B1 (ko) 2018-06-05
KR20160145205A (ko) 2016-12-19
WO2014002385A1 (ja) 2014-01-03
CN107743232B (zh) 2020-12-04
US20220109880A1 (en) 2022-04-07
US20190327493A1 (en) 2019-10-24
CN107743231B (zh) 2020-10-16
JP6194884B2 (ja) 2017-09-13
JP6648783B2 (ja) 2020-02-14
US20150181240A1 (en) 2015-06-25
AU2013282644A1 (en) 2015-01-22
KR20170109082A (ko) 2017-09-27
CN107743231A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
JP6358377B2 (ja) 映像復号装置、映像復号方法及びプログラム
JP4649615B2 (ja) 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
KR20140053189A (ko) 영상처리시스템, 송신장치, 수신장치, 송신방법, 수신방법 및 컴퓨터 프로그램
JP5812028B2 (ja) 映像処理装置および映像処理方法
JP2012028960A (ja) 画像復号装置、画像復号方法および画像復号プログラム
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
JP2013211777A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191017

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191029

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191230

R150 Certificate of patent or registration of utility model

Ref document number: 6648783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150