JP2011151838A5 - - Google Patents

Download PDF

Info

Publication number
JP2011151838A5
JP2011151838A5 JP2011052098A JP2011052098A JP2011151838A5 JP 2011151838 A5 JP2011151838 A5 JP 2011151838A5 JP 2011052098 A JP2011052098 A JP 2011052098A JP 2011052098 A JP2011052098 A JP 2011052098A JP 2011151838 A5 JP2011151838 A5 JP 2011151838A5
Authority
JP
Japan
Prior art keywords
image
encoding
images
input buffer
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011052098A
Other languages
English (en)
Other versions
JP2011151838A (ja
JP5318134B2 (ja
Filing date
Publication date
Priority claimed from US11/118,616 external-priority patent/US8406293B2/en
Priority claimed from US11/118,604 external-priority patent/US8005139B2/en
Application filed filed Critical
Publication of JP2011151838A publication Critical patent/JP2011151838A/ja
Publication of JP2011151838A5 publication Critical patent/JP2011151838A5/ja
Application granted granted Critical
Publication of JP5318134B2 publication Critical patent/JP5318134B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (27)

  1. 複数のイメージを符号化する方法であって、
    各々の特定のイメージ属性が少なくとも特定のイメージの特定の一部分に関する複雑性を定量化する、複数のイメージ属性を特定するステップと、
    前記複数のイメージに関する複雑性を定量化する基準属性を特定するステップと、
    前記特定された複数のイメージ属性と、前記基準属性と、名目量子化パラメータとに基づいて、前記複数のイメージを符号化するための量子化パラメータを特定するステップと、
    前記特定された量子化パラメータに基づいて、前記複数のイメージを符号化するステップと、
    前記複数のイメージ属性を特定するステップと、前記基準属性を特定するステップと、前記量子化パラメータを特定するステップと、前記符号化するステップとを、繰り返し実行して前記符号化を最適化するステップと、
    を備え、
    前記繰り返すステップでの、複数の異なる繰り返しにおいて、複数の異なる基準属性が使用される
    ことを特徴とする方法。
  2. 前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
    前記視覚マスキング強度は、ビデオシーケンスが前記方法に従って符号化され復号化された後に、前記ビデオシーケンスの視聴者にとって認識できない符号化アーチファクトの量を推定するためのものである
    ことを特徴とする請求項1に記載の方法。
  3. 前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
    イメージの一部分に関する視覚マスキング強度は、前記イメージの前記一部分に関する複雑性を定量化し、
    イメージの一部分に関する前記複雑性を定量化する際に、前記視覚マスキング強度は、前記符号化するステップの結果生じるものの符号化されたイメージが復号化された後に視認可能な歪みは発生しないような圧縮アーチファクトの量に関する指標を提供する
    ことを特徴とする請求項1に記載の方法。
  4. 複数の符号化パスを用いて複数のイメージを含んだビデオシーケンスを符号化する方法であって、
    第1の符号化パスのために、ビデオ符号器が第1の基準マスキング強度を特定するステップと、
    前記第1の符号化パスにおいて各イメージを符号化するステップであって、(i)前記第1の基準マスキング強度と当該イメージにおいて認識され得る符号化アーチファクトの量を示すイメージ固有の視覚マスキング強度とを用いて、イメージ固有の量子化パラメータを生成し、(ii)前記第1の符号化パスにおいて生成された前記イメージ固有の量子化パラメータを用いて当該イメージに対して量子化操作を実行することにより当該イメージを符号化することにより、各イメージを符号化するステップと、
    第2の符号化パスのために、前記第1の基準マスキング強度とは異なる第2の基準マスキング強度を特定するステップと、
    前記第2の符号化パスにおいて各イメージを符号化するステップであって、(i)前記第2の基準マスキング強度と当該イメージの前記イメージ固有の視覚マスキング強度とを用いて、イメージ固有の量子化パラメータを生成し、(ii)前記第2の符号化パスにおいて生成された前記イメージ固有の量子化パラメータを用いて当該イメージに対して量子化操作を実行することにより当該イメージを符号化することにより、各イメージを符号化するステップと、
    を備え、
    前記ビデオシーケンス中の前記複数のイメージの各イメージについて、前記第2の符号化パスにおいて生成される前記イメージ固有の量子化パラメータは、前記第1の符号化パスにおいて生成される前記イメージ固有の量子化パラメータとは異なることを特徴とする方法。
  5. 前記複数のイメージに関して許容できる符号化が識別されると前記複数の符号化パスを停止するステップをさらに備えることを特徴とする請求項4に記載の方法。
  6. 前記複数のイメージに関して許容できる符号化は、前記ビデオシーケンスの符号化に関する目標ビットレートに関して特定の範囲内に収まる、前記複数のイメージの符号化であることを特徴とする請求項5に記載の方法。
  7. イメージのための前記イメージ固有の視覚マスキング強度は、前記イメージ内に定義された複数のピクセル領域に関する動き補償された誤差信号の絶対値の総和に基づいて導出されることを特徴とする請求項4に記載の方法。
  8. イメージのための前記イメージ固有の視覚マスキング強度は、前記イメージ内の平均ピクセル輝度に基づいて導出されることを特徴とする請求項4に記載の方法。
  9. イメージのための前記イメージ固有の視覚マスキング強度は、イメージ間の動きに起因する耐えられ得る歪みの量を示す時間的属性に基づいて導出されることを特徴とする請求項4に記載の方法。
  10. 前記第2の基準マスキング強度は、前記第1の符号化パスからのビットレート誤差に基づくことを特徴とする請求項4に記載の方法。
  11. 前記第2の基準マスキング強度は、前記第1の符号化パスにおける前記複数のイメージに亘るイメージ固有の量子化パラメータの平均に基づくことを特徴とする請求項4に記載の方法。
  12. イメージのための前記イメージ固有の視覚マスキング強度は、前記イメージ内の平均ピクセル輝度のパワー関数に基づいて導出されることを特徴とする請求項4に記載の方法。
  13. 各イメージに関する前記イメージ固有の量子化パラメータは、当該イメージの全体よりも小さい、当該イメージの一部分のためのものであることを特徴とする請求項4に記載の方法。
  14. 各イメージに関する前記視覚マスキング強度は、当該イメージの全体よりも小さい、当該イメージの一部分のためのものであることを特徴とする請求項4に記載の方法。
  15. 各イメージに関する前記イメージ固有の量子化パラメータは、当該イメージの全体のためのものであることを特徴とする請求項4に記載の方法。
  16. 各イメージに関する前記視覚マスキング強度は、当該イメージの全体のためのものであることを特徴とする請求項4に記載の方法。
  17. ビデオイメージのシーケンスを符号化する方法であって、
    現在の符号化ソリューションを生成するために前記ビデオイメージのシーケンスを符号化するステップと、
    前記現在の符号化ソリューションにおいて、前記ビデオイメージのシーケンスの中の複数のビデオイメージを符号化することが、符号化中にデコーダ入力バッファをシミュレートするために使用される参照デコーダの入力バッファのアンダフローを引き起こすか否かを判定するステップと、
    現在の符号化ソリューションが入力バッファのアンダフローを引き起こす場合に、
    符号化パラメータのセットを調整するステップと、
    現在の符号化ソリューションとして指定される新たな符号化ソリューションを生成するために、前記調整された符号化パラメータのセットを用いて、前記アンダフローを引き起こす前記複数のビデオイメージを符号化するステップと、
    を備え、更に、
    複数のビデオイメージのセットの符号化が前記参照デコーダの前記入力バッファのアンダフローを引き起こさなくなるまで、前記判定するステップ、前記調整するステップ、及び前記新たな符号化ソリューションを生成するために符号化する前記ステップを繰り返すステップ
    を備えることを特徴とする方法。
  18. 前記新たな符号化ソリューションが入力バッファのアンダフローを引き起こさない場合に、前記アンダフローを引き起こした前記複数のビデオイメージの後の最初のイメージから始まる前記ビデオイメージのシーケンスの残りを符号化するステップ
    を更に備えることを特徴とする請求項17に記載の方法。
  19. 前記ビデオイメージのシーケンスを符号化する前記ステップは、
    前記参照デコーダの前記参照デコーダ入力バッファをシミュレートするステップと、
    前記参照デコーダの前記入力バッファのアンダフローを防止しつつ前記ビデオイメージのシーケンスを符号化するためのビット数を選択するために前記シミュレーションを利用するステップと、
    を含む
    ことを特徴とする請求項17に記載の方法。
  20. 前記参照デコーダ入力バッファをシミュレートする前記ステップは、前記参照デコーダが符号化されたデータを受信するレートを考慮するステップを更に含む
    ことを特徴とする請求項19に記載の方法。
  21. 前記参照デコーダ入力バッファをシミュレートする前記ステップは、前記参照デコーダ入力バッファのサイズを考慮するステップを更に含む
    ことを特徴とする請求項19に記載の方法。
  22. 前記参照デコーダ入力バッファをシミュレートする前記ステップは、前記参照デコーダ入力バッファからの初期除去遅延を考慮するステップ考慮するステップを更に含む
    ことを特徴とする請求項19に記載の方法。
  23. 前記複数のビデオイメージの各符号化のための目標ビットレートを満たすステップを更に備え、
    前記目標ビットレートを満たすことは複数の品質基準のうちの1つであり、
    生成される各符号化ソリューションは、前記複数の品質基準の全てを満たす
    ことを特徴とする請求項17に記載の方法。
  24. デコーダの入力バッファのアンダフローを除去する方法であって、
    パラメータセットを用いてイメージのシーケンスを符号化するステップと、
    前記イメージのシーケンスの各イメージについて、
    前記入力バッファに対するイメージの到着時刻を特定するステップと、
    前記入力バッファからの前記イメージの除去時刻を特定するステップと、
    前記イメージの前記到着時刻と前記除去時刻とを比較するステップと、
    を備え、更に、
    特定のイメージの前記到着時刻が当該特定のイメージの前記除去時刻よりも後である場合に、当該特定のイメージを前記アンダフローに寄与するものとして特定するステップと、
    前記イメージのシーケンスの中の複数のイメージを特定するステップであって、当該複数のイメージは、(i)前記アンダフローに寄与する前記特定のイメージを含み、(ii)前記入力バッファにおけるアンダフロー状態が改善するまで継続的に前記入力バッファを減少させるものである、ステップと、
    前記入力バッファの前記アンダフローを除去するために、前記パラメータセットを調整し、当該調整されたパラメータセットを用いて前記特定された複数のイメージを符号化することを繰り返すステップと、
    を備えることを特徴とする方法。
  25. Iフレームから開示するように前記複数のイメージを調整するステップを更に備える
    ことを特徴とする請求項24に記載の方法。
  26. 少なくとも1つのプロセッサによって実行可能なコンピュータプログラムを格納したコンピュータ可読媒体であって、前記コンピュータプログラムは請求項1乃至25のいずれか1項に記載の方法を実施する命令セットを含むことを特徴とするコンピュータ可読媒体。
  27. 求項乃至25のいずれか1項に記載の方法の各ステップ実施する手段を含むことを特徴とするコンピュータシステム
JP2011052098A 2004-06-27 2011-03-09 マルチパスのビデオ符号化 Expired - Fee Related JP5318134B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US58341804P 2004-06-27 2004-06-27
US60/583,418 2004-06-27
US64391805P 2005-01-09 2005-01-09
US60/643,918 2005-01-09
US11/118,604 2005-04-28
US11/118,616 2005-04-28
US11/118,616 US8406293B2 (en) 2004-06-27 2005-04-28 Multi-pass video encoding based on different quantization parameters
US11/118,604 US8005139B2 (en) 2004-06-27 2005-04-28 Encoding with visual masking

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007518338A Division JP4988567B2 (ja) 2004-06-27 2005-06-24 マルチパスのビデオ符号化

Publications (3)

Publication Number Publication Date
JP2011151838A JP2011151838A (ja) 2011-08-04
JP2011151838A5 true JP2011151838A5 (ja) 2012-05-10
JP5318134B2 JP5318134B2 (ja) 2013-10-16

Family

ID=35783274

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007518338A Expired - Fee Related JP4988567B2 (ja) 2004-06-27 2005-06-24 マルチパスのビデオ符号化
JP2011052098A Expired - Fee Related JP5318134B2 (ja) 2004-06-27 2011-03-09 マルチパスのビデオ符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007518338A Expired - Fee Related JP4988567B2 (ja) 2004-06-27 2005-06-24 マルチパスのビデオ符号化

Country Status (6)

Country Link
EP (1) EP1762093A4 (ja)
JP (2) JP4988567B2 (ja)
KR (3) KR100988402B1 (ja)
CN (3) CN102833538B (ja)
HK (1) HK1101052A1 (ja)
WO (1) WO2006004605A2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
US8208536B2 (en) 2005-04-28 2012-06-26 Apple Inc. Method and apparatus for encoding using single pass rate controller
KR100918499B1 (ko) * 2007-09-21 2009-09-24 주식회사 케이티 멀티 패스 인코딩 장치 및 그 방법
EP2191651A1 (en) * 2007-09-28 2010-06-02 Dolby Laboratories Licensing Corporation Video compression and tranmission techniques
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
WO2011084918A1 (en) * 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
WO2011138900A1 (ja) 2010-05-06 2011-11-10 日本電信電話株式会社 映像符号化制御方法および装置
RU2530313C2 (ru) * 2010-05-07 2014-10-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ управления кодированием видео, устройство кодирования видео и программа кодирования видео
US9179149B2 (en) 2010-05-12 2015-11-03 Nippon Telegraph And Telephone Corporation Video encoding control method, video encoding apparatus, and video encoding program
KR101702562B1 (ko) 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
WO2013095627A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Content adaptive high precision macroblock rate control
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
CN102946542B (zh) * 2012-12-07 2015-12-23 杭州士兰微电子股份有限公司 已编著镜像视频区间码流重新编码及无缝接入方法和系统
WO2014120368A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding for next generation video
US20150071343A1 (en) * 2013-09-12 2015-03-12 Magnum Semiconductor, Inc. Methods and apparatuses including an encoding system with temporally adaptive quantization
US10313675B1 (en) 2015-01-30 2019-06-04 Google Llc Adaptive multi-pass video encoder control
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US10715814B2 (en) 2017-02-23 2020-07-14 Netflix, Inc. Techniques for optimizing encoding parameters for different shot sequences
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
CN109756733B (zh) * 2017-11-06 2022-04-12 华为技术有限公司 视频数据解码方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
JP3627279B2 (ja) * 1995-03-31 2005-03-09 ソニー株式会社 量子化装置および量子化方法
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
FR2753330B1 (fr) * 1996-09-06 1998-11-27 Thomson Multimedia Sa Procede de quantification pour codage video
JPH10304311A (ja) * 1997-04-23 1998-11-13 Matsushita Electric Ind Co Ltd 映像符号化装置及び映像復号化装置
DE69830979T2 (de) * 1997-07-29 2006-05-24 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zur videocodierung mit variabler bitrate
US6192075B1 (en) * 1997-08-21 2001-02-20 Stream Machine Company Single-pass variable bit-rate control for digital video coding
WO1999043163A2 (en) * 1998-02-20 1999-08-26 Koninklijke Philips Electronics N.V. Method and device for coding a sequence of pictures
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6289129B1 (en) * 1998-06-19 2001-09-11 Motorola, Inc. Video rate buffer for use with push dataflow
US6542549B1 (en) * 1998-10-13 2003-04-01 Matsushita Electric Industrial Co., Ltd. Method and model for regulating the computational and memory requirements of a compressed bitstream in a video decoder
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
US6594316B2 (en) * 2000-12-12 2003-07-15 Scientific-Atlanta, Inc. Method and apparatus for adaptive bit rate control in an asynchronized encoding system
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
US7062429B2 (en) * 2001-09-07 2006-06-13 Agere Systems Inc. Distortion-based method and apparatus for buffer control in a communication system
JP3753371B2 (ja) * 2001-11-13 2006-03-08 Kddi株式会社 動画像圧縮符号化レート制御装置
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
JP2004166128A (ja) * 2002-11-15 2004-06-10 Pioneer Electronic Corp 画像情報の符号化方法、符号化装置及び符号化プログラム
CN101390296A (zh) * 2003-06-26 2009-03-18 汤姆森特许公司 多通路视频速率控制以匹配滑动窗口信道限制

Similar Documents

Publication Publication Date Title
JP2011151838A5 (ja)
KR102110022B1 (ko) 지각 비디오 품질을 예측하기 위한 기술
JP2012170042A5 (ja)
JP2008504750A5 (ja)
JP2014158305A5 (ja)
KR20160067032A (ko) 프레임들의 시퀀스를 비디오 인코딩하기 위한 방법 및 인코더
US20130235931A1 (en) Masking video artifacts with comfort noise
KR20090125150A (ko) 획득 및 기본 계층과 확장 계층 밸런싱을 위해 i 프레임을 적응적으로 결정하는 시스템 및 방법
JP2015002368A (ja) 画像符号化装置、画像符号化方法及びプログラム
CN107105240B (zh) 一种hevc-scc复杂度控制方法及其系统
JP2007104117A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP2008010943A (ja) 映像符号化装置及び映像符号化方法
CN108353180A (zh) 具有延迟重构的视频编码
JP2015526004A5 (ja)
TW201206199A (en) Video encoding control method and apparatus
JP2018191036A5 (ja)
JP5111128B2 (ja) 符号化装置、符号化装置の制御方法及びコンピュータプログラム
US20130016775A1 (en) Video Encoding Using Visual Quality Feedback
JP5516842B2 (ja) 動画像処理装置、動画像処理方法、および動画像処理プログラム
JP2006262159A5 (ja)
KR101693416B1 (ko) 영상 부호화 방법 및 영상 복호화 방법과 상기 방법을 이용한 영상 부호화 장치 및 영상 복호화 장치
JP2008004983A5 (ja)
WO2016004721A1 (zh) 一种码率控制方法、装置及计算机存储介质
CN109788288B (zh) 码率控制中i帧量化步长的估算方法及装置
JP2013102258A5 (ja)