EA026507B1 - Сигнализирование информации извлечения тактов синхросигнала для синхронизации видео при кодировании видео - Google Patents

Abstract

В примере раскрытие предусматривает прием кодированной видеопоследовательности, содержащей кодированные изображения видеопоследовательности, и прием параметров синхронизации для кодированной видеопоследовательности, которые включают в себя временную шкалу и число единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (VPS), к которой обращается кодированная видеопоследовательность, и самое большее один раз в части информации применимости видео (VUI) синтаксической структуры набора параметров последовательности (SPS), к которой обращается кодированная видеопоследовательность. Другой пример предусматривает кодирование изображений видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность, и сигнализирование параметров синхронизации для кодированной видеопоследовательности посредством, по меньшей мере, частичного сигнализирования временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической VPS-структуре и самое большее один раз в VUI-части синтаксической SPS-структуры.

Description

(57) В примере раскрытие предусматривает прием кодированной видеопоследовательности, содержащей кодированные изображения видеопоследовательности, и прием параметров синхронизации для кодированной видеопоследовательности, которые включают в себя временную шкалу и число единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (УР8), к которой обращается кодированная видеопоследовательность, и самое большее один раз в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (8Р8), к которой обращается кодированная видеопоследовательность. Другой пример предусматривает кодирование изображений видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность, и сигнализирование параметров синхронизации для кодированной видеопоследовательности посредством, по меньшей мере, частичного сигнализирования временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической УР8-структуре и самое большее один раз в УШ-части синтаксической 8Р8-структуры.

Заявка на данное изобретение испрашивает приоритет предварительной заявки США № 61/749866, поданной 7 января 2013 г., содержимое которой полностью включается в данном документе по ссылке.

Область техники, к которой относится изобретение

Данное раскрытие относится к кодированию видео и видеообработке, а более конкретно, к технологиям для сигнализирования информации синхронизации в видеоинформации.

Уровень техники

Поддержка цифрового видео может быть включена в широкий диапазон устройств, включающих в себя цифровые телевизионные приемники, системы цифровой прямой широковещательной передачи, беспроводные широковещательные системы, персональные цифровые устройства (ΡΌΑ), переносные или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые записывающие устройства, цифровые мультимедийные проигрыватели, устройства видеоигр, консоли для видеоигр, сотовые или спутниковые радиотелефоны, так называемые смартфоны, устройства видеоконференц-связи, устройства потоковой передачи видео и т.п. Цифровые видеоустройства реализуют такие технологии сжатия видео, как технологии сжатия видео, описанные в стандартах, заданных посредством стандартов ΜΡΕΟ-2, ΜΡΕΟ-4, ГТИ-Т Н.263, ГТИ-Т Η.264/ΜΡΕΟ-4, часть 10, усовершенствованное кодирование видео (АУС), стандарта высокоэффективного кодирования видео (НЕУС), и расширений таких стандартов. Видеоустройства могут передавать, принимать, кодировать, декодировать и/или сохранять цифровую видеоинформацию более эффективно посредством реализации таких технологий сжатия видео.

Технологии сжатия видео выполняют пространственное (внутрикадровое) прогнозирование и/или временное (межкадровое) прогнозирование для того, чтобы уменьшать или удалять избыточность, внутренне присущую в видеопоследовательностях.

Для блочного кодирования видео видеослайс (т.е. видеокадр или часть видеокадра) может быть сегментирован на видеоблоки, которые также могут упоминаться как древовидные блоки, единицы кодирования (СИ) и/или узлы кодирования. Видеоблоки во внутренне кодированном (Ι-) слайсе изображения кодируются с использованием пространственного прогнозирования относительно опорных выборок в соседних блоках в идентичном изображении. Видеоблоки в во внешне кодированном (Р- или В-) слайсе изображения могут использовать пространственное прогнозирование относительно опорных выборок в соседних блоках в идентичном изображении или временное прогнозирование относительно опорных выборок в других опорных изображениях. Изображения могут упоминаться как кадры, и опорные изображения могут упоминаться как опорные кадры.

Пространственное или временное прогнозирование использует прогнозирующий блок. Остаточные данные представляют пиксельные разности между исходным блоком, который должен быть кодирован, и прогнозирующим блоком. Внешне кодированный блок кодируется согласно вектору движения, который указывает на блок опорных выборок, формирующих прогнозирующий блок, и остаточным данным, указывающим разность между кодированным блоком и прогнозирующим блоком. Внутренне кодированный блок кодируется согласно режиму внутреннего кодирования и остаточным данным. Для дополнительного сжатия остаточные данные могут быть преобразованы из пиксельной области в область преобразования, приводя к остаточным коэффициентам преобразования, которые затем могут быть квантованы. Квантованные коэффициенты преобразования, первоначально размещаемые в двумерном массиве, могут сканироваться для того, чтобы формировать одномерный вектор коэффициентов преобразования, и может применяться энтропийное кодирование с тем, чтобы достигать еще большего сжатия.

Данная кодированная видеопоследовательность, кодированная в поток битов, включает в себя упорядоченную последовательность кодированных изображений. В Н.264/АУС- и НЕУС-стандартах порядок декодирования кодированных изображений для потока битов является эквивалентным упорядоченной последовательности. Тем не менее, стандарты также поддерживают порядок вывода декодированных изображений, который отличается от порядка декодирования, и в таких случаях каждое из кодированных изображений ассоциировано со значением номера в порядке изображений (РОС), которое указывает порядок вывода для изображения в видеопоследовательности.

Информация синхронизации видео для видеопоследовательности может сигнализироваться в элементах синтаксиса одной или более синтаксических структур (альтернативно называемых структурами наборов параметров или просто наборами параметров). Синтаксические структуры могут включать в себя набор параметров последовательности (8Ρ8), который включает в себя информацию кодирования, которая применяется ко всем слайсам кодированной видеопоследовательности. 8Ρ8 может непосредственно включать в себя параметры, называемые информацией применимости видео (УШ), которые включают в себя информацию гипотетического эталонного декодера (НКЭ), а также информацию для улучшения использования соответствующей видеопоследовательности в различных целях. НКЭ-информация может непосредственно сигнализироваться с использованием синтаксической НКО-структуры, включаемой в другие синтаксические структуры, к примеру, в синтаксическую УиГ-структуру. Синтаксические структуры также могут включать в себя набор параметров видео (УГ8). который описывает характеристики соответствующей видеопоследовательности, к примеру, общие элементы синтаксиса, совместно используемые посредством нескольких слоев или рабочих точек, а также

- 1 026507 другую информацию рабочих точек, которая может быть общей для нескольких наборов параметров последовательности, к примеру, ΗΚΌ-информацию для различных слоев или подслоев.

Сущность изобретения

В общем, это раскрытие описывает технологии для кодирования видео, а более конкретно, технологии для сигнализирования информации синхронизации, например, чтобы точно определять синхронизацию вывода изображений и/или задавать модель буферизации, к примеру, гипотетический эталонный декодер (ΗΚΌ). В некоторых примерах технологии могут включать в себя генерирование, для кодированной видеопоследовательности, кодированного потока битов, чтобы сигнализировать временную шкалу и число единиц в такте синхросигнала самое большее один раз в каждой из синтаксической структуры наборов параметров видео (ΥΡδ) и части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ) для кодированной видеопоследовательности. Иными словами, в некоторых примерах в данной синтаксической УР§-структуре для кодированной видеопоследовательности синтаксическая УР§-структура может включать в себя элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз. Аналогично, в некоторых примерах в данной синтаксической УШ-структуре (например, в УШ-части синтаксической δΡδ-структуры) для кодированной видеопоследовательности, синтаксическая УШ-структура может включать в себя элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз.

В одном примере раскрытия способ обработки видеоданных включает в себя прием кодированной видеопоследовательности, содержащей кодированные изображения видеопоследовательности, и прием параметров синхронизации для кодированной видеопоследовательности, которые включают в себя временную шкалу и число единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (УР8), к которой обращается кодированная видеопоследовательность, и самое большее один раз в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ), к которой обращается кодированная видеопоследовательность.

В другом примере раскрытия способ кодирования видеоданных включает в себя кодирование изображений видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность, содержащую кодированные изображения, и сигнализирование параметров синхронизации для кодированной видеопоследовательности посредством, по меньшей мере, частичного сигнализирования временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (УГ8) и самое большее один раз в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ).

В другом примере раскрытия устройство для обработки видеоданных включает в себя процессор, выполненный с возможностью принимать кодированную видеопоследовательность, содержащую кодированные изображения видеопоследовательности, и принимать параметры синхронизации для кодированной видеопоследовательности, которые включают в себя временную шкалу и число единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (ΑΒδ), к которой обращается кодированная видеопоследовательность, и самое большее один раз в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ), к которой обращается кодированная видеопоследовательность.

В другом примере раскрытия устройство для кодирования видеоданных включает в себя процессор, выполненный с возможностью кодировать изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность, содержащую кодированные изображения, и сигнализировать параметры синхронизации для кодированной видеопоследовательности посредством, по меньшей мере, частичного сигнализирования временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (ΑΒδ) и самое большее один раз в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ).

В другом примере раскрытия устройство для обработки видеоданных включает в себя средство для приема кодированной видеопоследовательности, содержащей кодированные изображения видеопоследовательности, и средство для приема параметров синхронизации для кодированной видеопоследовательности, которые включают в себя временную шкалу и число единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (УΡδ), к которой обращается кодированная видеопоследовательность, и самое большее один раз в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ), к которой обращается кодированная видеопоследовательность.

В другом примере раскрытие описывает считываемый компьютером носитель данных. Считываемый компьютером носитель данных имеет сохраненные инструкции, которые при исполнении побуждают один или более процессоров принимать кодированную видеопоследовательность, содержащую кодированные изображения видеопоследовательности, и принимать параметры синхронизации для кодированной видеопоследовательности, которые включают в себя временную шкалу и число единиц в такте синхросигнала самое большее один раз в синтаксической структуре набора параметров видео (УΡδ), к которой обращается кодированная видеопоследовательность, и самое большее один раз в части инфор- 2 026507 мации применимости видео (νυΐ) синтаксической структуры набора параметров последовательности (δΡδ), к которой обращается кодированная видеопоследовательность.

Подробности одного или более примеров изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, цели и преимущества должны становиться очевидными из описания и чертежей и из формулы изобретения.

Краткое описание чертежей

Фиг. 1 является блок-схемой, иллюстрирующей примерную систему кодирования и декодирования видео, которая может использовать технологии, описанные в этом раскрытии.

Фиг. 2 является блок-схемой, иллюстрирующей примерный видеокодер, который может реализовывать технологии, описанные в этом раскрытии.

Фиг. 3 является блок-схемой, иллюстрирующей примерный видеодекодер, который может реализовывать технологии, описанные в этом раскрытии.

Фиг. 4 является блок-схемой, иллюстрирующей информацию синхронизации для примерной структуры кодирования для набора опорных изображений согласно технологиям, описанным в данном документе.

Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии.

Фиг. 6А, 6В являются блок-схемами последовательности операций, иллюстрирующими примерные способы работы согласно технологиям, описанным в этом раскрытии.

Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии.

Фиг. 8 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии.

Фиг. 9А, 9В являются блок-схемами последовательности операций, иллюстрирующими примерные способы работы согласно технологиям, описанным в этом раскрытии.

Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии.

Подробное описание изобретения

Это раскрытие описывает различные технологии для кодирования видео, а более конкретно, в технологии для сигнализации информации синхронизации, например, чтобы указывать синхронизацию вывода изображений и/или задавать модель буферизации или декодирования, к примеру, гипотетический эталонный декодер (ΗΡΌ). В общем, термин сигнализирование (сигнализация) используется в этом раскрытии, чтобы означать сигнализирование, которое осуществляется в кодированном потоке битов. Кодер может формировать элементы синтаксиса, чтобы сигнализировать информацию в потоке битов в качестве части процесса кодирования видео. Устройство декодирования или другое устройство видеообработки может принимать кодированный поток битов и интерпретировать элементы синтаксиса в кодированном потоке битов в качестве части процесса декодирования видео или другой видеообработки. Например, чтобы указывать время вывода для переключения с данного изображения на следующее изображение в кодированной видеопоследовательности согласно упорядочению вывода, информация синхронизации для кодированной видеопоследовательности в некоторых случаях может сигнализировать число тактов синхросигнала, которое соответствует разности значений номеров в порядке изображений (РОС), равной единице. Разность РОС-значений, равная единице, может представлять разность между РОСзначением для данного изображения и РОС-значением для следующего изображения согласно упорядочению вывода, например РОС-значением для второго изображения и РОС-значением для третьего изображения согласно упорядочению вывода. Информация синхронизации видео также может включать в себя условие, которое точно определяет то, сигнализирует или нет информация синхронизации видео число тактов синхросигнала, которое соответствует разности значений номеров в порядке изображений, равной единице. Другими словами, только если условие выполняется, информация синхронизации видео сигнализирует число тактов синхросигнала, которое соответствует разности значений номеров в порядке изображений, равной единице. В некоторых случаях условие не выполняется, и информация синхронизации видео не сигнализирует число тактов синхросигнала, которое соответствует разности значений номеров в порядке изображений, равной единице. Число тактов синхросигнала может зависеть от временной шкалы (соответствующей, например, частоте осциллятора - к примеру, 27 МГц - которая задает систему временных координат для сигнализируемой информации) и числа единиц времени синхросигнала, работающего при временной шкале, которое соответствует одному приращению счетчика тактов синхросигнала, который упоминается в качестве такта синхросигнала.

В некоторых примерах технологии этого раскрытия могут включать в себя непосредственную сигнализацию, в синтаксической νΡδ-структуре или в νυΐ-части синтаксической δΡδ-структуры для кодированной видеопоследовательности, всех элементов синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности РОС-значений, равной 1. Иными словами, в некоторых случаях условие может иметь одну или более зависимостей от дополнительной информации (т.е. элементов синтаксиса), сигнализируемой в синтаксической νΡδ-структуре или в νυΐ-части синтак- 3 026507 сической δΡδ-структуры. Эти элементы синтаксиса могут включать в себя флаг присутствия информации синхронизации, как описано ниже.

Стандарты кодирования видео включают в себя 1ТИ-Т Н.261, 1ЗО/1ЕС ΜΡΕΟ-1 У18иа1, 1ТИ-Т Н.262 или 1ЗО/1ЕС ΜΡΕΟ-2 У15иа1, ГГО-Т Н.263, 1ЗО/1ЕС ΜΡΕΟ-4 У15иа1 и ГГО-Т Н.264 (также известный как 1ЗО/1ЕС ΜΡΕΟ-4 АУС), включающий в себя расширения масштабируемого кодирования видео (ЗУС) и кодирования многовидового видео (ΜνΟ).

Помимо этого, предусмотрен новый стандарт кодирования видео, а именно стандарт высокоэффективного кодирования видео (НЕУС), разрабатываемый посредством Объединенной группы для совместной работы над видеостандартами (1СТ-УС) Экспертной группы в области кодирования видео (УСЕС) 1ТИ-Т и Экспертной группы по киноизображению (ΜΡΕС) 13О/1ЕС. Последним рабочим проектом (ΑΌ) НЕУС, называемым НЕУС \νΌ9 или просто \νΌ9 в дальнейшем в этом документе, является работа авторов Вго88 с1 а1. Ρτοροδβά ебПопа1 ипргоустспЦ Гог Шд Е£йс1епсу УИсо Собшд (НЕУС) 1сх1 кресгйсайоп бгай 9 (ЗоЭ13), Ло1и1 Со11аЬогайуе Теат оп УИео Собшд (1СТ-УС) оГ 1ТИ-Т ЗС 16 ΑΡ 3 апб 1ЗО/1ЕС ТГС 1/ЗС 29/\\'С, 11, 12 \1ееПпд: Женева, СН, 14-23 января 2013 г., доступная по адресу 1Шр://р11епг\.т1еугу.Гг/|с1/4ос_еп4_и5ег/4оси1пеп15/12_Сепеуа/\уд11/.1С’ТУС’-и)030-у1./1р. с 7 января 2013 г.

Последний проект НЕУС-стандарта, называемый рабочим проектом НЕУС 10 или ΑΌ10, описывается в документе 1СТУС-Ь1003у34, авторов Вго88 е1 а1. Н|д еГЕаеису \гбео собшд (НЕУС) 1е\1 кресШсайои бгаП 10 (Гог ΡΌΙ3 апб Ьа81 Са11), Ло1п1 Со11аЬогайуе Теат оп УИео Собшд ЦСТ-УС) оГ 1ТИ-Т ЗС16 νΡ3 апб 1ЗО/1ЕС ТГС1/ЗС29ЖС11, 12 Μееΐ^пд: Женева, СН, 14-23 января 2013 г., который доступен для загрузки по адресу: Ькр://рЬеш\.ш1еугу.Гг/)с1/бос_епб_и8ег/боситеп18/12_Сепеуа/№д11/.ГСТУСЬ10 03-ν34.ζίρ.

Другой проект НЕУС-стандарта, упоминаемый в данном документе как исправления ΑΌ10, описывается в работе Вго88 е1 а1. Ебйогк' ргорокеб соггесйопк Ю НЕУС νе^8^οп 1, бо1Ш Со11аЬогаО\'е Теат оп У1бео Собтд ЦСТ-УС) оГ ГГО-Т ЗС16 νΡ3 апб 1ЗО/1ЕС ТГС1/ЗС29ЖС11, 13 Μееΐ^пд, Инчхон, КК, апрель 2013 г., которая с 7 июня 2013 г. доступна по адресу кίρ://ρЬет\.^ηΐеνIу.Г^/^сί/бοс_еηб_и8е^/бοситеηΐ8/13_IηсЬеοщΑд11/^СТУС-Μ0432-ν3.ζ^ρ .

Работа по стандартизации НЕУС основана на модели устройства кодирования видео, называемой тестовой моделью НЕУС (НМ). НМ учитывает улучшения характеристик текущих устройств кодирования видео относительно устройств кодирования видео, доступные в ходе разработки других предыдущих стандартов кодирования видео, например, 1ТИ-Т Н.264/АУС. Например, тогда как Н.264 предоставляет 9 режимов внутреннего прогнозирующего кодирования, НЕУС предоставляет целых 35 режимов внутреннего прогнозирующего кодирования. Весь контент НЕУС ΑΌ9 и НЕУС ΑΌ10 содержится в данном документе по ссылке.

Стандарты кодирования видео типично включают в себя спецификацию модели буферизации видео. В АУС и НЕУС, модель буферизации упоминается в качестве гипотетического эталонного декодера (НКО), который включает в себя модель буферизации как буфера кодированных изображений (СРВ), так и буфера декодированных изображений (ΌΡΒ). Как задано в НЕУС ΑΌ9, НКО представляет собой модель гипотетического декодера, которая указывает ограничения на вариативность потоков единицы уровня абстрагирования от сети (ΝΑΕ) или соответствие потоков байтов, которые может формировать процесс кодирования. СРВ- и ΌΡΒ-режимы работы указываются математически. НКО прямо налагает ограничения на различную синхронизацию, размеры буферов и скорости передачи битов и косвенно налагает ограничения на характеристики и статистику по потоку битов. Полный набор НКО-параметров включает в себя пять базовых параметров: начальная задержка удаления из СРВ, СРВ-размер, скорость передачи битов, начальная задержка ΌΡΒ-вывода и ΌΡΒ-размер.

В АУС и НЕУС соответствие потока битов и соответствие декодера указываются в качестве частей НКО-спецификации. Хотя гипотетический эталонный декодер включает в себя термин декодер, НКО типично требуется на стороне кодера для того, чтобы гарантировать соответствие потока битов, и типично не требуется на стороне декодера. Указываются два типа соответствия потока битов или НКОсоответствия, а именно тип Ι и тип ΙΙ. Кроме того, указываются два типа соответствия декодера, соответствие декодера по синхронизации вывода и соответствие декодера по порядку вывода.

В НЕУС \νΌ9, НКО-операции требуют параметров, сигнализируемых в синтаксических структурах Ьгб_рагате1ег8(), сообщениях с дополнительной улучшающей информацией (ЗЕ1) по периоду буферизации, ЗЕ1-сообщениях по синхронизации изображений и иногда также в ЗЕ1-сообщениях с информацией единиц декодирования. Синтаксические структуры Ьгб_рагате1ег8() могут сигнализироваться в наборе параметров видео (ΜΡ3), в наборе параметров последовательности (3Ρ3) или в любой комбинации вышеозначенного.

В НЕУС \νΌ9, синтаксическая структура Ьгб_рагате1ег8() включает в себя элементы синтаксиса для сигнализации информации синхронизации видео, включающей в себя временную шкалу и число единиц в такте синхросигнала. Часть информации применимости видео (УШ) 3Ρ3 включает в себя флаг, указывающий то, является или нет значение номера в порядке изображений (РОС) для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной

- 4 026507 видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности; если да, то число тактов синхросигнала, соответствующее разности значений номеров в порядке изображений, равной 1.

Связанные синтаксис и семантика в НЕУС ^09 следующие. Табл. 1 показывает примерную синтаксическую структуру первичной байтовой последовательности данных (ΚΒδΡ) набора параметров видео согласно \УЭ9.

Таблица 1

Примерная синтаксическая ΚΒδΡ-структура наборов параметров видео

\абео рагате(ег зе(гЬзр( ) {	Дескриптор
ур5 пит Ьгй рагате1ег$	ие(у)
Гог( ΐ = 0; ί < уря пит Нгс1 рагате1ег$; Ϊ++ ) {
Ьгй ор«е1 1бх[ ϊ ]	υε(ν)
ίΐζί> 0)
сргт8 рге5еп<Па§[ ί ]	и(1)
кг<1_рагатс1сг5( сргт5_ргсзсп(_Йар[ ί ], урз тах зиЬ 1ауегз ттиз1)
}
}

В табл. 1 элемент ур8_пит_Ьгб_рагате1ег8 синтаксиса указывает число синтаксических структур Ьгб_рагаше1ег8(), присутствующих в первичной байтовой последовательности данных (ΚΒδΡ) набора параметров видео. В потоках битов, соответствующих этой версии этой спецификации, значение ур8_пит_Ьгб_рагате1ег8 должно быть меньше или равным 1. Хотя значение ур8_пит Ьгб_рагате1ег8 должно быть меньше или равным 1 в НЕУС \УЭ9, декодеры должны давать возможность появления других значений ур8_пит_Ьгб_рагате1ег8 в диапазоне от 0 до 1024 включительно, в синтаксисе.

Элемент Ьгб_ор_8е1_1бх[1] синтаксиса:

точно определяет индекс в списке наборов рабочих точек, указываемых посредством набора параметров видео, набора рабочих точек, к которому применяется ί-я синтаксическая структура Ьгб_рагате!ег8() в наборе параметров видео (νΡδ). В потоках битов, соответствующих этой версии этой спецификации, значение Ьгб_ор_8е1_1бх[Г|;

должно быть равно 0. Хотя значение Ьгб_ор_8е1_1бх[1] должно быть меньше или равным 1 в НЕУС \УЭ9, декодеры должны давать возможность появления других значений Ьгб_ор_8е1_1бх[1] в диапазоне от 0 до 1023, в синтаксисе.

Элемент сргт8_рге8еп1_йад[1] синтаксиса равный 1 указывает, что НКЭ-параметры, которые являются общими для всех подслоев, присутствуют в ί-й синтаксической структуре Ьгб_рагате1ег8() в наборе параметров видео; сргт8_рге8еп1_йад[1], равный 0, указывает, что НКЭ-параметры, которые являются общими для всех подслоев, не присутствуют в ί-й синтаксической структуре Ьгб_рагате1ег8() в наборе параметров видео и извлекаются как идентичные (т-1)-й синтаксической структуре Ьгб_рагате1ег8() в наборе параметров видео; сргт5_рге8еп1_йад[0] логически выводится равным 1.

Табл. 2 показывает синтаксическую структуру УШ-параметров согласно \УЭ9.

Таблица 2

Синтаксическая структура УШ-параметров

\чп рагате(еге() {	Дескриптор
,и
ή гй-рагат е( ег8 р гезеп 1 П ад	и(1)
ίΓ( Ьг<1 рагате1ег5 ргеяеп1 йад )
Нгф рагате1егз( 1,5рз тах 5иЪ 1ауег8 т1пиз1 )
рос ргорогЙопа1(о йт1пд Пад	и(1)
1£(рос_ргорог[1опа1_1о_11т1пд_йа§ && ίίπιίηβ ίηΓο ргелеш Лар)
пит Йск8 рос ШГГ опе т1пиз1	ие(у)

В табл. 2 элемент Ъгб_рагате1ег8_рге8ей_йад синтаксиса, равный 1, указывает, что синтаксическая структура Ьгб_рагате1ег8() присутствует в синтаксической структуре уш рагате1ег8(); Ьгб_рагате1ег8_рге8еп1_йад, равный 0, указывает, что синтаксическая структура Ьгб_рагате1ег8() не при- 5 026507 сутствует в синтаксической структуре уш рагате1ег8().

Элемент рос_рторотЯопа1_1о_Ят1пд Пад синтаксиса, равный 1, указывает, что значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, является пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности; рос_ргорогЯопаШо_йштд_Яад, равный 0, указывает, что значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, может быть пропорциональным или не быть пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности.

Элемент пит_йск8_рос_йГГ'_опе_тти81 синтаксиса плюс 1 указывает число тактов синхросигнала, соответствующее разности значений номеров в порядке изображений, равной 1.

Нижеприведенная табл. 3 показывает примерную синтаксическую структуру ΗΚΌ-параметров согласно νΌ9.

Таблица 3

Примерная синтаксическая структура ΗΚΌ-параметров

Ьгй_рагате(еге( соттопкГРгезепЮад, тахКигпЗиЬЬауегеМтиП ) {	Дескриптор
ί£( соттогйпГРгезешПад) !
11т1П§тГо рге8еп1 Па§	и(1)
ίί( Птю8 тГо рге8еп1 0а§ ) {
пи т иш!5 т екк	и(32)
Йте«са1е	и(32)
}
...
}

В табл. 3 элемент Ят1пд_1пГо_-рте8еп1_Яад синтаксиса, равный 1, указывает, что пит_ипЙ8_1п_Яск и Яте_8са1е присутствуют в синтаксической структуре Ьтй_рагате1ег8(). Если Яттд_1иГо_рге8еп1_Яад равен 0, пит_ипП5_т_Яск и Яте_8са1е не присутствуют в синтаксической структуре Ьтй_рагате1ег8(). Если не присутствуют, значение Яттд_1иГо_рге8еп1_Яад логически выводится равным 0.

Элемент пит_ипЙ8_т_Лск синтаксиса является числом единиц времени синхросигнала, работающего на частоте Яте_5са1е Гц, которая соответствует одному приращению (называемому тактом синхросигнала) счетчика тактов синхросигнала. Значение для элемента пит_ипЙ8_т_Яск синтаксиса должно превышать 0. Такт синхросигнала является минимальным интервалом времени, который может быть представлен в кодированных данных, когда 8иЪ_р1с_срЪ_рагат8_рге8еп1_Яад равен 0. Например, когда частота кадров видеосигнала составляет 25 Гц, Яте_5са1е может быть равен 27000000 и пит_ипЙ8_т_йск может быть равен 1080000.

Элемент Яше_8са1е синтаксиса является числом единиц времени, которые проходят за одну секунду. Например, система временных координат, которая измеряет время с использованием синхросигнала в 27 МГц, имеет Яше_8са1е в 27000000. Значение для элемента Яше_8са1е синтаксиса должно превышать 0.

Сигнализирование синхронизации, как указано в НЕУС \УЭ9 и как описано выше, может демонстрировать ряд проблем. Во-первых, условие для сигнализации элемента пнт_Нск5_рос_Й1ГГ_опе_тнш51 синтаксиса представляет собой 1£(рос_ргорог1юпа1_1о_йттд_Яад_апйапй_йттд_1пГо_рге8еп1_Яад). Это условие включает в себя зависимости от двух сигнализируемых элементов синтаксиса: рос_рторогЯопа1_1о_Яттд_Яад и йпипд_тГо_рге5еп1_Пад. Тем не менее, из спецификации НЕУС \УЭ9 неясно, обращается йпйпд_тГо_рге5еп1_Пад для условия к элементу Яттд_шГо_рте8еп1_Яад синтаксиса синтаксической структуры Ьтй_ратате1ег8() (если есть) в УШ-части РРР либо обращается к элементу йттд_1иГо_рге8еп1_Яад синтаксиса синтаксической структуры () в УРР.

Помимо этого, несколько слоев или несколько возможных поднаборов потоков битов масштабируемого потока видеобитов могут совместно использовать общие значения временной шкалы и числа единиц в такте синхросигнала, которые указываются в НЕУС \УЭ9 в элементах Яше_8са1е и пит_ипЙ8_1п_Яск синтаксиса синтаксической структуры Ьтй_ратате1ег8(), которая может многократно сигнализироваться, например, в УШ-части РРР и в УРР. Такая репликация, если присутствует в потоке битов, может приводить к битовым потерям.

Более того, значения номеров в порядке изображений (РОС) типично являются пропорциональными временам вывода для всех слоев масштабируемого потока видеобитов, если РОС-значения являются пропорциональными временам вывода для какого-либо из слоев масштабируемого потока видеобитов. Тем не менее, спецификация НЕУС \УЭ9 не предусматривает сигнализирования в масштабируемом потоке видеобитов, указания того, что РОС-значения являются пропорциональными временам вывода для

- 6 026507 всех слоев или всех возможных поднаборов потоков битов для масштабируемого потока видеобитов. Ссылка на слой масштабируемого потока видеобитов может означать, например, масштабируемый слой, вид текстуры и/или вид глубины. Помимо этого, хотя НЕУС АИ9 указывает, что флаг рос_ргорогйопа1_1о_йт1п§_йад всегда сигнализируется в УШ-синтаксисе, всегда сигнализируется в синтаксической Уи1-структуре δΡδ, флаг рос_ргорогйопа1_1о_йттд_йад не имеет полезности, если элементы йте_8са1е и пит_иш18_т_йск синтаксиса также не сигнализированы в потоке битов.

Технологии этого раскрытия позволяют разрешать одну или более вышеуказанных проблем, а также предоставлять другие улучшения, чтобы обеспечивать эффективную сигнализацию параметров для НИИ-операций. Различные примеры технологий описываются в данном документе в отношении НЕУС \УИ9 и потенциальных его улучшений. Решения применяются к любым стандартам кодирования видео, включающим в себя АУС и НЕУС, например, которые включают в себя спецификацию для модели буферизации видео, хотя в целях иллюстрации описание является конкретным для сигнализации НКИ-параметров, заданной в НЕУС \УИ9 и модифицированной в соответствии с технологиями этого раскрытия.

Фиг. 1 является блок-схемой, иллюстрирующей примерную систему 10 кодирования и декодирования видео, которая может использовать технологии, описанные в этом раскрытии. Как показано на фиг. 1, система 10 включает в себя устройство-источник 12, которое формирует кодированные видеоданные, которые должны быть декодированы впоследствии посредством устройства-адресата 14. Устройствоисточник 12 и устройство-адресат 14 могут содержать любые из широкого диапазона устройств, включающих в себя настольные компьютеры, ноутбуки (т.е. переносные компьютеры), планшетные компьютеры, абонентские приставки, телефонные трубки, к примеру, так называемые смартфоны, так называемые интеллектуальные сенсорные панели, телевизионные приемники, камеры, устройства отображения, цифровые мультимедийные проигрыватели, консоли для видеоигр, устройства потоковой передачи видео и т.п. В некоторых случаях устройство-источник 12 и устройство-адресат 14 могут быть оснащены возможностями беспроводной связи.

Устройство-адресат 14 может принимать кодированные видеоданные, которые должны быть декодированы, через линию 16 связи. Линия 16 связи может содержать любой тип носителя или устройства, допускающего перемещение кодированных видеоданных из устройства-источника 12 в устройствоадресат 14. В одном примере линия 16 связи может содержать среду связи, чтобы обеспечивать возможность устройству-источнику 12 передавать кодированные видеоданные непосредственно в устройствоадресат 14 в реальном времени. Кодированные видеоданные могут быть модулированы согласно стандарту связи, такому как протокол беспроводной связи, и переданы в устройство-адресат 14. Среда связи может содержать любую беспроводную или проводную среду связи, такую как радиочастотный (ИЕ) спектр или одна или более физических линий передачи. Среда связи может формировать часть сети с коммутацией пакетов, такой как локальная вычислительная сеть, глобальная вычислительная сеть либо глобальная сеть, такая как Интернет. Среда связи может включать в себя маршрутизаторы, коммутаторы, базовые станции или любое другое оборудование, которое может быть полезным для того, чтобы упрощать передачу из устройства-источника 12 в устройство-адресат 14.

Альтернативно, кодированные данные могут выводиться из интерфейса 22 вывода в устройство 34 хранения. Аналогично, к кодированным данным может осуществляться доступ из устройства 34 хранения посредством интерфейса ввода. Устройство 34 хранения может включать в себя любые из множества носителей данных с распределенным или локальным доступом, такие как жесткий диск, В1и-Кау-диски, ИУИ, СИ-ΚΌΜ, флэш-память, энергозависимое или энергонезависимое запоминающее устройство или любые другие подходящие цифровые носители данных для сохранения кодированных видеоданных. В дополнительном примере, устройство 34 хранения может соответствовать файловому серверу или другому промежуточному устройству хранения данных, которое может хранить кодированное видео, сформированное посредством устройства-источника 12. Устройство-адресат 14 может осуществлять доступ к сохраненным видеоданным из устройства 34 хранения через потоковую передачу или загрузку. Файловый сервер может быть любым типом сервера, допускающего сохранение кодированных видеоданных и передачу этих кодированных видеоданных в устройство-адресат 14. Примерные файловые серверы включают в себя веб-сервер (например, для веб-узла), ЕТР-сервер, устройства системы хранения данных с подключением по сети (ΝΑδ) или локальный накопитель на дисках. Устройство-адресат 14 может осуществлять доступ к кодированным видеоданным через любое стандартное подключение для передачи данных, включающее в себя Интернет-подключение. Оно может включать в себя беспроводной канал (например, Αί-Ρί-подключение), проводное подключение (например, ΌδΕ, кабельный модем и т.д.) или комбинацию означенного, которая является подходящей для того, чтобы осуществлять доступ к кодированным видеоданным, сохраненным на файловом сервере. Передача кодированных видеоданных из устройства 34 хранения может представлять собой потоковую передачу, передачу на основе загрузки или комбинацию вышеозначенного.

Технологии этого раскрытия необязательно ограничены приложениями или настройками беспроводной связи. Технологии могут применяться к кодированию видео в поддержку любых из множества мультимедийных приложений, таких как телевизионные широковещательные передачи по радиоинтер- 7 026507 фейсу, кабельные телевизионные передачи, спутниковые телевизионные передачи, потоковые передачи видео, например, через Интернет, кодирование цифрового видео для хранения на носителе данных, декодирование цифрового видео, сохраненного на носителе данных, или другие приложения. В некоторых примерах система 10 может быть выполнена с возможностью поддерживать одностороннюю или двустороннюю передачу видео, чтобы поддерживать такие приложения, как потоковая передача видео, воспроизведение видео, широковещательная передача видео и/или видеотелефония.

В примере по фиг. 1 устройство-источник 12 включает в себя видеоисточник 18, видеокодер 20 и интерфейс 22 вывода. В некоторых случаях интерфейс 22 вывода может включать в себя модулятор/демодулятор (модем) и/или передающее устройство. В устройстве-источнике 12 видеоисточник 18 может включать в себя источник, такой как устройство видеозахвата, например, видеокамера, видеоархив, содержащий ранее захваченное видео, интерфейс прямых видеотрансляций, чтобы принимать видео от поставщика видеоконтента, и/или компьютерную графическую систему для формирования компьютерных графических данных в качестве исходного видео, либо комбинацию таких источников. В качестве одного примера, если видеоисточник 18 представляет собой видеокамеру, устройство-источник 12 и устройство-адресат 14 могут формировать так называемые камерофоны или видеофоны. Тем не менее, технологии, описанные в этом раскрытии, могут быть применимыми к кодированию видео в целом и могут применяться к беспроводным и/или проводным вариантам применения.

Захваченное, предварительно захваченное или машиногенерируемое видео может быть кодировано посредством видеокодера 20. Кодированные видеоданные могут быть переданы непосредственно в устройство-адресат 14 через интерфейс 22 вывода устройства-источника 12. Кодированные видеоданные также (или альтернативно) могут сохраняться на устройство 34 хранения для последующего доступа посредством устройства-адресата 14 или других устройств для декодирования и/или воспроизведения.

Устройство-адресат 14 включает в себя интерфейс 28 ввода, видеодекодер 30 и устройство 32 отображения. В некоторых случаях интерфейс 28 ввода может включать в себя приемное устройство и/или модем. Интерфейс 28 ввода устройства-адресата 14 принимает кодированные видеоданные по линии 16 связи. Кодированные видеоданные, передаваемые по линии 16 связи или предоставленные на устройстве 34 хранения, могут включать в себя множество элементов синтаксиса, сформированных посредством видеокодера 20 для использования посредством видеодекодера, такого как видеодекодер 30, при декодировании видеоданных. Такие элементы синтаксиса могут быть включены с кодированными видеоданными, передаваемыми на среде связи, сохраненными на носителе данных или сохраненными на файловом сервере.

Устройство 32 отображения может быть интегрированным или внешним для устройства-адресата 14. В некоторых примерах устройство-адресат 14 может включать в себя интегрированное устройство отображения, а также выполнено с возможностью взаимодействовать с внешним устройством отображения. В других примерах устройство-адресат 14 может представлять собой устройство отображения. В общем, устройство 32 отображения отображает декодированные видеоданные пользователю и может содержать любое из множества устройств отображения, таких как жидкокристаллический дисплей (ЬСО), плазменный дисплей, дисплей на органических светодиодах (ΟΕΕΌ) или другой тип устройства отображения.

Видеокодер 20 и видеодекодер 30 могут работать согласно такому стандарту сжатия видео, как стандарт высокоэффективного кодирования видео (НЕУС), разрабатываемый в настоящее время, и могут соответствовать тестовой модели НЕУС (НМ). Альтернативно, видеокодер 20 и видеодекодер 30 могут работать согласно другим собственным или отраслевым стандартам, таким как стандарт ΓΤϋ-Τ Н.264, альтернативно называемый МРЕО-4, часть 10, усовершенствованное кодирование видео (АУС), или расширениям таких стандартов. Тем не менее, технологии этого раскрытия не ограничены каким-либо конкретным стандартом кодирования. Другие примеры стандартов сжатия видео включают в себя МРЕС-2 и ΓΤυ-Τ Н.263.

Хотя не показано на фиг. 1, в некоторых аспектах видеокодер 20 и видеодекодер 30 могут быть интегрированы с аудиокодером и декодером соответственно и могут включать в себя соответствующие модули мультиплексора-демультиплексора либо другие аппаратные средства и программное обеспечение для того, чтобы обрабатывать кодирование как аудио, так и видео в общем потоке данных или в отдельных потоках данных. Если применимо, в некоторых примерах модули мультиплексорадемультиплексора могут соответствовать протоколу мультиплексора ΓΤυ Н.223 или другим протоколам, таким как протокол пользовательских дейтаграмм (υΌΡ).

Видеокодер 20 и видеодекодер 30 могут быть реализованы как любая из множества надлежащих схем кодера, к примеру, один или более микропроцессоров, процессоров цифровых сигналов (Ό8Ρ), специализированных интегральных схем (А8ГС), программируемых пользователем вентильных матриц (РРСА), дискретная логика, программное обеспечение, аппаратные средства, микропрограммное обеспечение либо любые комбинации вышеозначенного. Когда технологии реализуются частично в программном обеспечении, устройство может сохранять инструкции для программного обеспечения на подходящем долговременном считываемом компьютером носителе и выполнять инструкции в аппаратных средствах с использованием одного или более процессоров, чтобы осуществлять технологии этого раскрытия.

- 8 026507

Каждый из видеокодера 20 и видеодекодера 30 может быть включен в один или более кодеров или декодеров, любой из которых может быть интегрирован как часть комбинированного кодера/декодера (кодека) в соответствующем устройстве.

1СТ-УС проводит работы по разработке НЕУС-стандарта. Работа по стандартизации НЕУС основана на усовершенствованной модели устройства кодирования видео, называемой тестовой моделью НЕУС (НМ). НМ предполагает несколько дополнительных возможностей устройств кодирования видео относительно существующих устройств согласно, например, ГТИ-Т Н.264/АУС. Например, тогда как Н.264 предоставляет 9 режимов внутреннего прогнозирующего кодирования, НМ может предоставлять целых 33 режима внутреннего прогнозирующего кодирования.

В общем, рабочая модель НМ описывает, что видеокадр или изображение могут быть разделены на последовательность древовидных блоков или наибольших единиц кодирования (ЬСИ), которые включают в себя выборки как сигнала яркости, так и сигнала цветности. Древовидный блок имеет назначение, аналогичное назначению макроблока по стандарту Н.264. Слайс включает в себя некоторое число последовательных древовидных блоков в порядке кодирования. Видеокадр или изображение могут быть сегментированы на один или более слайсов. Каждый древовидный блок может разбиваться на единицы кодирования (СИ) согласно дереву квадрантов. Например, древовидный блок, в качестве корневого узла дерева квадрантов, может разбиваться на четыре дочерних узла, и каждый дочерний узел, в свою очередь, может быть родительским узлом и разбиваться еще на четыре дочерних узла. Конечный, неразбитый дочерний узел, в качестве концевого узла дерева квадрантов, содержит узел кодирования, т.е. кодированный видеоблок. Синтаксические данные, ассоциированные с кодированным потоком битов, могут задавать максимальное число раз, которое может разбиваться древовидный блок, и также может задавать минимальный размер узлов кодирования.

СИ включает в себя узел кодирования и единицы прогнозирования (РИ) и единицы преобразования (ТИ), ассоциированные с узлом кодирования. Размер СИ, в общем, соответствует размеру узла кодирования и типично должен иметь квадратную форму. Размер Си может колебаться от 8x8 пикселов вплоть до размера древовидного блока максимум в 64x64 пикселов или более. Каждая Си может содержать одну или более РИ и одну или более ТИ. Синтаксические данные, ассоциированные с СИ, могут описывать, например, сегментацию Си на одну или более РИ. Режимы сегментации могут отличаться между тем, является СИ кодированной в режиме пропуска или прямом режиме, кодированной в режиме внутреннего прогнозирования или кодированной в режиме внешнего прогнозирования. РИ могут быть сегментированы таким образом, что они имеют неквадратную форму. Синтаксические данные, ассоциированные с СИ, также могут описывать, например, сегментацию Си на одну или более ТИ согласно дереву квадрантов. ТИ может иметь квадратную или неквадратную форму.

НЕУС-стандарт обеспечивает возможность преобразований согласно ТИ, которые могут отличаться для различных СИ. Размеры Νυ типично задаются на основе размера РИ в данной СИ, заданного для сегментированной ЬСИ, хотя это может не всегда иметь место. ТИ типично имеет идентичный размер или меньше по сравнению с РИ. В некоторых примерах остаточные выборки, соответствующие СИ, могут подразделяться на меньшие единицы с использованием структуры в виде дерева квадрантов, известной как остаточное дерево квадрантов (КЦТ). Концевые узлы ВОТ могут называться единицами преобразования (ТИ). Значения пиксельных разностей, ассоциированные с ТИ, могут быть преобразованы, чтобы формировать коэффициенты преобразования, которые могут быть квантованы.

В общем, РИ включает в себя данные, связанные с процессом прогнозирования. Например, когда РИ кодируется во внутреннем режиме, РИ может включать в себя данные, описывающие режим внутреннего прогнозирования для РИ. В качестве другого примера, когда РИ кодируется во внешнем режиме, РИ может включать в себя данные, задающие вектор движения для РИ. Данные, задающие вектор движения для РИ, могут описывать, например, горизонтальный компонент вектора движения, вертикальный компонент вектора движения, разрешение для вектора движения (например, точность в одну четверть пиксела или точность в одну восьмую пиксела), опорный кадр, на который указывает вектор движения, и/или список опорных изображений (например, список 0, список 1 или список С) для вектора движения.

В общем, ТИ используется для процессов преобразования и квантования. Данная СИ, имеющая одну или более РИ, также может включать в себя одну или более единиц преобразования (ТИ). После прогнозирования видеокодер 20 может вычислять остаточные значения из видеоблока, идентифицированного посредством узла кодирования в соответствии с РИ. Узел кодирования затем обновляется таким образом, что он ссылается на остаточные значения, а не на исходный видеоблок. Остаточные значения содержат значения пиксельных разностей, которые могут быть преобразованы в коэффициенты преобразования, квантованы и сканированы с использованием преобразований и другой информации преобразования, указываемой в ТИ, чтобы формировать преобразованные в последовательную форму коэффициенты преобразования для энтропийного кодирования. Узел кодирования может еще раз обновляться таким образом, что он ссылается на эти преобразованные в последовательную форму коэффициенты преобразования. Это раскрытие типично использует термин видеоблок для того, чтобы означать узел кодирования СИ. В некоторых конкретных случаях это раскрытие также может использовать термин видео- 9 026507 блок для того, чтобы означать древовидный блок, т.е. ЬСИ или Си, которая включает в себя узел кодирования и ри и ти.

Видеопоследовательность типично включает в себя серии видеокадров или изображений. Группа изображений (ΟΘΡ), в общем, содержит последовательность из одного или более видеоизображений. ΟΘΡ может включать в себя в заголовке ΟΘΡ, в заголовке одного или более изображений или в другом месте синтаксические данные, которые описывают число изображений, включенных в ΟΘΡ. Каждый слайс изображения может включать в себя синтаксические данные слайса, которые описывают режим кодирования для соответствующего слайса. Видеокодер 20 типично управляет видеоблоками в пределах отдельных видеослайсов для того, чтобы кодировать видеоданные. Видеоблок может соответствовать узлу кодирования в СИ. Видеоблоки могут иметь фиксированные или варьирующиеся размеры и могут отличаться по размеру согласно указанному стандарту кодирования.

В качестве примера НМ поддерживает прогнозирование для различных РИ-размеров. При условии, что размер конкретной Си составляет 2Νχ2Ν, НМ поддерживает внутреннее прогнозирование для РИразмеров 2Νχ2Ν или ΝχΝ и внешнее прогнозирование для симметричных РИ-размеров 2Νχ2Ν, 2ΝχΝ, Νχ2Ν или ΝχΝ. НМ также поддерживает асимметричную сегментацию для внешнего прогнозирования для РИ-размеров 2Νχηυ, 2Νχηϋ, ηΤχ2Ν и ηΡχ2Ν. При асимметричной сегментации одно направление СИ не сегментируется, в то время как другое направление сегментируется на 25 и 75%. Часть Си, соответствующая 25%-ному сегменту, указывается посредством η, после чего идет указание относительно вверх (Ир), вниз (Όονη), влево (Ьей) или вправо (Κί§Ηΐ). Таким образом, например, 2Νχηυ ссылается на СИ 2Νχ2Ν, которая сегментируется горизонтально с РИ 2Νχ0,5Ν вверху и РИ 2Νχ1,5Ν внизу.

В этом раскрытии ΝχΝ и Ν на Ν могут быть использованы взаимозаменяемо для того, чтобы ссылаться на размеры в пикселах видеоблока с точки зрения размеров по вертикали и горизонтали, например 16x16 пикселов или 16 на 16 пикселов. В общем, блок 16x16 должен иметь 16 пикселов в вертикальном направлении (у=16) и 16 пикселов в горизонтальном направлении (х=16). Аналогично, блок ΝχΝ, в общем, имеет Ν пикселов в вертикальном направлении и Ν пикселов в горизонтальном направлении, при этом Ν представляет неотрицательное целочисленное значение. Пикселы в блоке могут размещаться в строках и столбцах. Кроме того, блок не обязательно должен иметь совпадающее число пикселов в горизонтальном направлении и в вертикальном направлении. Например, блоки могут содержать ΝχΜ пикселов, причем М необязательно равно Ν.

После внутреннего прогнозирующего или внешнего прогнозирующего кодирования с использованием РИ СИ видеокодер 20 может вычислять остаточные данные, к которым применяются преобразования, указываемые посредством ТИ СИ. Остаточные данные могут соответствовать пиксельным разностям между пикселами некодированного изображения и прогнозными значениями, соответствующими СИ. Видеокодер 20 может формировать остаточные данные для СИ и затем преобразовывать остаточные данные для того, чтобы формировать коэффициенты преобразования.

После преобразований для того, чтобы формировать коэффициенты преобразования, видеокодер 20 может выполнять квантование коэффициентов преобразования. Квантование, в общем, означает процесс, в котором коэффициенты преобразования квантуются, чтобы, возможно, уменьшать объем данных, используемых для того, чтобы представлять коэффициенты, обеспечивая дополнительное сжатие. Процесс квантования может уменьшать битовую глубину, ассоциированную с некоторыми или всеми коэффициентами. Например, η-битовое значение может быть округлено в меньшую сторону до т-битового значения в ходе квантования, при этом η больше т.

В некоторых примерах видеокодер 20 может использовать предварительно заданный порядок сканирования для того, чтобы сканировать квантованные коэффициенты преобразования, так чтобы формировать преобразованный в последовательную форму вектор, который может энтропийно кодироваться. В других примерах видеокодер 20 может выполнять адаптивное сканирование. После сканирования квантованных коэффициентов преобразования для того, чтобы формировать одномерный вектор, видеокодер 20 может энтропийно кодировать одномерный вектор, например, согласно контекстно-адаптивному кодированию переменной длины (САУЪС), контекстно-адаптивному двоичному арифметическому кодированию (САВАС), синтаксическому контекстно-адаптивному двоичному арифметическому кодированию (8ВАС), энтропийному кодированию на основе сегментации на интервалы вероятности (Р1РЕ) или другой технологии энтропийного кодирования. Видеокодер 20 также может энтропийно кодировать элементы синтаксиса, ассоциированные с кодированными видеоданными, для использования посредством видеодекодера 30 при декодировании видеоданных.

Чтобы выполнять САВАС, видеокодер 20 может назначать контекст в контекстной модели символу, который должен быть передан. Контекст может быть связан, например, с тем, являются соседние значения символа ненулевыми или нет. Чтобы выполнять САУЪС, видеокодер 20 может выбирать код переменной длины для символа, который должен быть передан. Кодовые слова в УЪС могут иметь такую структуру, что относительно более короткие коды соответствуют более вероятным символам, в то время как более длинные коды соответствуют менее вероятным символам. Таким образом, использование УЪС

- 10 026507 позволяет добиваться экономии битов, например, по сравнению с использованием кодовых слов равной длины для каждого символа, который должен быть передан. Определение вероятности может быть основано на контексте, назначаемом символу.

Устройство-источник 12 может генерировать кодированный поток битов таким образом, что он включает в себя элементы синтаксиса, которые соответствуют синтаксической структуре в соответствии с технологиями, описанными в этом раскрытии. В некоторых примерах видеокодер 20 может генерировать кодированный поток битов, чтобы непосредственно сигнализировать, в синтаксической структуре наборов параметров видео (ΥΡδ) или в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ) для кодированной видеопоследовательности, все переменные, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1. Другими словами, вместо сигнализации элементов синтаксиса для условия для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1, в другой синтаксической структуре (к примеру, в синтаксической структуре ΗΚΌ-параметров), которая включена в синтаксическую УР8-структуру или в УШ-часть синтаксической δΡδ-структуры, видеокодер 20 формирует кодированный поток битов, чтобы сигнализировать элементы синтаксиса, которые задают условие в синтаксической УР§- и/или УШ-структуре без обращения к другой синтаксической структуре, потенциально включенной в любую/обе из синтаксической УР§- и УШ-структуры. Элементы синтаксиса могут включать в себя элемент йтт§_шГо_рге8еп1_йад синтаксиса, который указывается в НЕУС \УЭ9 в качестве элемента синтаксиса синтаксической структуры ΗΚΌ-параметров. Как результат, технологии позволяют уменьшать и потенциально исключать неоднозначность в спецификации НЕУС ^Ό9 посредством ясного указания в синтаксисе источника элементов синтаксиса, которые задают условие.

Видеокодер 20 может тестировать кодированный поток битов на предмет соответствия требованиям, указываемым в качестве одного или более тестов на соответствие потока битов, заданных в спецификации кодирования видео, к примеру, в НЕУС \УЭ9 либо в последующей спецификации, к примеру, в НЕУС \УЭ10. Видеокодер 20 может включать в себя или иным образом использовать гипотетический эталонный декодер для того, чтобы тестировать кодированный поток битов на предмет соответствия. Согласно технологиям, описанным в данном документе, видеокодер 20 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять, из синтаксической УР§-структуры или в УШ-части синтаксической δΡδ-структуры для кодированной видеопоследовательности, элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности РОС-значений, равной 1. Если условие выполняется согласно значениям элементов синтаксиса, видеокодер 20 может определять число тактов синхросигнала, соответствующее разности РОС-значений, равной 1, и использовать определенное число тактов синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

В некоторых случаях в устройстве-адресате 14, тестируемый видеодекодер 30 (или УИТ) в некоторых случаях может принимать представление кодированного потока битов, сформированного посредством видеокодера 20, чтобы непосредственно сигнализировать в синтаксической УΡδ-структуре или в УШ-части синтаксической δΡδ-структуры для кодированной видеопоследовательности, все элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1. Видеодекодер 30 может декодировать кодированный поток битов, чтобы определять, из синтаксической У^-структуры или в УШ-части синтаксической δΡδ-структуры для кодированной видеопоследовательности, элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности РОСзначений, равной 1. Если условие выполняется согласно значениям элементов синтаксиса, видеодекодер 30 может определять число тактов синхросигнала, соответствующее разности РОС-значений, равной 1, и использовать определенное число тактов синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

В некоторых примерах видеокодер 20 может генерировать кодированный поток битов, чтобы сигнализировать временную шкалу и число единиц в такте синхросигнала самое большее один раз в каждой из синтаксических Υ^δ- и УШ-структур для данной кодированной видеопоследовательности. Иными словами, в данной синтаксической У^-структуре для кодированного потока битов видеокодер 20 может сигнализировать элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз. Аналогично, в данной синтаксической УШ-структуре (например, УШ-части синтаксической δΡδ-структуры) для кодированного потока битов, видеокодер 20 может сигнализировать элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз. Как результат, видеокодер 20 работающий согласно технологиям, описанным в данном документе, может сокращать число экземпляров элемента синтаксиса временной шкалы (йте_8са1е согласно \УЭ9) и элемента синтаксиса числа единиц в такте синхросигнала (пит_ит18_т_йск согласно \УЭ9) в кодированном потоке битов. Помимо этого, видеокодер 20 в некоторых случаях может генерировать кодированный по- 11 026507 ток битов, чтобы непосредственно сигнализировать временную шкалу и число единиц в такте синхросигнала в каждой из синтаксических νΡδ- и νυΐ-структур для данной кодированной видеопоследовательности, а не в синтаксической структуре ΗΚΌ-параметров, включенной в синтаксическую νΡδ- и/или νυΐ-структуру.

Согласно технологиям, описанным в данном документе, видеокодер 20 может тестировать кодированный поток битов, сформированный посредством видеокодера 20, чтобы сигнализировать временную шкалу и число единиц в такте синхросигнала самое большее один раз в каждой из синтаксических νΡδи νυΐ-структур для данной кодированной видеопоследовательности, на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической νΡδ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической νΡδ-структуре. В некоторых случаях видеокодер 20 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической νυΐ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической νυΐ-структуре. Временная шкала и число единиц в такте синхросигнала могут сигнализироваться не в синтаксической структуре ΗΚΌ-параметров, включенной в синтаксическую νΡδ- и/или νυΐ-структуру. Видеокодер 20 может использовать определенную временную шкалу и определенное число единиц в такте синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

В некоторых случаях в устройстве-адресате 14 тестируемый видеодекодер 30 может принимать представление кодированного потока битов, сформированного посредством видеокодера 20, чтобы сигнализировать временную шкалу и число единиц в такте синхросигнала самое большее один раз в каждой из синтаксических νΡδ- и νυΐ-структур для данной кодированной видеопоследовательности. Видеодекодер 30 может декодировать кодированный поток битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической νΡδ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической νΡδ-структуре. В некоторых случаях видеодекодер 30 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической νυΐ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической νυΐ-структуре. Временная шкала и число единиц в такте синхросигнала могут сигнализироваться не в синтаксической структуре ΗΚΌ-параметров, включенной в синтаксическую νΡδ- и/или νυΐ-структуру. Видеодекодер 30 может использовать определенную временную шкалу и определенное число единиц в такте синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

В некоторых примерах видеокодер 20 может генерировать кодированный поток битов для того, чтобы сигнализировать, в синтаксической νΡδ-структуре для одной или более кодированных видеопоследовательностей, флаг, указывающий то, является или нет РОС-значение для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности. Этот флаг указания, альтернативно, может упоминаться в качестве РОС, пропорционального флагу указания синхронизации. Как результат, видеокодер 20 может сокращать число экземпляров указания в информации синхронизации, сигнализируемой для нескольких слоев кодированной видеопоследовательности и/или для масштабируемого потока видеобитов, имеющего несколько слоев. В некоторых случаях видеокодер 20 может включать этот флаг в синтаксическую νΡδ-структуру, только если также включаются элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала. Видеокодер 20 в силу этого может не допускать сигнализации этой конкретной информации синхронизации (т.е. того, является или нет РОС-значение для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности), если информация тактов синхросигнала, необходимая для использования РОС, пропорционального указанию синхронизации, также не присутствует.

Согласно технологиям, описанным в данном документе, видеокодер 20 может тестировать на предмет соответствия кодированный поток битов, сформированный посредством видеокодера 20, чтобы сигнализировать, в синтаксической νΡδ-структуре для одной или более кодированных видеопоследовательностей, РОС, пропорциональный флагу указания синхронизации. Видеокодер 20 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять значение для флага. Видеокодер 20 дополнительно или альтернативно может

- 12 026507 тестировать кодированный поток битов, сформированный посредством видеокодера 20, чтобы сигнализировать флаг в синтаксической УР8-структуре, только если также включаются элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала. Видеокодер 20 может использовать определенное значение РОС, пропорционального флагу указания синхронизации, и элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала в качестве ввода, например, для определения СРВопустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

В некоторых случаях в устройстве-адресате 14 тестируемый видеодекодер 30 может принимать представление кодированного потока битов, сформированного посредством видеокодера 20, чтобы сигнализировать, в синтаксической УР8-структуре для одной или более кодированных видеопоследовательностей, РОС, пропорциональный флагу указания синхронизации. Видеодекодер 30 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять значение для флага. Видеодекодер 30, дополнительно или альтернативно, может тестировать кодированный поток битов, сформированный посредством видеодекодера 30, чтобы сигнализировать флаг в синтаксической УР8-структуре, только если также включаются элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала. Видеодекодер 30 может использовать определенное значение РОС, пропорционального флагу указания синхронизации, и элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

Фиг. 2 является блок-схемой, иллюстрирующей примерный видеокодер 20, который может реализовывать технологии, описанные в этом раскрытии. Видеокодер 20 может выполнять внутреннее и внешнее кодирование видеоблоков в видеослайсах. Внутреннее кодирование основано на пространственном прогнозировании для того, чтобы уменьшать или удалять пространственную избыточность видео в данном видеокадре или изображении. Внешнее кодирование основано на временном прогнозировании для того, чтобы уменьшать или удалять временную избыточность видео в смежных кадрах или изображениях видеопоследовательности. Внутренний режим (1-режим) может означать любой из нескольких режимов пространственного сжатия. Внешние режимы, к примеру, однонаправленное прогнозирование (Р-режим) или бипрогнозирование (В-режим), могут означать любой из нескольких режимов временного сжатия.

В примере по фиг. 2 видеокодер 20 включает в себя блок 35 сегментации, модуль 41 прогнозирования, запоминающее устройство 64 опорных изображений, сумматор 50, модуль 52 преобразования, блок 54 квантования и блок 56 энтропийного кодирования. Модуль 41 прогнозирования включает в себя блок 42 оценки движения, блок 44 компенсации движения и модуль 46 внутреннего прогнозирования. Для восстановления видеоблоков видеокодер 20 также включает в себя блок 58 обратного квантования, модуль 60 обратного преобразования и сумматор 62. Фильтр удаления блочности (не показан на фиг. 2) также может быть включен с возможностью фильтровать границы блоков, чтобы удалять артефакты блочности из восстановленного видео. Если требуется, фильтр удаления блочности типично должен фильтровать вывод сумматора 62. Дополнительные контурные фильтры (внутриконтурные или постконтурные) также могут быть использованы в дополнение к фильтру удаления блочности.

Как показано на фиг. 2, видеокодер 20 принимает видеоданные и блок 35 сегментации сегментирует данные на видеоблоки. Эта сегментация также может включать в себя сегментацию на слайсы, элементы мозаичного разбиения или другие большие единицы, а также сегментацию видеоблока, например, согласно структуре в виде дерева квадрантов ЬСИ и Си. Видеокодер 20, в общем, иллюстрирует компоненты, которые кодируют видеоблоки в видеослайсе, который должен быть кодирован. Слайс может быть разделен на несколько видеоблоков (и возможно на наборы видеоблоков, называемых элементами мозаичного разбиения). Модуль 41 прогнозирования может выбирать один из множества возможных режимов кодирования, к примеру, один из множества режимов внутреннего кодирования или один из множества режимов внешнего кодирования, для текущего видеоблока на основе результатов ошибки (например, скорости кодирования и уровня искажения). Модуль 41 прогнозирования может предоставлять результирующий внутренне или внешне кодированный блок в сумматор 50 для того, чтобы формировать остаточные блочные данные, и в сумматор 62 для того, чтобы восстанавливать кодированный блок для использования в качестве опорного изображения.

Модуль 46 внутреннего прогнозирования в модуле 41 прогнозирования может выполнять внутреннее прогнозирующее кодирование текущего видеоблока относительно одного или более соседних блоков в кадре или слайсе, идентичном кадру или слайсу текущего блока, который должен быть кодирован, чтобы предоставлять пространственное сжатие. Блок 42 оценки движения и блок 44 компенсации движения в модуле 41 прогнозирования выполняют внешнее прогнозирующее кодирование текущего видеоблока относительно одного или более прогнозных блоков в одном или более опорных изображений, чтобы предоставлять временное сжатие.

Блок 42 оценки движения может быть выполнен с возможностью определять режим внешнего прогнозирования для видеослайса согласно предварительно определенному шаблону для видеопоследова- 13 026507 тельности. Предварительно определенный шаблон может обозначать видеослайсы в последовательности в качестве Р-слайсов, В-слайсов или ОРВ-слайсов. Блок 42 оценки движения и блок 44 компенсации движения могут иметь высокую степень интеграции, но проиллюстрированы отдельно в концептуальных целях. Оценка движения, выполняемая посредством блока 42 оценки движения, представляет собой процесс формирования векторов движения, которые оценивают движение для видеоблоков. Вектор движения, например, может указывать смещение Ρυ видеоблока в текущем видеокадре или изображении относительно прогнозирующего блока в опорном изображении.

Прогнозный блок представляет собой блок, для которого обнаруживается, что он практически совпадает с видеоблоком, который должен быть кодирован, с точки зрения пиксельной разности, которая может быть определена посредством суммы абсолютных разностей (δΆΌ), суммы квадратов разностей (δδΌ) или других разностных показателей. В некоторых примерах видеокодер 20 может вычислять значения для субцелочисленно-пиксельных позиций опорных изображений, сохраненных в запоминающем устройстве 64 опорных изображений. Например, видеокодер 20 может интерполировать значения позиций в одну четверть пиксела, позиций в одну восьмую пиксела или других дробно-пиксельных позиций опорного изображения. Следовательно, блок 42 оценки движения может выполнять поиск движения относительно полно-пиксельных позиций и дробно-пиксельных позиций и выводить вектор движения с дробно-пиксельной точностью.

Блок 42 оценки движения вычисляет вектор движения для Ρυ видеоблока во внешне кодированном слайсе посредством сравнения позиции Ρυ с позицией прогнозного блока опорного изображения. Опорное изображение может быть выбрано из первого списка опорных изображений (списка 0) или второго списка опорных изображений (списка 1), каждый из которых идентифицируют одно или более опорных изображений, сохраненных в запоминающем устройстве 64 опорных изображений. Блок 42 оценки движения отправляет вычисленный вектор движения в блок 56 энтропийного кодирования и блок 44 компенсации движения.

Компенсация движения, выполняемая посредством блока 44 компенсации движения, может заключать в себе выборку или формирование прогнозного блока на основе вектора движения, определенного посредством оценки движения, возможно выполнение интерполяции в субпиксельную точность. При приеме вектора движения для Ρυ текущего видеоблока блок 44 компенсации движения может находить прогнозный блок, на который указывает вектор движения в одном из списков опорных изображений. Видеокодер 20 формирует остаточный видеоблок посредством вычитания пиксельных значений прогнозного блока из пиксельных значений текущего кодируемого видеоблока, формируя значения пиксельных разностей. Значения пиксельных разностей формируют остаточные данные для блока и могут включать в себя разностные компоненты сигнала яркости и сигнала цветности. Сумматор 50 представляет компонент или компоненты, которые выполняют эту операцию вычитания. Блок 44 компенсации движения также может формировать элементы синтаксиса, ассоциированные с видеоблоками и видеослайсом, для использования посредством видеодекодера 30 при декодировании видеоблоков видеослайса.

Блок 44 компенсации движения может формировать элементы 55 синтаксиса, которые соответствуют синтаксической структуре в соответствии с технологиями, описанными в этом раскрытии. В некоторых примерах видеокодер 20 может формировать элементы 55 синтаксиса, чтобы непосредственно сигнализировать, в синтаксической структуре наборов параметров видео (νΡδ) или в части информации применимости видео (νυΐ) синтаксической структуры набора параметров последовательности (δΡδ), ассоциированной с видеоблоками, все элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1. Другими словами, вместо сигнализации элементов синтаксиса для условия для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1, в другой синтаксической структуре (к примеру, в синтаксической структуре ΗΚΌ-параметров), которая включена в синтаксическую ΥΡδ-структуру или в νυΐ-часть синтаксической δΡδ-структуры, блок 44 компенсации движения формирует кодированный поток битов, чтобы сигнализировать элементы синтаксиса для элементов синтаксиса, которые задают условие в синтаксической νΡδ- и/или νυΐ-структуре без обращения к другой синтаксической структуре, потенциально включенной в любую/обе из синтаксической νΡδ- и νυΐ-структуры.

В некоторых примерах блок 44 компенсации движения может формировать элементы 55 синтаксиса, чтобы сигнализировать временную шкалу и число единиц в такте синхросигнала самое большее один раз в каждой из синтаксических νΡδ- и νυΐ-структур для данной кодированной видеопоследовательности. Иными словами, в данной синтаксической νΡδ-структуре для кодированного потока битов блок 44 компенсации движения может формировать элементы 55 синтаксиса, чтобы сигнализировать элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз. Аналогично, в данной синтаксической νυΐ-структуре (например, в νυΐ-части синтаксической δΡδ-структуры) для кодированного потока битов, блок 44 компенсации движения может формировать элементы 55 синтаксиса, которые сигнализируют элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз. Помимо этого, блок 44 компенсации движения в некоторых случаях может формировать элементы 55 синтаксиса, чтобы непосредственно сигнализировать временную шкалу и чис- 14 026507 ло единиц в такте синхросигнала в каждой из синтаксических ΎΡ8- и УШ-структур для данной кодированной видеопоследовательности, а не в синтаксической структуре НКЭ-параметров, включенной в синтаксическую УТ8- и/или УиГ-структуру.

В некоторых примерах блок 44 компенсации движения может формировать элементы 55 синтаксиса для того, чтобы сигнализировать, в синтаксической УΡ8-структуре для одной или более кодированных видеопоследовательностей, флаг, указывающий, является или нет РОС-значение для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности. Этот флаг указания, альтернативно, может упоминаться в качестве РОС, пропорционального флагу указания синхронизации. Как результат, блок 44 компенсации движения может сокращать число экземпляров указания в информации синхронизации, сигнализируемой для нескольких слоев кодированной видеопоследовательности и/или для масштабируемого потока видеобитов, имеющего несколько слоев. В некоторых случаях блок 44 компенсации движения может включать этот флаг в синтаксическую УΡ8-структуру, только если также включаются элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала. Блок 44 компенсации движения в силу этого может не допускать сигнализации этой конкретной информации синхронизации (т.е. того, является или нет РОС-значение для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности), если информация тактов синхросигнала, необходимая для использования РОС, пропорционального указанию синхронизации, также не присутствует.

Примерные изменения в тексте НЕУС ΑΌ9. чтобы осуществлять вышеуказанные технологии для формирования элементов 55 синтаксиса, заключаются в следующем (другие неупомянутые части могут оставаться немодифицированными в отношении НЕУС ΑΌ9).

Ниже приводится пример синтаксической ΚΒ8Ρ-структуры наборов параметров видео, модифицированной с возможностью разрешать одну или более вышеуказанных проблем (подчеркнутый синтаксис является добавлением в синтаксическую ΚΒ8Ρ-структуру набора параметров видео НЕУС ΑΌ9; другой синтаксис может быть неизменным относительно НЕУС ΑΌ9).

Таблица 4

Примерная синтаксическая ΚΒ8Ρ-структура наборов параметров видео

\зс1ео рагатетег 5еГ гЬяр() {	Дескриптор
νΐ)5 ЛпЛпц ιπΓο ргезеп! Лац	иШ
ίίί νϋϋ йттц ίηίο огекеШ Пар) ί
¥08 опт ипйз ΐη Лек	и(32)
¥рз Лте 5са1е	и(32)
¥08 оос огооогЛопа1 (о Лт1пе Лад	и(1)
ίίί νο® оос огооогйопа! ίο Лтта Лар)
¥оз пит Лскз оос <Γιίϊ опе тши$1	ие(у)
1
¥рз пит Ьг<1 рагате(ег8	ие(у)
Гог( ΐ = 0; ί < уря пит Ьгс1 рагате1ег.ч; ί++ ) {
сргт8 рге5еп1 Па§[ ί ]	и(1)
Ьгй_рагате1ег8( сргш5_ргезеп1_Йа§[ ί ], νρ$ тах виЬ 1ауегз пипиМ )
)

Табл. 4 задает новые добавленные элементы синтаксиса согласно следующей ΚΒ8Ρ-семантике наборов параметров видео (ΥΡ8):

ур5_йш1пд_1п£о_рге5еп1_Пад, равный 1, указывает, что ур5_пит_ипЙ5_ш_йск, урк_йте_кса1е и ур5_рос_ргорогйопа1_1о_йт1п§_йад присутствуют в наборе параметров видео;

ур5_йттд_1йо_рге5ей_йад, равный 0, указывает, что ур5_пит_ипЙ5_ш_йск, урк_йте_кса1е и урк_рос_ргорогйопа1_1о_йш1пд Лад не присутствуют в наборе параметров видео;

ур5_пит_ипЙ5_т_йск является числом единиц времени синхросигнала, работающего на частоте урк_йте_5са1е Гц, которая соответствует одному приращению (называемому тактом синхросигнала) счетчика тактов синхросигнала. Значение ур5_пит_ипк5_т_йск должно превышать 0. Такт синхросигнала, в единицах секунд, равен частному ур5_пит_ипЙ5_1п_йск, деленному на урк_йте_кса1е. Например,

- 15 026507 когда частота кадров видеосигнала составляет 25 Гц, ур8_йте_8са1е может быть равен 27000000, и ур8_пит_ипЙ8_т_йск может быть равен 1080000, и, следовательно, такт синхросигнала может составлять 0,04 с;

ур8_йте_8са1е является числом единиц времени, которые проходят за 1 с. Например, система временных координат, которая измеряет время с использованием синхросигнала на 27 МГц, имеет ур8_йте_8са1е в 27000000. Значение ур8_йте_8са1е должно превышать 0;

ур8_рос_ргорогйоиа1_1о_йт1ид_йад, равный 1, указывает, что значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, является пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности; ур8_рос_ргорогйоиа1_1о_йт1пд_йад, равный 0, указывает, что значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, может быть пропорциональным или не быть пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности;

ур8_пит_0ск8_рос_ШГГ_опе_тпш81 плюс 1 указывает число тактов синхросигнала, соответствующее разности значений номеров в порядке изображений, равной 1. Значение ур8_пит_0ск8_рос_ШГГ_опе_тпш81 должно быть в диапазоне от 0 до 2^Л32-1, включительно.

Ниже приводится пример синтаксической структуры УШ-параметров, модифицированной с возможностью разрешать одну или более вышеуказанных проблем (подчеркнутый синтаксис является добавлением в синтаксическую структуру УШ-параметров НЕУС ^09; курсивный синтаксис удален из синтаксической структуры УШ-параметров НЕУС \УЭ9; другие части синтаксической таблицы являются неизменными относительно НЕУС \УЭ9).

Таблица 5

Примерная модифицированная синтаксическая структура УШ-параметров

уш рагате(егз() {	Дескриптор
...
505 йтте ΐηίο оге$еп1 Пае	и(П
ΐίϊ 8П8 Отте ΐηίο отезеШ Пае ') (
505 пит иш($ ίη йск	и(32)
$р$ Йте $са!е	и(32)
50$ о ос опшогйопа] (о ίίπιίηε Пае	и(11
ΪΚ 505 оос ргоройюпа1 Ю Епйпе Пае)
50$ пит Иске рос ιΙΐΓΓ опе οιίηη$1	ие(у)
Г
Ьгс1 рагате1ег$рге5еп(Пад	ч(0
ΐί( Ьг0 рагате1ег5 ргезеп1 Йад)
Нп1 рагатеГегз{ 1, $р$тах 5иЪ 1ауег5 тти81 )
рос ρι·οροηίοηαΙ Ιο ιΪΜίη%βα§	и(1)
ΐ/( рос _ргорогИопа1_(о_Итт§у1а§ <&& й'ли'лг ΐηίο ргезеш (1а%)
питбек,рос 01//'опе^т1пи!>1	ие(\)
...
}

Табл. 5 задает новые добавленные элементы синтаксиса согласно следующей семантике УШ-параметров (семантика для удаленных элементов синтаксиса аналогично удалена):

8р8_йт1пд_1пГо_рге8еп1_йад, равный 1, указывает, что 8р8_иит_ипЙ8_ш_йск, 8р8 Нте_8са1е и 8р8_рос_ргорогйопа1_1о_йт1пд Г1ад присутствуют в синтаксической структуре уш рагате1ег8();

8р8_йт1пд_1пГо_рге8еп1_йад, равный 0, указывает, что 8р8_пит_ипЙ8_1п_йск, 8р8_йте_8са1е и 8р8_рос_ргорогйопа1_1о_йт1пд йад не присутствуют в синтаксической структуре уш рагате1ег8();

8р8 пит_ипЙ8_т_йск является числом единиц времени синхросигнала, работающего на частоте 8р8_йте_8са1е Гц, которая соответствует одному приращению (называемому тактом синхросигнала) счетчика тактов синхросигнала;

8р8_пит_ит18_т_йск должен превышать 0. Такт синхросигнала, в единицах секунд, равен частному 8р8_пит_ипЙ8_ш_йск, деленному на 8р8_йте_8са1е. Например, когда частота кадров видеосигнала составляет 25 Гц, 8р8_йте_8са1е может быть равен 27000000 и 8р8_пит_ипЙ8_т_йск может быть равен 1080000, следовательно, такт синхросигнала может быть равен 0,04 с (см. уравнение (1)). Когда

- 16 026507 ур8_пит_ипЙ8_1п_йск присутствует в наборе параметров видео, на который ссылается набор параметров последовательности, 8р8_пит_ит!8_ш_йск, если присутствует, должен быть равен ур8_шт_ит!8_ш_йск.

Формула для извлечения переменной ОоскТюк (также упоминаемой в данном документе как такт синхросигнала) модифицируется таким образом, что она представляет собой следующее:

хрх _пит _ κηϊΐχ _ ίη _ 1кк

С1оскТлск = Ите хса1е

Φ³-·* _·>«*« уравнение (1) где 8р8_!1те_8са1е является числом единиц времени, которые проходят за 1 с. Например, система временных координат, которая измеряет время с использованием синхросигнала на 27 МГц, имеет 8р8_йте_8са1е в 27000000. Значение 8р8_йте_8са1е должно превышать 0. Когда ур8_йте_8са1е присутствует в наборе параметров видео, на который ссылается набор параметров последовательности, 8р8_йте_8са1е, если присутствует, должен быть равен ур8_йте_8са1е;

8р8_рос_ргороШопа1_!о_йт1пд_йад, равный 1, указывает, что значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, является пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности; 8р8_рос_ргорогйопа1_!о_йт1пд_йад, равный 0, указывает, что значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, может быть пропорциональным или не быть пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности. Когда ур8_рос_ргорогйопа1_!о_йт1пд_йад присутствует в наборе параметров видео, на который ссылается набор параметров последовательности, 8р8_рос_ргорогйоиа1_!о_йт1пд_йад, если присутствует, должен быть равен νр8_рос_р^оро^ι^оиа1_ΐо_ί^т^ηд_йад;

8р8_пит_йск8_рос_дйй_опе_т1пи81 плюс 1 указывает число тактов синхросигнала, соответствующее разности значений номеров в порядке изображений, равной 1. Значение 8р8_пит_йск8_рос_дйй_опе_т1пи81 должно быть в диапазоне от 0 до 2^Л32-1 включительно. Когда ур8_пит_йск8_рос_дйй_опе_т1пи81 присутствует в наборе параметров видео, на который ссылается набор параметров последовательности, 8р8_пит_йск8_рос_дйй_опе_т1пи81, если присутствует, должен быть равен 8р8_пит_йск8_рос_Фйй_опе_т1пи81.

Ниже приводится пример синтаксической структуры НКО-параметров, модифицированной с возможностью разрешать одну или более вышеуказанных проблем (курсивный синтаксис удален из синтаксической структуры НКО-параметров НЕУС ν09).

Таблица 5

Примерная модифицированная синтаксическая структура НКО-параметров

Ьгд_рагатс(егз( соттоп1пГРгезеп1Р1ад, тахМит8иЬЬауег5М1пи51) {	Дескриптор
ϊί’( соттоп1п£Ргезеп1Р1а§) {
1ΐαΰηξ ΐη/ο рге$еп(βα%	»(1)
ϊ/( 1ΐηύη§~ϊη/ο~рге$еп(~βα§){
пит иги($ т йск	и(32)
Шпе зса1е	и(32)
}
...
}

Семантика для элементов синтаксиса, удаленных согласно примерной модифицированной синтаксической структуре НКО-параметров табл. 6, аналогично удалена.

Модуль 46 внутреннего прогнозирования может внутренне прогнозировать текущий блок, в качестве альтернативы внешнему прогнозированию, выполняемому посредством блока 42 оценки движения и блока 44 компенсации движения, как описано выше. В частности, модуль 46 внутреннего прогнозирования может определять режим внутреннего прогнозирования для использования с тем, чтобы кодировать текущий блок. В некоторых примерах модуль 46 внутреннего прогнозирования может кодировать текущий блок с использованием различных режимов внутреннего прогнозирования, например во время отдельных проходов кодирования, и модуль 46 внутреннего прогнозирования (либо блок 40 выбора режима в некоторых примерах) может выбирать надлежащий режим внутреннего прогнозирования для использования из тестированных режимов. Например, модуль 46 внутреннего прогнозирования может вычислять значения искажения в зависимости от скорости передачи с использованием анализа искажения в зависимости от скорости передачи для различных тестированных режимов внутреннего прогнозирования и выбирать режим внутреннего прогнозирования, имеющий наилучшие характеристики искажения в за- 17 026507 висимости от скорости передачи, из тестированных режимов. Анализ искажения в зависимости от скорости передачи, в общем, определяет величину искажения (или ошибки) между кодированным блоком и исходным декодированным блоком, который кодирован для того, чтобы формировать кодированный блок, а также скорость передачи битов (т.е. число битов), используемую для того, чтобы формировать кодированный блок. Модуль 46 внутреннего прогнозирования может вычислять отношения из искажений и скоростей для различных кодированных блоков, чтобы определять то, какой режим внутреннего прогнозирования демонстрирует наилучшее значение искажения в зависимости от скорости передачи для блока.

В любом случае после выбора режима внутреннего прогнозирования для блока модуль 46 внутреннего прогнозирования может предоставлять информацию, указывающую выбранный режим внутреннего прогнозирования для блока, в блок 56 энтропийного кодирования. Блок 56 энтропийного кодирования может кодировать информацию, указывающую выбранный режим внутреннего прогнозирования, в соответствии с технологиями этого раскрытия. Видеокодер 20 может включать в передаваемый поток битов конфигурационные данные, которые могут включать в себя множество индексных таблиц режимов внутреннего прогнозирования и множество модифицированных индексных таблиц режимов внутреннего прогнозирования (также называемых таблицами преобразования кодовых слов), определения контекстов кодирования для различных блоков и указания относительно наиболее вероятного режима внутреннего прогнозирования, индексной таблицы режимов внутреннего прогнозирования и модифицированной индексной таблицы режимов внутреннего прогнозирования, которые следует использовать для каждого из контекстов.

После того как модуль 41 прогнозирования формирует прогнозный блок для текущего видеоблока через внешнее прогнозирование или внутреннее прогнозирование, видеокодер 20 формирует остаточный видеоблок посредством вычитания прогнозного блока из текущего видеоблока. Остаточные видеоданные в остаточном блоке могут включаться в одну или более ТИ и применяться к модулю 52 преобразования. Модуль 52 преобразования преобразует остаточные видеоданные в остаточные коэффициенты преобразования с использованием преобразования, такого как дискретное косинусное преобразование (ОСТ) или концептуально аналогичное преобразование. Модуль 52 преобразования может преобразовывать остаточные видеоданные из пиксельной области в область преобразования, к примеру в частотную область.

Модуль 52 преобразования может отправлять результирующие коэффициенты преобразования в блок 54 квантования. Блок 54 квантования квантует коэффициенты преобразования, чтобы дополнительно уменьшать скорость передачи битов. Процесс квантования может уменьшать битовую глубину, ассоциированную с некоторыми или всеми коэффициентами. Степень квантования может быть модифицирована посредством регулирования параметра квантования. В некоторых примерах блок 54 квантования затем может выполнять сканирование матрицы, включающей в себя квантованные коэффициенты преобразования. Альтернативно, блок 56 энтропийного кодирования может выполнять сканирование.

После квантования блок 56 энтропийного кодирования энтропийно кодирует квантованные коэффициенты преобразования. Например, блок 56 энтропийного кодирования может выполнять контекстноадаптивное кодирование переменной длины (САУЬС), контекстно-адаптивное двоичное арифметическое кодирование (САВАС), синтаксическое контекстно-адаптивное двоичное арифметическое кодирование (ЗВАС), энтропийное кодирование на основе сегментации на интервалы вероятности (ΡΙΡΕ) или другую технологию энтропийного кодирования. После энтропийного кодирования посредством блока 56 энтропийного кодирования кодированный поток битов может быть передан в видеодекодер 30 или заархивирован для последующей передачи или извлечения посредством видеодекодера 30. Блок 56 энтропийного кодирования также может энтропийно кодировать векторы движения и другие элементы синтаксиса для текущего кодируемого видеослайса.

Блок 58 обратного квантования и модуль 60 обратного преобразования применяют обратное квантование и обратное преобразование, соответственно, чтобы восстанавливать остаточный блок в пиксельной области для последующего использования в качестве опорного блока опорного изображения. Блок 44 компенсации движения может вычислять опорный блок посредством суммирования остаточного блока с прогнозным блоком одного из опорных изображений в одном из списков опорных изображений. Блок 44 компенсации движения также может применять один или более интерполяционных фильтров к восстановленному остаточному блоку, чтобы вычислять субцелочисленно-пиксельные значения для использования в оценке движения. Сумматор 62 суммирует восстановленный остаточный блок с блоком прогнозирования с компенсацией движения, сформированным посредством блока 44 компенсации движения, чтобы формировать опорный блок для хранения в запоминающем устройстве 64 опорных изображений (иногда называемом буфером декодированных изображений (ΌΡΒ)). Опорный блок может использоваться посредством блока 42 оценки движения и блока 44 компенсации движения в качестве опорного блока, чтобы внешне прогнозировать блок в последующем видеокадре или изображении.

Видеокодер 20 необязательно может включать в себя гипотетический эталонный декодер 57 (НКН) (проиллюстрирован как необязательный посредством использования пунктирных линий) для того, чтобы проверять кодированные потоки битов, сформированные посредством элементов видеокодера 20, на предмет соответствия буферной модели, заданной для ΗΚΌ 57. НКН 57 может проверять потоки битов

- 18 026507 или поднаборы потоков битов типа Г и/или типа ГГ на предмет НИИ-соответствия. Наборы параметров, требуемые для работы НИИ 57, сигнализируются посредством одного из двух типов наборов НИИ-параметров, ΝΑΣ НИИ-параметров и УСЬ НИИ-параметров. Как описано выше, наборы НИИ-параметров могут быть включены в синтаксическую 8Р8-структуру и/или синтаксическую УР8-структуру.

НИИ 57 может тестировать видеоблоки и ассоциированные элементы 55 синтаксиса на предмет соответствия требованиям, указываемым в качестве одного или более тестов на соответствие потока битов, заданных в спецификации кодирования видео, к примеру в НЕУС \УИ9 либо в последующей спецификации, к примеру в НЕУС \УИ10. Например, НИИ 57 может тестировать кодированный поток битов на предмет соответствия посредством обработки элементов 55 синтаксиса, чтобы определять, из синтаксической УР8-структуры или в УИГ-части синтаксической §Р§-структуры для кодированной видеопоследовательности, элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности РОС-значений, равной 1. Если условие выполняется согласно значениям элементов синтаксиса, НИИ 57 может определять число тактов синхросигнала, соответствующее разности РОС-значений, равной 1, и использовать определенное число тактов синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов. Использование в данном документе термина обработка относительно элементов синтаксиса может означать извлечение, декодирование и извлечение, считывание, синтаксический анализ и любую другую применимую операцию или комбинацию операций, чтобы получать элементы синтаксиса в форме, используемой посредством декодера/НИИ 57.

В качестве другого примера НИИ 57 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической УР8-структуры элементов 55 синтаксиса, которая кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической УР8-структуре. В некоторых случаях НИИ 57 может тестировать кодированный поток битов на предмет соответствия посредством декодирования элементов 55 синтаксиса, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической УИГ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической УИГ-структуре. Временная шкала и число единиц в такте синхросигнала могут сигнализироваться не в синтаксической структуре НИИ-параметров, включенной в синтаксическую УР8-и/или УИГ-структуру. НИИ 57 может использовать определенную временную шкалу и определенное число единиц в такте синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

Согласно технологиям, описанным в данном документе, НИИ 57 может тестировать кодированный поток битов на предмет соответствия посредством декодирования, из синтаксической УР§-структуры элементов 55 синтаксиса для одной или более кодированных видеопоследовательностей, значения для РОС, пропорционального флагу указания синхронизации. НИИ 57, дополнительно или альтернативно, может тестировать кодированный поток битов на предмет соответствия посредством декодирования значения для РОС, пропорционального флагу указания синхронизации в синтаксической УР8-структуре, только если также включаются элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала. НИИ 57 может использовать определенное значение РОС, пропорционального флагу указания синхронизации, и элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала в качестве ввода, например, для определения СРВ-опустошения или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

Фиг. 3 является блок-схемой, иллюстрирующей примерный видеодекодер 76, который может реализовывать технологии, описанные в этом раскрытии. В примере по фиг. 3 видеодекодер 76 включает в себя буфер 78 кодированных изображений (СРВ), блок 80 энтропийного декодирования, модуль 81 прогнозирования, блок 86 обратного квантования, блок 88 обратного преобразования, сумматор 90 и буфер 92 декодированных изображений (ИРВ). Модуль 81 прогнозирования включает в себя блок 82 компенсации движения и модуль 84 внутреннего прогнозирования. Видеодекодер 76 может в некоторых примерах выполнять проход декодирования, в общем, обратный проходу кодирования, описанному относительно видеокодера 20 из фиг. 2. Видеодекодер 76 может представлять примерный экземпляр видеодекодера 30 устройства-адресата 14 или гипотетического эталонного декодера 57 по фиг. 2.

СРВ 78 сохраняет кодированные изображения из кодированного потока битов изображений. В одном примере, СВР 78 представляет собой буфер первый на входе-первый на выходе, содержащий единицы доступа (АИ) в порядке декодирования. АИ представляет собой набор единиц уровня абстрагирования от сети (ΝΑΣ), которые ассоциированы между собой согласно указанному правилу классификации, являются последовательными в порядке декодирования и содержат точно одно кодированное изображение. Порядок декодирования представляет собой порядок, в котором изображения декодируются, и может отличаться от порядка, в котором изображения отображаются (т.е. порядка отображения). Работа

- 19 026507

СРВ может указываться посредством гипотетического эталонного декодера (ΗΡΌ).

Во время процесса декодирования, видеодекодер 76 принимает кодированный поток видеобитов, который представляет видеоблоки слайса кодированного видео и ассоциированные элементы синтаксиса, из видеокодера 20. Блок 80 энтропийного декодирования видеодекодера 76 декодирует поток битов, чтобы формировать квантованные коэффициенты, векторы движения и другие элементы 55 синтаксиса. Блок 80 энтропийного декодирования перенаправляет векторы движения и другие элементы 55 синтаксиса в модуль 81 прогнозирования. Видеодекодер 76 может принимать элементы 55 синтаксиса на уровне видеослайса и/или на уровне видеоблока. Кодированный поток видеобитов может включать в себя информацию синхронизации, сигнализируемую согласно технологиям, описанным ниже. Например, кодированный поток видеобитов может включать в себя набор параметров видео (УР8), набор параметров последовательности (8Р8) или любую комбинацию вышеозначенного, имеющую синтаксические структуры согласно технологиям, описанным в данном документе, чтобы сигнализировать параметры для ΗΚΌ-операций.

Когда видеослайс кодируется в качестве внутренне кодированного (I-) слайса, модуль 84 внутреннего прогнозирования модуля 81 прогнозирования может формировать прогнозирующие данные для видеоблока текущего видеослайса на основе сигнализируемого режима внутреннего прогнозирования и данных из ранее декодированных блоков текущего кадра или изображения. Когда видеокадр кодируется в качестве внешне кодированного (т.е. В-, Р- или ОРВ-) слайса, блок 82 компенсации движения модуля 81 прогнозирования формирует прогнозные блоки для видеоблока текущего видеослайса на основе векторов движения и других элементов 55 синтаксиса, принимаемых из блока 80 энтропийного декодирования. Прогнозные блоки могут формироваться из одного из опорных изображений в одном из списков опорных изображений. Видеодекодер 76 может составлять списки опорных кадров, список 0 и список 1, с использованием технологий составления по умолчанию на основе опорных изображений, сохраненных в 1/РВ 92.

Блок 82 компенсации движения определяет информацию прогнозирования для видеоблока текущего видеослайса посредством синтаксического анализа векторов движения и других элементов 55 синтаксиса и использует информацию прогнозирования для того, чтобы формировать прогнозные блоки для текущего декодируемого видеоблока. Например, блок 82 компенсации движения использует некоторые из принимаемых элементов 55 синтаксиса для того, чтобы определять режим прогнозирования (например, внутреннее или внешнее прогнозирование), используемый для того, чтобы кодировать видеоблоки видеослайса, тип слайса внешнего прогнозирования (например, В-слайс, Р-слайс или ОРВ-слайс), информацию составления для одного или более списков опорных изображений для слайса, векторы движения для каждого внешне кодированного видеоблока слайса, состояние внешнего прогнозирования для каждого внешне кодированного видеоблока слайса и другую информацию для того, чтобы декодировать видеоблоки в текущем видеослайсе.

Блок 82 компенсации движения также может выполнять интерполяцию на основе интерполяционных фильтров. Блок 82 компенсации движения может использовать интерполяционные фильтры, используемые посредством видеокодера 20 в ходе кодирования видеоблоков, для того чтобы вычислять интерполированные значения для субцелочисленных пикселов опорных блоков. В этом случае блок 82 компенсации движения может определять интерполяционные фильтры, используемые посредством видеокодера 20, из принимаемых элементов 55 синтаксиса и использовать интерполяционные фильтры для того, чтобы формировать прогнозные блоки.

Блок 86 обратного квантования обратно квантует, т.е. деквантует, квантованные коэффициенты преобразования, предоставленные в потоке битов и декодированные посредством блока 80 энтропийного декодирования. Процесс обратного квантования может включать в себя использование параметра квантования, вычисленного посредством видеокодера 20 для каждого видеоблока в видеослайсе, чтобы определять степень квантования и, аналогично, степень обратного квантования, которое должно применяться. Блок 88 обратного преобразования применяет обратное преобразование, например, обратное ОСТ, обратное целочисленное преобразование или концептуально аналогичный процесс обратного преобразования, к коэффициентам преобразования, чтобы формировать остаточные блоки в пиксельной области.

После того как блок 82 компенсации движения формирует прогнозный блок для текущего видеоблока на основе векторов движения и других элементов 55 синтаксиса, видеодекодер 76 формирует декодированный видеоблок посредством суммирования остаточных блоков из блока 88 обратного преобразования с соответствующими прогнозными блоками, сформированными посредством блока 82 компенсации движения. Сумматор 90 представляет компонент или компоненты, которые выполняют эту операцию суммирования. Если требуется, фильтр удаления блочности также может быть применен для того, чтобы фильтровать декодированные блоки, чтобы удалять артефакты блочности. Другие контурные фильтры (в контуре кодирования или после контура кодирования) также могут быть использованы для того, чтобы сглаживать пиксельные переходы или иным образом повышать качество видео. Декодированные видеоблоки в данном кадре или изображении затем сохраняются в ОРВ 92, которое сохраняет опорные изображения, используемые для последующей компенсации движения. ОРВ 92 также сохраняет декодированное видео для последующего представления на устройстве отображения, к примеру, на уст- 20 026507 ройстве 32 отображения по фиг. 1. Как СРВ 78, в одном примере работа ИРВ 92 может указываться посредством гипотетического эталонного декодера (НИИ).

Кодер 20 и декодер 76, как описано в этом раскрытии, представляют примеры устройств, выполненных с возможностью осуществлять технологии для сигнализации синхронизации в процессе кодирования видео, как описано в этом раскрытии. Соответственно, операции, описанные в этом раскрытии для сигнализации времени, могут выполняться посредством кодера 20, декодера 76 либо и того, и другого. В некоторых случаях кодер 20 может сигнализировать информацию синхронизации, и декодер 76 может принимать такую информацию синхронизации, например, для использования при задании одного или более НИИ-признаков, характеристик, параметров или условий.

Видеодекодер 76 в некоторых случаях может представлять собой тестируемый видеодекодер 76 (или УиТ). Видеодекодер 76 может принимать представление кодированного потока битов, сформированного посредством видеокодера 20, чтобы непосредственно сигнализировать в синтаксической ΥΓδструктуре или в УШ-части синтаксической δΡδ-структуры элементов 55 синтаксиса для кодированной видеопоследовательности, все элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1. Видеодекодер 76 может декодировать кодированный поток битов, чтобы определять, из синтаксической У^-структуры или в УШ-части синтаксической δΡδ-структуры для кодированной видеопоследовательности, элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности РОС-значений, равной 1. Если условие выполняется согласно значениям элементов синтаксиса, видеодекодер 76 может определять число тактов синхросигнала, соответствующее разности РОС-значений, равной 1, и использовать определенное число тактов синхросигнала в качестве ввода, например, для определения опустошения СРВ 78 или переполнения во время декодирования кодированных изображений, включенных в кодированный поток битов.

В другом примере видеокодер 20 может принимать представление кодированного потока битов, сформированного посредством видеокодера 20, чтобы сигнализировать временную шкалу и число единиц в такте синхросигнала самое большее один раз в каждой из синтаксических ΥΓδ- и УШ-структур элементов 55 синтаксиса для данной кодированной видеопоследовательности. Видеодекодер 76 может декодировать кодированный поток битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической ΥΡδ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической ΥΡδ-структуре. В некоторых случаях видеодекодер 76 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять временную шкалу и число единиц в такте синхросигнала из синтаксической УШ-структуры кодированного потока битов, который кодирует элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала самое большее один раз в синтаксической УШ-структуре. Временная шкала и число единиц в такте синхросигнала могут сигнализироваться не в синтаксической структуре НИИ-параметров, включенной в синтаксическую ΥΓδ- и/или УШ-структуру. Видеодекодер 76 может использовать определенную временную шкалу и определенное число единиц в такте синхросигнала в качестве ввода, например, для определения опустошения или переполнения СРВ 78 во время декодирования кодированных изображений, включенных в кодированный поток битов.

В другом примере видеодекодер 76 может принимать представление кодированного потока битов, сформированного посредством видеокодера 20, чтобы сигнализировать, в синтаксической ΥΡδ-структуре элементов 55 синтаксиса для одной или более кодированных видеопоследовательностей, РОС, пропорциональный флагу указания синхронизации. Видеодекодер 76 может тестировать кодированный поток битов на предмет соответствия посредством декодирования кодированного потока битов, чтобы определять значение для флага. Видеодекодер 76 дополнительно или альтернативно может тестировать кодированный поток битов, сформированный посредством видеодекодера 76, чтобы сигнализировать флаг в синтаксической У^-структуре, только если также включаются элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала. Видеодекодер 76 может использовать определенное значение РОС, пропорционального флагу указания синхронизации, и элементы синтаксиса временной шкалы и числа единиц в такте синхросигнала в качестве ввода, например, для определения опустошения или переполнения СРВ 78 во время декодирования кодированных изображений, включенных в кодированный поток битов.

Фиг. 4 является блок-схемой, иллюстрирующей примерную структуру 100 кодирования для набора опорных изображений. Структура 100 кодирования включает в себя слайсы 102А-102Е (совместно, слайсы 102 ). Номер 108 в порядке изображений, ассоциированный со структурой 100 кодирования, обозначает порядок вывода соответствующего слайса в наборе опорных изображений. Например, 1-слайс 102А должен выводиться первым (РОС-значение 0), в то время как Ь-слайс 102В должен выводиться вторым (РОС-значение 1). Порядок 110 декодирования, ассоциированный со структурой 100 кодирования, обозначает порядок декодирования для соответствующего слайса в наборе опорных изображений. Например, Ι-слайс 102А должен выводиться первым (порядок 1 декодирования), в то время как Ь-слайс 102В должен выводиться вторым (порядок 2 декодирования).

- 21 026507

Стрелка 104 указывает время вывода для изображений вдоль временного континуума ΐ. Временной интервал 106 представляет временной интервал, соответствующий разности значений номеров в порядке изображений (РОС), равной 1. Временной интервал 106 может включать в себя число тактов синхросигнала, которое может зависеть от временной шкалы (соответствующей, например, частоте осциллятора - к примеру, 27 МГ ц - которая задает систему временных координат для сигнализируемой информации), и число единиц времени синхросигнала, работающего при временной шкале, которое соответствует одному приращению счетчика тактов синхросигнала, которое упоминается в качестве такта синхросигнала. В соответствии с технологиями, описанными в данном документе, видеокодер 20 может формировать поток битов, чтобы непосредственно сигнализировать, в синтаксической структуре наборов параметров видео (УР8) или в части информации применимости видео (УИ1) синтаксической структуры набора параметров последовательности (§Р§) для кодированной видеопоследовательности, элементы синтаксиса, которые задают условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной 1.

Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии. Видеокодер 20 кодирует изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность 200.

Видеокодер 20 дополнительно формирует наборы параметров для кодированной видеопоследовательности. Наборы параметров могут включать в себя параметры, кодированные согласно синтаксической структуре наборов параметров последовательности (§Р§) и/или согласно синтаксической структуре наборов параметров видео (УР8). Согласно технологиям, описанным в данном документе, видеокодер 20 кодирует элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы непосредственно в синтаксическую УР8-структуру и/или непосредственно в синтаксическую 8Р8-структуру для кодированной видеопоследовательности (202). Термин непосредственно указывает, что такое кодирование может формироваться без включения, в синтаксическую УР8-структуру или синтаксическую 8Р8структуру (при соответствующих условиях), элементов синтаксиса для числа единиц в такте синхросигнала и временной шкалы, заданных для отдельной синтаксической структуры набора параметров, к примеру, синтаксической структуры, соответствующей набору параметров гипотетического эталонного декодера (ΗΚΌ), как задано в НЕУС νΌ9.

Помимо этого, видеокодер 20 кодирует, непосредственно в синтаксическую УР8-структуру и/или синтаксическую 8Р8-структуру кодированной видеопоследовательности, условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной единице (204). Условие может включать в себя один или более элементов синтаксиса, которые представляют переменные для булевой формулы, причем в этом случае видеокодер 20 может кодировать каждый такой элемент синтаксиса непосредственно в синтаксическую УР8-структуру и/или синтаксическую 8Р8-структуру кодированной видеопоследовательности. Видеокодер 20 выводит кодированную видеопоследовательность и синтаксическую УР8-структуру и/или синтаксическую 8Р8-структуру для кодированной видеопоследовательности (206). В некоторых случаях видеокодер 20 выводит эти структуры в ΗΚΌ видеокодера 20.

Фиг. 6А-6В являются блок-схемами последовательности операций, иллюстрирующими примерные способы работы согласно технологиям, описанным в этом раскрытии. На фиг. 6А видеокодер 20 кодирует изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность (300).

Видеокодер 20 дополнительно формирует наборы параметров для кодированной видеопоследовательности. Наборы параметров могут включать в себя параметры, кодированные согласно синтаксической структуре наборов параметров видео (УР8). Согласно технологиям, описанным в данном документе, видеокодер 20 кодирует элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы непосредственно, и самое большее один раз, в синтаксическую УР8-структуру для кодированной видеопоследовательности (302). В некоторых случаях, даже в случаях, в которых синтаксическая УР8-структура включает в себя несколько экземпляров НКН-параметров, посредством кодирования элементов синтаксиса непосредственно в синтаксическую УР8-структуру (самое большее один раз), а не в наборы НКН-параметров (или в любую другую включенную синтаксическую структуру набора параметров), синтаксическая УР§-структура может включать в себя один элемент синтаксиса для каждого из числа единиц в такте синхросигнала и временной шкалы. Видеокодер 20 выводит кодированную видеопоследовательность и синтаксическую УР8-структуру для кодированной видеопоследовательности (304). В некоторых случаях видеокодер 20 выводит эти структуры в НКЭ видеокодера 20.

На фиг. 6В видеокодер 20 кодирует изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность (310). Видеокодер 20 дополнительно формирует наборы параметров для кодированной видеопоследовательности. Наборы параметров могут включать в себя параметры, кодированные согласно набору параметров видео (8Р8) синтаксическая структура. Согласно технологиям, описанным в данном документе, видеокодер 20 кодирует элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы непосредственно, и самое большее один раз, в синтаксическую 8Р8-структуру для кодированной видеопоследовательности (312). В некоторых случаях, даже в

- 22 026507 случаях, в которых синтаксическая δΡδ-структура включает в себя несколько экземпляров ΗΚΌ-параметров, посредством кодирования элементов синтаксиса непосредственно в синтаксическую δΡδ-структуру (самое большее один раз), а не в наборы ΗΚΌ-параметров (или в любую другую включенную синтаксическую структуру набора параметров), синтаксическая δΡδ-структура может включать в себя один элемент синтаксиса для каждого из числа единиц в такте синхросигнала и временной шкалы. Видеокодер 20 выводит кодированную видеопоследовательность и синтаксическую δΡδ-структуру для кодированной видеопоследовательности (314). В некоторых случаях видеокодер 20 выводит эти структуры в ΗΚΌ видеокодера 20. В некоторых случаях видеокодер 20 может кодировать элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы как в синтаксическую νΡδ-структуру, так и в синтаксическую δΡδ-структуру для кодированной видеопоследовательности.

Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии. Видеокодер 20 кодирует изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность (400).

Видеокодер 20 дополнительно формирует наборы параметров для кодированной видеопоследовательности. Наборы параметров могут включать в себя параметры, кодированные согласно синтаксической структуре наборов параметров видео (νΡδ). Если информация синхронизации должна быть включена, например, для задания модели ΗΚΌ-буферизации (ветвь Да, 402), видеокодер 20 кодирует, непосредственно в синтаксическую νΡδ-структуру для кодированной видеопоследовательности, элемент синтаксиса, имеющий значение, которое точно определяет то, является или нет значение номера в порядке изображений (РОС) для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности (404). Элемент синтаксиса может быть семантически аналогичным рос_ргорогйопа1_1о_йш1ид_йад, заданному посредством ИЕУС ΑΌ9. Информация синхронизации может представлять число единиц в такте синхросигнала и временную шкалу.

Если значение элемента синтаксиса является истинным (ветвь Да, 406), видеокодер 20 также кодирует элемент синтаксиса для числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений, равной единице (408). Поскольку видеокодер 20 кодирует элементы синтаксиса в νΡδ, значения элементов синтаксиса могут применяться ко всем слоям или всем возможным поднаборам потоков битов масштабируемого потока видеобитов, поскольку νΡδ представляет набор параметров самого верхнего слоя и описывает полные характеристики последовательностей кодированных изображений.

Если информация синхронизации не должна быть включена в синтаксическую νΡδ-структуру (ветвь Нет, 402), видеокодер 20 не кодирует ни элемент синтаксиса для указания, что РОС является пропорциональным информации синхронизации, ни элемент синтаксиса для числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений, равной единице. Если РОС не является пропорциональным информации синхронизации (т.е. значение является ложью) (ветвь Нет, 406), видеокодер 20 не кодирует элемент синтаксиса для числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений, равной единице.

Видеокодер 20 выводит кодированную видеопоследовательность и синтаксическую νΡδ-структуру для кодированной видеопоследовательности (410). В некоторых случаях видеокодер 20 выводит эти структуры в ΗΚΌ видеокодера 20.

Фиг. 8 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии. Устройство 30 видеодекодера или гипотетический эталонный декодер 57 устройства 20 видеокодера (в дальнейшем в этом документе, декодер) принимает кодированную видеопоследовательность и синтаксическую структуру наборов параметров видео (νΡδ) и/или синтаксическую структуру наборов параметров последовательности (δΡδ) для кодированной видеопоследовательности (500).

Кодированная видеопоследовательность и/или синтаксическая структура(ы) могут кодироваться в поток битов, который включает в себя одно или более кодированных изображений.

Декодер обрабатывает синтаксическую νΡδ-структуру и/или синтаксическую δΡδ-структуру таким образом, чтобы извлекать элемент синтаксиса, который точно определяет, непосредственно в синтаксической νΡδ-структуре и/или синтаксической δΡδ-структуре, условие для сигнализации числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений (РОС), равной единице (502). Условие может включать в себя один или более элементов синтаксиса, которые представляют переменные для булевой формулы, причем в этом случае декодер может обрабатывать каждый такой элемент синтаксиса непосредственно из синтаксической νΡδ-структуры и/или синтаксической δΡδ-структуры кодированной видеопоследовательности.

Декодер дополнительно обрабатывает синтаксическую νΡδ-структуру и/или синтаксическую δΡδ-структуру таким образом, чтобы извлекать элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы непосредственно из синтаксической νΡδ-структуры и/или непосредственно из синтаксической δΡδ-структуры для кодированной видеопоследовательности (504). Декодер затем мо- 23 026507 жет верифицировать соответствие кодированной видеопоследовательности модели буферизации видео, которая задается, по меньшей мере, частично посредством значений для условия, числа единиц в такте синхросигнала и временной шкалы, извлеченных из синтаксической У^-структуры и/или синтаксической δΡδ-структуры и считываемых из соответствующих элементов синтаксиса (506).

Фиг. 9А, 9В являются блок-схемами последовательности операций, иллюстрирующими примерные способы работы согласно технологиям, описанным в этом раскрытии. На фиг. 9А устройство 30 видеодекодера или гипотетический эталонный декодер 57 устройства 20 видеокодера (в дальнейшем в этом документе декодер) принимает кодированную видеопоследовательность и синтаксическую структуру наборов параметров видео ΥΡδ) для кодированной видеопоследовательности (600). Кодированная видеопоследовательность и/или синтаксическая У^-структура могут кодироваться в поток битов, который включает в себя одно или более кодированных изображений.

Согласно технологиям, описанным в данном документе, декодер обрабатывает синтаксическую У^-структуру таким образом, чтобы извлекать элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы, которые возникают непосредственно, и самое большее один раз, в синтаксической У^-структуре для кодированной видеопоследовательности (602). Декодер затем может верифицировать соответствие кодированной видеопоследовательности модели буферизации видео, которая задается, по меньшей мере, частично посредством значений для числа единиц в такте синхросигнала и временной шкалы, извлеченных из синтаксической У^-структуры и считываемых из соответствующих элементов синтаксиса (604).

На фиг. 9В декодер принимает кодированную видеопоследовательность и синтаксическую структуру набора параметров видео (δΡδ) для кодированной видеопоследовательности (610). Кодированная видеопоследовательность и/или синтаксические δΡδ-структуры могут кодироваться в поток битов, который включает в себя одно или более кодированных изображений.

Согласно технологиям, описанным в данном документе, декодер обрабатывает синтаксическую δΡδ-структуру таким образом, чтобы извлекать элементы синтаксиса для числа единиц в такте синхросигнала и временной шкалы, которые возникают непосредственно, и самое большее один раз, в синтаксической δΡδ-структуре для кодированной видеопоследовательности (612). Декодер затем может верифицировать соответствие кодированной видеопоследовательности модели буферизации видео, которая задается, по меньшей мере, частично посредством значений для числа единиц в такте синхросигнала и временной шкалы, извлеченных из синтаксической δΡδ-структуры и считываемых из соответствующих элементов синтаксиса (614).

Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей примерный способ работы согласно технологиям, описанным в этом раскрытии. На фиг. 10, устройство 30 видеодекодера или гипотетический эталонный декодер 57 устройства 20 видеокодера (в дальнейшем в этом документе, декодер) принимает кодированную видеопоследовательность и синтаксическую структуру наборов параметров видео ΥΡδ) для кодированной видеопоследовательности (700). Кодированная видеопоследовательность и/или синтаксическая У^-структура могут кодироваться в поток битов, который включает в себя одно или более кодированных изображений.

Декодер обрабатывает синтаксическую УГС-структуру таким образом, чтобы извлекать элемент синтаксиса, который точно определяет то, является или нет значение номера в порядке изображений для каждого изображения в кодированной видеопоследовательности, которое не является первым изображением в кодированной видеопоследовательности в порядке декодирования, пропорциональным времени вывода изображения относительно времени вывода первого изображения в кодированной видеопоследовательности (702). Если значение для элемента синтаксиса является истинным, то декодер дополнительно обрабатывает синтаксическую УГС-структуру таким образом, чтобы извлекать элемент синтаксиса для числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений, равной единице (706). Декодер затем может верифицировать соответствие кодированной видеопоследовательности модели буферизации видео, которая задается, по меньшей мере, частично посредством значения для числа тактов синхросигнала, соответствующего разности значений номеров в порядке изображений, равной единице, извлеченных из синтаксической У^-структуры и считываемых из соответствующего элемента синтаксиса (708).

В одном или более примеров описанные функции могут быть реализованы в аппаратных средствах, программном обеспечении, микропрограммном обеспечении или любой комбинации вышеозначенного. При реализации в программном обеспечении, функции могут быть сохранены или переданы, в качестве одной или более инструкций или кода, по считываемому компьютером носителю и выполнены посредством аппаратного процессора. Считываемые компьютером носители могут включать в себя считываемые компьютером носители данных, которые соответствуют материальному носителю, такие как носители данных, или среды связи, включающие в себя любой носитель, который упрощает перенос компьютерной программы из одного места в другое, например, согласно протоколу связи. Таким образом, считываемые компьютером носители, в общем, могут соответствовать (1) материальному считываемому компьютером носителю данных, который является долговременным, или (2) среде связи, такой как сигнал или несущая. Носители данных могут представлять собой любые доступные носители, к которым может

- 24 026507 осуществляться доступ посредством одного или более компьютеров или одного или более процессоров, с тем чтобы извлекать инструкции, код и/или структуры данных для реализации технологий, описанных в этом раскрытии. Компьютерный программный продукт может включать в себя считываемый компьютером носитель.

В качестве примера, а не ограничения, эти считываемые компьютером носители данных могут содержать КАМ, КОМ, ΕΕΡΚΟΜ, ΟΌ-ΚΟΜ или другое устройство хранения на оптических дисках, устройство хранения на магнитных дисках или другие магнитные устройства хранения, флэш-память либо любой другой носитель, который может быть использован для того, чтобы сохранять требуемый программный код в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера. Также любое подключение корректно называть считываемым компьютером носителем. Например, если инструкции передаются из веб-узла, сервера или другого удаленного источника с помощью коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (ΌδΕ) или беспроводных технологий, таких как инфракрасные, радиопередающие и микроволновые среды, то коаксиальный кабель, оптоволоконный кабель, витая пара, ΌδΕ или беспроводные технологии, такие как инфракрасные, радиопередающие и микроволновые среды, включаются в определение носителя. Тем не менее, следует понимать, что считываемые компьютером носители данных и носители данных не включают в себя соединения, несущие, сигналы или другие энергозависимые носители, а вместо этого направлены на долговременные материальные носители данных. Диск (Фкк) и диск (άίδο) при использовании в данном документе включают в себя компакт-диск (ΟΌ), лазерный диск, оптический диск, универсальный цифровой диск (ΌΥΟ), гибкий диск и диск В1и-Кау, при этом диски (Фкк) обычно воспроизводят данные магнитно, тогда как диски (άίδο) обычно воспроизводят данные оптически с помощью лазеров. Комбинации вышеперечисленного также следует включать в число считываемых компьютером носителей.

Инструкции могут выполняться посредством одного или более процессоров, например, одного или более процессоров цифровых сигналов (ΌδΡ), микропроцессоров общего назначения, специализированных интегральных схем (ΑδΐΟ), программируемых пользователем вентильных матриц (ΡΡΟΆ) либо других эквивалентных интегральных или дискретных логических схем. Соответственно, термин процессор при использовании в данном документе может означать любую вышеуказанную структуру или другую структуру, подходящую для реализации технологий, описанных в данном документе. Помимо этого, в некоторых аспектах функциональность, описанная в данном документе, может быть предоставлена в рамках специализированных программных и/или аппаратных модулей, выполненных с возможностью кодирования или декодирования либо встроенных в комбинированный кодек. Кроме того, технологии могут быть полностью реализованы в одной или более схем или логических элементов.

Технологии этого раскрытия могут быть реализованы в широком спектре устройств или приборов, в том числе в беспроводном переносном телефоне, в интегральной схеме (Ю) или в наборе Ю (к примеру, в наборе микросхем). Различные компоненты, модули или блоки описываются в этом раскрытии для того, чтобы подчеркивать функциональные аспекты устройств, выполненных с возможностью осуществлять раскрытые технологии, но необязательно требуют реализации посредством различных аппаратных модулей. Наоборот, как описано выше, различные блоки могут быть комбинированы в аппаратный модуль кодека или предоставлены посредством набора взаимодействующих аппаратных модулей, включающих в себя один или более процессоров, как описано выше, в сочетании с надлежащим программным обеспечением и/или микропрограммным обеспечением.

Описаны различные примеры. Эти и другие примеры находятся в пределах объема прилагаемой формулы изобретения.

Claims (48)

1. ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ обработки видеоданных, при этом способ содержит этапы, на которых принимают кодированную видеопоследовательность, содержащую кодированные изображения видеопоследовательности; и принимают параметры синхронизации для кодированной видеопоследовательности, которые включают в себя первый элемент синтаксиса в синтаксической структуре набора параметров видео (УГ8), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в синтаксической УГЗ-структуре, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в синтаксической УГЗ-структуре включены непосредственно, и самое большее один раз, в синтаксическую УР8-структуру и являются применимыми ко всем слоям, точно определяемым посредством синтаксической УР8-структуры, при этом параметры синхронизации для кодированной видеопоследовательности включают в себя первый элемент синтаксиса в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (8Ρ8), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в УШ-части синтаксической 8Ρ8-структуры, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в УШ-части синтаксической 8Ρ8-структуры включены непосредственно, и самое большее один раз, в УШ-часть синтаксической 8Ρ8-структуры и являются применимыми ко всем слоям, точно определяемым посредством синтаксической 8Ρ8-структуры.
2. 2. Способ по п.1, в котором прием параметров синхронизации для кодированной видеопоследовательности содержит этап, на котором принимают временную шкалу и число единиц в такте синхросигнала в синтаксической УГ8-структуре.
3. 3. Способ по п.2, в котором первый элемент синтаксиса в синтаксической УГЗ-структуре содержит элемент ур8_йте_8са1е синтаксиса, а второй элемент синтаксиса в синтаксической УГЗ-структуре содержит элемент ур8_пит_ипИ8_1п_йск синтаксиса.
4. 4. Способ по п.1, в котором прием параметров синхронизации для кодированной видеопоследовательности содержит этап, на котором принимают временную шкалу и число единиц в такте синхросигнала в УШ-части синтаксической 8Ρ8-структуры.
5. 5. Способ по п.4, в котором первый элемент синтаксиса в УШ-части синтаксической 8Ρ8-структуры содержит элемент 8р8_йте_8са1е синтаксиса, а второй элемент синтаксиса в УШ-части синтаксической 8Ρ8-структуры содержит элемент 8р8_пит_ипИ8_1п_йск синтаксиса.
6. 6. Способ по п.1, в котором первый и второй элементы синтаксиса в синтаксической УГЗ-структуре не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (НКИ), включенной в синтаксическую УГЗ-структуру.
7. 7. Способ по п.1, в котором первый и второй элементы синтаксиса в УШ-части синтаксической 8Ρ8-структуры не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (НКИ), включенной в УШ-часть синтаксической 8Ρ8-структуры.
8. 8. Способ по п.1, в котором прием кодированной видеопоследовательности содержит этап, на котором принимают кодированный поток битов, содержащий последовательность битов, которая формирует представление кодированных изображений, причем способ дополнительно содержит этап, на котором верифицируют соответствие потока битов модели буферизации видео буфера кодированных изображений и буфера декодированных изображений, заданной, по меньшей мере, частично посредством временной шкалы и числа единиц в такте синхросигнала.
9. 9. Способ по п.1, в котором параметры синхронизации содержат параметры синхронизации для операций гипотетического эталонного декодирования.
10. 10. Способ кодирования видеоданных, при этом способ содержит этапы, на которых кодируют изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность, содержащую кодированные изображения; и сигнализируют параметры синхронизации для кодированной видеопоследовательности посредством, по меньшей мере, частичного сигнализирования первого элемента синтаксиса в синтаксической структуре набора параметров видео (УΡЗ), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второго элемента синтаксиса в синтаксической УГ8структуре, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в синтаксической УГЗ-структуре включены непосредственно, и самое большее один раз, в синтаксическую УГЗ-структуру и являются применимыми ко всем слоям, точно определяемым посредством синтаксической УГЗ-структуры, и посредством, по меньшей мере, частичного сигнализирования первого элемента синтаксиса в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (8Ρ8), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второго элемента синтаксиса в УШ-части синтаксической 8Ρ8-структуры, который предоставляет число единиц в такте синхросигнала, причем первый и

    - 26 026507 второй элементы синтаксиса в УШ-части синтаксической δΡδ-структуры включены непосредственно, и самое большее один раз, в УШ-часть синтаксической δΡδ-структуры и являются применимыми ко всем слоям, точно определяемым посредством синтаксической δΡδ-структуры.
11. 11. Способ по п.10, в котором первый элемент синтаксиса в синтаксической ΥΡδ-структуре содержит элемент ур8_Ьте_8са1е синтаксиса, а второй элемент синтаксиса в синтаксической ΥΡδ-структуре содержит элемент ур5_пит_ипП5_т_Цск синтаксиса.
12. 12. Способ по п.10, в котором первый элемент синтаксиса в УШ-части синтаксической δΡδструктуры содержит элемент 8р8_йте_8са1е синтаксиса, а второй элемент синтаксиса в УШ-части синтаксической δΡδ-структуры содержит элемент 8р8_пит_ипб8_т_йск синтаксиса.
13. 13. Способ по п.10, в котором первый и второй элементы синтаксиса в синтаксической ΎΡδструктуре не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (НКО), включенной в синтаксическую У^-структуру.
14. 14. Способ по п.10, в котором первый и второй элементы синтаксиса в УШ-части синтаксической δΡδ-структуры не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (НКО), включенной в синтаксическую δΡδ-структуру.
15. 15. Способ по п.10, дополнительно содержащий этап, на котором генерируют кодированный поток битов, содержащий последовательность битов, которая формирует представление кодированных изображений, при этом параметры синхронизации задают, по меньшей мере, частично, модель буферизации видео буфера кодированных изображений и буфера декодированных изображений для верификации соответствия потока битов.
16. 16. Способ по п.10, в котором параметры синхронизации содержат параметры синхронизации для операций гипотетического эталонного декодирования.
17. 17. Устройство для обработки видеоданных, при этом устройство содержит процессор, выполненный с возможностью принимать кодированную видеопоследовательность, содержащую кодированные изображения видеопоследовательности; и принимать параметры синхронизации для кодированной видеопоследовательности, которые включают в себя первый элемент синтаксиса в синтаксической структуре набора параметров видео (ΎΡδ), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в синтаксической У^-структуре, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в синтаксической У^-структуре включены непосредственно, и самое большее один раз, в синтаксическую νΡδ-структуру и являются применимыми ко всем слоям, точно определяемым посредством синтаксической У^-структуры, при этом параметры синхронизации для кодированной видеопоследовательности включают в себя первый элемент синтаксиса в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (δΡδ), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в УШ-части синтаксической δΡδ-структуры, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в УШ-части синтаксической δΡδ-структуры включены непосредственно, и самое большее один раз, в УШ-часть синтаксической δΡδ-структуры и являются применимыми ко всем слоям, точно определяемым посредством синтаксической δΡδ-структуры.
18. 18. Устройство по п.17, в котором, для того чтобы принимать параметры синхронизации для кодированной видеопоследовательности, процессор дополнительно выполнен с возможностью принимать временную шкалу и число единиц в такте синхросигнала в синтаксической У^-структуре.
19. 19. Устройство по п.18, в котором первый элемент синтаксиса в синтаксической У^-структуре содержит элемент ур8_йте_8са1е синтаксиса, а второй элемент синтаксиса в синтаксической ΎΡδструктуре содержит элемент ур8_пит_ипб8_т_йск синтаксиса.
20. 20. Устройство по п.17, в котором, для того чтобы принимать параметры синхронизации для кодированной видеопоследовательности, процессор дополнительно выполнен с возможностью принимать временную шкалу и число единиц в такте синхросигнала в УШ-части синтаксической δΡδ-структуры.
21. 21. Устройство по п.20, в котором первый элемент синтаксиса в УШ-части синтаксической δΡδструктуры содержит элемент 8р8_йте_8са1е синтаксиса, а второй элемент синтаксиса в УШ-части синтаксической δΡδ-структуры содержит элемент 8р8_пит_ипб8_т_Ьск синтаксиса.
22. 22. Устройство по п.17, в котором первый и второй элементы синтаксиса в синтаксической ΎΡδструктуре не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (НКО), включенной в синтаксическую УГС-структуру.
23. 23. Устройство по п.17, в котором первый и второй элементы синтаксиса в УШ-части синтаксической δΡδ-структуры не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (НКО), включенной в УШ-часть синтаксической δΡδ-структуры.
24. 24. Устройство по п.17, в котором, для того чтобы принимать кодированную видеопоследовательность, процессор дополнительно выполнен с возможностью принимать кодированный поток битов, содержащий последовательность битов, которая формирует представление кодированных изображений,

    - 27 026507 при этом процессор дополнительно выполнен с возможностью верифицировать соответствие потока битов модели буферизации видео буфера кодированных изображений и буфера декодированных изображений, заданной, по меньшей мере, частично посредством временной шкалы и числа единиц в такте синхросигнала.
25. 25. Устройство по п.17, в котором параметры синхронизации содержат параметры синхронизации для операций гипотетического эталонного декодирования.
26. 26. Устройство для кодирования видеоданных, при этом устройство содержит процессор, выполненный с возможностью кодировать изображения видеопоследовательности для того, чтобы генерировать кодированную видеопоследовательность, содержащую кодированные изображения; и сигнализировать параметры синхронизации для кодированной видеопоследовательности посредством, по меньшей мере, частичного сигнализирования первого элемента синтаксиса в синтаксической структуре набора параметров видео (УРР), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второго элемента синтаксиса в синтаксической УРРструктуре, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в синтаксической УРР-структуре включены непосредственно, и самое большее один раз, в синтаксическую УРР-структуру и являются применимыми ко всем слоям, точно определяемым посредством синтаксической УРР-структуры, и посредством, по меньшей мере, частичного сигнализирования первого элемента синтаксиса в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (РРР), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второго элемента синтаксиса в УШ-части синтаксической РРР-структуры, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в УШ-части синтаксической РРР-структуры включены непосредственно, и самое большее один раз, в УШ-часть синтаксической РРР-структуры и являются применимыми ко всем слоям, точно определяемым посредством синтаксической РРР-структуры.
27. 27. Устройство по п.26, в котором первый элемент синтаксиса в синтаксической УРР-структуре содержит элемент ур8_Яте_8са1е синтаксиса, а второй элемент синтаксиса в синтаксической УРРструктуре содержит элемент ур8_пит_ит18_т_Яск синтаксиса.
28. 28. Устройство по п.26, в котором первый элемент синтаксиса в УШ-части синтаксической РРРструктуры содержит элемент 8р8_Яте_8са1е синтаксиса, а второй элемент синтаксиса в УШ-части синтаксической РРР-структуры содержит элемент 8р8_пит_ит18_т_Яск синтаксиса.
29. 29. Устройство по п.26, в котором первый и второй элементы синтаксиса в синтаксической УРРструктуре не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (ΗΚΌ), включенной в синтаксическую УРР-структуру.
30. 30. Устройство по п.26, в котором первый и второй элементы синтаксиса в УШ-части синтаксической РРР-структуры не сигнализируются в синтаксической структуре параметров гипотетического эталонного декодера (ΗΚΌ), включенной в синтаксическую РРР-структуру.
31. 31. Устройство по п.26, в котором процессор дополнительно выполнен с возможностью генерировать кодированный поток битов, содержащий последовательность битов, которая формирует представление кодированных изображений, при этом параметры синхронизации задают, по меньшей мере, частично модель буферизации видео буфера кодированных изображений и буфера декодированных изображений для верификации соответствия потока битов.
32. 32. Устройство по п.26, в котором параметры синхронизации содержат параметры синхронизации для операций гипотетического эталонного декодирования.
33. 33. Устройство для обработки видеоданных, содержащее средство для приема кодированной видеопоследовательности, содержащей кодированные изображения видеопоследовательности; и средство для приема параметров синхронизации для кодированной видеопоследовательности, которые включают в себя первый элемент синтаксиса в синтаксическую структуру наборов параметров видео (УРР), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в синтаксической УРР-структуре, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в синтаксической УРРструктуре включены непосредственно, и самое большее один раз, в синтаксическую УРР-структуру и являются применимыми ко всем слоям, точно определяемым посредством синтаксической УРРструктуры, при этом параметры синхронизации для кодированной видеопоследовательности включают в себя первый элемент синтаксиса в части информации применимости видео (УШ) синтаксической структуры набора параметров последовательности (РРР), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в УШ-части синтаксической РРР-структуры, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в УШ-части синтаксической РРР-структуры включены непосредственно, и самое большее один раз, в УШ-часть синтаксической РРР-структуры и являются применимыми ко всем

    - 28 026507 слоям, точно определяемым посредством синтаксической ЗРЗ-структуры.
34. 34. Устройство по п.33, в котором средство для приема параметров синхронизации для кодированной видеопоследовательности содержит средство для приема временной шкалы и числа единиц в такте синхросигнала в синтаксической УРЗ-структуре.
35. 35. Устройство по п.34, в котором первый элемент синтаксиса в синтаксической УРЗ-структуре содержит элемент \р8_Чте_8са1е синтаксиса, а второй элемент синтаксиса в синтаксической УРЗструктуре содержит элемент ур8_иит_ит18_т_йск синтаксиса.
36. 36. Устройство по п.33, в котором средство для приема параметров синхронизации для кодированной видеопоследовательности содержит средство для приема временной шкалы и числа единиц в такте синхросигнала в УИ1-части синтаксической 8Р8-структуры.
37. 37. Устройство по п.36, в котором первый элемент синтаксиса в УИ1-части синтаксической ЗРЗструктуры содержит элемент 8р8_Чте_8са1е синтаксиса, а второй элемент синтаксиса в УИ1-части синтаксической ЗРЗ-структуры содержит элемент 8р8_иит_иη^ΐ8_^и_ΐ^ск синтаксиса.
38. 38. Долговременный считываемый компьютером носитель данных, хранящий инструкции для обработки видеоданных, которые при исполнении посредством одного или более процессоров побуждают один или более процессоров принимать кодированную видеопоследовательность, содержащую кодированные изображения видеопоследовательности; и принимать параметры синхронизации для кодированной видеопоследовательности, которые включают в себя первый элемент синтаксиса в синтаксической структуре набора параметров видео (УРЗ), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в синтаксической УРЗ-структуре, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в синтаксической УРЗ-структуре включены непосредственно, и самое большее один раз, в синтаксическую УРЗ-структуру и являются применимыми ко всем слоям, точно определяемым посредством синтаксической УРЗ-структуры, при этом параметры синхронизации для кодированной видеопоследовательности включают в себя первый элемент синтаксиса в части информации применимости видео (УИ1) синтаксической структуры набора параметров последовательности (ЗРЗ), к которой обращается кодированная видеопоследовательность, который предоставляет временную шкалу, и второй элемент синтаксиса в УИ1-части синтаксической ЗРЗ-структуры, который предоставляет число единиц в такте синхросигнала, причем первый и второй элементы синтаксиса в УИ1-части синтаксической ЗРЗ-структуры включены непосредственно, и самое большее один раз, в УИ1-часть синтаксической ЗРЗ-структуры и являются применимыми ко всем слоям, точно определяемым посредством синтаксической ЗРЗ-структуры.
39. 39. Долговременный считываемый носитель данных по п.38, в котором, для того чтобы принимать параметры синхронизации для кодированной видеопоследовательности, инструкции дополнительно побуждают один или более процессоров принимать временную шкалу и число единиц в такте синхросигнала в синтаксической УРЗ-структуре.
40. 40. Долговременный считываемый носитель данных по п.39, в котором первый элемент синтаксиса в синтаксической УРЗ-структуре содержит элемент ур8_1ппе_8са1е синтаксиса, а второй элемент синтаксиса в синтаксической УРЗ-структуре содержит элемент νр8_иит_иη^ΐ8_^и_ΐ^ск синтаксиса.
41. 41. Долговременный считываемый носитель данных по п.38, в котором, для того чтобы принимать параметры синхронизации для кодированной видеопоследовательности, инструкции дополнительно побуждают один или более процессоров принимать временную шкалу и число единиц в такте синхросигнала в УИ1-части синтаксической ЗРЗ-структуры.
42. 42. Долговременный считываемый носитель данных по п.41, в котором первый элемент синтаксиса в УИ1-части синтаксической ЗРЗ-структуры содержит элемент 8р8_Чте_8са1е синтаксиса, а второй элемент синтаксиса в УИ1-части синтаксической ЗРЗ-структуры содержит элемент 8ρ8_ηιιιη_ιιηΠ8_ίη_ΐυΐ< синтаксиса.
43. 43. Способ по п.1, в котором синтаксическая УРЗ-структура точно определяет множество слоев.
44. 44. Способ по п.10, в котором синтаксическая УРЗ-структура точно определяет множество слоев.
45. 45. Устройство по п.17, в котором синтаксическая УРЗ-структура точно определяет множество слоев.
46. 46. Устройство по п.26, в котором синтаксическая УРЗ-структура точно определяет множество слоев.
47. 47. Устройство по п.33, в котором синтаксическая УРЗ-структура точно определяет множество слоев.
48. 48. Долговременный считываемый носитель данных по п.38, в котором синтаксическая УРЗструктура точно определяет множество слоев.