EA046905B1 - Кодирование и декодирование видео - Google Patents

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к кодеку видеосигнала. Более конкретно, оно относится к внутреннему прогнозированию в видеокодеке.

Предшествующий уровень техники

Внутреннее прогнозирование включает в себя выполнение прогнозирования в блоке выборок в видеокадре посредством использования эталонных выборок, извлеченных из одного и того же кадра. Такое прогнозирование может быть получено с помощью различных методик, называемых режимами в обычных архитектурах кодеков.

В настоящее время Объединенная группа экспертов по видеоматериалам (JVET) рабочей группы Экспертной группы по вопросам движущегося изображения (MPEG), совместно созданной Международной организацией по стандартизации (ISO) и Международной электротехнической комиссией (IEC), разрабатывает стандарт сжатия видеоматериалов. Этот проект стандарта называется Универсальное кодирование видео (УКВ). В контексте УКВ кадр выборок подразделяется на множество блоков, известных как единицы кодирования (ЕК).

В текущих проектах спецификаций УКВ внутреннее прогнозирование может выполняться с использованием различных режимов. Традиционные режимы внутреннего прогнозирования включают угловое внутреннее прогнозирование или прогнозирование, выполняемое с помощью хорошо известных методов, таких как планарное прогнозирование или DC-прогнозирование. Режимы углового прогнозирования могут быть выполнены с помощью одного из множества различных режимов (которые в зависимости от формы ЕК могут содержать широкоугольные расширения). В дополнение к этому при внутреннем прогнозировании блока выборок могут быть использованы несколько инструментов. Для прогнозирования выборок цветности из реконструированных выборок яркости той же ЕК может использоваться Межкомпонентная линейная модель (МКЛМ). Для объединения нефильтрованных пограничных эталонных выборок с прогнозами, полученными с использованием отфильтрованных выборок, может быть использована комбинация внутреннего прогнозирования, зависящая от положения (КВПЗП). Внутренний подраздел (ВПР), который выполняет прогнозирование и преобразование независимо на меньших подразделах ЕК.

Кроме того, в последнем проекте спецификаций УКВ предлагается использовать матричное внутреннее прогнозирование (МВП) для прогнозирования блока выборок яркости. МВП заключается в умножении эталонных выборок на фиксированные матрицы для получения прогноза для текущего блока. Такие матрицы были получены на основе предварительного обучения, чтобы убедиться, что можно получить значимые прогнозы. Может использоваться ряд различных режимов, соответствующих использованию различных матриц. Вывод этих матриц был произведен с помощью обучения подхода на основе нейронной сети (НС), где коэффициенты в сети обучались с использованием обучающего набора, сформированного из множества последовательностей различного содержания с различным разрешением.

Перечень фигур чертежей

На фиг. 1 показана схематическая диаграмма, иллюстрирующая в общих чертах подход к кодированию в соответствии с вариантом осуществления изобретения, описанным в настоящем документе;

на фиг. 2 показана схематическая диаграмма, иллюстрирующая математическую операцию, на которой основано внутреннее прогнозирование в соответствии с вариантом осуществления изобретения;

на фиг. 3 показано схематическое представление сети связи в соответствии с вариантом осуществления изобретения;

на фиг. 4 показано схематическое изображение излучателя сети связи с фиг. 3;

на фиг. 5 показана схема, иллюстрирующая кодер, реализованный на излучателе с фиг. 4;

на фиг. 6 показана блок-схема процесса прогнозирования, выполняемого в модуле прогнозирования кодера с фиг. 5;

на фиг. 7 показано схематическое изображение приемника сети связи с фиг. 3;

на фиг. 8 показана схема, иллюстрирующая декодер, реализованный на приемнике с фиг. 6; и

На фиг. 9 показана блок-схема процесса прогнозирования, выполняемого в модуле прогнозирования декодера с фиг. 8.

Сведения, подтверждающие возможность осуществления изобретения

Аспекты настоящего изобретения могут соответствовать сущности прилагаемой формулы изобретения.

Нейронные сети (НС) и другие сложные методы, основанные на обучении, могут рассматриваться как черные ящики, поскольку изученные модели, как правило, трудно интерпретировать. В аспектах, раскрытых в данном документе, используется подход, в соответствии с которым анализируется способ внутреннего прогнозирования на основе НС для определения понимания работы черного ящика. Объектом этого анализа может быть получение упрощенного и четкого подхода, который может достичь результатов, аналогичных подходу, основанному на НС.

На фиг. 1 концептуально показан подход, который может быть принят в соответствии с вариантами осуществления изобретения, раскрытыми в данном документе.

В частности, прогнозирование может быть получено путем манипулирования эталонными выбор

- 1 046905 ками. Различные режимы могут быть использованы для получения прогноза для блока, где каждый режим использует различные параметры.

В одном аспекте настоящего изобретения эта манипуляция для данного режима состоит из сложения двух компонентов, один из которых зависит от эталонных выборок, а другой не зависит от них.

Прогнозирование по выборке (m - количество эталонных выборок) может быть выражено следующим образом:

т-1 р^ =

1—0 где Р и г находятся в диапазоне [-1,1], а именно р™ =?— — 1 ^Р 512

Таким образом, прогнозирование по выборке в диапазоне [0,1023] может быть выражено как

1512 Г—У^771—1 сг 00 + /?(О + А _{А у} V ^{Λί=0 1} ' м ’ можно считать слагаемым искажения. В этом контексте, если Σ™ο^1αί ~ Ъ тогда слагаемое искажения в основном зависит от β. В противном случае слагаемое искажения в основном зависит от α.

В приведенном выше выражении k представляет собой один возможный набор параметров среди множества возможных режимов, каждый из которых идентифицирует возможный набор параметров. Значение 512 является лишь примером, который может зависеть от битовой глубины входного сигнала. Могут использоваться и другие значения.

Выше приведен пример функции, которая может быть использована для прогнозирования выборок в блоке прогнозирования. В целом прогнозирование для данной выборки может быть получено как сумма двух компонентов следующим образом:

р(Ю — f(r_fa^^k^ + д(а&\ β^~)

Опять же, в этом выражении к представляет собой один возможный набор параметров среди множества возможных режимов, каждый из которых идентифицирует возможный набор параметров. Вышеприведенное представляет собой прогноз, который рассчитывается как сумма компонента, зависящего от эталонных выборок г, и компонента, не зависящего от них.

На фиг. 2 показана эта математическая операция как процесс обработки данных.

Например, компонент прогнозирования для каждой выборки, зависящий от эталонных выборок, может быть получен посредством определения набора весов. Данный вес умножается на данную эталонную выборку; результаты этих умножений затем суммируются, чтобы сформировать первый компонент прогноза, который не зависит от эталонных выборок.

Например, характеристики весов могут регулироваться расположением выборки в блоке прогнозирования. Например, сумма весов может зависеть от расстояния каждой прогнозируемой выборки от эталонных выборок. Например, для получения весов может быть использована информация о расположении выборки в блоке прогнозирования.

Например, компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может зависеть от различных параметров. Он может зависеть от весов, которые используются для вычисления первого компонента прогнозирования, который зависит от эталонных выборок. Также он может зависеть от фиксированного параметра, который не зависит от весов, которые используются для вычисления первого компонента прогноза, зависящего от эталонных выборок. Компонент прогнозирования может быть получен путем сочетания этих двух методов.

В качестве другого примера компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен на основании текущего режима, используемого для прогнозирования блока, или он может зависеть от других характеристик текущего блока (таких, как его ширина или высота) и/или он может зависеть от характеристик ранее декодированных блоков, таких как их режимы прогнозирования или их размер.

В качестве другого примера фиксированный параметр может быть извлечен из справочной таблицы перекодировки (ТПК), при этом могут быть определены различные ТПК. Для ссылки на конкретный элемент в ТПК в битовом потоке может быть сигнализирован индекс. В качестве другого примера, правильный элемент в ТПК может зависеть от текущего режима, используемого для прогнозирования блока, или он может зависеть от других характеристик текущего блока (таких, как его вес или высота) и/или он может зависеть от характеристик ранее декодированных блоков, таких как их режимы прогнозирования или их размер.

- 2 046905

В качестве другого примера компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен на основе механизма обучения, которое происходит во время декодирования.

В качестве другого примера компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен на основе параметров, извлеченных из битового потока. В качестве примера он может зависеть от весов, которые используются для вычисления первого компонента прогнозирования, который зависит от эталонных выборок, где такие веса могут быть извлечены из битового потока. Это также может зависеть от фиксированных параметров, которые не зависят от весов, используемых для вычисления первого компонента прогнозирования, который зависит от эталонных выборок, где такие фиксированные параметры могут быть извлечены из битового потока. Компонент прогнозирования может быть получен путем сочетания этих двух методов.

В качестве примера веса или фиксированные параметры могут быть получены на основе процесса выведения, который выполняется на стороне декодера. В качестве альтернативы, они могут быть вычислены на основе как информации, извлеченной из битового потока, так и на основе процесса вывода, выполняемого на стороне декодера.

В качестве другого примера, процесс выведения может зависеть от анализа общей суммы весов. Например, если сумма весов равна или близка к значению 1, то компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен только на основе или в основном на основе фиксированного параметра; или, наоборот, если сумма весов не близка к значению 1, то компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен только на основе или в основном на основе весов.

В качестве другого примера компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен путем извлечения величины этого компонента из потока битов. В качестве другого примера компонент прогнозирования для каждой выборки, который не зависит от эталонных выборок, может быть получен путем извлечения из потока битов его знака, а именно, является ли значение компонента большим или равным нулю.

Указанные два компонента прогнозирования, а именно компонент, зависящий от эталонных выборок, и компонент, не зависящий от эталонных выборок, могут использоваться в комбинации или, полагаясь исключительно на один или другой из этих двух компонентов прогнозирования. Каждый из этих компонентов может быть использован, вместе или по отдельности, в комбинации с другими способами внутреннего прогнозирования. Например, на блоке может быть использован режим углового прогнозирования, а затем результат такого прогнозирования может быть добавлен к компоненту прогнозирования, который не зависит от эталонных выборок, для получения окончательного прогнозирования для этого блока.

Использование любого из этих методов может сигнализироваться в битовом потоке как набор новых различных режимов. Такая сигнализация может зависеть от наличия флага в битовом потоке, указывающего на использование этих новых режимов. Эта сигнализация может зависеть от того, используют ли ранее декодированные блоки определенные режимы внутреннего прогнозирования для создания списка наиболее вероятных режимов (НВР) для текущего блока.

Дополнительные аспекты изобретения могут быть определены из формулы изобретения, прилагаемой к настоящему документу

Далее будет описана реализация коммуникационной сети, воплощающей вышеупомянутые аспекты изобретения.

Как показано на фиг. 3, компоновка содержит схематическую сеть видеосвязи 10, в которой излучатель 20 и приемник 30 находятся в коммуникации по каналу связи 40. На практике канал связи 40 может быть выполнен в виде канала спутниковой связи, кабельной сети, наземной сети радиовещания, канала связи, реализованного посредством коммутируемой телефонной сети общего пользования, такой как канал, используемый для предоставления интернет-услуг в помещениях бытового и малого бизнеса, волоконно-оптических систем связи или комбинации любого из вышеперечисленного и любого другого потенциального средства связи.

Кроме того, изобретение также распространяется на передачу посредством физической передачи носителя данных, на котором хранится машиночитаемая запись кодированного битового потока, для прохождения к соответствующим образом сконфигурированному приемнику, способному считывать носитель и получать из него битовый поток. Примером этого является предоставление цифрового универсального диска (DVD) или его эквивалента. Следующее описание сосредоточено на передаче сигнала, например, с помощью носителя электронного или электромагнитного сигнала, но не должно рассматриваться как исключающее вышеупомянутый подход, включающий носители данных.

Как показано на фиг. 4, излучатель 20 по структуре и функции представляет собой компьютерное устройство. Он может иметь некоторые признаки, общие с компьютерным устройством общего назначения, но некоторые признаки могут быть специфичными для реализации, учитывая специализированную функцию, для которой должен быть использован излучатель 20. Читатель поймет, какие функции могут быть обусловлены общим назначением, а для каких может потребоваться конфигурация, специальная

- 3 046905 для использования в видеоизлучателе.

Таким образом, излучатель 20 содержит процессор графического вывода (GPU) 202, сконфигурированный для конкретного использования в обработке графики и аналогичных операциях. Излучатель 20 также содержит один или более других процессоров 204, либо в целом подготовленных, либо сконфигурированных для других целей, таких как математические операции, обработка звука, управление каналом связи и так далее.

Входной интерфейс 206 обеспечивает средство для приема действий пользователя по вводу. Такие действия пользователя могут, например, быть вызваны взаимодействием пользователя с конкретным блоком ввода, содержащим одну или более кнопок управления и/или переключателей, клавиатурой, мышью или другим указывающим устройством, блоком распознавания речи, выполненным с возможностью приема и обработки речи в команды управления, сигнальным процессором, выполненным с возможностью приема и управления процессами от другого устройства, такого как планшет или смартфон, или приемником дистанционного управления. Этот перечень будет воспринят как неисчерпывающий, и читатель может предусмотреть другие формы ввода, будь то инициированные пользователем или автоматизированные.

Аналогично, выходной интерфейс 214 выполнен с возможностью обеспечения средства для вывода сигналов пользователю или другому устройству. Такой вывод может включать в себя сигнал дисплея для управления локальным блоком отображения видеосигнала (VDU) или любым другим устройством.

Интерфейс 208 передачи данных реализует канал связи, будь то широковещательный или сквозной, с одним или более получателями сигналов. В контексте настоящего варианта осуществления интерфейс передачи данных выполнен с возможностью вызывать излучение сигнала, несущего битовый поток, определяющий видеосигнал, кодируемый излучателем 20.

Процессоры 204, и, в частности, для пользы настоящего изобретения, GPU 202, выполнены с возможностью выполнения компьютерных программ при работе кодера. При этом используются средства хранения данных, предоставляемые запоминающим устройством большой емкости 208, которое выполнено с возможностью обеспечения крупномасштабного хранения данных, хотя и на основе относительно медленного доступа, и на практике будет хранить компьютерные программы и, в текущем контексте, данные видеопрезентации при подготовке к выполнению процесса кодирования.

Постоянное запоминающее устройство (ПЗУ) 210 предварительно сконфигурировано с исполняемыми программами, предназначенными для обеспечения ядра функциональности излучателя 20, а оперативное запоминающее устройство (ОЗУ) 212 предусмотрено для быстрого доступа и хранения данных и программных инструкций в процессе выполнения компьютерной программы.

Далее будет описана функция излучателя 20 со ссылкой на фиг. 5. На фиг. 5 показан процесс обработки, выполняемый кодером, реализованным на излучателе 20 с помощью исполняемых команд, на файле данных, представляющем собой видеопрезентацию, содержащую множество кадров для последовательного отображения в виде последовательности изображений.

Файл данных может также содержать информацию о воспроизведении звука, сопровождающую видеопрезентацию, и прочую дополнительную информацию, такую как электронная информация о руководстве по программе, субтитры или метаданные для обеспечения возможности каталогизации презентации. Обработка этих аспектов файла данных не имеет отношения к настоящему изобретению.

Как показано на фиг. 5, текущее изображение или кадр в последовательности изображений передается в модуль 230 разделения, где он разбивается на прямоугольные блоки заданного размера для обработки кодером. Эта обработка может быть последовательной или параллельной. Подход может зависеть от возможностей обработки конкретной реализации.

Каждый блок затем вводится в модуль 232 прогнозирования, который стремится устранить временное и пространственное избыточное количество данных, присутствующее в последовательности, и получить сигнал прогнозирования с использованием ранее закодированного содержимого. Информация, позволяющая вычислять такое прогнозирование, кодируется в битовом потоке. Эта информация должна быть достаточной для выполнения расчетов, включая возможность извлечения посредством анализа на приемнике другой информации, необходимой для завершения прогнозирования.

Сигнал прогнозирования вычитается из исходного сигнала для получения остаточного сигнала. Затем его вводят в модуль 234 преобразования, который пытается дополнительно уменьшить пространственное избыточное количество данных внутри блока путем использования более подходящего представления данных. Можно отметить, что в некоторых вариантах осуществления трансформация домена может представлять собой необязательную стадию и может быть полностью исключена. Использование преобразования домена или иного преобразования может сигнализироваться в битовом потоке.

Затем результирующий сигнал обычно квантуется модулем 236 квантования, и, наконец, результирующие данные, сформированные из коэффициентов и информации, необходимой для вычисления прогнозирования для текущего блока, вводятся в модуль 238 энтропийного кодирования, который использует статистическую избыточность для представления сигнала в компактной форме с помощью коротких двоичных кодов. Опять же, можно отметить, что энтропийное кодирование может, в некоторых вариантах реализации изобретения, быть необязательным признаком и может быть полностью исключено в не

- 4 046905 которых случаях. Применение энтропийного кодирования может быть сигнализировано в битовом потоке вместе с информацией для обеспечения декодирования, такой как индекс к режиму энтропийного кодирования (например, кодирование Хаффмана) и/или кодовой книге.

При повторном воздействии средства кодирования излучателя 20 может быть построен битовый поток информационных элементов блока для передачи приемнику или множеству приемников, в зависимости от обстоятельств. Поток битов может также содержать информационные элементы, которые применяются к множеству информационных элементов блока и, таким образом, удерживаются в синтаксисе потока битов, независимо от информационных элементов блока. Примеры таких информационных элементов включают в себя варианты конфигурации, параметры, применимые к последовательности кадров, и параметры, относящиеся к видеопрезентации в целом.

Далее модуль 232 прогнозирования будет описан более подробно со ссылкой на фиг. 6. Как будет понятно, это всего лишь пример, и могут быть рассмотрены другие подходы в рамках настоящего изобретения и прилагаемой формулы изобретения.

Модуль 232 прогнозирования выполнен с возможностью определения для данного блока, разделенного на кадры, следует ли использовать внутреннее прогнозирование и, если это так, какой из множества заранее определенных режимов внутреннего прогнозирования следует использовать. Затем модуль прогнозирования применяет выбранный режим внутреннего прогнозирования, если применимо, а затем определяет прогнозирование, на основе которого затем могут генерироваться остатки, как было отмечено ранее. Используемое прогнозирование сигнализируется в битовом потоке для приема и интерпретации соответствующим образом сконфигурированным декодером.

Процесс, выполняемый в модуле 232 прогнозирования, показан на фиг. 6.

На фиг. 6 показан способ, в соответствии с описанным вариантом реализации изобретения, для установления того, какой из заданного выбора режимов внутреннего прогнозирования использовать для конкретного блока кадра видеоданных со ссылкой на заданный набор эталонных выборок.

На этапе S1-2 разрабатывают прогнозы-кандидаты на основе библиотеки режимов внутреннего прогнозирования. Эти режимы внутреннего прогнозирования включают обычные режимы внутреннего прогнозирования, такие как присутствующие в более ранних методах кодирования видео или в более ранних проектах спецификации УКВ. Библиотека также включает в себя один или несколько режимов внутреннего прогнозирования, разработанных в качестве моделей подхода НС (или другого машинного обучения) к внутреннему прогнозированию. То есть, на основе обучающих данных НС будет определять подходящие режимы внутреннего прогнозирования, а затем они могут быть смоделированы, как описано выше.

В целом такой режим развивает внутреннее прогнозирование, содержащее два компонента, а именно компонент, зависящий от эталонных выборок, и компонент, не зависящий от эталонных выборок, может быть использован в комбинации или, полагаясь исключительно на один или другой из этих двух компонентов прогнозирования.

Затем на основе оценки, например, на основе скорости сжатия, достигаемой в каждом режиме, выбирают один из режимов на этапе S1-4. Для выбранного режима генерируют остатки, содержащие данные, которые позволяют восстанавливать блок из этих остатков, и эквивалентные данные для эталонного блока.

После того, как остатки были рассчитаны, они передаются в битовом потоке на этапе S1-8.

Наконец, при необходимости, выбранный режим сигнализируют в битовом потоке S1-10. Следует отметить, что при определенных обстоятельствах выбор режима может подразумеваться и его не надо сигнализировать. Различные способы сигнализации режима были обсуждены в контексте существующих стандартов кодирования видео и проектов стандартов УКВ, и точный способ сигнализации не входит в объем настоящего изобретения.

Структурная архитектура приемника показана на фиг. 7. Он имеет элементы, представляющие собой компьютерное устройство. Таким образом, приемник 30 содержит графический процессор GPU 302, сконфигурированный для конкретного использования в обработке графики и аналогичных операциях. Приемник 30 также содержит один или более других процессоров 304, либо в целом подготовленных, либо сконфигурированных для других целей, таких как математические операции, обработка звука, управление каналом связи и так далее.

Как будет понятно читателю, приемник 30 может быть реализован в виде приставки, переносного персонального электронного устройства, персонального компьютера или любого другого устройства, подходящего для воспроизведения видеопрезентаций.

Входной интерфейс 306 обеспечивает средство для приема действий пользователя по вводу. Такие действия пользователя могут, например, быть вызваны взаимодействием пользователя с конкретным блоком ввода, содержащим одну или более кнопок управления и/или переключателей, клавиатурой, мышью или другим указывающим устройством, блоком распознавания речи, выполненным с возможностью приема и обработки речи в команды управления, сигнальным процессором, выполненным с возможностью приема и управления процессами от другого устройства, такого как планшет или смартфон, или приемником дистанционного управления. Этот перечень будет воспринят как неисчерпывающий, и мо

- 5 046905 гут быть предусмотрены другие формы ввода, будь то инициированные пользователем или автоматизированные.

Аналогичным образом, выходной интерфейс 314 выполнен с возможностью обеспечения средства для вывода сигналов пользователю или другому устройству. Такой вывод может включать в себя телевизионный сигнал в подходящем формате для управления местным телевизионным устройством.

Интерфейс 308 передачи данных реализует канал связи, будь то широковещательный или сквозной, с одним или более получателями сигналов. В контексте настоящего варианта осуществления интерфейс передачи данных выполнен с возможностью вызывать излучение сигнала, несущего битовый поток, определяющий видеосигнал, кодируемый приемником 30.

Процессоры 304, и, в частности, для пользы настоящего изобретения, графический процессор GPU 302, выполнены с возможностью выполнения компьютерных программ при работе приемника. При этом используются средства хранения данных, предоставляемые запоминающим устройством 308 большой емкости, которое выполнено с возможностью обеспечения крупномасштабного хранения данных, хотя и на основе относительно медленного доступа, и на практике будет хранить компьютерные программы и, в текущем контексте, данные видеопрезентации, полученные в результате выполнения процесса приема.

ПЗУ 310 предварительно сконфигурировано с исполняемыми программами, предназначенными для обеспечения ядра функциональности приемника 30, а ОЗУ 312 предусмотрено для быстрого доступа и хранения данных и программных инструкций в процессе выполнения компьютерной программы.

Далее будет описана функция приемника 30 со ссылкой на фиг. 8. На фиг. 8 показан процесс обработки, выполняемый декодером, реализованным на приемнике 30 с помощью исполняемых инструкций, на битовом потоке, принятом в приемнике 30, содержащем структурированную информацию, из которой может быть получена видеопрезентация, содержащая реконструкцию кадров, закодированных функциональностью кодера излучателя 20.

Процесс декодирования, показанный на фиг. 8, направлен на то, чтобы обратить процесс, выполняемый на кодере. Читателю будет понятно, что это не означает, что процесс декодирования является строго обратным процессу кодирования.

Принятый битовый поток содержит последовательность кодированных информационных элементов, причем каждый элемент связан с некоторым блоком. Информационный элемент блока декодируют в модуле 330 энтропийного декодирования для получения блока коэффициентов и информации, необходимой для вычисления прогнозирования для текущего блока. Блок коэффициентов, как правило, деквантизируется в модуле 332 деквантизации и, как правило, обратно преобразовывается в пространственную область с помощью модуля 334 преобразования.

Как отмечалось выше, читатель поймет, что декодирование энтропии, деквантизация и обратное преобразование должны использоваться в приемнике только в том случае, если на излучателе использовались кодирование энтропии, квантование и преобразование, соответственно.

Сигнал прогнозирования генерируется, как и раньше, из ранее декодированных выборок из текущих или предыдущих кадров и с использованием информации, декодированной из битового потока, модулем 336 прогнозирования. Затем получают реконструкцию исходного блока изображения из декодированного остаточного сигнала и вычисленного блока прогнозирования в блоке 338 реконструкции. Модуль 336 прогнозирования реагирует на информацию о потоке битов, сигнализирующую об использовании внутреннего прогнозирования и, если такая информация присутствует, на показания из этой информации о потоке битов, которые позволяют декодеру определить, какой режим внутреннего прогнозирования был использован и, таким образом, какой метод прогнозирования должен быть использован при реконструкции выборки данных блока.

При повторном воздействии функциональности декодирования на последовательно принятые информационные элементы блока, графические блоки могут быть реконструированы в кадры, которые затем могут быть собраны для создания видеопрезентации для воспроизведения.

Пример алгоритма декодера, дополняющий алгоритм кодера, описанный ранее, показан на фиг. 9. По существу, процесс является общепринятым по структуре, поскольку на этапе S2-2 из битового потока считываются остатки, а используемый режим внутреннего прогнозирования считывается из битового потока на этапе S2-4. Затем на этапе S206 блок реконструируют на основе сигнализированного режима внутреннего прогнозирования.

Отличительной особенностью этого подхода является характер доступных режимов внутреннего прогнозирования. То есть, наряду с (или, в некоторых вариантах воплощения, вместо) традиционными режимами внутреннего прогнозирования режимы определяются в контексте моделей, разработанных с помощью машинного обучения.

Как отмечалось ранее, декодирующая функциональность приемника 30 извлекает из битового потока последовательность информационных элементов блока, закодированных средством кодирования излучателя 20, определяющую информацию блока и сопутствующую информацию конфигурации.

В общем, декодер использует информацию из предыдущих прогнозов при построении прогноза для данного блока. При этом декодер может объединять знания из межпрогнозного, то есть из предыдущего кадра, и внутрипрогнозного, то есть из другого блока в том же кадре. Настоящий вариант осуществления

-

Claims (20)

1. изобретения относится к реализации внутреннего прогнозирования и, в частности, к конкретному случаю, в котором режим внутреннего прогнозирования реализуется в соответствии с ним.

   Как увидит читатель, на стороне декодера варианты реализации изобретения, описанные в данном документе, могут упростить процесс декодирования за пределами схем, предложенных в текущих проектах спецификаций УКВ и представленных предложениях по их изменению.

   Следует понимать, что изобретение не ограничивается описанными выше вариантами, и различные модификации и усовершенствования могут быть сделаны без отступления от описанных концепций. Кроме случаев взаимоисключения любой из признаков может быть использован отдельно или в комбинации с любыми другими признаками, и настоящее изобретение распространяется и включает в себя все комбинации и подкомбинации одного или более признаков, описанных в настоящем документе.

   ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Видеокодер, выполненный с возможностью кодирования блока выборки видеоданных, причем видеокодер включает в себя средство внутреннего прогнозирования для кодирования указанного блока с использованием внутреннего прогнозирования, причем блок содержит множество выборок в видеокадре; и средство выбора режима, выполненное с возможностью выбора из множества доступных заранее определенных режимов внутреннего прогнозирования выбранного режима внутреннего прогнозирования для использования средством внутреннего прогнозирования;

   причем по меньшей мере один из множества доступных заранее определенных режимов внутреннего прогнозирования является таким, что средство внутреннего прогнозирования, предназначенное для работы в этом режиме, выполнено с возможностью получения прогнозов для выборок в указанном блоке в виде комбинации первого компонента прогнозирования, зависящего от эталонных выборок, соответствующих тому же видеокадру, и второго компонента прогнозирования, не зависящего от указанных эталонных выборок, где первый компонент прогнозирования получен в соответствии с одним из набора режимов внутреннего прогнозирования, включающих планарный режим, DC-режим или режим направленного углового внутреннего прогнозирования.
2. 2. Видеокодер по п.1, в котором указанная комбинация содержит сумму первого компонента прогнозирования и второго компонента прогнозирования.
3. 3. Видеокодер по п.1 или 2, в котором каждый режим внутреннего прогнозирования имеет набор параметров, связанных с ним, на основе которых сгенерирован первый компонент и/или второй компонент прогнозирований выборки, причем указанные параметры содержат набор весов, которые используются в качестве мультипликаторов эталонных выборок для получения первого компонента прогнозирования.
4. 4. Видеокодер по п.3, в котором указанные параметры содержат фиксированный параметр, на основе которого получен второй компонент прогнозирования, где фиксированный параметр является независимым от указанных весов.
5. 5. Способ кодирования блока выборки видеоданных, осуществляемый видеокодером по п.1, который включает в себя кодирование указанного блока с использованием внутреннего прогнозирования, где указанный блок содержит множество выборок в видеокадре; и выбор из множества доступных заранее определенных режимов внутреннего прогнозирования выбранного режима внутреннего прогнозирования для использования средством внутреннего прогнозирования, причем по меньшей мере один из множества доступных заранее определенных режимов внутреннего прогнозирования является таким, что кодирование с использованием внутреннего прогнозирования получает прогнозы для выборок в указанном блоке как комбинацию первого компонента прогнозирования, зависящего от эталонных выборок, соответствующих тому же видеокадру, и второго компонента прогнозирования, не зависящего от указанных эталонных выборок, причем первый компонент прогнозирования получен в соответствии с одним из набора режимов внутреннего прогнозирования, включающих планарный режим, DC-режим или режим направленного углового внутреннего прогнозирования.
6. 6. Видеодекодер, выполненный с возможностью декодирования закодированных видеоданных, причем декодер содержит средство восстановления на основе внутреннего прогнозирования, выполненное с возможностью реконструкции из входных данных внутреннего прогнозирования выборок из блока выборок видеоданных, причем средство восстановления на основе внутреннего прогнозирования выполнено с возможностью работы в одном из множества заранее определенных режимов внутреннего прогнозирования, причем по меньшей мере один из множества доступных заранее определенных режимов внутреннего прогнозирования является таким, что соответствующее средство восстановления на основе внутреннего прогнозирования, предназначенное для работы в этом режиме, выполнено с возможностью получения прогнозов для выборок в блоке в виде комбинации первого компонента прогнозирования, зависящего от

   - 7 046905 эталонных выборок, и второго компонента прогнозирования, не зависящего от указанных эталонных выборок, где первый компонент прогнозирования получен в соответствии с одним из набора режимов внутреннего прогнозирования, включающих планарный режим, DC-режим или режим направленного углового внутреннего прогнозирования.
7. 7. Видеодекодер по п.6, дополнительно содержащий анализатор режимов, выполненный с возможностью вычисления наиболее вероятного режима (НВР), где перечень наиболее вероятных режимов указывает на кандидатов из режимов внутреннего прогнозирования, которые были применены, и декодирования из входного битового потока флага, указывающего, включен ли в указанный перечень НВР режим, использованный для кодирования принятых кодированных видеоданных, и, если указанный флаг указывает, что использованный режим включен в перечень НВР, декодирования из входного битового потока индекса, чтобы определить, какой режим из перечня НВР был использован, причем если указанный флаг указывает, что использованный режим не включен в перечень НВР, анализатор режимов выполнен с возможностью декодирования из входного битового потока информационного элемента, позволяющего идентифицировать, какой из оставшихся режимов должен быть использован при декодировании принятых кодированных видеоданных в реконструированный блок выборки видеоданных.
8. 8. Видеодекодер по п.6 или 7, выполненный с возможностью определения из принятых закодированных видеоданных режима внутреннего прогнозирования для использования для реконструкции блока выборки видеоданных.
9. 9. Видеодекодер по любому из пп.6-8, выполненный с возможностью приема идентификатора режима, на основании которого определяют режим внутреннего прогнозирования для использования для реконструкции блока выборки видеоданных.
10. 10. Видеодекодер по любому из пп.6-9, в котором указанная комбинация содержит сумму первого компонента прогнозирования и второго компонента прогнозирования.
11. 11. Видеодекодер по любому из пп.6-10, в котором каждый режим внутреннего прогнозирования имеет набор параметров, связанных с ним, где указанные параметры обуславливают первый компонент и/или второй компонент прогнозирований выборки, причем параметры содержат набор весов, которые используются в качестве мультипликаторов эталонных выборок для получения первого компонента прогнозирования.
12. 12. Видеодекодер по п.11, в котором указанные веса дополнительно используются для получения второго компонента прогнозирования.
13. 13. Видеодекодер по п.11 или 12, в котором указанные веса определяются на основании местоположения прогнозируемой выборки в пределах блока или его минимального расстояния от местоположений эталонной выборки.
14. 14. Видеодекодер по любому из пп.11-13, в котором указанные параметры содержат фиксированный параметр, на основе которого получают второй компонент прогнозирования, где фиксированный параметр является независимым от указанных весов.
15. 15. Видеодекодер по п.14, содержащий детектор сигнала режима, выполненный с возможностью обнаружения на входном битовом потоке характеристики указанного фиксированного параметра, включая информацию о его величине или информацию о его знаке.
16. 16. Видеодекодер по п.14 или 15, в котором указанный фиксированный параметр определяется на основании местоположения прогнозируемой выборки в пределах блока или его минимального расстояния от местоположений эталонной выборки.
17. 17. Видеодекодер по любому из пп.6-16, в котором способ вычисления второго компонента прогнозирования зависит от характеристики блока и/или соседних блоков, которые были закодированы ранее, причем указанные характеристики представляют собой размер и/или режим прогнозирования.
18. 18. Способ декодирования закодированных видеоданных, включающий в себя реконструкцию из входных данных внутреннего прогнозирования выборок блока выборки видеоданных в одном из множества заранее определенных режимов внутреннего прогнозирования, причем по меньшей мере один из указанного множества доступных заранее определенных режимов внутреннего прогнозирования является таким, что соответствующий способ внутреннего прогнозирования, предназначенный для работы в этом режиме, будет получать прогнозы для выборок в блоке в виде комбинации первого компонента прогнозирования, зависящего от эталонных выборок, соответствующих тому же видеокадру, и второго компонента прогнозирования, не зависящего от эталонных выборок, где первый компонент прогнозирования получен в соответствии с одним из набора режимов внутреннего прогнозирования, включающих планарный режим, DC-режим или режим направленного углового внутреннего прогнозирования.
19. 19. Машиночитаемый носитель, на котором хранится компьютерная программа, содержащая исполняемые компьютером инструкции для конфигурирования компьютера общего назначения в качестве кодера по любому из пп.1-4 или декодера по любому из пп.6-17.
20. 20. Сигнал, несущий информацию, кодируемую кодером по любому из пп.1-4 или способом по п.5.

    -