EA043315B1 - Декодирование потоков битов - Google Patents

Description

Область техники, к которой относится изобретение

Изобретение относится к кодированию и декодированию изображений, и, в частности, изобретение относится к способу декодирования потока битов для того, чтобы получать изображение.

Уровень техники

В кодеке изображений или видео использование пространственных избыточностей обеспечивает более эффективное кодирование изображения. Одна из самых успешных схем внутреннего предсказания состоит в выполнении, так называемого, направленного внутреннего предсказания. Каждое предсказание формируется в качестве среднего взвешенного одной или более опорных выборок; выбор того, какие опорные выборки следует использовать, а также весовые коэффициенты, применяемые, чтобы вычислять среднее, зависят от конкретного направления внутреннего предсказания. Также существуют ненаправленные режимы внутреннего предсказания. Это раскрытие сущности относится к внутреннему предсказанию, и нижеприведенное использование терминов предсказание и т.п. должно пониматься соответствующим образом.

Сущность изобретения

В соответствии с первым аспектом настоящего изобретения, предусмотрен способ декодирования в декодере потока битов, представляющего изображение, при этом поток битов содержит множество блоков остаточных выборок, и один или более восстановленных кадров изображения упомянутого изображения получаются посредством добавления соответствующего блока остаточных выборок к блоку комбинированных гипотез внутренних предсказаний, причем блок комбинированных гипотез внутренних предсказаний формируется посредством применения способа, содержащего:

прием потока битов;

для каждого блока остаточных выборок:

определение, указывается и/или логически выводится ли комбинированная гипотеза внутреннего предсказания из потока битов, и если да:

для каждого блока остаточных выборок блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания:

определение первого режима внутреннего предсказания из информации, извлекаемой из потока битов;

определение или логический вывод, по меньшей мере, второго отличающегося режима внутреннего предсказания;

применение первого режима внутреннего предсказания, по меньшей мере, к одной опорной выборке, чтобы формировать первую выборку предсказания гипотезы;

применение по меньшей мере одного второго режима внутреннего предсказания к упомянутой по меньшей мере одной опорной выборке, чтобы формировать вторую выборку предсказания (прогнозную выборку) гипотезы; и формирование упомянутого блока комбинированных гипотез предсказаний посредством комбинирования первой и второй выборок предсказания (прогнозных выборок) гипотезы, сформированных для блока.

В некотором примерном варианте осуществления изобретения, для одного или более блоков остаточных выборок для блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания, способ формирования блока комбинированных гипотез внутренних предсказаний содержит, для каждой остаточной выборки блока, применение первого режима внутреннего предсказания к опорной выборке, применение второго режима внутреннего предсказания к той же опорной выборке и комбинирование результирующих первой и второй выборок внутреннего предсказания гипотезы, чтобы формировать выборку предсказания комбинированных гипотез, при этом способ дополнительно содержит комбинирование выборок предсказания комбинированных гипотез, таким образом полученных для блока, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний.

В других примерных вариантах осуществления изобретения, для одного или более блоков остаточных выборок, для которых указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания, способ формирования блока комбинированных гипотез внутренних предсказаний содержит применение упомянутого первого режима внутреннего предсказания ко всем из опорных выборок упомянутого блока, чтобы формировать множество первых выборок предсказания гипотезы, применение второго режима внутреннего предсказания ко всем из опорных выборок упомянутого блока, чтобы формировать множество вторых выборок предсказания гипотезы, и комбинирование первой и второй выборок предсказания гипотезы, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний.

Необязательно, определение второго режима внутреннего предсказания содержит логический вывод второго режима внутреннего предсказания на основе первого режима внутреннего предсказания. В этом случае, логический вывод второго режима внутреннего предсказания может содержать логический вывод того, что второй режим внутреннего предсказания представляет собой режим планарного внутреннего предсказания, если первый режим предсказания не представляет собой режим планарного внут- 1 043315 реннего предсказания.

Второй режим внутреннего предсказания может определяться на основе индикатора в потоке битов.

Способ некоторых вариантов осуществления дополнительно может содержать определение того, представляет ли собой первый режим внутреннего предсказания режим планарного внутреннего предсказания; и логический вывод комбинированной гипотезы внутреннего предсказания только, если первый режим предсказания не представляет собой режим планарного предсказания.

В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания комбинированных гипотез, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, может содержать суммирование упомянутых первой и второй выборок предсказания гипотезы с соответствующими упомянутыми остаточными выборками. В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания гипотез для того, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, может содержать вычисление среднего взвешенного первой и второй выборок внутреннего предсказания комбинированных гипотез.

В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания гипотез, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, может содержать определение взвешиваний, которые должны применяться к первой и/или второй выборкам гипотезы, с их комбинированием для того, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний. В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания гипотез содержит добавление их взвешенной комбинации с соответствующими остаточными выборками. Взвешивания, применяемые к первой и/или второй выборкам внутреннего предсказания гипотез гипотезы, могут необязательно определяться на основе значений битов в потоке битов или посредством запроса в таблице поиска либо могут, по меньшей мере, частично логически выводиться с использованием информации, извлеченной из соседних блоков.

Необязательно по меньшей мере один из первого режима внутреннего предсказания и второго режима внутреннего предсказания может представлять собой режим планарного внутреннего предсказания или режим внутреннего DC-предсказания, или режим направленного внутреннего предсказания.

В некоторых вариантах осуществления, поток битов может содержать один или более битов, указывающих должен ли применяться второй режим направленного внутреннего предсказания. В некоторых вариантах осуществления, поток битов может содержать один или более битов, указывающих первый режим внутреннего предсказания и/или второй режим внутреннего предсказания, который должен применяться. В этом случае, определение первого режима внутреннего предсказания и/или второго режима внутреннего предсказания может, необязательно, содержать запрос в таблице поиска.

В некоторых примерных вариантах осуществления, способ дополнительно может содержать, в отношении блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания: определение третьего режима внутреннего предсказания; и применение третьего режима внутреннего предсказания к одной или более опорных выборок, чтобы формировать третью выборку внутреннего предсказания гипотезы, и комбинирование первой, второй и третьей выборок предсказания гипотезы, сформированных для блока, чтобы создавать упомянутый блок комбинированных гипотез предсказаний.

В соответствии с другим аспектом изобретения, предусмотрен компьютерный программный продукт, выполненный с возможностью инструктировать программируемому оборудованию реализовывать способ по существу как описано выше.

В соответствии с другим аспектом изобретения, предусмотрен способ декодирования изображений в потоке видео с использованием способа по существу как описано выше.

В соответствии с еще одним другим аспектом настоящего изобретения, предусмотрен способ декодирования потока битов видео, содержащий этапы:

приема потока битов, представляющего блоки остаточных выборок и данные, указывающие гипотезы внутреннего предсказания, используемые при формировании выборок предсказания;

использования упомянутых данных, указывающих упомянутые гипотезы внутреннего предсказания, чтобы формировать соответствующие блоки выборок предсказания; и суммирования упомянутых блоков выборок предсказания с соответствующими упомянутыми блоками остаточных выборок, чтобы восстанавливать изображения, отличающийся посредством:

для каждого блока остаточных выборок:

определения, указывается и/или логически выводится либо нет комбинированная гипотеза внутреннего предсказания из потока битов, и если да:

для каждого блока остаточных выборок блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания:

определения первого режима внутреннего предсказания из информации, извлекаемой из потока битов;

определения или логического вывода по меньшей мере второго отличающегося режима внутреннего предсказания;

- 2 043315 применения первого режима внутреннего предсказания по меньшей мере к одной опорной выборке, чтобы формировать первую выборку предсказания гипотезы;

применения по меньшей мере одного второго режима внутреннего предсказания к упомянутой по меньшей мере одной опорной выборке, чтобы формировать вторую выборку предсказания гипотезы; и формирования упомянутого блока комбинированных гипотез предсказаний посредством комбинирования первой и второй выборок предсказания гипотезы, сформированных для блока.

В соответствии с дополнительным аспектом изобретения, предусмотрен способ кодирования потока битов видео, содержащий этапы:

формирования блоков выборок предсказания с использованием блоков внутренних предсказаний и восстановленных выборок изображений;

вычитания блоков выборок предсказания из блоков выборок изображений, чтобы формировать блоки остаточных выборок; и формирования потока битов, представляющего блоки остаточных выборок и данные, представляющие блоки внутренних предсказаний, используемые для того, чтобы формировать соответствующие выборки предсказания;

при этом по меньшей мере один из блоков выборок предсказания формируется с использованием блока комбинированных гипотез предсказаний, сформированного посредством:

применения первого режима внутреннего предсказания к восстановленным выборкам изображений соответствующего блока для того, чтобы формировать первые выборки предсказания и множество соответствующих первых остаточных выборок;

применения второго отличающегося режима внутреннего предсказания к восстановленным выборкам изображений упомянутого соответствующего блока для того, чтобы формировать вторые выборки предсказания и множество соответствующих вторых остаточных выборок; и формирования блока остаточных выборок посредством комбинирования первой и второй остаточных выборок.

Любой признак в одном аспекте раскрытия сущности может применяться к другим аспектам раскрытия сущности в любой соответствующей комбинации. В частности, аспекты способа могут применяться к аспектам оборудования, и наоборот.

Кроме того, признаки, реализованные в аппаратных средствах, могут реализовываться в программном обеспечении, и наоборот. Все ссылки на программные и аппаратные признаки в данном документе должны истолковываться надлежащим образом.

Любой признак оборудования, описанный в данном документе, также может предоставляться в качестве признака способа, и наоборот. При использовании в данном документе, признаки средство плюс функция могут выражаться альтернативно с точки зрения их соответствующей структуры, к примеру, как надлежащим образом программируемый процессор и ассоциированное запоминающее устройство.

Также следует принимать во внимание, что конкретные комбинации различных признаков, описанных и заданных в любых аспектах раскрытия сущности, могут реализовываться и/или предоставляться, и/или использоваться независимо.

Раскрытие сущности также предоставляет компьютерную программу и компьютерный программный продукт, содержащий программный код, выполненный, при выполнении в оборудовании обработки данных, с возможностью осуществлять любой из способов, описанных в данном документе, включающих в себя любые из их компонентных этапов.

Раскрытие сущности также предоставляет компьютерную программу и компьютерный программный продукт, содержащий программный код, который, при выполнении в оборудовании обработки данных, содержит любой из признаков оборудования, описанных в данном документе.

Раскрытие сущности также предоставляет компьютерную программу и компьютерный программный продукт, имеющий операционную систему, которая поддерживает компьютерную программу для осуществления любого из способов, описанных в данном документе, и/или для осуществления любого из признаков оборудования, описанных в данном документе.

Раскрытие сущности также предоставляет машиночитаемый носитель, имеющий сохраненную компьютерную программу, как указано выше.

Раскрытие сущности также предоставляет сигнал, переносящий компьютерную программу, как указано выше, и способ передачи такого сигнала.

Раскрытие сущности относится к способам и оборудованию, фактически описанным в данном документе со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

Далее изобретение описывается, в качестве примера, со ссылкой на прилагаемые чертежи, на которых:

фиг. 1 показывает декодер потока битов видео;

фиг. 2(а)-(b) показывают примерное блочное предсказание с использованием одного режима внутреннего предсказания;

фиг. 3 показывает примерное блочное предсказание с использованием нескольких режимов внут- 3 043315 реннего предсказания;

фиг. 4 является блок-схемой последовательности операций для способа использования двух режимов внутреннего предсказания;

фиг. 5 является блок-схемой последовательности операций способа для подробного примерного способа логического вывода второго режима внутреннего предсказания;

фиг. 6 показывает видеокодер.

Подробное описание вариантов осуществления

На фиг. 1 показан типичный декодер, в котором поток битов, представляющий видеоизображения, принимается и обрабатывается для того, чтобы получать поток видео. Декодер содержит каскад 102 энтропийного декодирования, каскад 104 обратного квантования и каскад 106 обратного преобразования, через которые принимаемый поток битов обычно последовательно обрабатывается для того, чтобы получать остатки.

Остатки суммируются с соответствующими предсказаниями для того, чтобы получать выходные изображения, которые формируют выходной поток видео.

В случае внешнего предсказания, предыдущее изображение или изображения, которые становятся доступными в буфере 110 декодированных картинок, подвергаются компенсации 112 движения, с использованием информации движения, указанной согласно информации, извлекаемой из потока битов. Например, векторы движения могут передаваться в служебных сигналах в потоке битов. Однако такая информация движения может вычисляться множеством альтернативных способов, как должно быть известно специалистам в данной области техники.

В случае внутреннего предсказания, ранее восстановленные выборки, извлеченные из текущего кадра, используются для того, чтобы формировать предсказание.

Это раскрытие сущности относится к блоку 108 внутреннего предсказания, который традиционно использует режим внутреннего предсказания, указываемый с использованием информации, извлеченной из потока битов, как подробнее описано со ссылкой на фиг. 2.

Фиг. 2 показывает использование одного режима внутреннего предсказания. Значения каждой выборки в блоке типично (хотя не обязательно всегда) предсказываются в качестве среднего взвешенного опорных выборок, извлеченных из буфера опорных выборок. Выбор того, какие опорные выборки следует использовать, а также весовые коэффициенты, применяемые к каждой опорной выборке, зависят от режима внутреннего предсказания, указываемого с использованием информации, извлеченной из потока битов. Режим предсказания, используемый на фиг. 2а, представляет собой режим направленного внутреннего предсказания; режим предсказания, используемый на фиг. 2b, представляет собой режим планарного предсказания. В качестве пояснения, при использовании планарного внутреннего предсказания, четыре опорных выборки используются для того, чтобы предсказывать каждую выборку в блоке; две билинейных интерполяции вычисляются с использованием двух пар опорных выборок, соответственно, при этом весовые коэффициенты, используемые в интерполяции, зависят от местоположения каждой выборки в блоке. Значения, получающиеся в результате этих двух интерполяций, после этого усредняются между собой, чтобы формировать конечную предсказанную выборку.

Также может использоваться ряд других направленных режимов, например, чисто горизонтальные и/или ненаправленные режимы внутреннего предсказания, такие как DC-режим на основе стандарта высокоэффективного кодирования видео (HEVC). Информация, требуемая для того, чтобы корректно выбирать режим, который следует использовать, передается в служебных сигналах в потоке битов, связанном с каждым блоком. Вышеуказанные режимы предсказания относятся главным образом к следующему:

планарное предсказание, которое состоит в получении каждой опорной выборки в качестве среднего двух билинейных интерполяций между двумя парами выборок, извлеченных из соседних выборок в строке сверху и в столбце слева от текущего блока;

DC-предсказание, которое состоит в предсказании выборок в блоке со средним опорных выборок, доступных в окрестности текущего блока; и направленное предсказание, которое состоит в экстраполяции выборок внутри блока предсказания посредством билинейной интерполяции, при этом используемые весовые коэффициенты и выборки зависят от направления предсказания.

В качестве более конкретного примера, выборка X в текущем блоке на фиг. 2а предсказывается с использованием среднего взвешенного опорных выборок А и В, которые в этом примере извлекаются из блоков выше текущего блока. Согласно направлению, указываемому посредством режима внутреннего предсказания, выборка А может иметь большее влияние при предсказании, что означает, что ее весовой коэффициент должен быть выше весового коэффициента, применяемого к В при вычислении среднего.

Опорные выборки здесь показаны как извлеченные из одной строки сверху и одного столбца слева от текущего блока. В некоторых вариантах осуществления, набор опорных выборок может быть большим, например, может быть предусмотрено две или более опорных строки или столбца. В некоторых вариантах осуществления, набор опорных выборок может фильтроваться с использованием предварительно заданных операций фильтрации до использования для внутреннего предсказания. Опорные вы- 4 043315 борки типично получаются из блоков, которые уже восстановлены в декодере и таким образом являются доступными для того, чтобы предсказывать текущий блок. Такие блоки традиционно иллюстрируются как находящиеся над или слева от текущего блока. Это не исключает работы при других схемах сканирования блоков либо степенях параллельной работы.

Традиционное внутреннее предсказание использует одиночный режим, применяемый к опорным выборкам для того, чтобы предсказывать текущий блок, что приводит к предсказанию, представляющему собой, например, одно из предсказания X, показанного на фиг. 2а и 2b. Каждое из этих предсказаний существенно отличается от фактического контента блока, и фиг. 2а и 2b показывают только два из некоторого числа различных предсказаний X, получаемых с использованием любых из некоторого числа различных одиночных режимов.

В некоторых случаях, в системах предшествующего уровня техники, использование одного режима внутреннего предсказания может не предоставлять оптимальное предсказание контента блока. В соответствии с аспектами настоящего изобретения, решение этой проблемы находится посредством использования множества различных гипотез внутреннего предсказания и затем комбинирования этих гипотез между собой, чтобы формировать блок внутреннего предсказания комбинированных гипотез, который может предоставлять более точное предсказание, по меньшей мере, некоторых блоков в потоке битов, чем может получаться с использованием способов предшествующего уровня техники, которые используют каждый из режимов внутреннего предсказания в развязке.

Фиг. 3 показывает способ внутреннего предсказания, за счет которого два различных режима предсказания комбинируются, чтобы предсказывать значения в блоке. Этот способ может использоваться для того, чтобы получать лучшее предсказание фактических значений блока. Предпочтительно, параметры, необходимые для того, чтобы выполнять это комбинирование, по меньшей мере, частично извлекаются из потока битов, чтобы улучшать сжатие изображений. В этом примере, вертикальные и планарные режимы, описанные со ссылкой на фиг. 2b, комбинируются, чтобы получать лучшее предсказание, чем любой из этих режимов, используемых отдельно.

Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей способ применения нескольких режимов внутреннего предсказания для того, чтобы получать комбинированное предсказание.

На первом этапе 402, первый режим внутреннего предсказания обнаруживается. В этом варианте осуществления, это содержит обнаружение режима внутреннего предсказания, указываемого в потоке битов.

На втором этапе 404, второй режим внутреннего предсказания обнаруживается. В других вариантах осуществления, этот второй режим может обнаруживаться из индикатора, передаваемого в служебных сигналах в потоке битов, и/или посредством логического вывода из признака потока битов, к примеру, первого режима внутреннего предсказания. Способ логического вывода второго режима внутреннего предсказания описывается со ссылкой на фиг. 5.

На третьем этапе 406, определяются взвешивания, которые являются применимыми для того, чтобы комбинировать предсказания, выявляемые из применения первого режима обнаружения и второго режима обнаружения. В различных вариантах осуществления, предсказания, полученные из использования каждого режима предсказания, комбинируются в одиночное предсказание, либо посредством простого усреднения, например, взвешиваний, каждое из которых составляет 0,5, либо посредством параметрического преобразования, к примеру, предсказания со взвешиванием. В некоторых вариантах осуществления, могут использоваться различные параметрические преобразования, к примеру, линейные или квадратичные интерполяции, при этом коэффициенты интерполяции могут извлекаться из потока битов и/или логически выводиться посредством процесса логического вывода. Параметры преобразования, например, весовые коэффициенты, могут, по меньшей мере, частично извлекаться из потока битов, могут задаваться посредством используемого режима внутреннего предсказания либо могут быть предварительно установлены в декодере.

В некоторых вариантах осуществления, взвешивания и/или способ комбинирования, который следует использовать, определяются с использованием таблицы поиска, при этом индекс, который должен использоваться при обращении к этой таблице поиска, указывается в потоке битов. Таблица поиска, которая должна использоваться, в некоторых вариантах осуществления зависит от используемых режимов предсказания.

На четвертом этапе 408, предсказания, выявляемые с использованием каждого режима предсказания, комбинируются с использованием определенных взвешиваний. Эти предсказания затем могут комбинироваться с остаточными значениями, извлеченными из потока битов, чтобы получать восстановленные выборки изображений. Типично, после того, как кадр восстанавливается, применяются некоторые фильтры (например, удаление блочности, удаление размытости и т.д.). Изображение выводится после этого на основе этих восстановленных выборок. В случае декодирования видео, это изображение представляет собой кадр внутри видео.

Таким образом, в соответствии с аспектами настоящего изобретения, предсказания комбинируются до того, как комбинированное предсказание суммируется с остаточными значениями.

- 5 043315

Фиг. 5 иллюстрирует способ согласно примерному варианту осуществления изобретения, в котором второй режим внутреннего предсказания и использование второго режима внутреннего предсказания логически выводятся из первого режима внутреннего предсказания.

На первом этапе 402 первый режим внутреннего предсказания обнаруживается.

На втором этапе 502 определяется то, является или нет первый режим внутреннего предсказания планарным.

Если первый режим внутреннего предсказания не является планарным, на третьем этапе 504 определяется, задается или нет флаг нескольких режимов внутреннего предсказания.

Если флаг нескольких режимов внутреннего предсказания задается, на четвертом этапе 505, второй режим внутреннего предсказания логически выводится как предварительно указанный режим внутреннего предсказания, отличающийся от первого режима внутреннего предсказания. В этом примерном варианте осуществления, второй режим внутреннего предсказания логически выводится как планарный, если первый режим внутреннего предсказания не является планарным, и флаг нескольких (или комбинированного) внутренних предсказаний задается. Затем, на этапе 506, осуществляется способ внутреннего предсказания комбинированных гипотез, как описано выше.

Если первый режим внутреннего предсказания является планарным, или флаг нескольких внутренних предсказаний не задается, на альтернативном этапе 512, традиционное внутреннее предсказание выполняется с использованием обнаруженного первого режима внутреннего предсказания.

Хотя в этом варианте осуществления описывается логический вывод режима планарного внутреннего предсказания в качестве второго режима внутреннего предсказания, аналогичные режимы также могут логически выводиться. Аналогично, хотя в этом варианте осуществления на втором этапе 502 помечается флаг того, является ли первый режим внутреннего предсказания планарным, в других вариантах осуществления, другие режимы могут использоваться для того, чтобы определять, должен или нет помечаться флаг нескольких режимов внутреннего предсказания.

В некоторых вариантах осуществления, определение, что первый режим внутреннего предсказания не представляет собой конкретный режим, например, планарный, используется, чтобы логически выводить непосредственно второй режим предсказания. Таким образом, третий этап 504 эффективно пропускается. Если обобщить, определение типа (например, планарный, направленный, влево по вертикали) первого режима внутреннего предсказания может использоваться, чтобы логически выводить либо то, что второй режим внутреннего предсказания должен или не должен использоваться, либо тип второго режима внутреннего предсказания, который должен использоваться.

В некоторых вариантах осуществления, предусмотрен возможный или предпочтительный второй режим внутреннего предсказания либо некоторое число возможных или предпочтительных режимов внутреннего предсказания для каждого первого режима внутреннего предсказания. На практике, второй режим внутреннего предсказания может логически выводиться на основе первого режима внутреннего предсказания и присутствия дополнительной информации потока битов (где, например, первый режим является направленным, и задание флага может подразумевать планарный второй режим, тогда как первый режим является DC, и задание флага может подразумевать второй режим влево по вертикали). Если обобщить, может быть предусмотрена таблица поиска или другое опорное средство, которое является применимым, чтобы определять второй режим предсказания, при этом используемая таблица поиска может зависеть от первого режима предсказания. В некоторых вариантах осуществления, второй режим предсказания может непосредственно извлекаться из потока битов посредством процесса, аналогичного или идентичного процессу, используемому, чтобы извлекать первый режим внутреннего предсказания.

В некоторых вариантах осуществления, используемый способ кодирования зависит от первого режима предсказания, в котором форма кодирования, сравнимая с кодированием кодом Хаффмана, используется таким образом, что длина кодирования, необходимая для того, чтобы указывать второй режим предсказания, связана с тем, насколько вероятно, что второй режим предсказания должен представляет собой оптимальный режим предсказания (причем эта вероятность предварительно определяется до того, как декодер/кодер компонуется).

В предпочтительных вариантах осуществления, один из режимов представляет собой либо планарный режим, либо DC-режим, при этом, в частности, передача в служебных сигналах того, что один из этих режимов не представляет собой первый режим предсказания, в некоторых вариантах осуществления, используется для того, чтобы логически выводить использование другого режима в качестве второго режима предсказания. Однако это ни в коей мере не является существенно важным. В некоторых вариантах осуществления, поток битов может просто содержать требуемую информацию, чтобы извлекать два (или более) различных режимов внутреннего предсказания, и инструкцию для того, чтобы комбинировать два предсказания, полученные за счет этого, между собой, чтобы формировать одно (комбинированное) предсказание, которое должно суммироваться с соответствующей остаточной выборкой(ами).

Во всех случаях, процесс формирования комбинированного предсказания может выполняться рядом различных способов. Например, он может выполняться на основе каждой выборки. В этом случае, первое предсказание формируется для данной выборки с использованием первого режима внутреннего предсказания, после чего второе предсказание формируется для идентичной остаточной выборки с ис- 6 043315 пользованием второго отличающегося режима внутреннего предсказания. В завершение, комбинированное предсказание формируется для этой остаточной выборки посредством комбинирования первого и второго предсказаний, и процесс переходит к следующей остаточной выборке в блоке, в которой процесс повторяется. В альтернативных вариантах осуществления, процесс может выполняться на поблочной основе. В этом случае, первый режим внутреннего предсказания применяется ко всем остаточным выборкам в блоке, чтобы формировать первый блок предсказаний, после чего второй режим внутреннего предсказания применяется ко всем остаточным выборкам в идентичном блоке, чтобы формировать второй блок предсказаний. В завершение, первый и второй блок предсказаний комбинируются между собой, чтобы формировать один блок предсказания комбинированных гипотез, и этот блок суммируется с остаточными выборками в блоке, чтобы восстанавливать данные изображений.

Фиг. 6 показывает кодер 6, который может использоваться для того, чтобы получать поток битов, который является считываемым посредством декодера 1, описанного со ссылкой на фиг. 1.

Входной поток видео имеет выполняемые оценку 602 внутреннего предсказания и/или оценку 606 движения, которые идентифицируют пространственную и/или временную избыточность. Они приводят к внутреннему предсказанию 604 и предсказанию 608 движения, при этом предсказание движения зависит от кинокадра из буфера 610 картинок, который хранит кинокадр, эквивалентный предыдущему кадру, кодированному посредством кодера 6.

Внутреннее предсказание 604 и/или предсказание 608 движения комбинируются с входным видео и затем преобразуются 612, квантуются 614 и энтропийно кодируются 616 для того, чтобы получать поток битов. Преобразованный 612 и квантованный 614 поток данных типично подвергается обратному квантованию 618 и обратному преобразованию 620, чтобы получать опорный кадр, который используется посредством буфера 610 картинок для последующих кадров, хотя в некоторых вариантах осуществления, один или оба из этих этапов могут не быть существенно важными.

В различных вариантах осуществления каскад внутреннего предсказания содержит одно или более из следующего: бит, который указывает то, используются или нет несколько режимов внутреннего предсказания; секция, которая указывает, по меньшей мере, один из режимов первого и второго предсказания, который следует использовать; секция, которая указывает взвешивания первого и второго режимов предсказания. Индикатор режимов, которые следует использовать, и/или взвешиваний, которые следует использовать, в некоторых вариантах осуществления, представляет собой ссылку на индекс таблицы поиска. Таблица поиска, которую следует использовать, предпочтительно определяется посредством характеристики текущего кадра (например, текущего блока или предыдущего блока) либо предыдущего кадра.

В кодере рассматривается список возможных режимов внутреннего предсказания, в котором используется именно комбинация режимов, которая приводит к наименьшим остаточным значениям, либо используется одиночный режим, если он достигает наименьших остатков. В некоторых вариантах осуществления, рассматривается ограниченное число возможных режимов, например, один из нескольких режимов предсказания может всегда быть планарным. В некоторых вариантах осуществления, некоторое улучшение по сравнению с использованием одного режима предсказания требуется до того, как несколько режимов внутреннего предсказания используются.

Аналогично, взвешивания определяются с использованием предварительно определенной технологии, например, процесса принятия решений, который состоит в выборе взвешиваний, приводящих к минимальному остаточному значению. Специалисты в данной области техники должны принимать во внимание, что могут использоваться другие процессы принятия решений.

Альтернативы и модификации

В различных вариантах осуществления, блок при использовании в данном документе означает единицу предсказания (PU), единицу кодирования (CU) и/или единицу преобразования (TU), например, как задано в стандарте HEVC/H.265 версия 5 от 13 февраля 2018 года. Если обобщить, блок может означать любую группу пикселов. Предпочтительно, блок означает группу соединенных пикселов, в которой они могут пространственно соединяться.

В некоторых вариантах осуществления, блок связан с группой пикселов, которые совместно используют общие опорные выборки для целей внутреннего предсказания. Это не требует предсказания каждого пиксельного значения в блоке непосредственно из опорных выборок; в некоторых вариантах осуществления, пиксельные значения в блоке могут предсказываться с использованием других пиксельных значений в идентичном блоке, причем эти другие пиксельные значения предсказываются с использованием общих опорных выборок. В этих вариантах осуществления, предсказанные пиксельные значения могут рассматриваться как извлекаемые из опорных выборок.

Хотя способ описывается со ссылкой на использование для кадров в потоке видео, он может аналогично использоваться для неподвижных изображений, таких как неподвижные изображения, которые соответствуют стандартам Объединенной экспертной группы по фотографии (JPEG).

Хотя подробное описание главным образом относится к использованию двух режимов предсказания, этот способ может аналогично применяться к любому числу (двум или более) режимов предсказания, при этом число используемых режимов и/или используемые режимы могут указываться посредством информации, включенной в релевантный поток битов.

- 7 043315

Следует понимать, что настоящее изобретение описано выше просто в качестве примера, и модификации подробностей могут осуществляться в пределах объема изобретения.

Ссылки с номерами, появляющиеся в формуле изобретения, служат только в качестве иллюстрации и не должны иметь ограничивающего влияния на объем формулы изобретения.

Claims (15)

1. ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ декодирования, в декодере, потока битов, представляющего изображение, при этом поток битов содержит множество блоков остаточных выборок, и один или более восстановленных кадров изображения упомянутого изображения получаются посредством суммирования соответствующего блока остаточных выборок с блоком комбинированных гипотез внутренних предсказаний, причем блок комбинированных гипотез внутренних предсказаний формируется посредством применения способа, содержащего этапы, на которых:

   пр инимают поток битов;

   для каждого блока остаточных выборок:

   определяют, указывается ли и/или может ли логически выводиться комбинированная гипотеза внутреннего предсказания из потока битов, и если да:

   для каждого блока остаточных выборок блока, для которого указывается и/или может логически выводиться комбинированная гипотеза внутреннего предсказания:

   оп ределяют первый режим внутреннего предсказания из информации, извлекаемой из потока битов;

   ло гически выводят по меньшей мере второй отличающийся режим внутреннего предсказания на основе первого режима внутреннего предсказания;

   пр именяют первый режим внутреннего предсказания по меньшей мере к одной опорной выборке, чтобы формировать первую выборку предсказания гипотезы;

   применяют по меньшей мере один второй режим внутреннего предсказания к упомянутой по меньшей мере одной опорной выборке, чтобы формировать вторую выборку предсказания гипотезы; и формируют упомянутый блок комбинированных гипотез предсказаний посредством комбинирования первой и второй выборок предсказания гипотезы, сформированных для блока.
2. 2. Способ по п.1, в котором для одного или более блоков остаточных выборок для блока, для которого комбинированная гипотеза внутреннего предсказания указывается и/или логически выводится, способ формирования блока комбинированных гипотез внутренних предсказаний содержит, для каждой остаточной выборки блока, этапы, на которых применяют первый режим внутреннего предсказания к опорной выборке, применяют второй режим внутреннего предсказания к той же опорной выборке и комбинируют результирующие первую и вторую выборки внутреннего предсказания гипотезы, чтобы формировать выборку предсказания комбинированных гипотез, при этом способ дополнительно содержит этап, на котором комбинируют выборки предсказания комбинированных гипотез, таким образом полученные для блока, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний.
3. 3. Способ по п.1, в котором для одного или более блоков остаточных выборок, для которых комбинированная гипотеза внутреннего предсказания указывается и/или логически выводится, способ формирования блока комбинированных гипотез внутренних предсказаний содержит этап, на котором применяют упомянутый первый режим внутреннего предсказания ко всем из опорных выборок упомянутого блока, чтобы формировать множество первых выборок предсказания гипотезы, применяют второй режим внутреннего предсказания ко всем из опорных выборок упомянутого блока, чтобы формировать множество вторых выборок предсказания гипотезы, и комбинируют первую и вторую выборки предсказания гипотезы, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний.
4. 4. Способ по любому из предшествующих пунктов, в котором логический вывод второго режима внутреннего предсказания содержит этап, на котором логически выводят, что второй режим внутреннего предсказания представляет собой режим планарного внутреннего предсказания, если первый режим предсказания не представляет собой режим планарного внутреннего предсказания.
5. 5. Способ по любому из предшествующих пунктов, в котором второй режим внутреннего предсказания логически выводится на основе индикатора в потоке битов.
6. 6. Способ по любому из предшествующих пунктов, дополнительно содержащий этапы, на которых определяют представляет ли собой первый режим внутреннего предсказания режим планарного внутреннего предсказания; и логически выводят комбинированную гипотезу внутреннего предсказания только, если первый режим предсказания не представляет собой режим планарного предсказания.
7. 7. Способ по любому из предшествующих пунктов, в котором комбинирование первой и второй выборок внутреннего предсказания гипотез, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, содержит этап, на котором суммируют упомянутые первую и вторую выборки предсказания гипотезы с соответствующими упомянутыми остаточными выборками.
8. 8. Способ по любому из предшествующих пунктов, в котором комбинирование первой и второй

   - 8 043315 выборок внутреннего предсказания гипотез, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, содержит этап, на котором вычисляют среднее взвешенное первой и второй выборок внутреннего предсказания комбинированных гипотез;

   определяют взвешивания, которые должны применяться к первой и/или второй выборкам гипотезы;

   и суммируют их взвешенное комбинирование с соответствующими остаточными выборками.
9. 9. Способ по п.8, в котором взвешивания, применяемые к первой и/или второй выборкам внутреннего предсказания гипотез:

   определяются на основе значений битов в потоке битов; и/или получаются посредством выполнения запроса в таблице поиска; и/или по меньшей мере, частично логически выводятся с использованием информации, извлеченной из соседних блоков.
10. 10. Способ по любому из предшествующих пунктов, в котором по меньшей мере один из первого режима внутреннего предсказания и второго режима внутреннего предсказания представляет собой режим планарного внутреннего предсказания; и/или режим внутреннего DC-предсказания; и/или режим направленного внутреннего предсказания.
11. 11. Способ по любому из предшествующих пунктов, в котором поток битов содержит один или более битов, указывающих, должен ли применяться второй режим направленного внутреннего предсказания.
12. 12. Способ по любому из предшествующих пунктов, в котором поток битов содержит один или более битов, указывающих первый режим внутреннего предсказания и/или второй режим внутреннего предсказания, который должен применяться, и/или в котором определение первого режима внутреннего предсказания и/или второго режима внутреннего предсказания содержит этап, на котором выполняют запрос в таблице поиска.
13. 13. Способ по любому из предшествующих пунктов, дополнительно содержащий, в отношении блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания, этапы, на которых: определяют третий режим внутреннего предсказания; и применяют третий режим внутреннего предсказания к одной или более опорных выборок, чтобы формировать третью выборку внутреннего предсказания гипотез, и комбинируют первую, вторую и третью выборки предсказания гипотез, сформированные для блока, чтобы создавать упомянутый блок комбинированных гипотез предсказаний.
14. 14. Способ декодирования потока битов видео, содержащий этапы, на которых:

    принимают поток битов, представляющий блоки остаточных выборок и данные, указывающие гипотезы внутреннего предсказания, используемые при формировании выборок предсказания;

    используют упомянутые данные, указывающие упомянутые гипотезы внутреннего предсказания, чтобы формировать соответствующие блоки выборок предсказания; и суммируют упомянутые блоки выборок предсказания с соответствующими упомянутыми блоками остаточных выборок, чтобы восстанавливать изображения, отличающийся посредством следующих этапов, на которых:

    для каждого блока остаточных выборок:

    определяют, указывается посредством и/или может логически выводиться либо нет комбинированная гипотеза внутреннего предсказания из потока битов, и если да:

    для каждого блока остаточных выборок блока, для которого указывается и/или может логически выводиться комбинированная гипотеза внутреннего предсказания:

    определяют первый режим внутреннего предсказания из информации, извлекаемой из потока битов;

    логически выводят по меньшей мере второй отличающийся режим внутреннего предсказания на основе первого режима внутреннего предсказания;

    применяют первый режим внутреннего предсказания по меньшей мере к одной опорной выборке, чтобы формировать первую выборку предсказания гипотезы;

    применяют по меньшей мере один второй режим внутреннего предсказания к упомянутой по меньшей мере одной опорной выборке, чтобы формировать вторую выборку предсказания гипотезы; и формируют упомянутый блок комбинированных гипотез предсказаний посредством комбинирования первой и второй выборок предсказания гипотезы, сформированных для блока.
15. 15. Способ кодирования потока битов видео, содержащий этапы, на которых:

    формируют блоки выборок предсказания с использованием блоков внутренних предсказаний и восстановленных выборок изображений;

    вычитают блоки выборок предсказания из блоков выборок изображений, чтобы формировать блоки остаточных выборок; и формируют поток битов, представляющий блоки остаточных выборок и данные, представляющие блоки внутренних предсказаний, используемые, чтобы формировать соответствующие выборки предсказания;

    - 9 043315 при этом по меньшей мере один из блоков выборок предсказания формируется с использованием блока комбинированных гипотез предсказаний, сформированного посредством этапов, на которых:

    применяют первый режим внутреннего предсказания к восстановленным выборкам изображений соответствующего блока, чтобы формировать первые выборки предсказания и множество соответствующих первых остаточных выборок;

    применяют второй отличающийся режим внутреннего предсказания к восстановленным выборкам изображений упомянутого соответствующего блока, чтобы формировать вторые выборки предсказания и множество соответствующих вторых остаточных выборок; и формируют блок остаточных выборок посредством комбинирования первой и второй остаточных выборок, причем второй режим внутреннего предсказания неявно сигнализируется в потоке битов, таким образом декодер способен логически выводить второй режим внутреннего предсказания на основе первого режима внутреннего предсказания.