EA039463B1

EA039463B1 - Способ и устройство декодирования видеосигнала для извлечения информации об исходном цветовом объеме входного битового потока из сообщения sei

Info

Publication number: EA039463B1
Application number: EA201990849A
Authority: EA
Inventors: Тао ЧЭНЬ; Пэн ИНЬ; Таожань ЛУ; Уолтер Дж. Хьюсэк
Original assignee: Долби Лэборетериз Лайсенсинг Корпорейшн
Priority date: 2016-11-29
Filing date: 2017-10-03
Publication date: 2022-01-28
Also published as: EA202191618A3; EA201990849A1; EA202191618A2

Abstract

Заявлены способ и устройство декодирования видеосигнала, которые обеспечивают передачу информации об исходном цветовом объеме в кодированном битовом потоке с использованием обмена сообщениями SEI. Такие данные включают в себя, по меньшей мере, значения минимальной, максимальной и средней яркости в исходных данных плюс опциональные данные, которые могут включать x и y координаты цветности цветового объема для входных основных цветов (например, красного, зеленого и синего) у исходных данных, и x и y координаты цветности цвета для основных цветов, соответствующих значениям минимальной, средней и максимальной яркости в исходных данных. Также могут быть включены данные обмена сообщениями, сигнализирующие активную область в каждой картинке.

Description

Перекрестная ссылка на родственные заявки

По данной заявке испрашивается приоритет на основании предварительной заявки на патент

США № 62/427677, поданной 29 ноября 2016 г., и предварительной заявки на патент США № 62/404302, поданной 05 октября 2016 г., обе из которых в полном объеме включены в настоящее описание путем ссылки.

Область техники

Настоящее изобретение, в целом, относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к сообщению и обработке информации о цветовом объеме источника.

Уровень техники

Рекомендация ITU-T H.265 [1] (также известная как HEVC) для кодирования движущегося видео в приложении D Supplemental enhancement information (SEI) и приложении E Video usability information (VUI) описывает синтаксис для предоставления дополнительной информации SEI и VUI в кодированном битовом потоке, чтобы позволить декодеру лучше отображать декодированные выборки на дисплее.

Параллельно с процессами стандартизации MPEG/ITU общество инженеров кино и телевидения (SMPTE) также определило некоторое число рекомендаций, относящихся к сообщению метаданных, относящихся к информации о цветовом объеме как для исходного видео, так и целевого дисплея. Например, комплект документов SMPTE ST 2094 (например, [5] и [6]) определяет метаданные для использования при преобразованиях цветового объема видеоконтента. Эти метаданные могут меняться от сцены к сцене или от кадра к кадру. Например, такие метаданные могут помогать декодеру представлять данные с высоким динамическим диапазоном (HDR) и широким цветовым охватом (WCG) на дисплее с меньшим цветовым объемом, чем тот, что у дисплея для мастеринга, который использовался для мастеринга исходных изображений.

Используемое в данном документе понятие метаданные относится к вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру визуализировать декодированное изображение. Такие метаданные могут включать в себя, но не ограничиваются, информацию цветового пространства и охвата, параметры прогнозирования, параметры эталонного дисплея и вспомогательные параметры сигнала, как те, что описываются в данном документе.

Несмотря на то, что приложения D и E у H.265 поддерживают некоторое число относящихся к цветовому объему данных, они не переносят все требуемые метаданные для наиболее эффективного администрирования дисплея с контентом HDR. В июле 2016 г. на заседании совместной группы по кодированию видео (JCT-VC) в Женеве было представлено три предложения [2-4] касательно того, каким образом описывать информацию о цветовом объеме контента, используя обмен сообщениями SEI или VUI. На некоторые из этих предложений оказал влияние документ SMPTE ST. 2094 [5], но они значительно отличались по объему.

В документе [2] предлагается, чтобы сообщение SEI-контента сигнализировало цветовой охват контента в 2D, который описывает фактическое распределение цвета видеоконтента. В VUI переменная colour_primaries используется чтобы указывать цветовой охват контейнера вместо истинного исходного цветового охвата [1]. В документе [3] предлагается ассоциировать несколько первичных выражений и пространственных областей с идентифицированными исходными характеристиками. В документе [4] предлагается сообщение SEI цветового объема контента, чтобы указывать цветовой объем, занимаемый контентом. Оно использует описание (x, y, Y) цветовых координат и имеет срезы яркости Y с ассоциированными многоугольниками для каждого среза. Эти предложения обладают несколькими недостатками, такими как предоставляют информацию, которая мало полезна большинству изготовителей дисплеев, могут добавлять значительные служебные данные и могут требовать слишком больших вычислительных затрат для генерирования. Чтобы улучшить существующие схемы кодирования и декодирования, как понятно авторам изобретения в данном документе, требуются улучшенные методики для генерирования и сообщения информации об исходном цветовом объеме.

Подходы, описанные в данном разделе, являются подходами, которые могут быть реализованы, но не обязательно подходами, которые были задуманы или реализованы ранее. Вследствие этого при условии, что не указано иное, не следует предполагать, что любой из подходов, описанных в данном разделе, определяется как предшествующий уровень техники только в силу включения в данный раздел. Аналогичным образом, не следует предполагать, что проблемы, идентифицированные в отношении одного или более подходов, были признаны в каком-либо предшествующем уровне техники на основе данного раздела, при условии, что не указано иное.

Краткое описание чертежей

Вариант осуществления настоящего изобретения иллюстрируется в качестве примера, а не в качестве ограничения на фигурах сопроводительных чертежей и на которых аналогичные ссылочные позиции относятся к аналогичным элементам, и на которых фиг. 1 изображает примерный процесс для канала доставки видео в соответствии с вариантом осуществления данного изобретения;

фиг. 2 - пример наибольшего возможного графика цветового объема для формата видео контей- 1 039463 нера;

фиг. 3A - пример охвата исходного контента в контейнере цветового объема;

фиг. 3B и 3C - примеры 2D срезов контейнера и исходного цветового объема при конкретных значениях яркости (Y); и фиг. 4 - примерный процесс для извлечения информации об исходном цветовом объеме из обмена сообщениями SEI в соответствии с вариантом осуществления данного изобретения.

Описание примерных вариантов осуществления

В данном документе описываются методики для обмена сообщениями с информацией об исходном цветовом объеме с использованием обмена сообщениями SEI. В нижеследующем описании в целях объяснения многочисленные конкретные подробности излагаются для того, чтобы обеспечить исчерпывающее понимание настоящего изобретения. Будет очевидно, тем не менее, что настоящее изобретение может быть реализовано на практике без этих конкретных подробностей. В других примерах хорошо известные структуры и устройства не описываются с исчерпывающими подробностями, чтобы избежать ненужного затенения или запутывания настоящего изобретения.

Общее представление

Примерные варианты осуществления, описанные в данном документе, относятся к методикам для сообщения информации об исходном цветовом объеме с использованием обмена сообщениями SEI. В декодере процессор для извлечения обмена сообщениями SEI принимает переменную обмена сообщениями идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме во входном битовом потоке. Процессор принимает первую переменную обмена сообщениями как часть информации об исходном цветовом объеме. Если первая переменная обмена сообщениями соответствует первому предварительно определенному значению, тогда для одного или более основных цветов он генерирует x и y координаты цветности для одного или более основных цветов на основании информации об исходном цветовом объеме во входном битовом потоке. Он генерирует значение минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме во входном битовом потоке. Процессор принимает вторую переменную обмена сообщениями как часть информации об исходном цветовом объеме и если вторая переменная обмена сообщениями соответствует второму предварительно определенному значению, тогда для одного или более основных цветов он генерирует x и y координаты цветности для одного или более основных цветов, соответствующие значениям минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме.

Примеры обмена сообщениями исходного цветового объема

Фиг. 1 изображает примерный процесс канала (100) доставки видео, показывающий различные стадии от захвата видео до отображения видеоконтента. Последовательность видеокадров (102) захватывается или генерируется с использованием блока (105) генерирования изображения. Видеокадры (102) могут быть захвачены цифровым образом (например, посредством цифровой камеры) или сгенерированы компьютером (например, используя компьютерную анимацию), чтобы предоставлять видеоданные (107). В качестве альтернативы видеокадры (102) могут быть захвачены на пленку посредством пленочной камеры. Пленка после должного редактирования (не показано) преобразуется в цифровой формат, чтобы предоставлять видеоданные (107).

Видеоданные (107) затем предоставляются процессору на блоке (110) для редактирования постпроизводства.

Редактирование (110) постпроизводства может включать в себя регулировку и модифицирование цветов или яркости в конкретных зонах изображения, чтобы улучшить качество изображения или добиться конкретного внешнего вида для изображения в соответствии с художественным замыслом создателя видео. Это иногда именуется цветовой синхронизацией или цветокоррекцией. Прочее редактирование (например, выбор сцен и упорядочение, обрезка изображения, добавление сгенерированных компьютером визуальных спецэффектов и т.д.) может быть выполнено в блоке (110), чтобы получить окончательную версию (112) производства для распространения. Во время редактирования (110) постпроизводства видеоизображения просматриваются на эталонном дисплее (125) (который также упоминается как целевой дисплей, поскольку студия оптимизирует видео для него).

В некоторых вариантах осуществления перед кодированием (120) видео видеоконтент может быть проанализирован, чтобы извлечь метаданные (119) исходного-цветового-объема, например, как определено в документе SMPTE ST 2094-1 [5], или как будет определено позже в данном изобретении. Такие метаданные также могут определять характеристики целевого дисплея (например, эталонного дисплея (125)) и информацию модифицирования отображения цветов с тем, чтобы нижестоящий приемник мог визуализировать декодированные данные наилучшим возможным образом.

Вслед за постпроизводством (110) и анализом (115) исходного цветового объема, видеоданные окончательного производства (117) и ассоциированные метаданные (119) могут быть доставлены в соответствующем цветовом формате (например, 10-битном YCbCr в 4:2:0, ICtCp и подобном) блоку (120) кодирования для нижестоящей доставки к устройствам декодирования и воспроизведения, таким как телевизоры, телевизионные абонентские приставки, кинотеатры и аналогичное. В некоторых вариантах

- 2 039463 осуществления блок (120) кодирования может включать в себя аудио- и видеокодеры, такие как те, что определены ATSC, DVB, DVD, Blu-Ray и другими форматами доставки, чтобы генерировать кодированный битовый поток (122). Кодированный битовый поток (122) может быть представлен кодированным битовым потоком видео с одним слоем или многослойным битовым потоком. Например, в многослойном битовом потоке сигнал (122) может включать в себя базовый слой (скажем слой SDR или слой 10битного HDR (HDR10)) и слой улучшения, который, когда объединяется с базовым слоем, дает битовый поток HDR с более высоким динамическим диапазоном, чем у отдельно базового слоя (например, сигнал 12-битного HDR). Сигнал (122), выходной битовый поток от кодера (120) также может включать в себя метаданные (119) и дополнительные связанные с кодированием метаданные, такие как параметры прогнозирования и прочие данные, чтобы помочь декодеру лучше восстанавливать сигнал HDR.

В приемнике кодированный битовый поток (122) декодируется блоком (130) декодирования, чтобы сгенерировать декодированный сигнал (132) и ассоциированные метаданные (119). Дисплей (150) приемника (или цели) может иметь характеристики, полностью отличные от эталонного (или целевого) дисплея (125). Например, без ограничения, эталонный дисплей (125) может быть дисплеем с 1000 нит, тогда как дисплей приемника может быть дисплеем с 500 нит. В таком случае модуль (140) администрирования дисплея может быть использован, чтобы отображать динамический диапазон декодированного сигнала (132) в характеристиках дисплея (150) приемника посредством генерирования отображенного для дисплея сигнала (142). Используемое в данном документе понятие администрирование дисплея обозначает обработку (например, отображение тона и охвата), которая требуется, чтобы отобразить входной видеосигнал первого динамического диапазона (например, 1000 нит) в дисплее второго динамического диапазона (например, 500 нит). Блок (140) администрирования дисплея может учитывать метаданные (119), чтобы улучшать качество выходного видео на дисплее (150). Например, как показано в документе [7], информация касательно диапазона яркости целевого (или эталонного) дисплея (например, 125) и исходные данные могут быть использованы на приемнике, чтобы лучше отображать динамический диапазон видеоконтента на дисплее приемника (например, 150).

Информация о цветовом объеме.

Фиг. 2 изображает пример наибольшего возможного цветового объема предварительно определенного формата контейнера (например, BT.2020) (также может упоминаться как цветовой объем контейнера). Такой объем может быть создан двумерными (2D) основными цветами цветового охвата, цветностью точки белого (например, D65), значением максимальной яркости (например, Lmax=4000 нит) и значением минимальной яркости (например, 0.005 нит). Такой график указывает наибольшие возможные границы цветового объема для всех цветов в исходном видеоконтенте.

На практике, как изображено темным облаком (305) на фиг. 3A или темными областями (305) на фиг. 3B и 3C, исходный цветовой объем исходного контента (например, 112) для конкретного кадра или даже всей сцены может быть значительно меньше наибольшего возможного цветового объема (310). Так как фактический цветовой объем (305) имеет очень неправильную форму, то передача такой информации об исходном цветовом объеме для каждого кадра или всей сцены требует много информации. Например, в варианте осуществления можно сигнализировать информацию о цветовом охвате для нескольких значений яркости (скажем при 0.1, 1, 10 и аналогичном). Тогда возникает вопрос: сколько и какие значения яркости являются наиболее важными? Также потребуется учитывать не только требуемые служебные данные для такой информации в кодированном битовом потоке, но также сложность генерирования такого контента на кодере и/или воссоздания информации о цветовом объеме на декодере.

Несмотря на то, что сообщение значений минимальной и максимальной яркости в исходном контенте является важным, как понятно авторам изобретения, сообщение средней яркости (или серединной яркости) также полезно для приемника. Эти три значения вместе могут помочь сгенерировать приемлемую кривую тона для отображения дисплея. В данном изобретении предлагается сигнализировать следующие метаданные, чтобы описывать исходный цветовой объем: a) наибольший 2D цветовой охват, который занимает источник (например, исходный цветовой объем); b) максимальную, минимальную и среднюю исходную яркость; и c) опционально, нарезанный (2D) цветовой охват для тех трех значений яркости (например, см. фиг. 3B и 3C). Предполагается, что точки белого основного цвета контейнера и основного цвета исходного контента должны быть одинаковыми, так что нет причин повторно передавать такую информацию. Данная информация может быть обновлена при необходимости, например, на основе из расчета на кадр или из расчета на сцену. Фиг. 3B и 3C изображают примеры 2D срезов исходного цветового объема (305) и цветового объема (310) контейнера при конкретных значениях яркости (Y). На фиг. 3B 2D срез находится при Y=84 нит, а на фиг. 3C 2D срез находится при Y=246 нит. Треугольники цветности (rgb), окружающие исходный цветовой объем (305) и в рамках RGB пространства контейнера, предоставлены только в целях иллюстрации. Кодер может выбирать, определять и сообщать приемнику меньшие или большие такие зоны.

Табл. 1 изображает пример обмена сообщениями SEI исходного цветового объема в соответствии с вариантом осуществления, который придерживается номенклатуры и синтаксиса технического описания H.265. Описание основных цветов придерживается определения CIE 1931 (x,y) координат цветности цвета для основных цветов, как определено в документе ISO 11664-1 (см. также ISO 11664-3 и CIE 15), и

- 3 039463 использует красный, зеленый и синий основные цвета. Также могут быть использованы другие типы основных цветов, такие как на основе четырех, пяти или шести цветов, или другое основанное на многоугольнике представление основных цветов. Для наибольшего фактического цветового охвата в исходном контенте в варианте осуществления без ограничения синтаксис является аналогичным определению параметра (или переменной) colour_primaries, которое определено в разделе E.3.1 для табл. E.3 технического описания H.265. Считается, что текущий исходный контент может достигать цветового пространства P3, но для достижения BT. 2020/2010 цвета потребуется некоторое время (DCI-P3 определяется в документе SMPTE EG 432-1 и SMPTE RP 431-2). Вследствие этого в случаях, когда исходный цветовой охват меньше или равен P3 или равен основным цветам BT. 2020/2010, может быть использована табл. E.3; тем не менее для источников, цветовой охват которых больше P3, но меньше BT. 2020/2010, может потребоваться явная сигнализация цветового объема. Значения яркости указываются, используя их абсолютное значение в нитах (кд/м²). В качестве альтернативы для экономии битов значения яркости также могут быть закодированными с использованием нелинейного представления, например, как значения, закодированные в соответствии с обратным EOTF по SMPTE ST 2084. Информация о цветовом охвате, соответствующая max, min и среднему (mid) значениям яркости, сделана опциональной, позволяя приложениям сокращать затраты на метаданные при необходимости.

Примечания: в предпочтительном варианте осуществления 1) метаданные исходного цветового объема должны описывать цветовой объем источника в его первоначальной форме до какой-либо предварительной обработки сигнала яркости или сигнала цветности. Например, они должны описывать исходный цветовой объем до какого-либо процесса понижающей дискретизации сигнала цветности (например, из 4:4:4 в 4:2:0) или процесса преобразования битовой глубины (например, из 12 бит в 10 бит), поскольку понижающая дискретизация сигнала цветности или преобразование битовой глубины будут модифицировать информацию о цветовом объеме. 2) Исходный цветовой охват как правило отличается от основных цветов контейнера, которые указаны в приложении E (например, табл. E.3) у H.265. 3) Исходный цветовой объем как правило отличается от цветового объема дисплея для мастеринга, который может быть указан посредством сообщений SEI цветового объема дисплея для мастеринга.

В примерном варианте осуществления параметры (или переменные) и семантика кодирования в табл. 1 могут быть описаны следующим образом:

source_colour_volume_id содержит идентифицирующий номер, который может быть использован, чтобы идентифицировать назначение исходного цветового объема. Значение source_colour_volume_id должно находиться в диапазоне от 0 до 232-2 включительно. Значения source_colour_volume_id от 0 до 255 и от 512 до 2³¹-1 могут быть использованы, как определено заявкой. Значения source_colour_volume_id от 256 до 511 включительно и от 2³¹ до 2³²-2 включительно зарезервированы для дальнейшего использования ITU-T | ISO/IEC. Декодеры должны игнорировать все сообщения SEI информации модифицирования отображения цвета, содержащие значение source_colour_volume_id в диапазоне от 256 до 511 включительно или в диапазоне от 2³¹ до 2³²-2 включительно, и битовые потоки не должны содержать таких значений.

source_colour_volume_cancel_flag, равный 1, указывает на то, что сообщение SEI исходного цветового объема отменяет неизменность любого предыдущего сообщения SEI исходного цветового объема в очередности вывода, которое применяется к текущему слою.

source_colour_volume_cancel_flag, равный 0, указывает на то, что не отклоняются от исходного цветового объема.

source_colour_volume_persistence_flag указывает неизменность сообщения SEI исходного цветового объема для текущего слоя.

source_colour_volume_persistence_flag, равный 0, указывает на то, что информация об исходном цветовом объеме применяется только к текущей картинке.

Пусть picA будет текущей картинкой, source_colour_volume_persistence_flag, равный 1, указывает на то, что исходный цветовой объем сохраняется для текущего слоя в очередности вывода до тех пор, пока не станет истинным любое из следующих условий:

начинается новая видеопоследовательность кодированного слоя (CLVS) у текущего слоя, заканчивается битовый поток.

Выводится картинка picB в текущем слое в единице доступа, содержащая сообщение SEI исходного цветового объема с тем же самым значением source colour volume id и применяемая к текущему слою, для которой PicOrderCnt(picB) больше PicOrderCnt(picA), где PicOrderCnt(picB) и PicOrderCnt(picA) являются значениями PicOrderCntVal у picB и picA соответственно, непосредственно после вызова процесса декодирования для счетчика очередности картинки для picB.

source_colour_primaries имеет точно такую же семантику, как указанная в статье E.3.1 для элемента синтаксиса colour_primaries, за исключением того, что colour_primaries в статье E.3.1 сигнализирует исходные основные цвета контейнера, а source_colour_primaries сигнализируют основные цвета, которые в действительности занимает исходный контент.

Когда значение source_colour_primaries равно 2, source_colour_primaries явно указывается синтаксисом source_primaries_x[c] и source_primaries_y[c].

- 4 039463 source_primaries_x[c] и source_primaries _y[c] указывают нормализованные x и y координаты цветности, соответственно, компонента с основного цвета у исходного контента с приращениями 0.00002 в соответствии с CIE 1931 определением x и y, как указано в ISO 11664-1 (см. также ISO 11664-3 и CIE 15). Для описания исходного контента, который использует красный, зеленый и синий основные цвета, предполагается, что значение индекса с, равное 0, должно соответствовать зеленому основному цвету, с, равное 1, должно соответствовать синему основному цвету и с, равное 2, должно соответствовать красному основному цвету (см. также приложение E и табл. E.3). Значения source_primaries_x[c] и source_primaries_y[c] должны находиться в диапазоне от 0 до 50000 включительно.

max_source_luminance, min_source_luminance и avg_source_luminance указывают номинальную максимальную, минимальную и среднюю яркость, соответственно, у источника в единицах 0.0001 кандел на квадратный метр (ниты).

min_source_luminance должно быть меньше avg_source_luminance, a avg_source_luminance должно быть меньше max source_luminance.

luminance_colour_primaries_info_present_flag, равный 1, указывает, что присутствуют элементы синтаксиса luminance_primaries_x и luminance_primaries_y, luminance_colour_primaries_info_present_flag, равный 0, указывает, что элементы синтаксиса luminance_primaries_x и luminance_primaries_y не присутствуют.

luminance_primaries_x[i][c] и luminance_primaries_y[i][c] указывают нормализованные x и y координаты цветности, соответственно, у компонента с первичного цвета исходного контента при одной номинальной яркости с приращениями 0.00002 в соответствии с CIE 1931 определением x и y, как указано в ISO 11664-1 (см. также ISO 11664-3 и CIE 15). Для описания исходной яркости контента значение индекса 0, 1 и 2 должно соответствовать max_source_luminance, min_source_luminance и avg_source_luminance, соответственно. Для описания исходного контента, который использует красный, зеленый и синий основные цвета, предполагается, что значение индекса с, равное 0, должно соответствовать зеленому основному цвету, с, равное 1, должно соответствовать синему основному цвету и с, равное 2, должно соответствовать красному основному цвету (см. также приложение E и табл. E.3). Значения source_primaries_x[c] и source_primaries_y[c] должны находиться в диапазоне от 0 до 50000 включительно.

Табл. 1 предоставляет то, что считается минимальной информацией для полезного представления исходного цветового объема. В другом варианте осуществления может быть принято решение об определении дополнительных подробностей, аналогичных нескольким первичным выражениям [3] или описанию основных цветов более чем трех срезов яркости (Y), с ассоциированными многоугольниками для каждого среза.

- 5 039463

Таблица 1

Примерный синтаксис обмена сообщениями SEI исходного цветового объема

source_colour_volume( payloadsize ) {	Дескриптор
source colour volume id	ue (v)
source colour volume cancel flag	u(l)
if ( !source_colour_volume_cancel_flag ) {
source colour volume persistence flag	u(l)
source colour primaries	u(8)
if ( source_colour_primaries == 2 ) {
for ( c=0; c < 3; c++ ) {
source primaries x[ c ]	u(16)
source_primaries_y[ c ]	u(16)
}
}
max_source_luminance	u(32)
min_source_luminance	u(32)
avg_source_luminance	u(32)
luminance_colour_primaries_info_present_flag	u(l)
if ( luminance colour primaries info present flag ) {
for( i=0; i <= 3; i++ ) {
for( c=0; c < 3; c++ ) {
luminance_primaries_x[ i ][ c ]	u(16)
luminance primaries y[ i ][ c ]	u(16)
}
}
}
}
}

Фиг. 4 изображает примерный процесс для извлечения информации о цветовом объеме для источника видео, используя обмен сообщениями SEI в соответствии с вариантом осуществления. Сначала (405) декодер может обнаруживать, присутствует ли первая переменная обмена сообщениями SEI, указывающая идентифицирующий номер (ID) информации об исходном цветовом объеме (например, source_colour_volume_id). Затем, при условии наличия такой переменной, декодер может проверять (этап 407), находится ли ее значение в разрешенном диапазоне. Если это недопустимое значение, тогда обработка прекращается (этап 409). Если это действительное значение, тогда на этапе (410), как показано в табл. 1, декодер может считывать дополнительные флаги, относящиеся к неизменности первой переменной по битовому потоку (например, см. элементы синтаксиса для source_colour_volume_cancel_flag и source_colour_volume_persistence_flag). На этапе (412) через второй параметр обмена сообщениями SEI (например, source_colour_primaries) декодер может проверять, определяют ли явным образом метаданные цветовой объем, который в действительности занимается исходным контентом данных. Если это истина (например, source_colour_primaries=2), тогда на этапе (420) считываются (x,y) координаты цветности цвета для каждого основного цвета (например, красного, зеленого и синего), в противном случае на этапе (425) декодер извлекает значения минимальной, максимальной и средней яркости. Опционально, обмен сообщениями SEI также может определять (x,y) координаты цветности цвета, соответствующие основным цветам значений min, mid и max яркости, определенных ранее. В варианте осуществления это может быть указано третьим параметром (например, luminance_colour_primaries_info_present_flag=1). Если такая информация не присутствует (этап 430), тогда процесс прекращается (409), в противном случае (на этапе 435) декодер извлекает (x,y) координаты цветности цвета для основных цветов для каждого из значений min, mid и max яркости.

После извлечения информации об исходном цветовом объеме декодер может использовать данные исходного цветового объема во время его процесса администрирования дисплея (например, 140). В примере, администрирование дисплея может включать в себя два этапа: отображение тона и отображение охвата. Значение min, mid и max яркости может быть использовано, чтобы генерировать кривую отображения тона, как описано в документе [6-7]. Максимальный цветовой охват RGB и нарезанный охват RGB могут быть использованы, чтобы выполнять отображение охвата.

Учет активной области.

В некоторых вариантах осуществления преимущественным может быть определение активной области как части метаданных, относящихся к исходному цветовому объему. Например, когда видео коди

- 6 039463 руется в формате с леттербоксингом, кодеры и декодеры не должны включать черные зоны леттербоксинга при вычислении характеристик сигнала яркости и сигнала цветности каждого видеокадра (например, минимальной, максимальной и средней яркости). Экспериментальные результаты показали, что учет наложения рамки или матирования (например, пилларбоксинг, виндоубоксинг и леттербоксинг) кадров в видеопоследовательности может значительно улучшить общее выходное качество картинки. Несмотря на то, что обнаружение леттербоксинга может быть реализовано декодером, тем самым сокращая потери на сигнализацию чтобы определять активную область картинки, в варианте осуществления такая сигнализация может быть просигнализирована явным образом, чтобы поддерживать декодеры с низкой вычислительной сложностью. Табл. 2 изображает пример обмена сообщениями SEI исходного цветового объема с сигнализацией активной области в соответствии с вариантом осуществления.

Таблица 2

Пример синтаксиса сообщения SEI исходного цветового объема с сигнализацией активной области

source colour volume ( payloadsize ) {	Дескриптор
source colour volume id	ue (v)
source colour volume cancel flag	u(l)
if ( !source colour volume cancel flag ) {
source colour volume persistence flag	u(l)
source colour primaries	u(8)
if ( source colour primaries == 2) {
for ( c=0; c < 3; c++ ) {
source primaries x[ c ]	u (16)
source primaries y[ c ]	u (16)
}
}
max source luminance	u(32)
min source luminance	u(32)
avg source luminance	u(32)
luminance colour primaries info present flag	u(l)
if(luminance colour primaries info present flag) {
for( i=0; i <= 3; i++ ) {
for ( c=0; c < 3; c++ ) {
luminance primaries x[ i ][ c ]	u (16)
luminance primaries y[ i ][ c ]	u (16)
}
}
}
active region flag	u(l)
if (active region flag) {
active_region_left_offset	ue (v)
active region right offset	ue (v)
active region top offset	ue (v)
active_region_bottom_offset	ue (v)
}
}
}

Табл. 2 является расширенным вариантом табл. 1 и учитывает две отличные семантики определения активной области.

Семантика 1. В варианте осуществления активная область указывается относительно декодированной картинки до обрезки окна совместимости и вывода. Тогда параметры активной области могут быть интерпретированы следующим образом:

active_region_flag, равный 1, указывает на то, что параметры смещения активной области следуют далее в сообщении SEI информации об исходном цветовом объеме, active_region_flag, равный 0, указывает на то, что параметры смещения активной области не присутствуют.

active_region_left_offset, active_region_right_offset, active_region_top_offset и асtive_region_bottom_offset указывают активную прямоугольную область. Когда active_region_flag равен 0,

-7 039463 значения active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset подразумеваются равными 0.

Активная область определяется горизонтальными координатами картинки от SubWidthC * active_region_left_offset до pic_width_in_luma_samples - (SubWidthC * active_region_right_offset+1) и вертикальными координатами картинки от SubHeightC * active_region_top_offset до pic_height_in_luma_samples - (SubHeightC * active_region_bottom_offset+1), включительно. Значение SubWidthC * (active_region_left_offset+active_region_right_offset) должно быть меньше pic_width_in_luma_samples, а значение SubHeightC * (active_region_top_offset + active_region_bottom_offset) должно быть меньше pic_height_in_luma_samples.

Семантика 2. В варианте осуществления значения смещения активной области определяются относительно окончательной выходной картинки для демонстрации, вследствие этого должны быть учтены параметры окна совместимости. Тогда параметры активной области могут быть интерпретированы следующим образом:

active_region_flag, равный 1, указывает на то, что параметры смещения активной области следуют далее в сообщении SEI информации об исходном цветовом объеме.

active_region_flag, равный 0, указывает на то, что параметры смещения активной области не присутствуют.

active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset указывают активную прямоугольную область.

Когда active_region_flag равен 0, значения active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset подразумеваются равными 0.

Активная область определяется горизонтальными координатами картинки от active_region_left_offset+SubWidthC * conf_win_left_offset до CtbSizeY * PicWidthInCtbsY - SubWidthC * conf_win_right_offset - active_region_right_offset - 1 и вертикальными координатами картинки от active_region_top_offset+SubHeightC * conf_win_top_offset до CtbSizeY * PicHeightInCtbsY - SubHeightC * conf_win_bottom_offset - active_region_bottom_offset - 1, включительно.

Значение (active_region_left_offset+active_region_right_offset) должно быть меньше CtbSizeY * PicWidthInCtbsY - SubWidthC * (conf_win_right_offset+conf_win_left_offset), а значение (active_region_top_offset+active_region_bottom_offset) должно быть меньше CtbSizeY * PicHeightInCtbsY SubHeightC * (conf_win_bottom_offset+conf_win_top_offset).

Каждый документ из списка цитированной литературы ниже включен в полном объеме в настоящее описание путем ссылки.

Список цитированной литературы.

[1] Rec. ITU-T H.265, Series H: Audiovisual and Multimedia systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, ITU, октябрь 2014 г.

[2] H.M. Oh et al., Content colour gamut SEI message, JCTVC-X0040, май 2016 г., Женева, Швейцария.

[3] A.M. Tourapis, Improvements to the Effective Colour Volume SEI, JCTVC-X0052, май 2016 г., Женева, Швейцария.

[4] A.K. Ramasubramonian, Content colour volume SEI message, JCTVC-X0052, май 2016 г., Женева, Швейцария.

[5] SMPTE ST 2094-1:2016: Dynamic Metadata for Color Volume Transform - Core Components, SMPTE, 18 мая 2016 г.

[6] SMPTE ST 2094-10:2016: Dynamic Metadata for Color Volume Transform - Application #1, SMPTE, 18 мая 2016 г.

[7] R. Atkins и др., патентная публикация США US 2016/0005349, Display management for high dynamic range video.

Примерная реализация компьютерной системы

Варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерной системы, систем, сконфигурированных в электронной схеме или компонентах, устройства интегральной микросхемы (IC), такого как микроконтроллер, программируемая вентильная матрица (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), дискретного временного или цифрового сигнального процессора (DSP), проблемно ориентированной IC (ASIC) и/или устройства, которое включает в себя одну или более такие системы, устройства или компоненты. Компьютер и/или IC может выполнять, управлять или исполнять инструкции, относящиеся к сообщению информации об исходном цветовом объеме с использованием обмена сообщениями SEI, такие как те, что описаны в данном документе. Компьютер и/или IC может вычислять любые из многообразных параметров или значений, которые относятся к процессам, описанным в данном документе. Варианты осуществления изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении и различных их сочетаниях.

Определенные реализации изобретения содержат компьютерные процессоры, которые исполняют инструкции программного обеспечения, которые предписывают процессорам выполнять способ изобре- 8 039463 тения. Например, один или более процессоры в дисплее, кодере, телевизионной абонентской приставке, транскодере или аналогичном могут реализовывать способы, относящиеся к сообщению информации об исходном цветовом объеме, используя обмен сообщениями SEI, как описано выше посредством исполнения инструкций программного обеспечения в памяти программы, доступной процессорам. Изобретение также может быть предоставлено в форме программного продукта. Программный продукт может содержать любой не временный носитель информации, который несет набор компьютерно-читаемых сигналов, содержащих инструкции, которые, когда исполняются процессором данных, предписывают процессору данных исполнять способ изобретения. Программные продукты в соответствии с изобретением могут быть в любой из широкого многообразия форм. Программный продукт может содержать, например, физические носители информации, такие как магнитные носители информации для хранения данных, включающие в себя гибкие дискеты, накопители на жестком диске, оптические носители информации для хранения данных, включающие в себя CD ROM, DVD, электронные носители информации для хранения данных, включающие в себя ROM, флэш-RAM или аналогичное. Компьютерно-читаемые сигналы в программном продукте могут быть опционально сжаты или зашифрованы.

Там где выше упоминается компонент (например, модуль программного обеспечения, процессор, узел, устройство, схема и т.д.), при условии, что не указано иное, ссылка на тот компонент (включая ссылку на средство) должна интерпретироваться как включающая в себя в качестве эквивалентов того компонента любой компонент, который выполняет функцию описанного компонента (например, который является функциональным эквивалентом), включая компоненты, которые структурно не являются эквивалентом раскрытой структуре, которая выполняет функцию в проиллюстрированных примерных вариантах осуществления изобретения.

Эквиваленты, расширения, альтернативы и прочее

Таким образом раскрываются примерные варианты осуществления, которые относятся к сообщению информации об исходном цветовом объеме с использованием обмена сообщениями SEI. В предшествующем техническом описании варианты осуществления настоящего изобретения были описаны со ссылкой на конкретные подробности, которые могут меняться от реализации к реализации. Таким образом, единственным и исключительным показателем того, что является изобретением и подразумевается заявителями в качестве изобретения, является набор пунктов формулы изобретения, которые вытекают из данной заявки, в особой форме, в которой такая формула изобретения публикуется, включая любую последующую коррекцию. Любые определения в явной форме изложенные в данном документе для понятий, которые содержаться в такой формуле изобретения, должны определять значение таких понятий, как используемых в формуле изобретения. Следовательно, никакое ограничение, элемент, свойство, признак, преимущество или атрибут, который в явной форме не указан в формуле изобретения, не должен каким-либо образом ограничивать объем формулы изобретения. Техническое описание и чертежи, соответственно, должны рассматриваться в иллюстративном, а не ограничивающем смысле.

ФОРМУЛА ИЗОБРЕТЕНИЯ

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Способ декодирования видеосигнала для извлечения информации об исходном цветовом объеме входного битового потока из сообщения SEI, причем способ исполняется на процессоре, причем способ содержит этапы, на которых принимают посредством процессора сообщение SEI, которое включает в себя переменную обмена сообщениями SEI идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме в сообщении SEI;

принимают посредством процессора первую переменную обмена сообщениями SEI как часть информации об исходном цветовом объеме в сообщении SEI;

если первая переменная обмена сообщениями SEI соответствует первому предварительно заданному значению, тогда для каждого из одного или более основных цветов извлекают посредством процессора первые x и y координаты цветности из информации об исходном цветовом объеме в сообщении SEI, причем первые x и y координаты цветности одного или более основных цветов определяют 2D цветовой охват исходного цветового объема;

извлекают посредством процессора значение минимальной, максимальной и средней яркости из информации об исходном цветовом объеме в сообщении SEI, при этом значения минимальной, максимальной и средней яркости предназначены для декодированной картинки или активной области одной или более декодированных картинок в битовом потоке; и генерируют выходной видеосигнал на основании входного битового потока и извлеченной информации об исходном цветовом объеме.
2. Способ по п.1, дополнительно содержащий этапы, на которых принимают посредством процессора вторую переменную обмена сообщениями SEI как часть информации об исходном цветовом объеме в сообщении SEI; и если вторая переменная обмена сообщениями SEI соответствует второму предварительно заданно- 9 039463 му значению, тогда для каждого из одного или более основных цветов извлекают посредством процессора вторые x и у координаты цветности для каждого из значений минимальной, максимальной и средней яркости из информации об исходном цветовом объеме в сообщении SEI, причем вторые x и y координаты цветности одного или более основных цветов идентифицируют нарезанный 2D цветовой охват исходного цветового объема при значениях минимальной, максимальной и средней яркости соответственно.
3. Способ по п.1, дополнительно содержащий этап, на котором извлекают третью переменную обмена сообщениями SEI из информации об исходном цветовом объеме в сообщении SEI, при этом, если третья переменная обмена сообщениями SEI равна 0, то это указывает на то, что информация об исходном цветовом объеме не отклоняется от информации об исходном цветовом объеме, а если она равна 1, то это указывает на отмену любого предыдущего сообщения, относящегося к неизменности информации об исходном цветовом объеме во входном битовом потоке.
4. Способ по п.1, дополнительно содержащий этап, на котором извлекают посредством процессора четвертую переменную обмена сообщениями SEI из информации об исходном цветовом объеме в сообщении SEI, при этом четвертая переменная обмена сообщениями SEI относится к неизменности информации об исходном цветовом объеме во входном битовом потоке.
5. Способ по п.1, в котором первое предварительно заданное значение равно 2.
6. Способ по п.2, в котором второе предварительно заданное значение равно 1.
7. Способ по п.1, дополнительно содержащий этап, на котором принимают пятую переменную обмена сообщениями SEI как часть информации об исходном цветовом объеме в сообщении SEI, при этом пятая переменная обмена сообщениями SEI указывает наличие информации, относящейся к активной области в одной или более декодированных картинках во входном битовом потоке.
8. Способ по п.7, в котором информация, относящаяся к активной области, содержит по меньшей мере одно из следующего: левое смещение, правое смещение, верхнее смещение и нижнее смещение для активной области.
9. Машиночитаемый носитель информации, на котором хранятся закодированные данные битового потока видео для декодирования процессором декодера, причем данные битового потока видео содержат данные, представляющие один или более кадров в сжатом формате, при этом часть данных, которая представляет один или более кадров в сжатом формате, содержит сообщение SEI, включающее в себя переменную обмена сообщениями SEI идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме в сообщении SEI, при этом информация об исходном цветовом объеме в сообщении SEI дополнительно содержит первую переменную обмена сообщениями SEI, указывающую наличие первого набора координат цветности x и y для одного или более основных цветов для идентификации 2D цветового охвата исходного цветового объема данных в битовом потоке; и переменные минимальной, максимальной и средней яркости для данных в битовом потоке, при этом переменные минимальной, максимальной и средней яркости предназначены для одной или нескольких декодированных картинок или активной области одной или более декодированных картинок в битовом потоке.
10. Машиночитаемый носитель информации с хранящейся на нем компьютерной программой для осуществления процессором декодера способа по любому из пп.1-8.