EA042564B1 - Обмен сообщениями с информацией об исходном цветовом объеме - Google Patents

Description

По данной заявке испрашивается приоритет на основании предварительной заявки на патент США № 62/427677, поданной 29 ноября 2016 г., и предварительной заявки на патент США № 62/404302, поданной 05 октября 2016 г., обе из которых в полном объеме включены в настоящее описание путем ссылки.

Область техники

Настоящее изобретение в целом относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к сообщению и обработке информации о цветовом объеме источника.

Уровень техники

Рекомендация ITU-T H.265 [1] (также известная как HEVC) для кодирования движущегося видео в приложении D Supplemental enhancement information (SEI) и приложении Е Video usability information (VUI) описывает синтаксис для предоставления дополнительной информации SEI и VUI в кодированном битовом потоке, чтобы позволить декодеру лучше отображать декодированные выборки на дисплее.

Параллельно с процессами стандартизации MPEG/ITU общество инженеров кино и телевидения (SMPTE) также определило некоторое число Рекомендаций, относящихся к сообщению метаданных, относящихся к информации о цветовом объеме как для исходного видео, так и целевого дисплея. Например, комплект документов SMPTE ST 2094 (например, [5] и [6]) определяет метаданные для использования при преобразованиях цветового объема видеоконтента. Эти метаданные могут меняться от сцены к сцене или от кадра к кадру. Например, такие метаданные могут помогать декодеру представлять данные с высоким динамическим диапазоном (HDR) и широким цветовым охватом (WCG) на дисплее с меньшим цветовым объемом, чем тот что у дисплея для мастеринга, который использовался для мастеринга исходных изображений.

Используемое в данном документе понятие метаданные относится к вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру визуализировать декодированное изображение. Такие метаданные могут включать в себя, но не ограничиваются, информацию цветового пространства и охвата, параметры прогнозирования, параметры эталонного дисплея, и вспомогательные параметры сигнала, как те что описываются в данном документе.

Несмотря на то, что приложения D и Е у Н.265 поддерживают некоторое число относящихся к цветовому объему данных, они не переносят все требуемые метаданные для наиболее эффективного администрирования дисплея с контентом HDR. В июле 2016г. на заседании совместной группы по кодированию видео (JCT-VC) в Женеве, было представлено три предложения [2-4] касательно того, каким образом описывать информацию о цветовом объеме контента, используя обмен сообщениями SEI или VUI. На некоторые из этих предложений оказал влияние документ SMPTE ST. 2094 [5], но они значительно отличались по объему.

В документе [2] предлагается, чтобы сообщение SEI-контента сигнализировало цветовой охват контента в 2D, который описывает фактическое распределение цвета видеоконтента. В VUI переменная colour primaries используется чтобы указывать цветовой охват контейнера вместо истинного исходного цветового охвата [1]. В документе [3] предлагается ассоциировать несколько первичных выражений и пространственных областей с идентифицированными исходными характеристиками. В документе [4] предлагается сообщение SEI цветового объема контента, чтобы указывать цветовой объем, занимаемый контентом. Оно использует описание (х, у, Y) цветовых координат и имеет срезы яркости Y с ассоциированными многоугольниками для каждого среза. Эти предложения обладают несколькими недостатками, такими как: предоставляют информацию, которая мало полезна большинству изготовителей дисплеев, могут добавлять значительные служебные данные, и могут требовать слишком больших вычислительных затрат для генерирования. Чтобы улучшить существующие схемы кодирования и декодирования, как понятно авторам изобретения в данном документе, требуются улучшенные методики для генерирования и сообщения информации об исходном цветовом объеме.

Подходы, описанные в данном разделе, являются подходами, которые могут быть реализованы, но не обязательно подходами, которые были задуманы или реализованы ранее. Вследствие этого, при условии, что не указано иное, не следует предполагать, что любой из подходов, описанных в данном разделе, определяется как предшествующий уровень техники, только в силу включения в данный раздел. Аналогичным образом, не следует предполагать, что проблемы, идентифицированные в отношении одного или более подходов, были признаны в каком-либо предшествующем уровне техники на основе данного раздела, при условии, что не указано иное.

Краткое описание чертежей

Вариант осуществления настоящего изобретения иллюстрируется в качестве примера, а не в качестве ограничения, на фигурах сопроводительных чертежей и на которых аналогичные ссылочные позиции относятся к аналогичным элементам, и на которых:

фиг. 1 изображает примерный процесс для канала доставки видео в соответствии с вариантом осуществления данного изобретения;

фиг. 2 изображает пример наибольшего возможного графика цветового объема для формата видео контейнера;

- 1 042564 фиг. ЗА изображает пример охвата исходного контента в контейнере цветового объема;

фиг. 3В и фиг. 3С изображает примеры 2D срезов контейнера и исходного цветового объема при конкретных значениях яркости (Y); и фиг. 4 изображает примерный процесс для извлечения информации об исходном цветовом объеме из обмена сообщениями SEI в соответствии с вариантом осуществления данного изобретения.

Описание примерных вариантов осуществления

В данном документе описываются методики для обмена сообщениями с информацией об исходном цветовом объеме с использованием обмена сообщениями SEI. В нижеследующем описании в целях объяснения многочисленные конкретные подробности излагаются для того, чтобы обеспечить исчерпывающее понимание настоящего изобретения. Будет очевидно тем не менее, что настоящее изобретение может быть реализовано на практике без этих конкретных подробностей. В других примерах хорошо известные структуры и устройства не описываются с исчерпывающими подробностями, чтобы избежать ненужного затенения или запутывания настоящего изобретения.

Общее представление

Примерные варианты осуществления, описанные в данном документе, относятся к методикам для сообщения информации об исходном цветовом объеме с использованием обмена сообщениями SEI. В декодере процессор для извлечения обмена сообщениями SEI принимает переменную обмена сообщениями идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме во входном битовом потоке. Процессор принимает первую переменную обмена сообщениями как часть информации об исходном цветовом объеме. Если первая переменная обмена сообщениями соответствует первому предварительно определенному значению, тогда для одного или более основных цветов, он генерирует х и у координаты цветности для одного или более основных цветов на основании информации об исходном цветовом объеме во входном битовом потоке. Он генерирует значение минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме во входном битовом потоке. Процессор принимает вторую переменную обмена сообщениями как часть информации об исходном цветовом объеме и если вторая переменная обмена сообщениями соответствует второму предварительно определенному значению, тогда для одного или более основных цветов, он генерирует х и у координаты цветности для одного или более основных цветов соответствующие значениям минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме.

Примеры обмена сообщениями исходного цветового объема

Фиг. 1 изображает примерный процесс канала (100) доставки видео, показывающий различные стадии от захвата видеодо отображения видеоконтента. Последовательность видеокадров(102) захватывается или генерируется с использованием блока (105) генерирования изображения. Видеокадры (102) могут быть захвачены цифровым образом (например, посредством цифровой камеры) или сгенерированы компьютером (например, используя компьютерную анимацию), чтобы предоставлять видеоданные (107). В качестве альтернативы видеокадры (102) могут быть захвачены на пленку посредством пленочной камеры. Пленка, после должного редактирования (не показано), преобразуется в цифровой формат, чтобы предоставлять видеоданные (107).

Видеоданные (107) затем предоставляются процессору на блоке (110) для редактирования постпроизводства.

Редактирование (110) постпроизводства может включать в себя регулировку и модифицирование цветов или яркости в конкретных зонах изображения, чтобы улучшить качество изображения или добиться конкретного внешнего вида для изображения в соответствии с художественным замыслом создателя видео. Это иногда именуется цветовой синхронизацией или цветокоррекцией. Прочее редактирование (например, выбор сцен и упорядочение, обрезка изображения, добавление сгенерированных компьютером визуальных спецэффектов и т.д.) может быть выполнено в блоке (110), чтобы получить окончательную версию (112) производства для распространения. Во время редактирования (110) постпроизводства видеоизображения просматриваются на эталонном дисплее (125) (который также упоминается как целевой дисплей, поскольку студия оптимизирует видео для него).

В некоторых вариантах осуществления перед кодированием (120) видео видеоконтент может быть проанализирован, чтобы извлечь метаданные (119) исходного цветового объема, например, как определено в документе SMPTE ST 2094-1 [5], или как будет определено позже в данном изобретении. Такие метаданные также могут определять характеристики целевого дисплея (например, эталонного дисплея (125)) и информацию модифицирования отображения цветов с тем, чтобы нижестоящий приемник мог визуализировать декодированные данные наилучшим возможным образом.

Вслед за постпроизводством (110) и анализом (115) исходного цветового объема, видеоданные окончательного производства (117) и ассоциированные метаданные (119) могут быть доставлены в соответствующем цветовом формате (например, 10-битном YCbCr в 4:2:0, ICtCp и подобном) блоку (120) кодирования для нижестоящей доставки к устройствам декодирования и воспроизведения, таким как телевизоры, телевизионные абонентские приставки, кинотеатры и аналогичное. В некоторых вариантах осуществления блок (120) кодирования может включать в себя аудио и видео кодеры, такие как те, что

- 2 042564 определены ATSC, DVB, DVD, Blu-Ray и другими форматами доставки, чтобы генерировать кодированный битовый поток (122). Кодированный битовый поток (122) может быть представлен кодированным битовым потоком видео с одним слоем или многослойным битовым потоком. Например, в многослойном битовом потоке сигнал (122) может включать в себя базовый слой (скажем слой SDR или слой 10битного HDR (HDR10)) и слой улучшения, который, когда объединяется с базовым слоем, дает битовый поток HDR с более высоким динамическим диапазоном, чем у отдельно базового слоя (например, сигнал 12-битного HDR). Сигнал (122), выходной битовый поток от кодера (120) также может включать в себя метаданные (119) и дополнительные связанные с кодированием метаданные, такие как параметры прогнозирования и прочие данные, чтобы помочь декодеру лучше восстанавливать сигнал HDR.

В приемнике кодированный битовый поток (122) декодируется блоком (130) декодирования, чтобы сгенерировать декодированный сигнал (132) и ассоциированные метаданные (119). Дисплей (150) приемника (или цели) может иметь характеристики полностью отличные от эталонного (или целевого) дисплея (125). Например, без ограничения, эталонный дисплей (125) может быть дисплеем с 1000нит, тогда как дисплей приемника может быть дисплеем с 500нит. В таком случае модуль (140) администрирования дисплея может быть использован, чтобы отображать динамический диапазон декодированного сигнала (132) в характеристиках дисплея (150) приемника посредством генерирования отображенного для дисплея сигнала (142). Используемое в данном документе понятие администрирование дисплея обозначает обработку (например, отображение тона и охвата), которая требуется чтобы отобразить входной видеосигнал первого динамического диапазона (например, 100нит) в дисплее второго динамического диапазона (например, 500нит). Блок (140) администрирования дисплея может учитывать метаданные (119), чтобы улучшать качество выходного видео на дисплее (150). Например, как показано в документе [7] информация касательно диапазона яркости целевого (или эталонного) дисплея (например, 125) и исходные данные могут быть использованы на приемнике, чтобы лучше отображать динамический диапазон видеоконтента на дисплее приемника (например, 150).

Информация о цветовом объеме

Фиг. 2 изображает пример наибольшего возможного цветового объема предварительно определенного формата контейнера (например, ВТ.2020) (также может упоминаться как цветовой объем контейнера). Такой объем может быть создан двумерными (2D) основными цветами цветового охвата, цветностью точки белого (например, D65), значением максимальной яркости (например, Lmax=4000нит) и значением минимальной яркости (например, 0.005нит). Такой график указывает наибольшие возможные границы цветового объема для всех цветов в исходном видеоконтенте.

На практике, как изображено темным облаком (305) на фиг. 3А или темными областями (305) на фиг. 3В и фиг. 3С, исходный цветовой объем исходного контента (например, 112) для конкретного кадра или даже всей сцены может быть значительно меньше наибольшего возможного цветового объема (310). Так как фактический цветовой объем (305) имеет очень неправильную форму, то передача такой информации об исходном цветовом объеме для каждого кадра или всей сцены требует много информации. Например, в варианте осуществления можно сигнализировать информацию о цветовом охвате для нескольких значений яркости (скажем при 0.1, 1, 10 и аналогичном). Тогда возникает вопрос: сколько и какие значения яркости являются наиболее важными? Также потребуется учитывать не только требуемые служебные данные для такой информации в кодированном битовом потоке, но также сложность генерирования такого контента на кодере и/или воссоздания информации о цветовом объеме на декодере.

Несмотря на то, что сообщение значений минимальной и максимальной яркости в исходном контенте является важным, как понятно авторам изобретения, сообщение средней яркости (или серединной яркости) также полезно для приемника. Эти три значения вместе могут помочь сгенерировать приемлемую кривую тона для отображения дисплея. В данном изобретении предлагается сигнализировать следующие метаданные, чтобы описывать исходный цветовой объем: а) наибольший 2D цветовой охват который занимает источник (например, исходный цветовой объем); b) максимальную минимальную и среднюю исходную яркость; и с) опционально, нарезанный (2D) цветовой охват для тех трех значений яркости (например, см. фиг. 3В и 3С). Предполагается, что точки белого основного цвета контейнера и основного цвета исходного контента должны быть одинаковыми, так что нет причин повторно передавать такую информацию. Данная информация может быть обновлена при необходимости, например, на основе из расчета на кадр или из расчета на сцену. Фиг. 3В и фиг. 3С изображают примеры 2D срезов исходного цветового объема (305) и цветового объема (310) контейнера при конкретных значениях яркости (Y). На фиг. 3В, 2D срез находится при Y=84hut, а на фиг. 3С 2D срез находится при Y=246hut. Треугольники цветности (rgb), окружающие исходный цветовой объем (305) и в рамках RGB пространства контейнера, предоставлены только в целях иллюстрации. Кодер может выбирать определять и сообщать приемнику меньшие или большие такие зоны.

Табл. 1 изображает пример обмена сообщениями SEI исходного цветового объема в соответствии с вариантом осуществления, который придерживается номенклатуры и синтаксиса технического описания Н.265. Описание основных цветов придерживается определения CIE 1931 (х,у) координат цветности цвета для основных цветов, как определено в документе ISO 11664-1 (см. также ISO 11664-3 и CIE 15), и использует красный, зеленый и синий основные цвета. Также могут быть использованы другие типы ос

- 3 042564 новных цветов, такие как на основе четырех, пяти или шести цветов, или другое основанное на многоугольнике представление основных цветов. Для наибольшего фактического цветового охвата в исходном контенте в варианте осуществления без ограничения синтаксис является аналогичным определению параметра (или переменной) colour_primaries, которое определено в разделе Е.3.1 для табл.Е.3 технического описания Н.265. Считается, что текущий исходный контент может достигать цветового пространства Р3, но для достижения ВТ. 2020/2010 цвета потребуется некоторое время (DCI-P3 определяется в документе SMPTE EG 432-1 и SMPTE RP 431-2). Вследствие этого в случаях, когда исходный цветовой охват меньше или равен Р3 или равен основным цветам ВТ. 2020/2010, может быть использована табл. Е.3; тем не менее для источников, цветовой охват которых больше РЗ, но меньше ВТ. 2020/2010, может потребоваться явная сигнализация цветового объема. Значения яркости указываются, используя их абсолютное значение в нитах (кд/м²). В качестве альтернативы для экономии битов значения яркости также могут быть закодированными с использованием нелинейного представления, например, как значения, закодированные в соответствии с обратным EOTF по SMPTE ST 2084. Информация о цветовом охвате, соответствующая max, min и среднему (mid) значениям яркости сделана опциональной, позволяя приложениям сокращать затраты на метаданные при необходимости.

Примечания: в предпочтительном варианте осуществления.

1) Метаданные исходного цветового объема должны описывать цветовой объем источника в его первоначальной форме до какой-либо предварительной обработки сигнала яркости или сигнала цветности. Например, они должны описывать исходный цветовой объем до какого-либо процесса понижающей дискретизации сигнала цветности (например, из 4:4:4 в 4:2:0) или процесса преобразования битовой глубины (например, из 12 бит в 10 бит), поскольку понижающая дискретизация сигнала цветности или преобразование битовой глубины будут модифицировать информацию о цветовом объеме.

2) Исходный цветовой охват как правило отличается от основных цветов контейнера, которые указаны в Приложении Е (например, табл.Е.3) у Н.265.

3) Исходный цветовой объем как правило отличается от цветового объема дисплея для мастеринга, который может быть указаны посредством сообщений SEI цветового объема дисплея для мастеринга.

В примерном варианте осуществления параметры (или переменные) и семантика кодирования в табл.1 могут быть описаны следующим образом.

source_colour_volume_id содержит идентифицирующий номер, который может быть использован, чтобы идентифицировать назначение исходного цветового объема. Значение source colour volume id должно находиться в диапазоне от 0 до 232-2 включительно. Значения source_colour_volume_id от 0 до 255 и от 512 до 2³¹-1 могут быть использованы как определено изобретением. Значения source_colour_volume_id от 256 до 511 включительно и от 2³¹ до 2³2-2 включительно зарезервированы для дальнейшего использования ITU-T | ISO/IEC. Декодеры должны игнорировать все сообщения SEI информации модифицирования отображения цвета, содержащие значение source_colour_volume_id в диапазоне от 256 до 511 включительно или в диапазоне от 2³¹ до 2³²-2 включительно, и битовые потоки не должны содержать таких значений.

source_colour_volume_cancel_flag, равный 1, указывает на то, что сообщение SEI исходного цветового объема отменяет неизменность любого предыдущего сообщения SEI исходного цветового объема в очередности вывода, которое применяется к текущему слою. source_colour_volume_cancel_flag, равный 0, указывает на то, что не отклоняются от исходного цветового объема.

source_colour_volume_persistence_flag указывает неизменность сообщения SEI исходного цветового объема для текущего слоя. source_colour_volume_persistence_flag, равный 0, указывает на то, что информация об исходном цветовом объеме применяется только к текущей картинке.

Пусть picA будет текущей картинкой, source colour volume persistence flag, равный 1, указывает на то, что исходный цветовой объем сохраняется для текущего слоя в очередности вывода до тех пор, пока не станет истинным любое из следующих условий:

начинается новая видеопоследовательность кодированного слоя (CLVS) у текущего слоя; заканчивается битовый поток;

выводится картинка picB в текущем слое в единице доступа, содержащая сообщение SEI исходного цветового объема с тем же самым значением source colour volume id и применяемая к текущему слою, для которой PicOrderCnt(picB) больше PicOrderCnt(picA), где PicOrderCnt(picB) и PicOrderCnt(picA) являются значениями PicOrderCntVal у picB и pica соответственно, непосредственно после вызова процесса декодирования для счетчика очередности картинки для picB.

source_colour_primaries имеет точно такую же семантику как указанная в статье Е.3.1 для элемента синтаксиса colour_primaries, за исключением того, что colour primaries в статье Е.3.1 сигнализирует исходные основные цвета контейнера, а source colour primaries сигнализируют основные цвета, которые в действительности занимает исходный контент.

Когда значение source colour primaries равно 2, source_colour_primaries явно указывается синтаксисом source_primaries_x[с] и source_primaries_y[с].

source_primaries_x[с] и source_primaries_y[с] указывают нормализованные х и у координаты цветности, соответственно, компонента с основного цвета у исходного контента с приращениями 0.00002 в со

- 4 042564 ответствии с CIE 1931 определением х и у, как указано в ISO 11664-1 (см. также ISO 11664-3 и CIE 15). Для описания исходного контента, который использует красный, зеленый и синий основные цвета, предполагается что значение индекса с равное 0 должно соответствовать зеленому основному цвету, с равное 1 должно соответствовать синему основному цвету и с равное 2 должно соответствовать красному основному цвету (см. также приложение Е и табл.Е.3). Значения source_primaries_x[с] и source primaries_у[с] должны находиться в диапазоне от 0 до 50000 включительно.

max_source_luminance, min_source_luminance и avg_source_luminance указывают номинальную максимальную, минимальную и среднюю яркость, соответственно, у источника в единицах 0.0001 кандел на квадратный метр (ниты).

min_source_luminance должно быть меньше avg source luminance, a avg_source_luminance должно быть меньше max_source_luminance.

luminance_colour_primaries_info_present_flag равный 1 указывает, что присутствуют элементы синтаксиса luminance_primaries_x и luminance_primaries_y, luminance colour primaries info present flag равный 0 указывает что элементы синтаксиса luminance_primaries_x и luminance primaries у не присутствуют.

luminance_primaries_x[i][с] и luminance_primaries_y[i][с] указывают нормализованные х и у координаты цветности, соответственно, у компонента с первичного цвета исходного контента при одной номинальной яркости с приращениями 0.00002 в соответствии с CIE 1931 определением х и у как указано в ISO 11664-1 (см. также ISO 11664-3 и CIE 15). Для описания исходной яркости контента значение индекса 0, 1 и 2 должно советовать max source luminance, min source luminance и avg_source_luminance, соответственно. Для описания исходного контента, который использует красный, зеленый и синий основные цвета предполагается, что значение индекса с равное 0 должно советовать зеленому основному цвету, с равное 1 должно советовать синему основному цвету и с равное 2 должно соответствовать красному основному цвету (см. также приложение Е и табл.Е.3). Значения source_primaries_x[с] и source_primaries_у[с] должны находиться в диапазоне от 0 до 50000 включительно.

Табл.1 предоставляет то, что считается минимальной информацией для полезного представления исходного цветового объема. В другом варианте осуществления может быть принято решение об определении дополнительных подробностей, аналогичных нескольким первичным выражениям [3] или описанию основных цветов более чем трех срезов яркости (Y), с ассоциированными многоугольниками для каждого среза.

Таблица 1

Примерный синтаксис обмена сообщениями SEI исходного цветового объема

source colour volume ( payloadsize ) {	Дескриптор
source colour volume id	ue (v)
source colour volume cancel flag	u(l)
if ( !source colour volume cancel flag ) {

- 5 042564

source colour volume persistence flag	u(l)
source colour primaries	u(8)
if ( source colour primaries == 2 ) {
for ( c=0; c < 3; c++ ) {
source primaries x[ c ]	u (16)
source primaries y[ c ]	u (16)
}
}
max source luminance	u (32)
min source luminance	u (32)
avg source luminance	u (32)
luminance colour primaries info present flag	u(l)
if ( luminance colour primaries info present flag ) {
for( i=0; i <= 3; i++ ) {
for ( c=0; c < 3; c++ ) {
luminance primaries x[ i ][ c ]	u (16)
luminance_primaries_y[ i ][ c ]	u (16)
}
}
}
}
}

Фиг. 4 изображает примерный процесс для извлечения информации о цветовом объеме для источника видео, используя обмен сообщениями SEI в соответствии с вариантом осуществления. Сначала (405) декодер может обнаруживать, присутствует ли первая переменная обмена сообщениями SEI, указывающая идентифицирующий номер (ID) информации об исходном цветовом объеме (например, source_colour_volume_id). Затем, при условии наличия такой переменной, декодер может проверять (этап 407), находится ли ее значение в разрешенном диапазоне. Если это недопустимое значение, тогда обработка прекращается (этап 409). Если это действительное значение, тогда на этапе (410), как показано в табл.1, декодер может считывать дополнительные флаги, относящиеся к неизменности первой переменной по битовому потоку (например, см. элементы синтаксиса для source_colour_volume_cancel_flag и source_colour_volume_persistence_flag). На этапе (412) через второй параметр обмена сообщениями SEI (например, source_colour_primaries), декодер может проверять, определяют ли явным образом метаданные цветовой объем, который в действительности занимается исходным контентом данных. Если это истина (например, source_colour_primaries=2), тогда на этапе (420) считываются (х,у) координаты цветности цвета для каждого основного цвета (например, красного, зеленого и синего), в противном случае на этапе (425) декодер извлекает значения минимальной, максимальной и средней яркости. Опционально, обмен сообщениями SEI также может определять (х,у) координаты цветности цвета, соответствующие основным цветам значений min, mid и max яркости, определенных ранее. В варианте осуществления это может быть указано третьим параметром (например, luminance_colour_primaries_info_present_flag=1). Если такая информация не присутствует (этап 430), тогда процесс прекращается (409), в противном случае (на этапе 435) декодер извлекает (х,у) координаты цветности цвета для основных цветов для каждого из значений min, mid и max яркости.

После извлечения информации об исходном цветовом объеме декодер может использовать данные исходного цветового объема во время его процесса администрирования дисплея (например, 140). В примере, администрирование дисплея может включать в себя два этапа: отображение тона и отображение охвата. Значение min, mid и max яркости может быть использовано, чтобы генерировать кривую отображения тона, как описано в документе [6, 7]. Максимальный цветовой охват RGB и нарезанный охват RGB могут быть использованы, чтобы выполнять отображение охвата.

Учет активной области

В некоторых вариантах осуществления преимущественным может быть определение активной области как части метаданных, относящихся к исходному цветовому объему. Например, когда видео кодируется в формате с леттербоксингом, кодеры и декодеры не должны включать черные зоны леттербоксинга при вычислении характеристик сигнала яркости и сигнала цветности каждого видеокадра (например, минимальной, максимальной и средней яркости). Экспериментальные результаты показали, что учет

- 6 042564 наложения рамки или матирования (например, пилларбоксинг, виндоубоксинг и леттербоксинг) кадров в видеопоследовательности может значительно улучшить общее выходное качество картинки. Несмотря на то, что обнаружение леттербоксинга может быть реализовано декодером, тем самым сокращая потери на сигнализацию чтобы определять активную область картинки, в варианте осуществления такая сигнализация может быть просигнализирована явным образом, чтобы поддерживать декодеры с низкой вычислительной сложностью. Табл.2 изображает пример обмена сообщениями SEI исходного цветового объема с сигнализацией активной области в соответствии с вариантом осуществления.

Таблица 2

Пример синтаксиса сообщения SEI исходного цветового объема с сигнализацией активной области

source colour volume ( payloadsize ) {	Дескриптор
source colour volume id	ue (v)
source colour volume cancel flag	u(l)
if ( !source colour volume cancel flag ) {
source colour volume persistence flag	u(l)
source colour primaries	u(8)
if ( source colour primaries == 2) {
for ( c=0; c < 3; c++ ) {
source primaries x[ c ]	u (16)
source primaries y[ c ]	u (16)
}
}
max source luminance	u (32)
min source luminance	u (32)
avg source luminance	u (32)
luminance colour primaries info present flag	u(l)
if(luminance colour primaries info present flag) {
for( i=0; i <= 3; i++ ) {
for ( c=0; c < 3; c++ ) {
luminance_primaries_x[ i ][ c ]	u (16)
luminance primaries y[ i ][ c ]	u (16)
}
}
}
active region flag	u(l)
if (active region flag) {

active region left offset	ue (v)
active region right offset	ue (v)
active region top offset	ue (v)
active region bottom offset	ue (v)
}
}
}

Табл.2 является расширенным вариантом табл.1 и учитывает две отличные семантики определения активной области.

Семантика 1. В варианте осуществления активная область указывается относительно декодированной картинки до обрезки окна совместимости и вывода. Тогда параметры активной области могут быть интерпретированы следующим образом.

active_region_flag равный 1 указывает на то, что параметры смещения активной области следуют далее в сообщении SEI информации об исходном цветовом объеме. active_region_flag равный 0 указывает на то, что параметры смещения активной области не присутствуют.

- 7 042564 active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset указывают активную прямоугольную область. Когда active_region_flag равен 0, значения active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset подразумеваются равными 0.

Активная область определяется горизонтальными координатами картинки от SubWidthC * active_region_left_offset до pic_width_in_luma_samples - (SubWidthC *active_region_right_offset+1) и вертикальными координатами картинки от SubHeightC * active_region_top_offset до pic height in luma samples (SubHeightC *active_region_bottom_offset+1), включительно. Значение SubWidthC * (active_region_left_offset+ active_region_right offset) должно быть меньше pic_width_in_luma_samples, а значение SubHeightC * (active_region_top_offset+active_region_bottom_offset) должно быть меньше pic_height_in_luma_samples.

Семантика 2. В варианте осуществления значения смещения активной области определяются относительно окончательной выходной картинки для демонстрации, вследствие этого должны быть учтены параметры окна совместимости. Тогда параметры активной области могут быть интерпретированы следующим образом.

active_region_flag равный 1 указывает на то, что параметры смещения активной области следуют далее в сообщении SEI информации об исходном цветовом объеме. active_region_flag равный 0 указывает на то, что параметры смещения активной области не присутствуют.

active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset указывают активную прямоугольную область. Когда active_region_flag равен 0, значения active_region_left_offset, active_region_right_offset, active_region_top_offset и active_region_bottom_offset подразумеваются равными 0.

Активная область определяется горизонтальными координатами картинки от active_region_left_offset+SubWidthC * conf_win_left_offset до CtbSizeY * PicWidthlnCtbsY - SubWidthC * conf_win_right_offset - active_region_right_offset - 1 и вертикальными координатами картинки от active_region_top_offset+SubHeightC * conf_win_top_offset до CtbSizeY * PicHeightlnCtbsY - SubHeightC * conf_win_bottom_offset - active_region_bottom_offset - 1, включительно.

Значение (active_region_left_offset+active_region_right_offset) должно быть меньше CtbSizeY * PicWidthlnCtbsY - SubWidthC *(conf_win_right_offset+conf_win_left_offset), а значение (active_region_top_offset+active_region_bottom_offset) должно быть меньше CtbSizeY * PicHeightlnCtbsY SubHeightC * (conf_win_bottom_offset+conf_win_top_offset).

Каждый документ из списка цитированной литературы ниже включен в полном объеме в настоящее описание путем ссылки.

Списка цитированной литературы.

[1] Rec. ITU-T H.265, Series H: Audiovisual and Multimedia systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, ITU, октябрь 2014г.

[2] H.M. Oh et al., Content colour gamut SEI message, JCTVC-X0040, май 2016г., Женева, Швейцария.

[3] A.M. Tourapis, Improvements to the Effective Colour Volume SEI, JCTVC-X0052, май 2016г., Женева, Швейцария.

[4] A.K. Ramasubramonian, Content colour volume SEI message, JCTVC-X0052, май 2016г., Женева, Швейцария.

[5] SMPTE ST 2094-1:2016: Dynamic Metadata for Color Volume Transform - Core Components, SMPTE, 18 мая 2016г.

[6] SMPTE ST 2094-10:2016: Dynamic Metadata for Color Volume Transform - Application #1, SMPTE, 18 мая 2016г.

[7] R. Atkins и др., Патентная Публикация США US 2016/0005349, Display management for high dynamic range video.

Примерная реализация компьютерной системы

Варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерной системы, систем сконфигурированных в электронной схеме или компонентах, устройства интегральной микросхемы (IC), такого как микроконтроллер, программируемая вентильная матрица (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), дискретного временного или цифрового сигнального процессора (DSP), проблемно ориентированной IC (ASIC) и/или устройства, которое включает в себя одну или более такие системы, устройства или компоненты. Компьютер и/или IC может выполнять, управлять или исполнять инструкции, относящиеся к сообщению информации об исходном цветовом объеме с использованием обмена сообщениями SEI, такие как те, что описаны в данном документе. Компьютер и/или IC может вычислять любые из многообразных параметров или значений, которые относятся к процессам, описанным в данном документе. Варианты осуществления изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении и различных их сочетаниях.

Определенные реализации изобретения содержат компьютерные процессоры, которые исполняют инструкции программного обеспечения, которые предписывают процессорам выполнять способ изобре-

Claims (5)

1. тения. Например, один или более процессоры в дисплее, кодере, телевизионной абонентской приставке, транскодере или аналогичном могут реализовывать способы, относящиеся к сообщению информации об исходном цветовом объеме, используя обмен сообщениями SEI как описано выше посредством исполнения инструкций программного обеспечения в памяти программы, доступной процессорам. Изобретение также может быть предоставлено в форме программного продукта. Программный продукт может содержать любой не временный носитель информации, который несет набор компьютерно-читаемых сигналов, содержащих инструкции, которые, когда исполняются процессором данных, предписывают процессору данных исполнять способ изобретения. Программные продукты в соответствии с изобретением могут быть в любой из широкого многообразия форм. Программный продукт может содержать, например, физические носители информации, такие как магнитные носители информации для хранения данных, включающие в себя гибкие дискеты, накопители на жестком диске, оптические носители информации для хранения данных, включающие в себя CD ROM, DVD, электронные носители информации для хранения данных, включающие в себя ROM, флэш-RAM или аналогичное. Компьютерно-читаемые сигналы в программном продукте могут быть опционально сжаты или зашифрованы.

   Там где выше упоминается компонент (например, модуль программного обеспечения, процессор, узел, устройство, схема и т.д.), при условии что не указано иное, ссылка на тот компонент (включая ссылку на средство) должна интерпретироваться как включающая в себя в качестве эквивалентов того компонента любой компонент, который выполняет функцию описанного компонента (например, который является функциональным эквивалентом), включая компоненты, которые структурно не являются эквивалентом раскрытой структуре, которая выполняет функцию в проиллюстрированных примерных вариантах осуществления изобретения.

   Эквиваленты, расширения, альтернативы и прочее

   Таким образом раскрываются примерные варианты осуществления, которые относятся к сообщению информации об исходном цветовом объеме с использованием обмена сообщениями SEI. В предшествующем техническом описании варианты осуществления настоящего изобретения были описаны со ссылкой на конкретные подробности, которые могут меняться от реализации к реализации. Таким образом единственным и исключительным показателем того, что является изобретением и подразумевается заявителями в качестве изобретения, является набор пунктов формулы изобретения, которые вытекают из данного изобретения, в особой форме, в которой такая формула изобретения публикуется, включая любую последующую коррекцию. Любые определения в явной форме изложенные в данном документе для понятий, которые содержаться в такой формуле изобретения, должны определять значение таких понятий, как используемых в формуле изобретения. Следовательно, никакое ограничение, элемент, свойство, признак, преимущество или атрибут, который в явной форме не указан в формуле изобретения, не должен каким-либо образом ограничивать объем формулы изобретения. Техническое описание и чертежи, соответственно, должны рассматриваться в иллюстративном, а не ограничивающем смысле.

   ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ в декодере, чтобы извлекать информацию об исходном цветовом объеме входного битового потока из сообщения SEI, причем способ исполняется на процессоре, причем способ содержит этапы, на которых принимают сообщение SEI, содержащее один или более исходных цветовых параметров SEI, причем один или более исходных цветовых параметров SEI содержит параметры компоненты основного цвета и параметры значения яркости;

   для компоненты с основного цвета извлекают х и у координаты цветности из параметров компоненты основного цвета, при этом х и у координаты цветности определяют, соответственно, нормализованные х и у координаты цветности компоненты с основного цвета входного битового потока; и извлекают значение минимальной, максимальной и средней яркости из параметров значения яркости, при этом значения минимальной, максимальной и средней яркости относятся к картинке или активной области одной или более декодированных картинок во входном битовом потоке.
2. 2. Способ по п.1, дополнительно содержащий этап, на котором генерируют выходной видеосигнал на основании входного битового потока, х и у координат цветности для компоненты с основного цвета, и значения минимальной, максимальной и средней яркости.
3. 3. Способ по п.1, в котором х и у координаты цветности указываются с приращениями 0.00002 в соответствии с CIE 1931 определением х и у, как указано в ISO 11664-1.
4. 4. Способ по п.1, в котором для описания цветовых объемов, которые используют красный, зеленый и синий основные цвета, с=0 соответствует зеленому основному цвету, с=1 соответствует синему основному цвету, а с=2 соответствует красному основному цвету.
5. 5. Невременный, считываемый процессором носитель информации, на котором хранятся кодированные данные битового потока видео для декодирования декодером, причем битовый поток видео содержит секцию кодированной картинки, содержащую одну или более кодированных картинок;

   -