RU2556451C2 - СПОСОБ КОМПОНОВКИ ФОРМАТА ЦИФРОВОГО СТЕРЕОСКОПИЧЕСКОГО ВИДЕОПОТОКА 3DD Tile Format - Google Patents

Abstract

Изобретение относится к способам представления цифровых изображений, в том числе видео и телевизионной информации и может быть использовано в системах цифрового стереоскопического телевидения. Техническим результатом является обеспечение возможности использования одного и того же видеопотока для показа на устройствах 2D и 3D визуализации различного типа. Предложен способ компоновки формата цифрового стереоскопического видеопотока 3DD Tile Format, включающий представления левого и правого кадров стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format. Согласно способу, размещают левый кадр L в верхней левой части изображения, разбивают правый кадр R на три части и размещают первую часть в правой верхней части изображения, вторую и третью части в нижней левой части изображения. При этом в нижнюю правую часть изображения дополнительно помещают информацию D о различиях между кадрами L и R, которую визуализируют в виде изображения так, что каждая точка изображения значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в кадрах L и R. 2 ил.

Description

Изобретение относится к способам представления цифровых изображений, в том числе видео и телевизионной информации и может быть использовано в цифровых системах телевидения, а также других способах демонстрации двумерного (2D) и объемного (3D) видео.

Известен способ форматом 3D Tile Format передачи стереоскопического видеопотока (Заявка WO 2012001606 (A1), опубл. 05.01.2012), который включает получение видеопотока, содержащего пару стереоскопических цифровых изображений. Способ представления левого и правого кадров (L кадр и R кадр) стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format. L и R кадры размером по 1280×720 точек каждый стереоскопического изображения формируют одно изображение размером 1920×1080 точек, содержащее оба кадра: L кадр размером 1280×720 точек помещается в верхнюю левую часть кадра; кадр R разбивается на три части: первая часть R1 размером 640×720 точек помещается в правую верхнюю часть изображения, вторая R2 и третья R3 части размером 640×360 точек помещаются в нижнюю левую часть изображения. Достоинством формата 3D Tile Format является возможность передачи стереоскопических данных в одном кадре размером 1920×1080 точек в соответствии со стандартном высокой четкости (HD), что обеспечивает совместимость с существующей юлекоммуникационной инфраструктурой.

Недостатком известного способа являются отсутствие информации для отображения на автостереоскопических устройствах визуализации (дисплеях и телевизорах) для создания объемного (3D) эффекта без использования специальных очков.

Основной технической задачей предложенного изобретения является создание формата представления видеоданных, позволяющего расширить функциональные возможности, существующих форматов, с целью обеспечения возможности использовать один и тот же видеопоток для показа на устройствах 2D и 3D визуализации различного типа, а также дисплеях и телевизорах, не использующих очки для создания у зрителя эффекта наблюдения объемного изображения, при этом обеспечить совместимость с существующим телекоммуникационным передающим и принимающим оборудованием.

Основная техническая задача достигается тем, в способе компоновки формата цифрового стереоскопического видеопотока 3DD Tile Format, включающем представления левого и правого кадров стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format, размещение левого кадра L в верхней левой части изображения, разбивку правого кадра R на три части и размещение первой части в правой верхней части изображения, второй и третьей части в нижней левой части изображения, согласно предложенному решению, в нижнюю правую часть изображения дополнительно помещают информацию D о различиях между кадрами L и R, которую визуализируют в виде изображения, при этом каждая точка изображения значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в кадрах L и R.

Изобретение поясняется рисунками, где на фиг.1 представлена схема размещения данных в кадре, на фиг.2 - изображение в формате 3DD Tile Format.

Способ осуществляется следующим образом.

Компонуется кадр HD разрешением 1920×1080 точек, при этом L кадр с размером 1280×720 точек помещается в верхнюю левую часть изображения. R кадр разбивается на три части: первая часть (R1) размером 640×720 точек помещается в правую верхнюю часть изображения, вторая и третья части (R2 и R3) размером 640×360 точек помещается в нижнюю левую часть изображения. Информация о различиях между кадрами L и R помещается в нижнюю правую часть изображения размером 640×360. Информация D о различиях между кадрами L и R представляет собой цифровые данные, которые обозначают разницу в положении точек изображения в кадре L от точек соответствующего изображения в кадре R (disparity map). Информация D визуализируется в виде изображения, каждая точка которого значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в L и R кадрах. Одно значение D может обозначать расстояние между группами точек кадров L и R. При разрешении информации D в 4 раза меньше разрешения кадров L и R, одно значение информации D соответствует дистанции между группами из 4 точек изображений L и R. Диапазон значений, которые может принять один элемент цифровых данных, определяется количеством бит на одну точку формируемого изображения. Значения информации D при необходимости нормируются к допустимому диапазону значений. При компоновке видео кадров других разрешений размеры изображений L кадра, частей R кадра R1, R2, R3, и информации D выбираются пропорционально исходному размеру кадра.

Заявляемое решение позволяет передавать 3D видео в форматах совместимых с различными типами 3D телевизоров и дисплеев, а также обеспечивает совместимость с обычными (2D) телевизорами, таким образом, достигая обратной совместимости 3D телевизионных каналов с существующими телевизионными приемниками.

Обратная совместимость заявляемого решения с существующими 2D цифровыми телевизионными приемниками достигается благодаря указанию cropping rectangle (области вывода) только по размеру кадра L. Это стандартный способ указания части изображения, предназначенного для вывода на экран, который принят и в стандартах MPHG-2 и 11.264/ AVC, которые используются в цифровых телевизионных трансляциях.

В результирующий видеопоток вставляется дополнительная сервисная информация, сигнализирующая принимающему устройству о формате с передаваемых данных. Данная информация помещается, например, в секцию SEI (Supplemental Enhancement Information) стандарта кодирования H.264, или в сервисную информацию (Service Information), которая описывает транспортный поток, в который упакованы видеоданные. Кроме того, информация о формате компоновки кадра, а также о параметрах нормирования информации D, может помещаться в заголовок каждого отдельного видеокадра в соответствии с общими методиками, принятыми в стандартах компрессии видеоданных. Эта дополнительная сервисная информация распознается специализированным декодером видеопотока, который обеспечивает вывод данных на экран в требуемом формате. Дополнительная сервисная информация не повлияет на работу обычных декодеров. В результате существующие 2D цифровые телевизионные приемники будут показывать только 2D часть цифрового универсального стереоскопического видеопотока.

Совместимость заявляемого решения с существующими цифровыми телевизионными приемниками, имеющими функцию показа 3D изображений с использованием специальных очков, достигается путем передачи левого L и правого R кадров стереоскопического изображения, которые демонстрируются зрителю с использованием очков.

Совместимость заявляемого решения с существующими автостереоскопическими устройствами визуализации (дисплеями и телевизорами), не использующими специальные очки для создания объемного (3D) эффекта, достигается путем передачи информации D о разнице в положении точек соответствующих изображений в L и R кадрах. Устройства - декодеры, принимающие сформированный видеоканал, содержащий информацию D, используют информацию D для определения относительного расстояния от наблюдателя до различных элементов изображений L и R. В результате для двух каналов L и R стереоскопического изображения формируются карты глубины (depth map) - вспомогательные изображения, в которых яркостью показана удаленность точек основного изображения от наблюдателя. Ряд моделей автостереоскопических дисплеев формируют 3D эффект на основе одного видеоканала и сопровождающей его карте глубины. Однако более реалистичный 3D эффект достигается при использовании двух исходных каналов L, R и двух карт глубин или же двух исходных каналов L, R и информации D. Возможность получить карту глубины для каждого исходного изображения обеспечивает заявляемое решение. На основе изображений L и R, а также информации D может быть построена многоракурсная серия кадров, моделирующая съемку с разных точек наблюдения. Такая серия кадров является исходными данными для автостереоскопических 3D дисплеев и телевизоров.

Таким образом, способ позволяет в универсальном виде хранить и передавать стереоскопические видеопотоки с дополнительной информацией D о различиях между кадрами L и R, которые после соответствующей обработки приемным устройством могут быть показаны зрителю в обычном двумерном виде, в стереоскопическом виде для наблюдения объемного эффекта с использованием специальных очков и в автостереоскопическом виде, создающем у зрителя ощущение объемности изображения без использования специальных очков.

Claims (1)

1. Способ компоновки формата цифрового стереоскопического видеопотока 3DD Tile Format, включающий представления левого и правого кадров стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format, размещение левого кадра L в верхней левой части изображения, разбивку правого кадра R на три части и размещение первой части в правой верхней части изображения, второй и третьей части в нижней левой части изображения, отличающийся тем, что в нижнюю правую часть изображения дополнительно помещают информацию D о различиях между кадрами L и R, которую визуализируют в виде изображения, при этом каждая точка изображения значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в кадрах L и R.

Images