RU2551789C2 - Выбор точек обзора для формирования дополнительных видов в 3d видео - Google Patents

Выбор точек обзора для формирования дополнительных видов в 3d видео Download PDF

Info

Publication number
RU2551789C2
RU2551789C2 RU2012117572/08A RU2012117572A RU2551789C2 RU 2551789 C2 RU2551789 C2 RU 2551789C2 RU 2012117572/08 A RU2012117572/08 A RU 2012117572/08A RU 2012117572 A RU2012117572 A RU 2012117572A RU 2551789 C2 RU2551789 C2 RU 2551789C2
Authority
RU
Russia
Prior art keywords
viewpoint
visualization
signal
image
video data
Prior art date
Application number
RU2012117572/08A
Other languages
English (en)
Other versions
RU2012117572A (ru
Inventor
ГУННЕВИК Рейнир Бернардус Мария КЛЕЙН
Вильгельмус Хендрикус Альфонсус БРЮЛЬС
Патрик Люк Е. ВАНДЕВАЛЛЕ
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2012117572A publication Critical patent/RU2012117572A/ru
Application granted granted Critical
Publication of RU2551789C2 publication Critical patent/RU2551789C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Изобретение относится к технологиям кодирования видеоданных. Техническим результатом является повышение качества формирования изображений с разных точек обзора за счет формирования указателя предпочтительного направления. Предложен способ кодирования 3D сигнала видеоданных. Способ содержит этап, на котором предоставляют, по меньшей мере, первое изображение сцены, наблюдаемой с первой точки обзора. А также согласно способу предоставляют информацию о визуализации, чтобы предоставить декодеру возможность формирования, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации, отличной от первой точки обзора. Кроме того, предоставляют указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора. 6 н. и 7 з.п. ф-лы, 4 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Данное изобретение относится к способу кодирования сигнала видеоданных, при этом способ, содержащий этапы, на которых: предоставляют, по меньшей мере, первое изображение сцены, наблюдаемой с первой точки обзора; предоставляют информацию о визуализации, чтобы сделать возможным формирование, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации; и формируют сигнал видеоданных, содержащий закодированные данные, представляющие собой первое изображение и информацию о визуализации.
Данное изобретение дополнительно относится к способу декодирования сигнала видеоданных, кодировщику, декодеру, компьютерному программному продукту для кодирования и декодирования, сигналу видеоданных и носителю цифровых данных.
УРОВЕНЬ ТЕХНИКИ
В развивающейся области техники, относящейся к трехмерному (3D) видео, существуют различные способы для кодирования в сигнале видеоданных третьего измерения. Как правило, это реализуется посредством предоставления глазу зрителя различных видов просматриваемой сцены. Популярным подходом для представления 3D видео является использование одного или более двумерных (2D) изображений с отображением глубины, представляющим информацию о третьем измерении. Данный подход также предоставляет возможность формирования 2D изображений с точек обзора и под углами обзора, отличными от тех, с которых выполнены 2D изображения, которые включены в 3D видеосигнал. Такой подход предоставляет ряд преимуществ, включая предоставление возможности с относительной легкостью формирования дополнительных видов и обеспечивая эффективное представление данных, тем самым, например, сокращая требования к ресурсам хранения и связи применительно к 3D видеосигналом. Предпочтительно, видеоданные дополняются данными, которые не видны из доступных точек обзора, однако становятся видимыми с незначительно отличной точки обзора. Эти данные именуются как данные о перекрытии или заднего плана. На практике, данные о перекрытии формируются из данных множества видов, полученных посредством съемки сцены множеством камер с разных точек обзора.
Проблема описанного выше подхода состоит в том, что доступность данных для воссоздания выходящих из перекрытия объектов во вновь формируемых видах может отличаться от кадра к кадру и даже в пределах кадра. Как результат, качество изображений, формируемых для разных точек обзора, может меняться.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Целью изобретения является предоставление способа кодирования сигнала видеоданных в соответствии с тем, что описывается во вводном абзаце, при этом способ позволяет формировать изображения с разных точек обзора с более высоким качеством.
В соответствии с первым аспектом изобретения, данная цель достигается посредством предоставления способа кодирования сигнала видеоданных, при этом способ содержит этапы, на которых: предоставляют, по меньшей мере, первое изображение сцены, наблюдаемой с первой точки обзора; предоставляют информацию о визуализации, чтобы сделать возможным формирование, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации; предоставляют указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора; и формируют сигнал видеоданных, содержащий закодированные данные, представляющие собой первое изображение, информацию о визуализации и указатель предпочтительного направления.
Как объяснено выше, качество изображений, формируемых под разными точками обзора, зависит от доступности данных, требуемых для воссоздания выходящих из перекрытия объектов. Рассмотрим ситуацию, при которой данные доступны для выполнения смещения точки обзора влево, но не для смещения точки обзора вправо. Следовательно, смещение точки обзора влево может привести к формированию изображения с качеством, отличным от того, которое получится при смещении точки обзора вправо.
Аналогичное различие по качеству может наблюдаться, когда для заполнения выходящих из перекрытия площадей доступно недостаточно информации о не перекрытии или информации об отсутствии перекрытия. В такой ситуации выходящие из перекрытия площади могут быть заполнены при помощи так называемых алгоритмов заполнения дыр. Как правило, такие алгоритмы интерполируют информацию в непосредственной близости от выходящей из перекрытия площади. Следовательно, смещение точки обзора влево может привести к формированию изображения с качеством, отличным от того, которое получится при смещении точки обзора вправо.
Такие различия по качеству провоцируются не только доступностью требуемых данных, но также размером и характером площади поверхности, которая выходит из перекрытия при смещении точки обзора. Как результат, качество 3D видео или изображения может меняться исходя из вновь выбираемой точки обзора. Оно может зависеть, например, от того, формируется ли новый вид слева или справа от точки обзора уже доступного первого изображения.
В соответствии с изобретением, решением является формирование указателя предпочтительного направления и включение его в видеосигнал. Указатель предпочтительного направления задает предпочтительную ориентацию точки обзора визуализации для дополнительного вида относительно исходной точки обзора изображения, уже включенного в видеосигнал. При декодировании видеосигнала, индикатор предпочтительного направления может использоваться для выбора точки обзора визуализации и формирования визуализируемого изображения сцены с выбранной точки обзора.
Сигнал видеоданных может содержать указатель предпочтительного направления для каждого кадра, каждой группы кадров, каждой сцены, или даже для всей видеопоследовательности. Кодирование такой информации покадрово в отличие от грубого разбиения позволяет реализовать произвольный доступ; например, для обеспечения комбинированного воспроизведения. Чем чаще для различных кадров указатель предпочтительной визуализации неизменен, а размера кодируемого видеосигнала, как правило, большой, тем объем дублирующих указателей может быть сокращен посредством кодирования информации для группы, нежели покадрово. Еще более эффективным кодированием является кодирование предпочтительного направления из расчета на сцену, если преимущественно предпочтительное направление визуализации остается одинаковым на всем протяжении сцены, тем самым, гарантируя целостность в рамках сцены.
Опционально, когда размер кодируемого сигнала небольшой, то критичная информация может одинаково кодироваться на уровне кадра, группы кадров и сцены, поскольку все указатели установлены согласованно друг с другом.
Поскольку изменения в выборе точки обзора визуализации могут затронуть воспринимаемую целостность контента при визуализации, то указатель предпочтительного направления преимущественно сохраняется постоянным для нескольких кадров. Он, например, может сохраняться постоянным для группы кадров или, в качестве альтернативы, для сцены. Отмечено, что даже в том случае, когда указатель предпочтительного направления сохраняется постоянным для нескольких кадров, тем не менее, преимущественным может быть кодирование постоянного указателя предпочтительного направления с меньшей степенью разбиения, чем это строго необходимо, для обеспечения произвольного доступа.
Предпочтительной ориентацией может быть влево, вправо, вверх, вниз или любым сочетанием этих направлений. В дополнение к ориентации, вместе с указателем предпочтительного направления могут предоставляться предпочтительное расстояние или предпочтительное максимальное расстояние. Если в первом изображении достаточно информации о перекрытых объектах или значений глубины объектов, то может появиться возможность формирования множества высококачественных дополнительных видов с точек обзора, которые могут быть достаточно удалены от исходной точки обзора.
Информация о визуализации может, например, содержать данные о перекрытии, представляющие собой объекты заднего плана, перекрываемые объектами переднего плана в первом изображении, карту глубины, обеспечивающую значения глубины объектов в первом изображении или данные прозрачности для этих объектов.
Указатель предпочтительного направления указывает, применительно к какой возможной точке обзора визуализации доступна наилучшая информация о визуализации. За более подробной информацией в отношении визуализации изображений с послойной глубиной, обратитесь, например, к Международной Заявке WO 2007/063477, которая включена в настоящее описание посредством ссылки. За более подробной информацией в отношении алгоритмов заполнения дыр применительно к использованию, при заполнении выходящих из перекрытия областей при визуализации изображений с послойной глубиной, обратитесь, например, к WO 2007/099465, которая включена в настоящее описание посредством ссылки.
В соответствии с дополнительным аспектом изобретения, предоставляется способ декодирования сигнала видеоданных, при этом сигнал видеоданных содержит закодированные данные, представляющие собой первое изображение сцены, наблюдаемой с первой точки обзора, информацию о визуализации, чтобы предоставить возможность формирования, по меньшей мере, одного визуализируемого изображения сцены, наблюдаемой с точки обзора визуализации и указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора. Способ декодирования содержит этапы, на которых: принимают сигнал видеоданных; в зависимости от указателя предпочтительного направления выбирают точку обзора визуализации; и формируют визуализируемое изображение сцены наблюдаемой с выбранной точки наблюдения визуализации.
Эти и прочие аспекты изобретения очевидны и будут объяснены со ссылкой на описанные далее варианты осуществления.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На чертежах:
Фиг.1 показывает структурную схему системы для кодирования видеоданных в соответствии с изобретением,
Фиг.2 показывает блок-схему способа кодирования в соответствии с изобретением,
Фиг.3 показывает структурную схему системы для декодирования видеоданных в соответствии с изобретением, и
Фиг.4 показывает блок-схему способа декодирования в соответствии с изобретением.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Фиг.1 показывает структурную схему системы для кодирования видеоданных в соответствии с изобретением. Система содержит две цифровые видеокамеры 11, 12 и кодировщик 10. Первая камера 11 и вторая камера 12 записывают одинаковую сцену 100, но с чуть разных позиций и, следовательно, также чуть под разными углами. Записанные цифровые видеосигналы с обеих камер 11, 12 отправляются кодировщику 10. Кодировщик может, например, быть частью специального кодирующего блока, видеокарты компьютера или программного обеспечения, реализующего функцию, исполняемую микропроцессором общего назначения. В качестве альтернативы, видеокамеры 11, 12 являются аналоговыми видеокамерами, а аналоговые видеосигналы преобразуются в цифровые видеосигналы перед тем, как они подаются на вход кодировщика 10. Если видеокамеры объединены с кодировщиком 10, то кодирование может происходить во время записи сцены 100. Также существует возможность сначала записать сцену 100 и позже предоставить записанные видеоданные кодировщику 10.
Кодировщик 10 принимает цифровые видеоданные от видеокамер 11, 12, либо непосредственно, либо опосредованно, и объединяет оба цифровых видеосигнала в один 3D видеосигнал 15. Должно быть отмечено, что обе видеокамеры 11, 12 могут быть объединены в одну 3D видеокамеру. Также существует возможность использования более двух видеокамер для съемки сцены 100 с более чем двух точек обзора.
Фиг.2 показывает блок-схему способа кодирования в соответствии с изобретением. Данный способ кодирования может выполняться кодировщиком 10 системы с Фиг.1. Способ кодирования использует записанные цифровые видеоданные с камер 11, 12 и предоставляет сигнал 15 видеоданных в соответствии с изобретением. На этапе 21 предоставления базового изображения предоставляется, по меньшей мере, первое изображение сцены для включения в сигнал 15 видеоданных. Данное базовое изображение может быть стандартными 2D видеоданными, исходящими из одной из двух камер 11, 12. Кодировщик 10 также может использовать два базовых изображения; одно с первой камеры 11 и одно со второй камеры 12. Из базовых изображений могут быть получены значения цветов всех пикселей в каждом кадре записанного видео. Базовые изображения представляют собой сцену в конкретный момент времени, наблюдаемую с конкретной точки обзора. Далее, конкретная точка обзора будет именоваться базовой точкой обзора.
На этапе 22 обеспечения возможности 3D входящие видеоданные с видеокамер 11, 12 используются для добавления информации к базовому изображению. Данная добавляемая информация должна позволить декодеру сформировать визуализируемое изображение одной и той же сцены с другой точки обзора. Далее, данная добавляемая информация именуется информацией о визуализации. Информация о визуализации может, например, содержать информацию о глубине или значения прозрачности объектов в базовом изображении. Информация о визуализации так же может описывать объекты, обзор которых блокируется с базовой точки обзора объектами, которые видны на базовом изображении. Кодировщик использует известные, предпочтительно стандартизованные, способы для получения данной информации о визуализации из записанных обычных видеоданных.
На этапе 23 указания направления кодировщик 10 дополнительно добавляет указатель предпочтительного направления к информации о визуализации. Указатель предпочтительного направления задает предпочтительную ориентацию точки обзора визуализации относительно базовой точки обзора применительно к дополнительному виду. Позже, когда видеосигнал декодируется, указатель предпочтительного направления может использоваться для выбора точки обзора визуализации и формирования визуализируемого изображения сцены 100 с выбранной точки обзора. Как описано выше, качество 3D видео или изображения может меняться исходя из вновь выбранной точки обзора. Влиять может, например, то, формируется ли новый вид слева или справа от точки обзора уже доступного первого изображения. Указатель предпочтительного направления, который добавляется к информации о визуализации, может, например, быть единственным битом, указывающим направление влево или вправо. Расширенный указатель предпочтительного направления также может указывать направление вверх или вниз и/или, предпочтительное или максимальное расстояние новой точки обзора от базовой точки обзора.
В качестве альтернативы, указатель предпочтительного направления может предоставлять предпочтительную ориентацию и/или расстояние нескольких точек обзора визуализации относительно первой точки обзора. Например, предпочтительным может быть формирование двух точек обзора визуализации с одной и той же стороны от первой точки обзора или по одной с каждой из сторон. Предпочтительная позиция(ии) точки(ек) обзора визуализации относительно первой точки обзора может зависеть от расстояния между этими двумя точками. Например, более выгодным может быть визуализировать изображение с точки обзора слева от первой точки обзора, когда обе точки обзора близки друг к другу; при этом при большом расстоянии между двумя точками обзора для формирования точки обзора визуализации более приемлемым может быть направление слева от первой точки обзора.
Решение о том, какое конкретное направление более предпочтительно может приниматься автоматически; например, при кодировании стереопары как изображения с послойной глубиной, при помощи изображения, глубины и представления перекрытия, существует возможность использования либо левого, либо правого изображения в качестве изображения с послойной глубиной, и воссоздания на его основе другого изображения. Позже для обоих вариантов может вычисляться метрика отличий и на ее основе может определяться предпочтительное кодирование и вслед за ним направление.
Предпочтительно отличия взвешиваются исходя из модели зрительной перспективной системы человека. В качестве альтернативы, в частности в рамках профессиональной настройки, предпочтительное направление может выбираться на основе взаимодействия пользователя.
На этапе 24 формирования сигнала информация, предоставленная на предыдущих этапах 21, 22, 23, используется для формирования сигнала 15 видеоданных в соответствии с изобретением. Сигнал 15 видеоданных представляет собой, по меньшей мере, первое изображение, информацию о визуализации и указатель предпочтительного направления. Указатель предпочтительного направления может предоставляться для каждого кадра, для группы кадров или для сцены целиком или даже всего видео. Изменение позиции точки обзора визуализации в пределах сцены может негативно влиять на воспринимаемое качество 3D изображения, но с другой стороны может быть необходимо, если доступность информации о визуализации для разных направлений меняется в значительной степени.
Фиг.3 показывает структурную схему системы для декодирования видеоданных в соответствии с изобретением. Система содержит декодер 30 для приема сигнала 15 видеоданных и преобразования сигнала 15 видеоданных в сигнал отображения, который приемлем для отображения на дисплее 31. Сигнал 15 видеоданных может поступать на декодер 30 как часть вещательного сигнала, например, через спутниковую или кабельную передачу. Сигнал 15 видеоданных также может предоставляться по запросу, например, через Интернет или через услугу видео по запросу. В качестве альтернативы, сигнал 15 видеоданных предоставляется на носителе цифровых данных, таком как диск DVD или Blu-ray.
Дисплей 31 выполнен с возможностью обеспечения 3D представления сцены 100, которая была снята и закодирована кодировщиком 10 системы с Фиг.1. Дисплей 31 может содержать декодер 30 или может быть объединен с декодером 30. Например, декодер 30 может быть частью приемника 3D видео, который соединен с одним или более обычными телевизионными или компьютерными дисплеями. Предпочтительно, дисплей является специализированным 3D дисплеем 31, выполненным с возможностью предоставления разных видов для разных глаз зрителя.
Фиг.4 показывает блок-схему способа декодирования в таком виде, в каком он может выполняться декодером 30 с Фиг.3. На этапе 41 приема видеоданных сигнал 15 видеоданных, закодированный кодировщиком 10, принимается на входе декодера 30. Принятый сигнал 15 видеоданных содержит закодированные данные, представляющие собой, по меньшей мере, первое изображение сцены 100, информацию о визуализации и указатель предпочтительного направления.
На этапе 42 выбора дополнительной точки обзора указатель предпочтительного направления используется для выбора, по меньшей мере, одной дополнительной точки обзора для соответствующего дополнительного вида. На этапе 43 визуализации дополнительного вида формируются один или более дополнительные виды с выбранной точки обзора и точек обзора. Затем на этапе 44 отображения два или более вида с разных точек обзора могут предоставляться дисплею 31 для показа сцены 100 в 3D.
Должно быть принято во внимание, что изобретение также распространяется на компьютерные программы, а именно компьютерные программы на или в носителе, выполненном с возможностью реализации изобретения на практике. Программа может быть выполнена в виде исходного кода, объектного кода, промежуточного кода между исходным кодом и объектным кодом, как, например, в частично компилированном виде, или в любом другом виде приемлемом для использования при реализации способа в соответствии с изобретением. Также должно быть принято во внимание, что такая программа может иметь множество разных архитектурных исполнений. Например, программный код, реализующий функциональные возможности способа или системы в соответствии с изобретением, может быть подразделен на одну или более подпрограммы. Специалисту в соответствующей области будет очевидно многообразие способов распределения функциональных возможностей между этими подпрограммами. Подпрограммы могут храниться вместе в одном исполняемом файле, образуя модульную программу. Такой исполняемый файл может содержать исполняемые компьютером инструкции, например, процессорные инструкции и/или интерпретируемые инструкции (например, интерпретируемые инструкции Java). В качестве альтернативы, одна или более из или все подпрограммы могут храниться в, по меньшей мере, одном файле внешней библиотеки и могут, например, во время работы подключаться к основной программе либо статически, либо динамически. Основная программа содержит, по меньшей мере, одну функцию вызова, по меньшей мере, одной из подпрограмм. Также подпрограммы могут содержать вызовы функций друг друга. Вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому из этапов обработки, по меньшей мере, одного из изложенных способов. Эти инструкции могут подразделяться на подпрограммы и/или храниться в одном или более файлах, которые могут подключаться статически или динамически. Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции соответствующие каждому из средств, по меньшей мере, одной из изложенных здесь систем и/или продуктов. Эти инструкции могут подразделяться на подпрограммы и/или могут храниться в одном или более файлах, которые могут подключаться статически или динамически.
Носитель компьютерной программы может быть любым объектом или устройством, выполненным с возможностью переноса программы. Например, носитель может включать в себя носитель данных, такой как ROM, например CD-ROM, или полупроводниковое ROM, или магнитный носитель записи, например, гибкий диск или жесткий диск. Дополнительно носитель может быть передаваемым носителем, таким как электрический или оптический сигнал, который может передаваться через электрический или оптический кабель или посредством радио передачи или другого средства. При воплощении программы в таком сигнале носителем может являться такой кабель или другое устройство, или средство. В качестве альтернативы, носителем может быть интегральная микросхема, в которую встроена программа, при этом интегральная микросхема выполнена с возможностью выполнения или использования при выполнении соответствующего способа.
Должно быть отмечено, что упомянутые выше варианты осуществления иллюстрируют, нежели ограничивают изобретение, и что специалист в соответствующей области будет способен разработать множество альтернативных вариантов осуществления, не отступая от объема прилагаемой формулы изобретения. В формуле изобретения любые ссылочные обозначения, помещенные в круглые скобки, не должны рассматриваться как ограничивающие пункт формулы изобретения. Использование глагола «содержит» и его спряжений не исключает наличие элементов или этапов, отличных от тех, что перечислены в пункте формулы изобретения. Использование единственного числа в отношении элементов не исключает наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько отдельных элементов, и посредством приемлемого запрограммированного компьютера. В пункте формулы изобретения устройства при перечислении нескольких средств, некоторые из этих средств могут быть воплощены посредством одного и того же элемента аппаратного обеспечения. Всего лишь факт того, что конкретные меры размещаются в обоюдно разных зависимых пунктах формулы изобретения, не указывает на то, что для получения преимущества не может использоваться сочетание этих мер.

Claims (13)

1. Способ кодирования 3D сигнала (15) видеоданных, при этом способ содержит этапы, на которых:
предоставляют по меньшей мере первое изображение (21) сцены (100), наблюдаемой с первой точки обзора;
предоставляют информацию (22) о визуализации, чтобы предоставить декодеру возможность формирования по меньшей мере одного визуализируемого изображения сцены (100), наблюдаемой с точки обзора визуализации, отличной от первой точки обзора;
предоставляют указатель (23) предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора; и
формируют (24) 3D сигнал (15) видеоданных, содержащий закодированные данные, представляющие собой первое изображение, информацию о визуализации и указатель предпочтительного направления.
2. Способ кодирования 3D сигнала (15) видеоданных по п. 1, в котором указатель предпочтительного направления содержит единственный бит для определения, находится ли предпочтительная ориентация точки обзора визуализации относительно первой точки обзора слева или справа от первой точки обзора.
3. Способ кодирования 3D сигнала (15) видеоданных по п. 1, в котором указатель предпочтительного направления кодируется в 3D сигнал (15) видеоданных, используя по меньшей мере одну из следующих опций:
указатель предпочтительного направления кодируется для каждого кадра;
указатель предпочтительного направления кодируется для каждой группы кадров; и
указатель предпочтительного направления кодируется для каждой сцены.
4. Способ кодирования 3D сигнала (15) видеоданных по п. 3, в котором значение указателя предпочтительного направления постоянно для одного из:
группы кадров и сцены.
5. Способ кодирования 3D сигнала (15) видеоданных по любому из пп. 1, 2, 3 или 4, в котором предпочтительная ориентация зависит от расстояния между первой точкой обзора и точкой обзора визуализации.
6. Способ кодирования 3D сигнала (15) видеоданных по любому из пп. 1, 2, 3 или 4, в котором информация о визуализации содержит значения указания глубины для пикселей в первом изображении.
7. Способ кодирования 3D сигнала (15) видеоданных по любому из пп. 1, 2, 3 или 4, в котором информация о визуализации содержит альфа-значения для пикселей в первом изображении, при этом альфа-значения указывают прозрачность соответствующих пикселей.
8. Способ кодирования 3D сигнала (15) видеоданных по любому из пп. 1, 2, 3 или 4, в котором информация о визуализации содержит данные о перекрытии, представляющие собой данные, перекрываемые с первой точки обзора.
9. Способ декодирования 3D сигнала (15) видеоданных, при этом 3D сигнал (15) видеоданных содержит закодированные данные, представляющие собой первое изображение сцены (100), наблюдаемой с первой точки обзора, информацию о визуализации, чтобы предоставить возможность формирования по меньшей мере одного визуализируемого изображения сцены (100), наблюдаемой с точки обзора визуализации, отличной от первой точки обзора, и указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора, при этом способ содержит этапы, на которых:
принимают сигнал (41) видеоданных;
в зависимости от указателя предпочтительного направления выбирают точку (42) обзора визуализации; и
формируют (43) визуализируемое изображение сцены (100), наблюдаемой с выбранной точки обзора визуализации.
10. Кодировщик (10) для кодирования 3D сигнала (15) видеоданных, при этом кодировщик содержит:
средство для предоставления по меньшей мере первого изображения сцены (100), наблюдаемой с первой точки обзора, информации о визуализации, чтобы предоставить декодеру возможность формирования визуализируемого изображения сцены (100), наблюдаемой с точки обзора визуализации, отличной от первой точки обзора, указателя предпочтительного направления, задающего предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора,
средство для формирования 3D сигнала (15) видеоданных, содержащего закодированные данные, представляющие собой первое изображение, информацию о визуализации и указатель предпочтительного направления, и
средство вывода для предоставления 3D сигнала (15) видеоданных.
11. Декодер (30) для декодирования 3D сигнала (15) видеоданных, при этом декодер (30) содержит:
средство ввода для приема 3D сигнала (15) видеоданных, при этом 3D сигнал (15) видеоданных содержит закодированные данные, представляющие собой первое изображение сцены (100), наблюдаемой с первой точки обзора, информацию о визуализации, чтобы предоставить возможность формирования визуализируемого изображения сцены (100), наблюдаемой с точки обзора визуализации, отличной от первой точки обзора, и указатель предпочтительного направления, задающий предпочтительную ориентацию точки обзора визуализации относительно первой точки обзора,
средство для выбора точки обзора визуализации в зависимости от указателя предпочтительного направления,
средство для формирования визуализируемого изображения сцены (100), наблюдаемой с выбранной точки обзора визуализации, и
средство вывода для предоставления визуализируемого изображения.
12. Машиночитаемый носитель, хранящий компьютерную программу, которая при исполнении процессором побуждает процессор выполнять способ по п. 1.
13. Машиночитаемый носитель, хранящий компьютерную программу, которая при исполнении процессором побуждает процессор выполнять способ по п. 9.
RU2012117572/08A 2009-10-02 2010-09-21 Выбор точек обзора для формирования дополнительных видов в 3d видео RU2551789C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172096 2009-10-02
EP09172096.1 2009-10-02
PCT/IB2010/054251 WO2011039679A1 (en) 2009-10-02 2010-09-21 Selecting viewpoints for generating additional views in 3d video

Publications (2)

Publication Number Publication Date
RU2012117572A RU2012117572A (ru) 2013-11-10
RU2551789C2 true RU2551789C2 (ru) 2015-05-27

Family

ID=43129795

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012117572/08A RU2551789C2 (ru) 2009-10-02 2010-09-21 Выбор точек обзора для формирования дополнительных видов в 3d видео

Country Status (8)

Country Link
US (1) US9167226B2 (ru)
EP (1) EP2483750B1 (ru)
JP (1) JP5859441B2 (ru)
KR (1) KR101727094B1 (ru)
CN (1) CN102549507B (ru)
BR (1) BR112012007115A2 (ru)
RU (1) RU2551789C2 (ru)
WO (1) WO2011039679A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2744699C1 (ru) * 2017-12-14 2021-03-15 Кэнон Кабусики Кайся Устройство формирования, способ формирования и программа для трехмерной модели

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7848564B2 (en) * 2005-03-16 2010-12-07 Lucasfilm Entertainment Company Ltd. Three-dimensional motion capture
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CZ308335B6 (cs) * 2012-08-29 2020-05-27 Awe Spol. S R.O. Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
EP2949121B1 (en) 2013-02-06 2020-07-15 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
ITRM20130244A1 (it) * 2013-04-23 2014-10-25 MAIOR Srl Metodo per la riproduzione di un film
EP2995082B1 (en) 2013-05-10 2016-11-30 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
WO2015048694A2 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9578074B2 (en) 2013-11-11 2017-02-21 Amazon Technologies, Inc. Adaptive content transmission
US9634942B2 (en) 2013-11-11 2017-04-25 Amazon Technologies, Inc. Adaptive scene complexity based on service quality
US9582904B2 (en) 2013-11-11 2017-02-28 Amazon Technologies, Inc. Image composition based on remote object data
US9596280B2 (en) 2013-11-11 2017-03-14 Amazon Technologies, Inc. Multiple stream content presentation
US9604139B2 (en) 2013-11-11 2017-03-28 Amazon Technologies, Inc. Service for generating graphics object data
US9641592B2 (en) 2013-11-11 2017-05-02 Amazon Technologies, Inc. Location of actor resources
US9805479B2 (en) 2013-11-11 2017-10-31 Amazon Technologies, Inc. Session idle optimization for streaming server
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10204449B2 (en) * 2015-09-01 2019-02-12 Siemens Healthcare Gmbh Video-based interactive viewing along a path in medical imaging
EP3273686A1 (en) 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
US10353946B2 (en) * 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
JP7200935B2 (ja) * 2017-05-30 2023-01-10 ソニーグループ株式会社 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102278848B1 (ko) * 2018-07-31 2021-07-19 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
CN112335258A (zh) * 2018-11-12 2021-02-05 英特尔公司 从比赛参与者视角的自动视野估计
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
MX2022004162A (es) 2019-10-07 2022-07-12 Boston Polarimetrics Inc Sistemas y metodos para el aumento de sistemas de sensores y sistemas de formacion de imagenes con polarizacion.
IT201900021645A1 (it) * 2019-11-19 2021-05-19 Sacmi Apparato per l’ispezione ottica di sanitari
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222551B1 (en) * 1999-01-13 2001-04-24 International Business Machines Corporation Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
RU2267161C2 (ru) * 2002-12-05 2005-12-27 Самсунг Электроникс Ко.,Лтд Способ кодирования и декодирования данных трехмерных объектов и устройство для его осуществления

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US6088006A (en) * 1995-12-20 2000-07-11 Olympus Optical Co., Ltd. Stereoscopic image generating system for substantially matching visual range with vergence distance
JP4174001B2 (ja) 2002-09-27 2008-10-29 シャープ株式会社 立体画像表示装置、記録方法、及び伝送方法
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
JP4324435B2 (ja) * 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
US20060200744A1 (en) * 2003-12-08 2006-09-07 Adrian Bourke Distributing and displaying still photos in a multimedia distribution system
GB0415223D0 (en) 2004-07-07 2004-08-11 Sensornet Ltd Intervention rod
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
JP5001286B2 (ja) * 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
KR100714672B1 (ko) * 2005-11-09 2007-05-07 삼성전자주식회사 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
WO2007099465A2 (en) 2006-02-28 2007-09-07 Koninklijke Philips Electronics N.V. Directional hole filling in images
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
WO2009009465A1 (en) 2007-07-06 2009-01-15 Christopher William Heiss Electrocoagulation reactor and water treatment system and method
JP2009075869A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 多視点画像描画装置、方法及びプログラム
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
WO2009047681A1 (en) * 2007-10-11 2009-04-16 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
JP4703635B2 (ja) * 2007-12-12 2011-06-15 株式会社日立製作所 立体視画像生成方法、その装置、及び立体視画像表示装置
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
JP4827881B2 (ja) * 2008-04-30 2011-11-30 三洋電機株式会社 映像ファイル処理方法及び映像送受信再生システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222551B1 (en) * 1999-01-13 2001-04-24 International Business Machines Corporation Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
RU2267161C2 (ru) * 2002-12-05 2005-12-27 Самсунг Электроникс Ко.,Лтд Способ кодирования и декодирования данных трехмерных объектов и устройство для его осуществления

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2744699C1 (ru) * 2017-12-14 2021-03-15 Кэнон Кабусики Кайся Устройство формирования, способ формирования и программа для трехмерной модели
US11151787B2 (en) 2017-12-14 2021-10-19 Canon Kabushiki Kaisha Generation device, generation method and storage medium for three-dimensional model from object images and structure images

Also Published As

Publication number Publication date
RU2012117572A (ru) 2013-11-10
JP2013507026A (ja) 2013-02-28
JP5859441B2 (ja) 2016-02-10
US9167226B2 (en) 2015-10-20
CN102549507B (zh) 2014-08-20
CN102549507A (zh) 2012-07-04
BR112012007115A2 (pt) 2020-02-27
EP2483750B1 (en) 2018-09-12
KR20120093243A (ko) 2012-08-22
US20120188341A1 (en) 2012-07-26
WO2011039679A1 (en) 2011-04-07
KR101727094B1 (ko) 2017-04-17
EP2483750A1 (en) 2012-08-08

Similar Documents

Publication Publication Date Title
RU2551789C2 (ru) Выбор точек обзора для формирования дополнительных видов в 3d видео
US10567728B2 (en) Versatile 3-D picture format
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
JP5527856B2 (ja) 三次元画像データ処理
KR101484487B1 (ko) 깊이-맵을 프로세싱하는 방법 및 디바이스
JP5731525B2 (ja) ３ｄビデオにおける深さ遷移の効率的な符号化
JP2015521407A (ja) ３ｄ映像を処理するための品質メトリク
TW201029442A (en) View synthesis with heuristic view merging
US9584794B2 (en) Depth helper data
EP2875636A1 (en) Metadata for depth filtering
EP2282550A1 (en) Combining 3D video and auxiliary data
EP2624559A1 (en) Image transmission device and method, and image reproduction device and method
US20150062296A1 (en) Depth signaling data

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200922