EA018293B1 - Способ обработки видео- и телеприсутствия - Google Patents

Abstract

Кодек содержит видеовход (33) для приема непрерывного видеопотока, кодер (42) для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, видеовыход (37) для передачи видеопотока и средство (39) переключения. Средство переключения представлено для переключения закодированного видеопотока во время кодирования между первым режимом, в котором видеопоток кодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором видеопоток кодируется в соответствии со вторым форматом кодирования. Изобретение также относится к соответствующему кодеку для декодирования видеопотока. В другом аспекте изобретение касается процессора для идентификации контура субъекта в видеоизображении.

Description

Это изобретение относится к обработке видео и, в частности, но не исключительно, к видеокодеку и видеопроцессору для использования в системе телеприсутствия для формирования привидения Пеппера в реальном времени и/или изображения субъекта, изолированного (исключенного) от фона, перед которым субъект был снят (далее в данном документе упоминаемого как изображение изолированного субъекта).

В традиционной системе телеприсутствия видеоизображение субъекта, дополненное его фоном, захваченным в одном местоположении, передается, например, через Интернет или по сети с многопротокольной коммутацией с использованием меток (МРЬ8) в удаленное местоположение, где изображение субъекта и фона проецируется как привидение Пеппера или иным образом отображается. Передача может выполняться так, что изображение в реальном времени или, по меньшей мере, в псевдореальном времени может быть сформировано в удаленном местоположении, чтобы давать телеприсутствие субъекта в этом удаленном местоположении. Передача видео типично подразумевает использование предварительно установленного кодека для кодирования и/или декодирования видео в каждой из передающей и принимающей сторон системы.

Типично, кодек включает в себя программное обеспечение для шифрования и сжатия видеопотока (включающего в себя звук) в пакеты данных для передачи. Способ кодирования содержит прием видеопотока и кодирование видеопотока в один из сигналов с чересстрочной или прогрессивной разверткой (и может также содержать технологию сжатия).

Было обнаружено, что привидение Пеппера или изображение изолированного, по существу, неподвижного субъекта, сформированное из видеосигнала с прогрессивной разверткой, дает в результате чистое, детализированное изображение. Однако при одинаковом числе кадров в секунду (кадр/с) сигналы с прогрессивной разверткой равны удвоенному размеру сигналов с чересстрочной разверткой и в системе телеприсутствия, где видеоизображение захватывается в одном местоположении и передается в другое по каналу связи с ограниченной пропускной способностью, передача больших по объему сигналов с прогрессивной разверткой может приводить в результате к запаздыванию/несогласованности, которые создают нежелательные артефакты в проецируемом изображении реального времени. Например, если субъект видео перемещается, изолированный субъект или привидение Пеппера может не выглядеть плавным, запаздывание может приводить в результате к заметной задержке во взаимодействии субъекта изолированного субъекта или привидения Пеппера с реальным человеком, или узкое место в канале связи может приводить в результате к временно пустому кадру видео и/или отсутствию звука. Это снижет реализм телеприсутствия субъекта.

Может быть возможным уменьшать такую задержку сигнала посредством сжатия видеопотока или кодирования с помощью видеосигналов с чересстрочной разверткой. Как правило, необработанный ВРпоток со стандартным разрешением (8Ό) составляет 270 Мбит/с и может быть сжат до 1,5-2 Мбит/с, 720Р до 2-3 Мбит/с, а 1080Р до 4-10 Мбит/с.

Однако сжатие видеопотока приводит в результате к потерям отдельных элементов целостности первоначальных данных или некоторым ухудшениям. Например, сжатие ΗΌ-видеопотока типично вызывает ослабление насыщенности цвета изображения, понижение контраста и привносит размытости движения вокруг тела субъекта из-за видимой или воспринимаемой потери фокуса линзы. Это видимое размытие изображения является наиболее очевидным в областях деталей, где изображение затемняется, например, в глазных впадинах, в случаях, когда рассматриваемый субъект движется резко или быстро влево или вправо, и когда видеоизображение имеет высокую контрастность.

Видеосигналы с чересстрочной разверткой могут быть использованы для того, чтобы уменьшать задержку сигнала, поскольку они используют половину полосы пропускания сигналов с прогрессивной разверткой при той же частоте кадров/с, в то же время поддерживая видимость плавного движения изолированного субъекта или привидения Пеппера. Однако эффект чередующегося переключения между нечетными и четными линиями видеосигналов с чересстрочной разверткой уменьшает характеристику вертикального разрешения изображения. Это может быть компенсировано размытием (сглаживанием) изображения, однако такое сглаживание достигается за счет четкости изображения.

Преимуществом сигналов с чересстрочной разверткой над сигналами с прогрессивной разверткой является то, что движение в изображении, сформированном из сигналов с чересстрочной разверткой, выглядит более плавным, чем движение в изображении, сформированном из сигналов с прогрессивной разверткой, поскольку сигналы с чересстрочной разверткой используют два поля на кадр. Изображения изолированного субъекта или привидения Пеппера, сформированные с помощью видеосигналов с прогрессивной разверткой, могут выглядеть более приукрашенными и, следовательно, менее реалистичными, чем изображения, сформированные с помощью видеосигналов с чересстрочной разверткой, вследствие меньшей степени захвата движения и того факта, что полные видеокадры отображаются прогрессивным образом. Однако текст и графика, особенно статические графические изображения, могут извлекать выгоду из того, что формируются с помощью видеосигнала с прогрессивной разверткой, поскольку изображения, сформированные из сигналов с прогрессивной разверткой, имеют более плавные, точные края контура для статических изображений.

Соответственно, какой бы тип формата кодирования предварительно установленный кодек ни ис

- 1 018293 пользовал, существует потенциал для появления нежелательных эффектов в результирующем изолированном субъекте или привидении Пеппера. Это является конкретной проблемой при формирования телеприсутствия в публичных/массовых мероприятиях, при которых снимается действие, например действие на сцене, и системные требования могут изменяться значительно на всем протяжении представления.

Для определенных систем телеприсутствия (называемых далее в данном документе иммерсивными системами телеприсутствия) видеоизображение субъекта, исключенного из фона изображения (изображение изолированного субъекта), захваченное в одном местоположении, отправляется в удаленное местоположение, где исключенное изображение отображается как изображение изолированного субъекта и/или привидение Пеппера, возможно рядом с реальным субъектом в удаленном местоположении. Это может быть использовано для того, чтобы создавать иллюзию того, что субъект исключенного изображения фактически присутствует в удаленном местоположении. Площадь изображения, которая не является субъектом, содержит черный цвет, идеальный в своей чистой форме (т.е., не серый). Однако обработка и передача изображения изолированного субъекта может засорять черную область изображения ошибочными видеосигналами, давая в результате артефакты, такие как рябь, низкая освещенность и цветовая интерференция, что ослабляет иммерсивное восприятие телеприсутствия.

Согласно первому аспекту изобретения предоставляется кодек, содержащий видеовход для приема непрерывного видеопотока, кодер для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, видеовыход для передачи закодированного видеопотока и средство переключения для переключения кодера во время кодирования видеопотока между первым режимом, в котором видеопоток кодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором видеопоток кодируется в соответствии со вторым форматом кодирования.

Согласно второму аспекту изобретения предоставляется кодек, содержащий видеовход для приема закодированного видеопотока, декодер для декодирования закодированного видеопотока, чтобы получать в результате декодированный видеопоток, видеовыход для передачи декодированного видеопотока и средство переключения для переключения декодера во время декодирования закодированного видеопотока между первым режимом, в котором закодированный видеопоток декодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором закодированный видеопоток декодируется в соответствии со вторым форматом кодирования.

Преимущество изобретения в том, что кодек может переключаться в ходе работы, чтобы кодировать видеопоток в различном формате, когда целесообразно, на основе отснятого видеоматериала, возможностей сети, например, доступной пропускной способности, и/или других внешних факторов. Средство переключения может реагировать на внешний сигнал управления для переключения кодера/декодера между первым режимом и вторым режимом. Например, внешний сигнал управления может формироваться автоматически при обнаружении конкретного условия или пользователем, таким как презентатор, артист или другой оператор, управляющий кнопкой/переключателем.

Кодек может быть выполнен с возможностью передачи и приема управляющих сообщений к/от соответствующего кодека, от которого он принимает/которому передает закодированный видеопоток, управляющие сообщения включают в себя указание формата кодирования, в котором видеопоток закодирован. Кодек может быть выполнен с возможностью переключения между режимами в ответ на принятые управляющие сообщения.

Формат кодирования может быть кодированием видеосигнала как сигнала с прогрессивной разверткой, например 720р, 1080р, или видеосигнала с чересстрочной разверткой, например 10801, кодированием видеопотока с конкретной частотой кадров, например от 24 до 120 кадров в секунду, и/или сжатием видеосигнала, например кодированием согласно конкретному стандарту цветового сжатия, такому как 3:1:1, 4:2:0, 4:2:2 или 4:4:4 или кодированием для достижения конкретной скорости передачи входных/выходных данных, например между 1,5-4 мегабит/с. Соответственно, кодек может переключаться между сигналом с прогрессивной и с чересстрочной разверткой, различными частотами кадров и/или стандартами сжатия, когда целесообразно.

Следует понимать, что форматы с переменной скоростью передачи данных, такие как МРЕО, являются одним форматом кодирования в значении термина, который используется в данном документе.

Согласно третьему аспекту изобретения предоставляется система телеприсутствия, содержащая камеру для съемки субъекта, который должен отображаться как изолированный субъект и/или привидение Пеппера, первый кодек согласно первому аспекту изобретения для приема видеопотока, сформированного камерой, и вывода закодированного видеопотока, средство для передачи закодированного видеопотока второму кодеку согласно второму аспекту изобретения в удаленном местоположении, второй кодек, выполненный с возможностью декодирования закодированного видеосигнала и вывода декодированного видеосигнала в устройство для воспроизведения изображения изолированного субъекта и/или привидения Пеппера на основе декодированного видеосигнала, и управляемый пользователем переключатель, выполненный с возможностью формирования сигнала управления, чтобы инструктировать первому кодеку переключаться между первым режимом и вторым режимом.

Такая система позволяет оператору, например режиссеру, презентатору, артисту и т.д., управлять

- 2 018293 способом кодирования на основе снимаемого действия. Например, если присутствует небольшое движение субъекта, тогда оператор может выбирать формат, который предоставляет сигнал с прогрессивной разверткой с небольшим сжатием или без сжатия, тогда как в случае значительного движения субъекта оператор может выбирать формат, который предоставляет сигнал с чересстрочной разверткой, необязательно, с высоким сжатием.

Управляемый пользователем переключатель может быть выполнен с возможностью формирования сигнала управления, чтобы инструктировать второму кодеку переключаться между первым режимом и вторым режимом. Альтернативно, второй кодек может быть выполнен с возможностью автоматического определения формата кодирования закодированного видеопотока и переключения, чтобы декодировать закодированный видеопоток с помощью правильного (первого или второго) режима.

Согласно четвертому аспекту изобретения предоставляется способ формирования телеприсутствия субъекта, содержащий съемку субъекта, чтобы формировать непрерывный видеопоток, передачу видеопотока в удаленное местоположение и воспроизведение изолированного изображения и/или привидения Пеппера в удаленном местоположении на основе передаваемого видеопотока, при этом передача видеопотока содержит выбор различных форматов из множества форматов кодирования во время передачи видеопотока на основе изменений в снимаемом действии и изменение формата кодирования на выбранный формат кодирования во время передачи.

Изменения в снимаемом действии могут быть движением субъекта, введением дополнительного субъекта в видеокадр, изменениями в освещении субъекта, изменениями в уровне взаимодействия снимаемого субъекта с человеком в удаленном местоположении, включением текста или графики или другими подходящими изменениями в действии, снимаемом/формируемом в видео.

Согласно пятому аспекту изобретения предоставляется система телеприсутствия, содержащая камеру для съемки субъекта, который должен отображаться как изолированное изображение и/или привидение Пеппера, канал связи для передачи закодированного видеопотока и дополнительных данных, связанных с созданием изолированного изображения и/или привидения Пеппера, в удаленное местоположение, устройство в удаленном местоположении для формирования изолированного изображения и/или изображения привидения Пеппера с помощью передаваемого видеопотока и средство переключения для назначения полосы пропускания каналу связи для передачи видеосигнала, когда полоса пропускания не используется для передачи дополнительных данных.

Преимущество системы пятого аспекта изобретения в том, что она концентрируется на доступной полосе пропускания, чтобы достигать более реалистичного изолированного изображения и/или привидения Пеппера. Например, дополнительные данные могут быть данными, например аудиопотоком, требуемыми для взаимодействия между снимаемым субъектом и людьми, такими как аудитория и т.д., в удаленном местоположении, и объем дополнительных данных, который необходимо передавать, может изменяться вместе с изменениями в уровне взаимодействия.

Согласно шестому аспекту изобретения предоставляется видеопроцессор, содержащий видеовход для приема видеопотока, видеовыход для передачи обработанного видеопотока, при этом процессор выполнен с возможностью идентификации контура субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня, и определять контур как непрерывную линию между этими пикселами или наборами пикселов и делать пикселы, которые выходят за пределы контура предварительно выбранного цвета, предпочтительно черного.

Видеопроцессор шестого аспекта изобретения может быть полезен, поскольку он может автоматически исключать субъект в каждом кадре видеопотока, в то же время устраняя артефакты шума за пределами контура субъекта. Видеопроцессор может быть выполнен с возможностью обработки видеопотока, по существу, в реальном времени, так что видеопоток может передаваться (или, по меньшей мере, отображаться) непрерывным образом.

Относительная разница может быть контрастом в яркости и/или цвете, пикселы или набор пикселов, представляющие субъект, выглядят ярче, чем пикселы или набор пикселов, представляющих окружающий темный фон. Этот контраст может быть улучшен, если субъект в видео был освещен сзади так, чтобы создавать яркий контур света вокруг субъекта (что вполне типично в осветительных установках системы телеприсутствия).

Относительная разница может быть разницей в характеристическом спектре, захваченном в соседних пикселах или наборах пикселов. В частности, характеристический спектр пиксела может быть относительной интенсивностью различных частотных компонентов, таких как, например, красный, синий, зеленый (НОВ) пикселы. Например, субъект в видео может быть освещен сзади источниками света, которые излучают свет, имеющий другой частотный спектр по сравнению со светом, излучаемым из источника света, освещающим субъект спереди. В результате, относительная интенсивность частотных компонентов каждого пиксела будет зависеть от того, освещается ли область, представленная пикселом, главным образом, передними источниками света или задними источниками света. Контур субъекта может быть идентифицирован, когда присутствует изменение выше предварительно определенного уровня

- 3 018293 в относительной интенсивности частотных компонентов соседних пикселов или наборов пикселов. Например, белые БЕЭ могут формировать острые пики на очень точных частотах, давая в результате характеристический спектр пиксела, который отличается от характеристического спектра, который будет получен от источника света, который формирует свет в широком диапазоне частот, такой как свет вольфрамовой лампы.

Идентификация контура может содержать определение предварительно установленного числа последовательных пикселов, которые имеют атрибут (например, яркость и/или цвет), который контрастирует с атрибутом соседнего предварительно установленного числа последовательных пикселов. Задавая предварительно установленное число пикселов в соответствующее пороговое значение, процессор ошибочно не идентифицирует случайный шум как контур субъекта (число пикселных артефактов, сформированных посредством шума, гораздо меньше, чем число пикселов, сформированных сходными небольшими объектами субъекта). В одном варианте осуществления видеопроцессор имеет средство регулировки предварительно установленного числа (т.е., регулировки порогового значения, при котором контрастирующие пикселы считаются вызванными присутствием субъекта, а не шумовым артефактом).

Процессор может быть выполнен с возможностью модификации кадра, чтобы предоставлять линию пикселов с ярким относительным свечением вдоль идентифицированного контура. Каждый пиксел яркого относительного свечения может иметь такой же цвет, что и соответствующий пиксел, который он заменил. Применение пикселов с ярким свечением может улучшать реализм изображения изолированного субъекта и/или привидения Пеппера, созданного посредством обработанного видеопотока, поскольку яркий контур света вокруг субъекта может помогать создавать иллюзию того, что изображение является трехмерным, а не двухмерным изображением. Кроме того, за счет использования одинакового цвета для пикселов с ярким свечением применение пикселов с ярким свечением не визуализирует изображение нереалистично.

В одной конфигурации идентификация контура субъекта содержит уменьшение глубины цвета кадра, чтобы создавать кадр с уменьшенной глубиной цвета, сканирование кадра с уменьшенной глубиной цвета, чтобы идентифицировать область кадра, содержащую пикселы или наборы пикселов, которые имеют контраст выше предварительно определенного порогового значения, сканирование пикселов в области исходного кадра (которая не имеет уменьшенной глубины цвета), соответствующей идентифицированной области кадра с уменьшенной глубиной цвета, чтобы идентифицировать пикселы или наборы пикселов, которые имеют контраст выше предварительно определенного уровня, и определение контура как непрерывной линии между этими пикселами или наборами пикселов.

Эта конфигурация является преимущественной, поскольку сканирование может первоначально выполняться с меньшей степенью детализации по кадру с уменьшенной глубиной цвета, и только идентифицированная область исходного кадра должна сканироваться с высокой степенью детализации. Таким образом, идентификация контура может выполняться быстрее.

Согласно седьмому аспекту изобретения предоставляется носитель данных, имеющий сохраненные на нем инструкции, которые, когда выполняются процессором, инструктируют процессору принимать видеопоток, идентифицировать контур субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня, и определять контур как непрерывную линию между этими пикселами или наборами пикселов, делать пикселы, которые выходят за пределы контура, предварительно выбранного цвета, предпочтительно черного, и передавать обработанный видеопоток.

Видеопроцессор может быть частью кодека согласно первому аспекту изобретения, видеопроцессором, обрабатывающим видеопоток перед кодированием видеопотока, или альтернативно, может быть расположен выше по технологическому потоку, чем кодек, который кодирует видеопоток. Изолирование/исключение субъекта из фона может допускать использование дополнительных технологий улучшения как части процесса кодирования кодека.

Согласно восьмому аспекту изобретения предоставляется способ съемки субъекта, который должен быть спроецирован как привидение Пеппера, способ содержит съемку субъекта под осветительной установкой, имеющей один или более передних источников света для освещения субъекта спереди и один или более задних источников освещения для освещения субъекта сзади, при этом передние источники освещения излучают свет, имеющий характеристический частотный спектр, который отличается от характеристического частотного спектра света, излучаемого задними источниками освещения.

Передние источники освещения могут быть источниками освещения, которые излучают свет в широком диапазоне частот, такими как вольфрамовая или галогенная лампа, или излучают свет, имеющий множественные частотные (по меньшей мере, более двух) пики, рассеянные по спектру видимого света, например свет дуговых ламп. Задние источники освещения могут быть источниками освещения, которые излучают свет на одной или двух конкретных частотах, например ЬЕЭ-источники освещения. Следует понимать, однако, что в другом варианте осуществления передние источники освещения могут быть ЬЕЭ-источниками освещения, а задние источники освещения - вольфрамовыми, галогенными или дуговыми лампами.

- 4 018293

В альтернативном варианте осуществления передние и задние источники освещения являются источниками освещения одного типа, но выполнены с возможностью излучения света, имеющего частотный спектр, сконцентрированный на различных частотах. Например, передние и задние источники освещения могут быть дуговыми лампами, передние источники освещения выполнены с возможностью излучения белого света, тогда как задние источники освещения выполнены с возможностью излучения синего света. Это опять же будет создавать разницу в характеристическом частотном спектре, поскольку желтая часть спектра отсутствует в пикселах результирующего отснятого видеоматериала, который захватывает области, главным образом, освещенные задними источниками освещения.

В дополнительном варианте осуществления передние и задние источники освещения могут быть выполнены с возможностью излучения света на различных частотах вне диапазона зрения обычного человека, но которые могут быть обнаружены в подходящем оборудовании, например инфракрасный или ультрафиолетовый свет.

Способ может содержать выполнение спектрального анализа результирующего отснятого видеоматериала, чтобы идентифицировать контур субъекта. Спектральный анализ может выполняться с помощью видеопроцессора согласно шестому аспекту изобретения.

Способ может содержать измерение характеристического частотного спектра, присутствующего, когда один из задних источников освещения и передних источников освещения включается, а другой из передних источников освещения и задних источников освещения выключается, и идентификацию контура субъекта в результирующем отснятом видеоматериале посредством идентификации пикселов в отснятом видеоматериале, при этом измеренный характеристический частотный спектр выше предварительно определенного порогового значения.

Согласно девятому аспекту изобретения предоставляется видеопроцессор, содержащий видеовход для приема видеопотока, видеовыход для передачи обработанного видеопотока, при этом процессор выполнен с возможностью идентификации контура субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня, и модифицировать один или оба этих пиксела или набора пикселов, чтобы они имели более яркое свечение, чем первоначальное свечение любого из двух пикселов или наборов пикселов.

Согласно десятому аспекту изобретения предоставляется носитель данных, имеющий сохраненные на нем инструкции, которые, когда выполняются процессором, инструктируют процессору принимать видеопоток, идентифицировать контур субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня вследствие темного фона по сравнению с ярким субъектом, и модифицировать один или оба из этих пикселов или наборов пикселов, чтобы они имели более яркое свечение, чем первоначальное свечение любого из двух пикселов или наборов пикселов.

Согласно одиннадцатому аспекту изобретения предоставляется кодек, содержащий видеовход для приема видеопотока субъекта, кодер для кодирования видеопотока в результирующий закодированный видеопоток и видеовыход для передачи закодированного видеопотока, кодер выполнен с возможностью обработки каждого кадра видеопотока посредством идентификации контура субъекта, например, способом шестого аспекта изобретения и кодирования пикселов, которые находятся в пределах контура, в то же время игнорируя пикселы, которые выходят за пределы контура, чтобы формировать закодированный видеопоток.

Одиннадцатый аспект изобретения может быть преимущественным, поскольку за счет кодирования только субъекта и игнорирования остальной части каждого кадра размер закодированного видеосигнала может быть уменьшен. Это может помогать уменьшать требуемую полосу пропускания и задержку сигнала во время передачи.

Пикселы, которые выходят за пределы контура, могут быть проигнорированы посредством фильтрации пикселов, имеющих определенный цвет или диапазон цветов, например черный, или диапазон от черного до серого, или пикселы, имеющие свечение ниже конкретного уровня. Альтернативно, пикселы, которые выходят за пределы контура, могут быть идентифицированы из пикселов с ярким свечением, которые определяют контур субъекта, и пикселы по одну сторону (снаружи) этого контура из пикселов с ярким свечением игнорируются. Использование пикселов с ярким свечением в качестве ориентира для того, чтобы удалять нежелательный фон, может быть полезным, поскольку темные и/или пикселы с низким свечением, присутствующие в субъекте могут быть сохранены, не допуская нежелательного размытия этих частей субъекта.

Кодер может содержать мультиплексор для мультиплексирования видеопотока. Пикселы, которые находятся в пределах контура субъекта, могут быть поделены на ряд сегментов, и каждый сегмент передается по отдельной несущей частоте как мультиплексированный сигнал с частотным разделением (ΡΌΜ). Это потенциально уменьшает необходимость сжатия, при необходимости, требуемого для видеопотока. Мультиплексирование с частотным разделением будет обеспечивать дополнительную пропуск

- 5 018293 ную способность, позволяющую кодеку растягивать видеопоток на первоначальной временной основе, в то же время минимизируя сжатие, при необходимости. Таким образом, задержка сигнала уменьшается, в то же время передаваемая информация увеличивается.

В одном варианте осуществления кодер может содержать устройство масштабирования, чтобы масштабировать размер изображения, как требуется, на основе доступной пропускной способности. Например, если нет достаточной пропускной способности, чтобы передавать 4:4:4 ВСВ-сигнал, изображение может быть масштабировано, чтобы уменьшать 4:4:4 ВСВ-сигнал до 4:2:2 УИУ-сигнала. Это может требоваться для того, чтобы уменьшать задержку сигнала так, что, например, сеанс вопрос-ответ может происходить между субъектом изолированного субъекта и/или привидения Пеппера и человеком в местоположении, где изолированный субъект и/или привидение Пеппера отображается.

Настройка формата кодирования, такого как сжатие, частота кадров и т.д. почти в каждом случае будет влиять на уровень задержки сигнала. Для предварительно установленных кодеков задержка сигнала может быть определена заранее с помощью соответствующих измерений, и видео и звук, синхронизированные в местоположении, где изолированный субъект и/или привидение Пеппера отображается, принимают во внимание задержку сигнала. Однако с переключаемыми кодеками согласно изобретению, в котором формат кодирования может изменяться во время передачи видеопотока, изменения в задержке сигнала должны учитываться для того, чтобы сохранять синхронизированный звук и видео. Кроме того, даже для систем, содержащих предварительно установленные кодеки, задержка сигнала изменяется во время и/или между передачами видеопотоков, например, вследствие непредсказуемых изменений в маршрутизации по сети, например по сети связи.

Согласно двенадцатому аспекту изобретения предоставляется кодек, содержащий видеовход для приема видеопотока и ассоциированного аудиопотока, кодер для кодирования видео- и аудиопотоков и видеовыход для передачи закодированного видео- и аудиопотоков другому кодеку, при этом кодек выполнен с возможностью во время передачи видео- и аудиопотоков, периодически передавать другому кодеку тестовый сигнал (сигнал проверки связи), принимать эхосигнал в ответ на тестовый сигнал от другого кодека, определять из времени между отправкой тестового сигнала и приемом ответного эхосигнала задержку сигнала для передачи другому кодеку и вводить соответствующую задержку в или дополнительный аудиопоток для определенной задержки сигнала.

Согласно тринадцатому аспекту изобретения предоставляется кодек, содержащий видеовход для приема от другого кодека закодированного видеопотока и ассоциированного аудиопотока, декодер для декодирования видео- и аудиопотоков и видеовыход для передачи декодированного видео- и аудиопотоков, при этом кодек выполнен с возможностью во время передачи видео- и аудиопотоков передачи ответного эхосигнала другому кодеку в ответ на прием тестового сигнала (сигнала проверки связи).

Таким образом, кодеки могут компенсировать изменения в задержке сигнала, вызываемой передачей между двумя кодеками, поддерживая подавление эха и/или синхронизацию видео- и аудиопотоков. Фиксированная задержка времени для остальной части системы (т.е., все за исключением задержки сигнала, вызванной передачей между двумя кодеками) может быть запрограммирована в кодеке согласно одиннадцатому аспекту изобретения, и кодек может определять соответствующую задержку, чтобы вносить ее в аудиопоток, добавляя определенную задержку сигнала к фиксированной задержке времени. Например, дополнительные фиксированные задержки могут быть привнесены в результате обработки сигнала и от задержек аудиосистем и систем отображения в местоположении, в котором изолированный субъект и/или привидение Пеппера отображается, и эти задержки могут быть измерены перед передачей видео- и аудиопотоков и предварительно запрограммированы в кодеке.

Согласно четырнадцатому аспекту изобретения предоставляется система для передачи множества видеопотоков, которые должны отображаться как изолированный субъект и/или привидение Пеппера, содержащая кодек для приема множества видеопотоков, кодирования множества видеопотоков и передачи закодированного множества видеопотоков в удаленное местоположение, при этом множество видеопотоков синхронизируются при формировании (синхронизированы) на основе одного из множества видеосигналов.

Система согласно четырнадцатому аспекту изобретения является преимущественной, поскольку она гарантирует, что видеопотоки синхронизированы, когда отображаются как изолированное изображение и/или привидение Пеппера. Например, система может быть частью канала связи, в которой множество участников/субъектов в одном местоположении снимаются на камеру, и получающееся в результате множество видеопотоков передается в другое местоположение. Для того, чтобы гарантировать синхронизацию видеопотоков при отображении, видеопотоки синхронизируются посредством кодека.

Следует понимать, что каждый аспект изобретения может быть использован независимо или в комбинации с другими аспектами изобретения.

Варианты осуществления изобретения будут сейчас описаны только в качестве примера, со ссылкой на сопровождающие чертежи, на которых:

фиг. 1 - это схематический вид системы телеприсутствия согласно варианту осуществления изобретения;

фиг. 2 - это схематический вид кодека согласно варианту осуществления изобретения;

- 6 018293 фиг. 3 - это схематический вид съемочной установки согласно варианту осуществления изобретения;

фиг. 4 - это схематический вид устройства для создания привидения Пеппера в соответствии с вариантом осуществления изобретения;

фиг. 5 - это кадр видеоизображения, схематически показывающий обработку кадра кодеком;

фиг. 6 - это схематический вид аудиоэлектронной аппаратуры системы телеприсутствия согласно варианту осуществления изобретения; и фиг. 7 и 8 - это схематические чертежи осветительной установки для съемки субъекта, который должен быть спроецирован как изображение привидения Пеппера.

Фиг. 1 показывает систему телеприсутствия согласно варианту осуществления изобретения, содержащую первое местоположение 1, в котором субъект, который должен отображаться как привидение Пеппера, снимается на камеру, и второе местоположение 2, удаленное от первого местоположения 1, в котором привидение Пеппера субъекта воспроизводится. Данные передаются между первым местоположением 1 и вторым местоположением 2 по двунаправленному каналу 20 связи, например Интернету или МРЬ8-сети, оба из них могут использовать виртуальную частную сеть или т.п.

Обращаясь к фиг. 1, 3, 7 и 8, первое местоположение 1, которое может быть киносъемочной студией, содержит камеру 12 для захвата изображения субъекта 104, такого как исполнитель или участник встречи, который должен быть спроецирован в качестве привидения Пеппера в местоположении 2. В интерактивной системе, где субъект 104 должен взаимодействовать с человеком (людьми) во втором местоположении 2, первое местоположение может содержать полупрозрачный экран 108, например пленку, как описано в АО 2005096095 или АО 2007052005, и проекционный прибор 14 для проецирования изображения на полупрозрачный экран 108 так, что субъект 104 может видеть отражение 118 спроецированного изображения на полупрозрачном экране 108. Пол студии покрыт черным материалом 112, чтобы предотвращать блеск/блик, создаваемый в линзах камеры в результате присутствия полупрозрачного экрана 108.

Субъект 104 освещается осветительной конструкцией, содержащей передние источники 403-409 освещения для освещения субъекта спереди (со стороны субъекта, которая захватывается камерой 12) и задние источники 410-416 освещения для освещения субъекта сзади и сбоку.

Передние источники 403-409 освещения содержат источники освещения для освещения различных частей субъекта 104, в этом варианте осуществления пара верхних передних источников 403, 404 освещения для освещения головы и туловища субъекта и пара нижних передних источников 405, 406 освещения для освещения ног и ступней субъекта. Передние источники освещения дополнительно содержат верхний источник 407 освещения глаз для освещения глаз субъекта и два встроенных в пол источника 408, 409 освещения для подъема теней в одежде субъекта.

Задние источники 410-416 освещения также содержат источники освещения для освещения различных частей субъекта 104. В этом варианте осуществления задние источники 410-416 освещения содержат верхние задние источники 410, 411 освещения для освещения головы и туловища субъекта и пару нижних задних источников 412, 413 освещения для освещения ног и ступней субъекта 104. Задние источники освещения дополнительно содержат верхний центральный задний источник 414 освещения для освещения головы и талии субъекта 104. Боковые источники 415 и 416 освещения освещают бока субъекта 104.

Субъект 105 освещается сверху источниками 417 и 418 освещения. Одноцветный фон 419, такой как черная стена, обеспечивает пустой фон.

Камера 12 содержит широкоугольный объектив с регулируемой скоростью срабатывания затвора; частоты кадров могут регулироваться между 25-120 кадрами в секунду (кадр/с) с чересстрочной разверткой; может снимать со скоростью вплоть до 60 кадр/с с прогрессивной разверткой.

Видеопоток необработанных данных, сформированный камерой 12, подается на вход 53 первого кодека 18. Кодек 18 может быть интегрирован в или быть отдельным от камеры 12. В другом варианте осуществления камера может выводить видеопоток с прогрессивной разверткой, чересстрочной разверткой или в другом предварительно заданном формате в первый кодек 18.

Первый кодек 18 кодирует видеопоток, как описано ниже со ссылкой на фиг. 2, и передает закодированный видеопоток по каналу 20 связи во второе местоположение 2.

Обращаясь теперь к фиг. 1 и 4, второе местоположение 2 содержит второй кодек 22, который принимает закодированный видеопоток и декодирует видеопоток для отображения в качестве привидения Пеппера 84 с помощью устройства, показанного на фиг. 4.

Устройство содержит проектор 90, который принимает декодированный видеопоток, выведенный вторым кодеком 22, и проецирует изображение на основе декодированного видеопотока на полупрозрачный экран 92, поддерживаемый между стойкой 88 и такелажной точкой 96. Предпочтительно проектором 90 является 1080 НО, способный обрабатывать видеопотоки как с прогрессивной, так и чересстрочной разверткой. Полупрозрачный экран 92 является экраном из пленки, который описан в АО 2005096095 и/или АО 2007052005.

Участник 100 аудитории, смотрящий на полупрозрачный экран 92, воспринимает изображение 84, отражаемое полупрозрачным экраном на сцене 86. Аудитория 100 смотрит на изображение 84 через пе

- 7 018293 реднюю маску 94 и 98. Черная драпировка 82 предусмотрена позади сцены 86, чтобы обеспечивать фон спроецированному изображению. Соответствующий звук воспроизводится через динамик 30.

В одном варианте осуществления местоположение 2 может дополнительно содержать камеру 26 для съемки участников 100 аудитории или действия на сцене 86 и микрофон 24 для записи звука в местоположении 2. Камера способна обрабатывать видеопотоки и с прогрессивной, и с чересстрочной разверткой. Видеопотоки, сформированные посредством камеры 26, и аудиопотоки, сформированные посредством микрофона 24, подаются в кодек 22 для передачи в местоположение 1.

Видео, переданное в местоположение 1, декодируется первым кодеком 18, и прибор 14 для проекции проецирует изображение на основе декодированного видеосигнала, так что изображение 118, воспроизведенное на экране 108, может быть видно субъекту 104. Передаваемый звук воспроизводится через динамик 16.

В этом варианте осуществления кодеки 18 и 22 идентичны, однако следует понимать, что в другом варианте осуществления кодеки 18 и 22 могут быть различными. Например, если местоположение 2 не содержит камеру 26 и микрофон 24 для подачи видео- и аудиопотоков в местоположение 1, кодек 22 может быть просто декодером для приема видео- и аудиопотоков, а кодек 18 может просто быть кодером для кодирования видео- и аудиопотоков.

Первый и второй кодеки 18 и 22 находятся в соответствии с кодеком 32, показанным на фиг. 2. Кодек 32 имеет видеовход 33 для приема непрерывного видеопотока, захваченного камерой 12 или 26, и аудиовход 35 для приема аудиопотока, записанного посредством микрофона 10 или 24. Записанный видеопоток подается через фильтр и корректор 53 временных искажений, отфильтрованный и откорректированный по времени видеосигнал подается в видеопроцессор, в этом варианте осуществления оптический усилитель 36 четкости (Θ8Ε). В этом варианте осуществления Θ8Ε 36 показан как часть кодека 32, но следует понимать, что в другом варианте осуществления Θ8Ε 36 может быть отдельным от кодека 32.

Обращаясь к фиг. 5, (Θ8Ε) выполнен с возможностью идентификации контура 201 субъекта 202 в каждом кадре видеопотока посредством сканирования пикселов каждого кадра 203 видеопотока, чтобы идентифицировать пикселы 204, 204' или наборы пикселов 205 (показана только часть из них) 205', которые имеют контраст выше предварительно определенного уровня, и определять контур как непрерывную линию между этими пикселами 204, 204' или наборами пикселов 205, 205'. На фиг. 5 пикселы 204 с низким свечением и наборы пикселов 205 показаны штриховыми линиями, пикселы с ярким свечением показаны пустыми и последовательностями точек.

Следует понимать, что точная яркость пикселов с низким и ярким свечением будет изменяться от пиксела к пикселу, и заштрихованные и пустые пикселы предназначены, чтобы представлять диапазон возможного низкого и яркого свечения.

Контраст может быть определен посредством получения разности между свечением соседних пикселов 204, 204' или соседних наборов пикселов 205, 205' и делением на среднее свечение всех пикселов кадра 203. Если контраст между пикселами 204, 204' или наборами пикселов 205, 205' выше предварительно определенного уровня, тогда определяется, что эти пикселы составляют контур субъекта в кадре. В типичных системах для создания изображений изолированного субъекта или привидений Пеппера субъект снимается на камеру перед темным, обычно черным задним фоном, так что фон вокруг субъекта является темным, таким образом, создавая изображение, в котором пикселы 204 с низким свечением представляют фон. Кроме того, субъект обычно подсвечивается задними и боковыми источниками освещения, что создает вокруг контура субъекта контур света, а, следовательно, и пикселы яркого свечения вокруг субъекта, которые контрастируют с пикселами низкого свечения, которые представляют фон.

Посредством сканирования по кадру 203 Θ8Ε 36 способен захватывать первый образец, если имеется высокий контраст (контраст выше предварительно установленного уровня), и предполагает, что предварительно определенный уровень правильно установлен, это должна быть граница между пикселами низкого свечения, показывающими фон, и пикселами яркого свечения, показывающими контур света.

Процесс сканирования может выполняться любым подходящим образом. Например, процесс сканирования может сканировать каждый пиксел, начиная с одной стороны и продолжая горизонтально, вертикально или диагонально, или может одновременно сканировать с противоположных сторон. Если, в первом случае, сканирование проходит по всему кадру 203, или, в последнем случае, два сканирования встречаются посередине без обнаружения высокого контраста между пикселами или наборами пикселов, 08Ε 36 определяет, что субъект не присутствует на этой линии.

Идентификация контура может содержать сравнение соседних пикселов 204, 204', чтобы определять, имеют ли пикселы контраст выше предварительно определенного уровня, или может содержать сравнение соседних наборов пикселов 205, 205', чтобы определять, имеют ли наборы пикселов 205, 205' контраст выше предварительно определенного уровня. Преимущество последнего случая в том, что он может не допускать идентификации посредством Θ8Ε 36 шумовых артефактов в качестве контура субъекта. Например, шум может привноситься в кадр 203 за счет электронной передачи и обработки видеопотока, которые могут давать в результате случайные пикселы 206 и 207 яркого и низкого свечения в кадре 203. Сравнивая свечение наборов пикселов 205, 205', а не свечение отдельных пикселов 204, 204', Θ8Ε 36 может быть способен различать между шумом и контуром субъекта.

- 8 018293

В этом варианте осуществления предварительно установленное число, соответствующее набору пикселов, равно трем последовательным пикселам, но набор пикселов может содержать другое количество пикселов, например 4, 5 или 6 пикселов. Соответственно, задавая предварительно определенное число пикселов в соответствующее пороговое значение, процессор ошибочно не идентифицирует случайный шум как контур субъекта (число пикселных артефактов, сформированных посредством шума, гораздо меньше, чем число пикселов, сформированных сходными небольшими объектами субъекта).

В одном варианте осуществления кодек 32/О8Е 36 может иметь средство для регулировки предварительно установленного числа пикселов, которое формирует набор пикселов. Например, кодек 32/О8Е 36 может иметь блок пользовательского ввода, который позволяет пользователю выбирать число пикселов, которые формируют набор пикселов. Это может быть желательно, поскольку пользователь может устанавливать глубину детализации, с которой осуществлять сканирование для поиска контура субъекта на основе количества шума, которое, как считает пользователь, могло быть привнесено в видеопоток.

О8Е 36 может сравнивать наборы пикселов 205, 205', суммируя свечение всех пикселов, которые формируют набор, находя разницу между суммами свечения для двух наборов пикселов и деля разницу на среднее свечение пиксела для кадра 203. Если получившееся в результате значение выше предварительно определенного значения, определяется, что граница между наборами пикселов составляет контур субъекта. Каждый пиксел может формировать часть более чем одного набора пикселов, например, сканирование может сначала сравнивать контраст между первым, вторым и третьим пикселами линии с четвертым, пятым и шестым пикселами и затем сравнивает контраст второго, третьего и четвертого пикселов линии с пятым, шестым и седьмым пикселами.

После того как О8Е 36 идентифицировал контур субъекта, О8Е 36 модифицирует кадр, чтобы предоставлять линию пикселов (показанных посредством пикселов 208 с точками) с ярким относительным свечением вдоль идентифицированного контура. Например, пикселы с точками могут иметь свечение, которое выше, чем любой другой пиксел в кадре 203. В кадре, показанном на фиг. 5, три пиксела контура были модифицированы, чтобы быть пикселами с ярким относительным свечением, а другие пикселы, такие как 204', контура еще должны быть изменены. Каждый пиксел 208 яркого относительного свечения может иметь такой же цвет, что и соответствующий пиксел, который он заменил. Применение пикселов 208 с ярким свечением может улучшать реализм привидения Пеппера, созданного посредством обработанного видеопотока, поскольку яркий контур света вокруг субъекта может помогать создавать иллюзию того, что изображение является трехмерным, а не двухмерным изображением. Кроме того, используя одинаковый цвет для пикселов 208 с ярким свечением, применение пикселов 208 с ярким свечением не выводит изображение нереалистично.

О8Е 36 дополнительно делает пикселы низкого свечения, которые выходят за пределы контура, черными или другого предварительно выбранного цвета, который подходит для отображения (типично того же цвета, что и задний фон/драпировка 82).

В одном варианте осуществления О8Е 36 может выполнять два сканирования кадра, одно, когда глубина цвета кадра понижается, что уменьшает степень детализации в контрасте, но позволяет сканировать быстрее, чтобы идентифицировать область, где край субъекта может находиться, и второе по кадру с полной глубиной цвета только в области (например, десятки пикселов в ширину/высоту) вокруг позиции, где край был идентифицирован в кадре с уменьшенной глубиной цвета. Такой процесс может сокращать время, которое тратится на то, чтобы найти край субъекта.

Обращаясь к фиг. 2, обработанный видеопоток выводится из О8Е 36 в кодер 42. Кодер 42 выполнен с возможностью кодирования принятого видеопотока в выбранный формат кодирования, такой как видеосигнал с прогрессивной разверткой, 720р, 1080р или видеосигнал с чересстрочной разверткой, 10801, и/или сжатия видеосигнала, например, предоставляя переменную скорость передачи данных между вариантом без сжатия и вариантом со сжатием видеосигнала примерно до 1,5 Мбит/с.

Аудиосигнал также подается в кодер 42 и кодируется в соответствующем формате.

Кодирование может содержать кодирование пикселов, которые находятся в пределах контура, одновременно игнорируя пикселы, которые выходят за пределы контура, чтобы формировать закодированный видеопоток. Пикселы, которые находятся в пределах контура, могут быть идентифицированы из пикселов 208 с ярким свечением, вставленных посредством О8Е 36.

Закодированный видеопоток и закодированный аудиопоток подаются в мультиплексор 46, и мультиплексированный сигнал выводится через соединение 48 подачи сигнала в двунаправленный канал 20 связи через вход/выход 37.

В этом варианте осуществления пикселы, которые находятся в пределах контура субъекта, делятся на ряд сегментов, и каждый сегмент передается по отдельной несущей частоте как мультиплексированный сигнал с частотным разделением (ΕΌΜ). Мультиплексирование с частотным разделением обеспечивает дополнительную пропускную способность, позволяя кодеку растягивать сигнал на первоначальной временной основе, в то же время минимизируя сжатие, при необходимости. Таким образом, задержка сигнала уменьшается, в то же время передаваемая информация увеличивается.

Кодек 32 дополнительно содержит средство 39 переключения, выполненное с возможностью переключения кодера 42 между множеством режимов, в которых видеосигнал кодируется в соответствии с

- 9 018293 различным форматом кодирования. Средство 39 переключения и кодер 42 сконфигурированы так, что переключение между режимами может происходить во время передачи непрерывного видеопотока, т.е., переключение происходит без прерывания передачи видеопотока таким образом, чтобы не мешать непрерывному проецированию видео (в реальном времени) в местоположении 2 или 1, чтобы создавать привидение Пеппера. Средство 39 переключения инструктирует кодеру 42 переключать режимы в ответ на принятый сигнал управления в этом варианте осуществления от пользователя, активировавшего переключатель 41 или 43.

Кодек 32 также принимает закодированный видео- и аудиопоток из двунаправленного канала 20, и подающее соединение 48 направляет принятый сигнал в демультиплексор 50. Видео- и аудиопотоки демультиплексируются, и демультиплексированные сигналы подаются в декодер 44.

Декодер 44 выполнен с возможностью декодирования принятого видеопотока из выбранного формата кодирования, такого как видеосигнал с прогрессивной разверткой, 720р, 1080р, или видеосигнал с чересстрочной разверткой, 10801, и/или осуществляет восстановлению видеосигнала, чтобы получать в результате видеопоток, подходящий для отображения.

Декодированный видеопоток подается в корректор 40 временных искажений и выводится на устройство 90 или 20 отображения через выход 47. Декодированный аудиопоток подается в эквалайзер 38, который корректирует диапазон отклонений сигнала и выводит аудиопоток в динамик 30 или 14 через выход 49.

Средство 45 переключения выполнено с возможностью переключения кодера 44 между множеством режимов, в которых видеосигнал декодируется в соответствии с различным форматом кодирования. Средство 45 переключения и декодер 44 сконфигурированы так, что переключение между режимами может происходить во время передачи непрерывного видеопотока, т.е., переключение происходит без прерывания передачи видеопотока таким образом, чтобы не мешать непрерывному проецированию видео (в реальном времени) в местоположении 1 или 2. Средство 45 переключения инструктирует декодеру 45 переключать режимы в ответ на принятый сигнал управления, в этом варианте осуществления от пользователя, активировавшего переключатель 43 или 41. В этом варианте осуществления средство 45 переключения кодека 18 реагирует на активацию пользователем переключателя 43, и средство 45 переключения кодека 22 реагирует на активацию пользователем переключателя 43.

Кодер 42 и декодер 44 могут также быть способны преобразовывать видеопоток из одного размера или разрешения в другое, как требуется системой. Это позволяет системе приспосабливать видеоизображение, как требуется для проецирования и/или передачи. Например, видеоизображение может быть спроецировано как окно в более крупном изображении, и, следовательно, должно быть уменьшено по размеру и/или разрешению. Альтернативно или дополнительно, видеоизображение может быть масштабировано на основе доступной пропускной способности. Например, если нет достаточной пропускной способности, чтобы передавать 4:4:4 сигнал, изображение может быть масштабировано, чтобы уменьшать 4:4:4 ВСВ-сигнал до 4:2:2 УИУ-сигнала. Это может потребоваться для того, чтобы уменьшать задержку сигнала так, что, например, сеанс вопрос-ответ может происходить между субъектом привидения Пеппера и человеком в местоположении, где привидение Пеппера отображается. При наличии кодека с встроенным средством масштабирования использование отдельного устройства масштабирования видео необязательно, что снижает необходимость другого уровня аппаратных средств и может увеличивать сложность системы.

Кодек 32 выполнен с возможностью применения задержки к аудиопотоку для того, чтобы гарантировать, что видео- и аудиопотоки перемещаются/звучат синхронно в местоположении, куда они отправлены, и обеспечивать подавление эха. В одном варианте осуществления задержка, примененная к аудиосигналу, является переменной задержкой, определенной на основе задержки сигнала, измеренной во время передачи видео- и аудиосигналов. Фиг. 6 иллюстрирует устройство кодека, которое может выполнять такую задержку звука. В устройстве кодека, показанном на фиг. 6, модуль задержки звука/модуль подавления звука 301, 301' располагается между аудиовходом 335, 335' и аудиовыходом 343, 343', и переменная задержка, применяемая к аудиовыходу, основывается на способе, описанном ниже.

Кодек 32 запрограммирован с фиксированной временной задержкой, и во время передачи видео и аудиопотоков кодек 318 или 322 периодически передает другому кодеку 322 или 318 тестовый сигнал (сигнал проверки связи). В ответ на прием тестового сигнала другой кодек 322 или 318 отправляет ответный эхосигнал кодеку 318, 322. Из времени между отправкой тестового сигнала и получением ответного эхосигнала кодек 318, 322 может определять задержку сигнала для передачи. Мгновенная общая задержка по времени определяется посредством сложения задержки сигнала с фиксированной задержкой, и эта общая задержка по времени вводится в аудиопоток.

Предварительно запрограммированная фиксированная задержка по времени используется, чтобы принимать во внимание задержки в передаче аудиосигнала от других источников, отличной от передачи между кодеками 318, 322. Например, задержки могут быть вызваны задержкой сигнала, вызванной обработкой видеопотоков, и задержкой в динамиках 316, 330 для вывода передаваемого звука. Фиксированная задержка по времени может быть определена перед передачей аудио- и видеопотоков посредством настройки всех микрофонов 310, 324 и динамиков 316, 330 на опорный уровень и затем отправки им

- 10 018293 пульса в 1КГц (например, имеющий продолжительность в единицы или десятки миллисекунд) с фиксированным уровнем шума в децибелах, например, - 18дБ полной шкалы на вход кодека 318, 322 для измерения времени, которое он тратит для передачи импульса с выхода кодека, импульса, передаваемого другому кодеку 322, 318 через аудиосистему, например, с динамика 318, 330 на микрофон 310, 324, соединенный с другим кодеком 322, 318, обратно на вход другого кодека 322, 318 и обратно первому кодеку 318, 322. Это будет давать внутреннюю задержку в системе для передачи импульса. Задержка сигнала на линии 320 передачи затем измеряется, как описано выше, и определенная задержка сигнала вычитается из измеренной общей задержки. Это дает фиксированную задержку по времени для звука, возникающую из источников, отличных от передачи между двумя кодеками 318, 322002Е.

Как описано выше, во время передачи видео- и аудиопотоков измеренная задержка сигнала (переменная задержка по времени) может быть добавлена к фиксированной задержке по времени, чтобы давать мгновенную общую задержку по времени в системе, и эта определенная мгновенная задержка по времени используется для подавления эхо.

Подавление эхо достигается посредством разделения аудиопотока, подаваемого на вход кодека 318, 322, и подачи одного из разделенных аудиопотоков в модуль 310, 301' подавления эхо. Модуль 318, 322 подавления эхо также принимает мгновенную общую фиксированную задержку по времени, определенную кодеком 318, 322. Модуль 318, 322 подавления эхо задерживает аудиопоток, который он принимает, и инвертирует по фазе аудиопоток. Это задержанный, инвертированный по фазе аудиопоток затем накладывается на выходной аудиопоток, чтобы (по меньшей мере, частично) подавлять эхо входного аудиопотока, присутствующее в выходном аудиопотоке.

В одном варианте осуществления множество видео- и аудиопотоков могут быть переданы между кодеками 18, 22, 318, 322. Например, во втором местоположении 2 как человек (не показан), такой как презентатор, на сцене 86, так и один или более участников 100 аудитории могут быть сняты на камеру, и видео- и аудиопотоки, ассоциированные с этим захватом видео, передаются через кодеки 318, 322 в местоположение 1, где видеопоток отображается как изображение изолированного субъекта и/или призрак Пеппера. Для того, чтобы гарантировать, что изображение множества видеопотоков синхронизировано, множество видеопотоков синхронизируются при формировании (синхронизируются) на основе одного из множества видеосигналов, например видеопотока человека на сцене.

В одном варианте осуществления система позволяет субъекту 104, снимаемому на камеру в первом местоположении 1, смотреть ряд различных видеоматериалов, подаваемых из второго местоположения 2, включающих в себя одно или более из человека на сцене 86, который снимается на фиксированную камеру перед сценой, человека на сцене 86, который снимается на камеру, дающую вид аудитории (включая в себя привидение Пеппера субъекта), камеру, дающую перспективу рабочего-постановщика и одного или более участников 100 аудитории. Субъект может иметь вариант выбора, какой видеопоток просматривать, и/или изменять то, что снимается в каждом видеопотоке. Соответственно, субъект может иметь возможность осуществлять виртуальный полет по второму местоположению 2, имея возможность видеть ряд различных элементов второго местоположения, которые были/в настоящий момент захватываются одной или более камерами. Это может быть реализовано посредством интерфейса сенсорного экрана (не показан), доступного субъекту 104. Интерфейс, который позволяет субъекту 104 взаимодействовать с кодеком 18, 22, 318, 322, может содержать перспективу точки зрения/вида места встречи, это могут быть места встречи на карте, изображающей многоадресную рассылку, или это может быть каталог других участников, которых субъект 104 может выбирать для просмотра полного видеопотока.

В системе, в которой множественные видеопотоки должны передаваться, может быть предусмотрена стойка кодека, содержащая множество отдельных съемных модулей 32 кодека (блейдов) для каждого видеопотока, который должен быть передан. Например, местоположение 2 может содержать две видеокамеры, одну для съемки действия на сцене 86 и другую для съемки участников 100 аудитории, и оба видеопотока могут передаваться в местоположение 1 для проецирования на проекционном устройстве. Для этого могут потребоваться отдельные кодеки 32, один для каждого видеопотока.

При работе субъект 104 снимается камерой 12, и сформированный видеопоток подается в первый кодек 18 под управлением оператора, например, режиссером 105. Первый кодек 18 кодирует видеосигнал в соответствии с выбранным форматом и передает закодированный видеопоток кодеку 22. Кодек 22 декодирует видеосигнал и подает декодировнный видеопоток на проектор 90, который проецирует изображение на основе видеопотока, чтобы создавать привидение Пеппера 84.

Оператор 105 наблюдает за субъектом 104 во время съемки, и если наблюдатель считает, что определенные требования, такие как возросшее перемещение субъекта 104 или отображение текста или графики, происходят/будут происходить в ближайшем будущем, оператор 105 управляет переключателем 41, чтобы инструктировать кодеку 18 и 22 переключать режимы, чтобы использовать другой формат кодирования. Например, оператор 105 может выбирать формат кодирования с прогрессивной разверткой, когда отображаются текст или графика, сильно сжатый формат кодирования с чересстрочной разверткой, когда присутствует значительное движение субъекта 104, и несжатый формат кодирования с чересстрочной или прогрессивной разверткой, когда снимаемый видеоматериал/субъект содержит много небольших, сложных деталей, которые не хочется потерять при сжатии видеопотока. В одном варианте осуще

- 11 018293 ствления переключателем является меню на экране компьютера, которое позволяет оператору 105 выбирать требуемый формат кодирования.

В одном варианте осуществления система также содержит камеру 24, которая записывает участников аудитории или другого человека в местоположении 2 для отображения на проекционном устройстве 14/118. Тем же образом, которым видеопоток передается в местоположение 2 из местоположения 1, оператор в местоположении 2 может управлять переключателем 43, чтобы переключать кодек 22, чтобы кодировать видеопоток, передаваемый из местоположения 2 в местоположение 1, с помощью другого формата и переключать кодек 18, чтобы декодировать видеопоток с помощью другого формата на основе видеоматериала, снимаемого камерой 26.

В другом варианте осуществления операторы или другой персонал в каждом местоположении могут связываться друг с другом, чтобы обеспечивать обратную связь по любому ухудшению в качестве изображения 84 или 118, и оператор может инструктировать кодеку 18, 22 переключать формат кодирования на основе обратной связи.

В другом варианте осуществления передние источники 403-409 освещения излучают свет, имеющий характеристический частотный спектр, отличный от света, излучаемого задними источниками 410416 освещения. Например, передние источники 403-409 освещения могут быть вольфрамовыми, галогенными или дуговыми лампами, а задние источники 410-416 освещения могут быть ЬЕО-источниками освещения. Вместо поиска относительного свечения пикселов 204, 204' или наборов пикселов 205, 205' в захваченном видео, кодек 18 выполнен с возможностью идентификации контура субъекта из разности в относительной интенсивности различных частотных компонентов соседних пикселов 204, 204' или наборов пикселов 205, 205'.

Типично, каждый пиксел видео содержит различные частотные компоненты, такие как, например, красный, синий, зеленый (ВОВ). Интенсивность каждого частотного компонента будет зависеть от характеристического спектра света, который освещает область, захваченную этим пикселом. Соответственно, сравнивая относительную интенсивность частотных компонентов каждого пиксела, возможно идентифицировать, доминирует ли освещение в этой точке от света, излучаемого передними источниками 404-409 освещения, или от света, излучаемого задними источниками 410-416 освещения. Области, в которых доминирует свет, излучаемый передними источниками 404-409 освещения, будут субъектом 104, при этом свет, излучаемый передними источниками 403-409 освещения, отражает субъект. Области, в которых доминирует свет, излучаемый задними источниками 410-416 освещения, будут вокруг контура субъекта 104. Следовательно, сравнивая относительные интенсивности частотных компонентов соседних пикселов или наборов пикселов, может быть идентифицирован контур субъекта 104.

В другом варианте осуществления система содержит средство для обнаружения доступной пропускной способности, которое автоматически формирует сигнал управления, чтобы переключать кодеки в другой режим, который подходит для доступной пропускной способности. Например, если измеренная задержка сигнала увеличивается больше предварительно определенного уровня, формат кодирования может быть переключен с прогрессивной развертки на чересстрочную или на более высокую степень сжатия.

В другом варианте осуществления кодеки 18 и 22 выполнены с возможностью назначения полосы пропускания различным потокам данных, таким как поток видеоданных, поток аудиоданных и поток управляющих данных, при этом, если кодек 18, 22 идентифицирует уменьшение в потоке аудиоданных или потоке управляющих данных, он переназначает эту доступную полосу пропускания видеопотоку.

В одном варианте осуществления кодеки 18 и 22 могут быть выполнены с возможностью автоматического определения формата кодирования принятого закодированного видеопотока и переключения для декодирования закодированного видеопотока с помощью правильного формата декодирования.

Следует понимать, что кодеки 18 и 20 могут быть осуществлены в программном обеспечении или аппаратных средствах.

Следует понимать, что в изобретении могут быть выполнены изменения и модификации без отступления от рамок формулы изобретения.

Claims (2)

1. ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ формирования телеприсутствия субъекта, содержащий этапы, на которых снимают субъект, чтобы формировать непрерывный видеопоток, передают видеопоток в удаленное местоположение и воспроизводят привидение Пеппера в удаленном местоположении на основе передаваемого видеопотока, при этом передача видеопотока содержит этап, на котором выбирают различные форматы из множества форматов кодирования во время передачи видеопотока на основе изменений в снимаемом действии и изменяют формат кодирования на выбранный формат кодирования во время передачи.
2. 2. Способ по п.1, в котором изменения в действии являются изменениями в величине движения субъекта, изменениями в освещении субъекта, изменениями в уровне взаимодействия снимаемого субъекта с человеком в удаленном местоположении и/или включение текста или графики в изображение, которое должно быть отображено.