EA035886B1 - Гибридное обратно совместимое кодирование и декодирование сигналов - Google Patents

Гибридное обратно совместимое кодирование и декодирование сигналов Download PDF

Info

Publication number
EA035886B1
EA035886B1 EA201591975A EA201591975A EA035886B1 EA 035886 B1 EA035886 B1 EA 035886B1 EA 201591975 A EA201591975 A EA 201591975A EA 201591975 A EA201591975 A EA 201591975A EA 035886 B1 EA035886 B1 EA 035886B1
Authority
EA
Eurasian Patent Office
Prior art keywords
data
signal
pieces
visual representation
encoded
Prior art date
Application number
EA201591975A
Other languages
English (en)
Other versions
EA201591975A1 (ru
Inventor
Лука Россато
Гвидо Меарди
Original Assignee
В-Нова Интернэшнл Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by В-Нова Интернэшнл Лтд. filed Critical В-Нова Интернэшнл Лтд.
Publication of EA201591975A1 publication Critical patent/EA201591975A1/ru
Publication of EA035886B1 publication Critical patent/EA035886B1/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

Предложен способ декодирования гибридного обратно совместимого сигнала, содержащий этапы, на которых синтаксически анализируют поток данных на первые части данных, кодированные в соответствии с ранее существовавшим форматом, и вторые части данных, кодированные в соответствии с форматом иерархического кодирования; декодируют упомянутые первые части кодированных данных таким образом, чтобы получить первое представление упомянутого сигнала с первым уровнем качества; выполняют повышающую дискретизацию упомянутого первого представления упомянутого сигнала с первым уровнем качества, чтобы получить предварительное второе представление упомянутого сигнала со вторым уровнем качества; декодируют вторые части кодированных данных таким образом, чтобы получить данные для восстановления, которые указывают по меньшей мере, как следует модифицировать упомянутое предварительное второе представление сигнала, чтобы получить второе представление сигнала со вторым уровнем качества, имеющее более высокое качество, чем упомянутое первое представление сигнала; и применяют по меньшей мере часть данных для восстановления к предварительному второму представлению сигнала, чтобы сформировать второе представление сигнала со вторым уровнем качества. Данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с одним или более разрешениями элементов отображения, причём первые части кодированных данных декодируются в соответствии с упомянутым ранее существовавшим форматом, и данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с упомянутым форматом иерархического кодирования. Также предложена система для декодирования гибридного обратно совместимого сигнала, реализующая данный способ. Технический результат состоит в повышении эффективных потоков битов, а также в обеспечении масштабируемости при одновременной поддержке обратной совместимости с аппаратными средствами декодирования и/или отображения, которые сконструированы для известных способов декодирования.

Description

Уровень техники
В данной области техники известно множество технологий для того, чтобы решать вопросы, связанные со сжатием и распаковкой многомерных сигналов или сигналов, претерпевающих изменения во времени. Это имеет место для аудиосигналов, видеосигналов и других многомерных сигналов, таких как объемные сигналы, используемые в научных и медицинских областях. Чтобы достигать высоких коэффициентов сжатия, эти технологии используют пространственно-временную корреляцию в сигнале. Традиционные способы идентифицируют ориентир и пытаются определять различие сигнала между текущим местоположением и данным ориентиром. Это выполняется как в пространственной области, в которой ориентир представляет собой часть (например, блок или макроблок) уже принятой и декодированной пространственной плоскости, так и во временной области, в которой один момент времени сигнала (например, видеокадр в последовательности кадров) рассматривается в качестве ориентира в течение определенной длительности. Это имеет место, например, для алгоритмов сжатия в соответствии с семейством MPEG-стандартов, в которых ранее декодированные макроблоки рассматриваются в качестве ориентира в пространственной области, а I-кадры и Р-кадры используются в качестве ориентира для последующих Р-кадров во временной области.
Известные технологии используют пространственную корреляцию и временную корреляцию множеством способов, приспосабливая множество различных технологий для того, чтобы идентифицировать, упрощать, кодировать и передавать разности. В традиционных способах, чтобы использовать пространственную корреляцию остатков внутри блока, выполняется преобразование области (например, в частотную область), а затем выполняются удаление с потерями и квантование преобразованной информации, типично вводя определенную степень артефактов блочности. Во временной области вместо этого традиционные способы передают квантованную разность между текущей выборкой и опорной выборкой с компенсацией движения. Чтобы максимизировать подобие между выборками, кодеры пытаются оценивать возникающие модификации во времени в сравнении с опорным сигналом. Это называется в традиционных способах кодирования (например, технологиях в соответствии с семейством MPEG-стандартов, VP8, VP9 и т.д.) оценкой и компенсацией движения.
Способы кодирования в текущем уровне техники, за исключением небольшого числа попыток, типично игнорируют требование по масштабируемости на основе качества. Способ масштабируемого кодирования должен кодировать одну версию сжатого сигнала и обеспечивать доставку для различных уровней качества, доступностей полосы пропускания и сложности декодера. Масштабируемость учитывается в известных способах, таких как MPEG-SVC и JPEG2000, с относительно плохим приспособлением до сих пор вследствие вычислительной сложности и, вообще говоря, их похожести на немасштабируемые технологии.
Поскольку технологии на основе MPEG-стандарта (например, MPEG2, MPEG4, Н.264, Н.265) представляют собой международные стандарты, разработано множество специализированных аппаратных кристаллов для того, чтобы выполнять декодирование сигналов с помощью специализированных аппаратных блоков. В силу этого для различных технологий кодирования затруднительно получать приспособление вследствие отсутствия экосистемы устройств декодирования. В других случаях передач видео, таких как, например, кабельная передача в устройства отображения через такие способы передачи, как HDMI или DisplayPort, передача видеоконтента в устройства декодирования/отображения ограничивается посредством пропускной способности кабеля передачи. Это делает невозможным передачу видеоконтента выше данного уровня качества (разрешения или частоты кадров) вследствие ограничений кабеля передачи. Поскольку объем данных для передачи становится все большим со временем (вследствие непрерывного увеличения разрешений и частот кадров, поддерживаемых посредством коммерческих устройств отображения), ограничения, накладываемые посредством соединительных кабелей, становятся важными проблемами, зачастую вынуждая устройства декодирования/отображения выполнять различные виды интерполяций (например, интерполяции частоты кадров от 60 до 240 Гц) для того, чтобы восполнить недостаточную пропускную способность кабеля передачи с тем, чтобы справляться с уровнями качества, которое они должны иметь возможность отображать.
В других случаях передачи видео, таких как, например, видеоконференц-связь, крупная установленная база устройств декодера позволяет декодировать только ранее существовавший SD- и/или HD-видеоконтент, тогда как более новые и более мощные системы телеприсутствия могут качественно декодировать видеоконтент с гораздо более высокими разрешениями. Современные способы делают невозможным, за счет одного кодированного потока данных (т.е. без кодирования/транскодирования на множество различных видеопотоков), обслуживание как ранее существовавших устройств декодера, так и более новых устройств декодера. В других случаях распространения видео, таких как, например, Blu-Ray-диски, большая экосистема устройств позволяет декодировать только ранее существовавшие форматы кодирования HD-видео, тогда как новые устройства декодирования позволяют декодировать и отображать UltraHD-видео. Современные способы делают невозможным распространение одного совместимого с ранее существовавшими стандартами Blu-Ray-диска, который может считываться в качестве HD-видео посредством глобально установленной базы ранее существовавших устройств и в качестве UltraHD-видео посредством новых устройств декодирования.
- 1 035886
Раскрытие изобретения
В отличие от традиционных технологий, способы и варианты осуществления в данном документе представляют инновационный подход, чтобы достигать эффективных потоков битов и масштабируемости при одновременной поддержке обратной совместимости с аппаратными средствами декодирования и/или отображения, которые сконструированы для известных способов декодирования.
Способы и варианты осуществления, проиллюстрированные в данном документе, также включают в себя способы формирования обратно совместимого потока, сформированного таким образом, что он декодируется вплоть до первого уровня качества посредством ранее существовавших декодеров и вплоть до одного или более других (более высоких) уровней качества посредством специально адаптированных декодеров.
Помимо достижения цели масштабируемости с обратной совместимостью, использование различных технологий кодирования/декодирования для более высоких уровней качества также позволяет достигать большей эффективности для всего потока битов.
Варианты осуществления в данном документе отличаются от традиционных систем и способов, предоставляя новые способы для того, чтобы декодировать сигнал, с использованием ранее существовавшего способа декодирования для декодирования вплоть до данного уровня качества и нового способа декодирования с тем, чтобы восстанавливать на основе декодированного сигнала с данным уровнем качества визуальное представление сигнала с конечным (более высоким) уровнем качества.
Согласно своему самому широкому аспекту изобретение представляет собой способ для использования существующих аппаратных средств декодирования вплоть до данного разрешения и/или частоты кадров (первого уровня качества) и последующего восстановления одного или более дополнительных уровней качества посредством вычислительно простого, но при этом эффективного способа. Ранее существовавшие устройства декодирования, которые не имеют возможность обновляться таким образом, чтобы выполнять декодирование с уровнем качества выше первого, должны просто декодировать сигнал с первым уровнем качества и игнорировать дополнительные улучшающие данные, т.е. по-прежнему должны иметь возможность декодировать визуальное представление сигнала.
Для простоты, неограничивающие варианты осуществления, проиллюстрированные в данном документе, упоминают сигнал в качестве последовательности выборок (т.е. двумерных изображений, видеокадров, видеополей и т.д.). В описании термины изображение (image), изображение (picture) или плоскость (имеющие самый широкий смысл гиперплоскости, т.е. матрицы элементов с любым числом размерностей и данной решетки дискретизации) зачастую используются для того, чтобы идентифицировать цифровое визуальное представление выборки сигнала вдоль последовательности выборок, при этом каждая плоскость имеет данное разрешение для каждой из своих размерностей (например, X и Y) и содержит набор элементов плоскости (либо элемент или пел, либо элемент отображения, для двумерных изображений зачастую называемый пикселом, для объемных изображений зачастую называемый вокселов, и т.д.), характеризующийся посредством одного или более значений или настроек (например, в качестве неограничивающих примеров настроек цветов в подходящем цветовом пространстве, настроек, указывающих уровни плотности, настроек, указывающих уровни температуры, настроек, указывающих основной аудиотон, настроек, указывающих амплитуду, и т.д.). Каждый элемент плоскости идентифицирован посредством подходящего набора координат, указывающих целочисленные позиции упомянутого элемента в решетке дискретизации изображения. Размерности сигнала могут включать в себя только пространственные размерности (например, в случае изображения) либо также временную размерность (например, в случае сигнала, претерпевающего изменения во времени). В качестве неограничивающих примеров, сигнал может представлять собой изображение, аудиосигнал, многоканальный аудиосигнал, видеосигнал, многовидовой видеосигнал (например, трехмерное видео), объемный сигнал (например, формирование медицинских изображений, формирование научных изображений, формирование голографических изображений и т.д.), объемный видеосигнал или даже сигналы более чем с четырьмя размерностями.
Для простоты, неограничивающие варианты осуществления, проиллюстрированные в данном документе, зачастую означают сигналы, которые отображаются в качестве двумерных плоскостей настроек (например, двумерных изображений в подходящем цветовом пространстве), такие как, например, видеосигнал. Термины кадр или поле используются взаимозаменяемо с термином изображение, с тем чтобы указывать выборку во времени видеосигнала: любые принципы и способы, проиллюстрированные для видеосигналов, состоящих из кадров (построчных видеосигналов), также могут быть легко применимыми к видеосигналам, состоящим из полей (чересстрочным видеосигналам), и наоборот. Несмотря на то, что варианты осуществления, проиллюстрированные в данном документе, фокусируют внимание на видеосигналах, специалисты в данной области техники могут легко понимать, что идентичные принципы и способы также являются применимыми к любым другим типам многомерного сигнала (например, к объемным сигналам, видеосигналам, трехмерным видеосигналам, пленооптическим сигналам и т.д.).
В соответствии с изобретением в одном аспекте предложен способ декодирования гибридного обратно совместимого сигнала, используя аппаратные средства компьютерного процессора, при этом упомянутый способ содержит этапы, на которых синтаксически анализируют посредством логики синтакси- 2 035886 ческого анализатора упомянутых аппаратных средств компьютерного процессора поток данных на первые части данных, кодированные в соответствии с ранее существовавшим форматом, и вторые части данных, кодированные в соответствии с форматом иерархического кодирования; декодируют в первом декодере упомянутые первые части кодированных данных таким образом, чтобы получить первое представление упомянутого сигнала с первым уровнем качества; причем упомянутый способ содержит этапы, на которых: выполняют повышающую дискретизацию упомянутого первого представления упомянутого сигнала с первым уровнем качества таким образом, чтобы получить предварительное второе представление упомянутого сигнала со вторым уровнем качества; декодируют во втором декодере упомянутые вторые части кодированных данных таким образом, чтобы получить данные для восстановления, причем данные для восстановления указывают по меньшей мере, как следует модифицировать упомянутое предварительное второе представление сигнала, чтобы получить второе представление упомянутого сигнала со вторым уровнем качества, имеющее более высокое качество, чем упомянутое первое представление сигнала; и применяют по меньшей мере часть данных для восстановления к предварительному второму представлению сигнала для формирования упомянутого второго представления сигнала, чтобы сформировать упомянутое второе представление сигнала со вторым уровнем качества, причем данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с одним или более разрешениями элементов отображения, причем первые части кодированных данных декодируются в соответствии с упомянутым ранее существовавшим форматом, и при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с упомянутым форматом иерархического кодирования.
В другом аспекте изобретения предложена система для декодирования гибридного обратно совместимого сигнала, используя аппаратные средства компьютерного процессора, при этом упомянутая система содержит логику синтаксического анализатора упомянутых аппаратных средств компьютерного процессора для синтаксического анализа потока данных на первые части кодированных данных, кодированные в соответствии с ранее существовавшим форматом, и вторые части кодированных данных, кодированные в соответствии с форматом иерархического кодирования; первый декодер для декодирования упомянутых первых частей кодированных данных таким образом, чтобы получать первое представление сигнала с первым уровнем качества; средство для повышающей дискретизации упомянутого первого представления упомянутого сигнала с первым уровнем качества таким образом, чтобы получить предварительное второе представление упомянутого сигнала со вторым уровнем качества; второй декодер для декодирования упомянутых вторых частей кодированных данных таким образом, чтобы получать данные для восстановления, причем данные для восстановления указывают по меньшей мере, как следует модифицировать упомянутое предварительное второе представление сигнала, чтобы получить второе и представление упомянутого сигнала со вторым уровнем качества, имеющее более высокое качество, чем упомянутое первое представление сигнала; причем упомянутые аппаратные средства компьютерного процессора применяют по меньшей мере часть данных для восстановления к первому представлению сигнала для формирования упомянутого второго представления сигнала, причем данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с одним или более разрешениями элементов отображения, причем первые части кодированных данных декодируются в соответствии с упомянутым ранее существовавшим форматом, и при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с упомянутым форматом иерархического кодирования.
В неограничивающем варианте осуществления, описанном в данном документе, процессор сигналов выполнен с возможностью принимать поток данных и разделять его на два или более подпотоков. Первый подпоток декодируется посредством первого способа декодирования, формируя визуальное представление сигнала с первым уровнем качества. Второй подпоток декодируется посредством второго способа декодирования, формируя остатки. На основе сигнала с первым уровнем качества процессор сигналов формирует прогнозированное визуальное представление сигнала со вторым (более высоким) уровнем качества. Процессор сигналов комбинирует прогнозированное (или предварительное) визуальное представление сигнала со вторым уровнем качества с остатками, формируя визуальное представление сигнала со вторым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, процессор сигналов, расположенный в другом компьютерном устройстве, принимает поток данных и не выполнен с возможностью декодировать второй подпоток. Процессор сигналов игнорирует второй подпоток и декодирует только первый подпоток, формируя визуальное представление сигнала с первым уровнем качества. Таким образом, включение второго абонентского потока данных в поток данных фактически является обратно совместимым с декодерами, которые не выполнены с возможностью декодировать второй подпоток, поскольку ранее существовавшие декодеры просто игнорируют второй абонентский поток и формируют визуальное представление сигнала с первым уровнем качества вместо визуального представления сигнала со вторым уровнем качества.
В неограничивающем варианте осуществления способ реализуется в микропрограммном обеспечении аппаратных средств, сконструированных с возможностью декодировать согласно способу на основе
- 3 035886
MPEG-стандарта, и первый подпоток декодируется согласно упомянутому способу на основе
MPEG-стандарта.
В других неограничивающих вариантах осуществления, описанных в данном документе, второй подпоток включает в себя параметры, соответствующие операциям, выполняемым посредством процессора сигналов, чтобы формировать, на основе сигнала с первым уровнем качества, прогнозированное или предварительное визуальное представление сигнала со вторым уровнем качества. В неограничивающем варианте осуществления упомянутые параметры включают в себя коэффициенты ядра повышающей дискретизации, используемые для того, чтобы повышающе дискретизировать визуальное представление сигнала с первым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, декодированные остатки включают в себя первый набор остатков с первым уровнем качества и второй набор остатков со вторым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, формирование прогнозированного визуального представления сигнала со вторым уровнем качества включает в себя комбинирование визуального представления сигнала с первым уровнем качества с первым набором остатков;
повышающую дискретизацию визуального представления сигнала с первым уровнем качества посредством операций повышающей дискретизации, соответствующих принимаемым параметрам.
В других неограничивающих вариантах осуществления, описанных в данном документе, декодирование набора остатков включает в себя декодирование преобразованных квантованных остатков;
суммирование и вычитание преобразованных квантованных остатков с собой и/или с подходящими параметрами, формирование квантованных остатков;
деквантование квантованных остатков, формирование остатков.
В неограничивающем варианте осуществления упомянутые подходящие параметры включают в себя параметры, полученные посредством вычисления разности между значением элемента визуального представления сигнала с первым уровнем качества и средним соответствующих элементов прогнозированного визуального представления сигнала со вторым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, декодирование набора остатков включает в себя декодирование квантованных преобразованных остатков;
деквантование квантованных преобразованных остатков;
формирование преобразованных остатков;
суммирование и вычитание преобразованных остатков с собой и/или с подходящими параметрами, формирование остатков.
В одном неограничивающем варианте осуществления упомянутые подходящие параметры включают в себя параметры, полученные посредством вычисления разности между значением элемента визуального представления сигнала с первым уровнем качества и средним соответствующих элементов прогнозированного визуального представления сигнала со вторым уровнем качества.
В неограничивающем варианте осуществления операции деквантования выполняются посредством идентификации позиции в каждом диапазоне квантования согласно данным параметрам.
В неограничивающем варианте осуществления операции деквантования выполняются посредством статистического размывания, посредством вычисления случайного значения, содержащегося в диапазоне квантования согласно данному распределению вероятностей.
В других неограничивающих вариантах осуществления декодирование квантованных преобразованных остатков включает в себя прием энтропийно кодированных данных и их декодирование согласно подходящему способу энтропийного декодирования. В неограничивающем варианте осуществления упомянутый способ энтропийного декодирования представляет собой комбинацию из декодирования методом Хаффмана и декодирования по длинам серий (RLE). В других неограничивающих вариантах осуществления упомянутый способ энтропийного декодирования включает в себя статический арифметический кодер. В других неограничивающих вариантах осуществления энтропийный декодер принимает параметры, соответствующие распределению вероятностей символов, которые должны декодироваться.
В соответствии с дополнительными неограничивающими вариантами осуществления остатки для последующих изображений идентичной последовательности декодируются из идентичного общего ориентира (опорного буфера), с тем чтобы эффективно использовать корреляцию между несколькими последующими изображениями.
В соответствии с дополнительными неограничивающими вариантами осуществления один или более остатков для последующих изображений идентичной последовательности декодируются на основе соответствующих остатков предыдущего изображения, с тем чтобы эффективно использовать корреляцию между несколькими последующими изображениями.
- 4 035886
В другом неограничивающем варианте осуществления, описанном в данном документе, процессор сигналов выполнен с возможностью принимать поток данных и разделять его на три или более подпотоков. Первый подпоток декодируется посредством первого способа декодирования, формируя визуальное представление сигнала с первым уровнем качества. Второй подпоток декодируется посредством второго способа декодирования, формируя улучшающие данные, которые позволяют декодеру формировать, на основе визуального представления сигнала с первым уровнем качества, визуальное представление сигнала со вторым (более высоким) уровнем качества. Третий подпоток декодируется посредством третьего способа декодирования, формируя улучшающие данные, которые позволяют декодеру формировать, на основе визуального представления сигнала со вторым уровнем качества, визуальное представление сигнала с третьим (более высоким) уровнем качества.
В соответствии с дополнительными неограничивающими вариантами осуществления поток данных организован в качестве транспортного MPEG-потока, и пакеты различных подпотоков (соответствующих различным уровням качества) имеют различные пакетированные идентификаторы (PID), указывающие их принадлежность различным элементарным подпотокам. Как пояснено в данном документе, тегирование данных с помощью первого PID указывает части данных для декодирования посредством первого декодера; тегирование данных с помощью второго PID указывает части данных для декодирования посредством второго декодера; тегирование данных с помощью третьего PID указывает части данных для декодирования посредством третьего декодера и т.д. В одном варианте осуществления PID для улучшающих подпотоков (позволяющие восстанавливать более высокие уровни качества) выбираются таким образом, что они игнорируются посредством ранее существовавших декодеров. В соответствии с дополнительными неограничивающими вариантами осуществления поток данных организован в качестве HDMI-передачи данных, при этом подпоток, соответствующий первому уровню качества, представляет собой несжатое видео (передаваемое согласно HDMI-формату), а данные улучшающих подпотоков передаются в качестве метаданных. В некотором неограничивающем варианте осуществления второй уровень качества имеет более высокую частоту кадров относительно первого уровня качества. В другом неограничивающем варианте осуществления второй уровень качества имеет более высокое пространственное разрешение относительно первого уровня качества. В неограничивающем варианте осуществления улучшающие данные передаются в периоды гашения (максимальные данные островных пакетов для каждого периода гашения горизонтальной развертки составляют 448 байтов, оставляя всего приблизительно 480 Мбит/с для дополнительных данных; аудиоданные также используют периоды гашения, но их значительная часть доступна для улучшающих данных). В других неограничивающих вариантах осуществления передача улучшающих данных использует передачу метаданных через конкретный для производителя информационный кадр (VSI). В соответствии с дополнительными неограничивающими вариантами осуществления поток данных организован в качестве передачи DisplayPort, при этом подпоток, соответствующий первому уровню качества, представляет собой несжатое видео (передаваемое согласно DisplayPort-формату), и данные улучшающих подпотоков передаются в качестве метаданных.
В соответствии с дополнительными неограничивающими вариантами осуществления поток данных организован в качестве файла на Blu-Ray-диске, при этом подпоток, соответствующий первому уровню качества, кодирован как традиционное видео с Blu-Ray-диска, а данные улучшающих подпотоков включены на Blu-Ray-диск в качестве метаданных.
Различные изменения первых вариантов осуществления
В соответствии с другими вариантами осуществления аппаратные средства компьютерного процессора принимают поток данных. Аппаратные средства компьютерного процессора синтаксически анализируют принимаемый поток данных на первые части кодированных данных и вторые части кодированных данных. Аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала. Аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления. Данные для восстановления указывают, как модифицировать первое визуальное представление сигнала. Аппаратные средства компьютерного процессора применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Вышеуказанный первый примерный вариант осуществления может реализовываться вместе с любым из одного или более следующих признаков таким образом, чтобы формировать еще одни нижеприведенные дополнительные варианты осуществления.
Например, в одном варианте осуществления первые части кодированных данных декодируются (через первый декодер аппаратных средств компьютерного процессора) в соответствии с форматом согласно MPEG (стандарт экспертной группы по киноизображению) или на основе MPEG-стандарта, посредством неограничивающих примеров, MPEG2, h.264, VC1, VP8, VP9 или h.265. Данные для восстановления, которые извлекаются из вторых частей кодированных данных, декодируются (через второй декодер аппаратных средств компьютерного процессора) в соответствии с форматом иерархического кодирования. В соответствии с еще одним дополнительным вариантом осуществления первые части кодированных данных содержат несжатые видеоданные; данные для восстановления извлекаются из вто
- 5 035886 рых частей кодированных данных и декодируются в соответствии с форматом иерархического кодирования. Следует отметить, что вторые части кодированных данных могут представлять собой сжатые данные. Реализация второго декодера может включать в себя применение операций повышающей дискретизации к сжатым данным для того, чтобы формировать данные для восстановления, причем применяемые операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения. В еще дополнительных вариантах осуществления аппаратные средства компьютерного процессора представляют собой первые аппаратные средства компьютерного процессора. Система может включать в себя вторые аппаратные средства компьютерного процессора (к примеру, ранее существовавший декодер, включающий в себя первый декодер и не включающий в себя второй декодер). Вторые аппаратные средства компьютерного процессора также принимают поток данных. Вторые аппаратные средства компьютерного процессора инициируют декодирование только первых частей кодированных данных, принимаемых в потоке данных, во второе первое визуальное представление сигнала; и инициируют отображение второго первого визуального представления сигнала на экране отображения.
В качестве дополнительного примера первые части кодированных данных могут декодироваться (с использованием декодера первого типа) согласно способу декодирования, совместимому с аппаратными средствами компьютерного процессора ранее существовавшего декодера, и поток данных организован таким образом, что вторые части кодированных данных не используются (и/или игнорируются) посредством аппаратных средств компьютерного процессора ранее существовавшего декодера. Аппаратные средства компьютерного процессора ранее существовавшего декодера i) инициируют декодирование только первых частей кодированных данных и ii) инициируют отображение первого визуального представления сигнала на соответствующем экране отображения.
Поток данных, принимаемый посредством аппаратных средств компьютерного процессора, может представлять собой сигнал HDMI (стандарт мультимедийного интерфейса высокой четкости), в котором первые части кодированных данных (обрабатываемые посредством первого декодера) являются несжатыми видеоданными, а вторые части кодированных данных (обрабатываемые посредством второго декодера) являются сжатыми данными. Альтернативно, поток данных, принимаемый посредством аппаратных средств компьютерного процессора, может приниматься по DisplayPort-интерфейсу, в котором первые части кодированных данных являются несжатыми видеоданными, а вторые части кодированных данных являются сжатыми данными. В качестве дополнительного неограничивающего примерного варианта осуществления, поток данных может представлять собой транспортный поток MPEG (стандарт экспертной группы по киноизображению), включающий в себя первые части данных (такие MPEGкодированные данные) и вторые части данных, при этом первые части и вторые части характеризуются посредством различных номеров идентификаторов пакетов (PID). В качестве дополнительного неограничивающего примерного варианта осуществления поток данных может представлять собой файл, организованный таким образом, что он сохраняется на Blu-Ray-диске и декодируется посредством устройств декодера Blu-Ray-дисков. Первые части данных включены в формат Blu-Ray в качестве традиционных HD-видеоданных и кодированы с помощью первого способа кодирования (например, традиционного Blu-Ray-кодека для HD-видеоданных, такого как h.264 или VC1), тогда как вторые части данных включены в формат Blu-Ray в качестве метаданных, которые игнорируются посредством ранее существовавших устройств декодера HD Blu-Ray-дисков и кодируются согласно второму способу кодирования.
В одном варианте осуществления сигнал (захваченный посредством принимаемых частей кодированных данных в потоке данных) включает в себя множество элементов отображения; и второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального представления сигнала.
В еще одних дополнительных вариантах осуществления второе визуальное представление сигнала может иметь разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала. Реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, может включать в себя декодирование первого набора остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных; использование первого набора остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала; формирование, по меньшей мере частично, на основе второго визуального представления сигнала третьего визуального представления сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение (в некоторых вариантах осуществления пространственное разрешение; в других вариантах осуществления временное разрешение; в еще одних других вариантах осуществления как пространственное, так и временное разрешение) относительно разрешения второго визуального представления сигнала; декодирование второго набора остаточных данных со вторым уровнем качества, как указано посредством вторых частей кодированных данных; и использование второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала.
- 6 035886
Дополнительно, аппаратные средства компьютерного процессора могут быть выполнены с возможностью осуществлять операции формирования на основе четвертого визуального представления сигнала, пятого визуального представления сигнала, причем пятое визуальное представление сигнала имеет более высокое разрешение (также, пространственное и/или временное, согласно конкретному неограничивающему варианту осуществления) относительно разрешения четвертого визуального представления сигнала; декодирование третьего набора остаточных данных с третьим уровнем качества, как указано посредством вторых частей кодированных данных; и использование третьего набора остаточных данных для того, чтобы модифицировать пятое визуальное представление сигнала и формировать шестое визуальное представление сигнала. Первое визуальное представление сигнала может представлять собой чересстрочный видеосигнал; шестое визуальное представление сигнала может представлять собой построчный видеосигнал.
В других неограничивающих вариантах осуществления принимаемый поток данных включает в себя более двух различных частей кодированных данных, декодированных посредством более двух декодеров согласно более чем двум различным способам декодирования. В неограничивающем варианте осуществления принимаемый поток данных включает в себя три части кодированных данных. Первые части кодированных данных декодируются посредством первого декодера, формируя первое визуальное представление сигнала. Второе визуальное представление сигнала имеет разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала. Реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, включает в себя декодирование первого набора остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных; использование первого набора остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала; формирование, по меньшей мере частично, на основе второго визуального представления сигнала третьего визуального представления сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение относительно разрешения второго визуального представления сигнала; декодирование второго набора остаточных данных со вторым уровнем качества, как указано посредством вторых частей кодированных данных; и использование второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала. Дополнительно, аппаратные средства компьютерного процессора выполнены с возможностью осуществлять операции декодирования третьего набора остаточных данных, как указано посредством третьей части кодированных данных; использования третьего набора остаточных данных для того, чтобы модифицировать четвертое визуальное представление сигнала и формировать пятое визуальное представление сигнала; формирования на основе пятого визуального представления сигнала шестого визуального представления сигнала, причем шестое визуальное представление сигнала имеет более высокое разрешение относительно разрешения пятого визуального представления сигнала; декодирования четвертого набора остаточных данных с четвертым уровнем качества, как указано посредством третьих частей кодированных данных; использования четвертого набора остаточных данных для того, чтобы модифицировать шестое визуальное представление сигнала и формировать седьмое визуальное представление сигнала; формирования, на основе седьмого визуального представления сигнала, восьмого визуального представления сигнала, причем восьмое визуальное представление сигнала имеет более высокое разрешение относительно разрешения седьмого визуального представления сигнала; декодирования пятого набора остаточных данных на пятом уровне качества, как указано посредством третьих частей кодированных данных; использования пятого набора остаточных данных для того, чтобы модифицировать восьмое визуальное представление сигнала и формировать девятое визуальное представление сигнала. В неограничивающем варианте осуществления первое визуальное представление сигнала представляет собой чересстрочный SD-видеосигнал; четвертое визуальное представление сигнала представляет собой чересстрочный HD-видеосигнал; девятое визуальное представление сигнала представляет собой построчный UltraHD-видеосигнал.
Реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, дополнительно может включать в себя операции идентификации операций повышающей дискретизации, как указано посредством вторых частей кодированных данных; и применения операций повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно разрешения элементов отображения второго визуального представления сигнала. В некоторых неограничивающих вариантах осуществления более высокое разрешение элементов отображения является более высоким пространственным разрешением (вертикальным, горизонтальным либо как вертикальным, так и горизонтальным) для каждого поля или кадра видеосигнала; в других неограничивающих вариантах осуществления более высокое разрешение элементов отображения является более высоким временным разрешением (т.е. видеосигнал с более высокой частотой кадров); в еще одних других неограничивающих вариантах осуществления более высокое разрешение элементов отображения является более высоким пространственным и более высоким временным разрешением в сигнале.
- 7 035886
В соответствии с дополнительными вариантами осуществления идентификация операций повышающей дискретизации, как указано посредством вторых частей кодированных данных, содержит декодирование параметров, соответствующих конкретным коэффициентам ядра повышающей дискретизации; по меньшей мере частично, на основе декодированных параметров формирование ядра повышающей дискретизации, соответствующего части третьего визуального представления сигнала; и применение ядра повышающей дискретизации к части второго визуального представления сигнала для того, чтобы формировать часть третьего визуального представления сигнала. В одном варианте осуществления третье визуальное представление сигнала является предварительным (или прогнозированным) визуальным представлением сигнала со значительно более высоким разрешением элементов отображения. Реализация второго декодера дополнительно может содержать использование данных для восстановления для того, чтобы модифицировать предварительное визуальное представление сигнала со значительно более высоким разрешением элементов отображения, причем модифицированное предварительное визуальное представление сигнала имеет идентичное разрешение, но более высокий уровень качества относительно предварительного визуального представления сигнала. Таким образом, принятые кодированные данные, как указано посредством первых частей кодированных данных, могут декодироваться в соответствии с ранее существовавшим способом декодирования (таким как MPEG-2, MPEG-4, DivX, AVC/h.264, SVC, HEVC/h.265, VC1, VP8, VP9 и т.д., для простоты MPEG-данные) или в других неограничивающих вариантах осуществления они могут декодироваться даже в качестве несжатых видеоданных (например, в соответствии с HDMI-, DisplayPort- или DVT-форматом передачи). Улучшающие данные в потоке данных (к примеру, вторые части кодированных данных) могут декодироваться и использоваться для того, чтобы преобразовывать визуальное представление сигнала, извлекаемое из MPEG-данных, в сигнал воспроизведения с более высоким уровнем качества. Как пояснено в данном документе, улучшающие данные кодируются в соответствии с не-MPEG-форматом кодирования.
В соответствии с еще одним дополнительным вариантом осуществления из вторых частей кодированных данных в принимаемом потоке данных второй декодер формирует данные для восстановления, кодированные в соответствии с иерархическим форматом. Данные для восстановления, получаемые или извлекаемые из вторых частей кодированных данных, могут включать в себя остаточные данные. Например, в одном варианте осуществления данные для восстановления включают в себя, по меньшей мере, первый набор остаточных данных и второй набор остаточных данных; причем первый набор остаточных данных указывает то, как модифицировать визуальное представление сигнала с первым разрешением элементов отображения, второй набор остаточных данных указывает то, как модифицировать визуальное представление сигнала со вторым разрешением элементов отображения. Второе разрешение элементов отображения выше первого разрешения элементов отображения. В неограничивающем варианте осуществления второй набор остаточных данных декодируется, по меньшей мере частично, на основе первого набора остаточных данных.
Аппаратные средства компьютерного процессора могут быть выполнены с возможностью осуществлять дополнительные операции использования первого набора остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала; формирования на основе второго визуального представления сигнала третьего визуального представления сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со вторым разрешением элементов отображения; использования второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала со вторым разрешением элементов отображения.
Аппаратные средства компьютерного процессора могут быть выполнены с возможностью формировать второй набор остаточных данных из преобразованных остаточных данных. В одном варианте осуществления аппаратные средства компьютерного процессора дополнительно выполняют операции декодирования вторых частей кодированных данных в квантованные преобразованные остаточные данные; деквантования квантованных остаточных данных для того, чтобы формировать преобразованные остаточные данные; обработки преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы воспроизводить второй набор остаточных данных; и применения воспроизведенного второго набора остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала. В некоторых неограничивающих вариантах осуществления квантованные преобразованные остаточные данные декодируются из вторых частей кодированных данных согласно способу энтропийного декодирования на основе статического диапазона согласно распределению вероятностей символов, указываемому посредством вторых частей кодированных данных. В других неограничивающих вариантах осуществления квантованные преобразованные остаточные данные, декодированные согласно способу энтропийного декодирования на основе статического диапазона, комбинированы с символами, которые унаследованы из более низкого уровня качества сигнала, как указано посредством первого набора остаточных данных. В еще одних других неограничивающих вариантах осуществления квантованные преобразованные остаточные данные декодируются из вторых частей кодированных данных согласно способу
- 8 035886 энтропийного декодирования методом Хаффмана, комбинированному со способом декодирования по длинам серий (RLE). В дополнительных вариантах осуществления сигнал, воспроизведенный посредством аппаратных средств компьютерного процессора и соответствующего декодирования, представляет собой видеосигнал. Набор остаточных данных может формироваться согласно временному наследованию для множества изображений (полей или кадров) сигнала, т.е. один или более остатков для данного изображения могут декодироваться, как указано посредством остаточных данных, декодированных для другого изображения. В таком случае аппаратные средства компьютерного процессора дополнительно выполняют операции декодирования остаточных данных для поля/кадра, по меньшей мере частично, на основе остаточных данных, декодированных для другого поля/кадра.
Первые части кодированных данных могут перемежаться со вторыми частями кодированных данных в потоке данных. Синтаксический анализ потока данных на первые части кодированных данных и вторые части кодированных данных может включать в себя использование тегов (к примеру, одного или боле PID или идентификаторов пакетов) в потоке данных для того, чтобы идентифицировать первые части данных и вторые части данных. Поток данных может быть организован в качестве транспортного MPEG-потока, в котором первым частям кодированных данных (к примеру, данных, кодированных с помощью MPEG-кодека, декодируемых посредством ранее существовавшего устройства декодера) назначается первый идентификатор пакета (PID), а вторым частям кодированных данных (к примеру, кодированных данных, кодированных с помощью поярусного иерархического способа) назначается второй идентификатор пакета (PID). Как пояснено выше, аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала. Аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления.
Первые части кодированных данных могут кодироваться в любом подходящем формате, т.е. с помощью любого подходящего кодека. В качестве неограничивающего примерного варианта осуществления первые части кодированных данных могут кодироваться в соответствии с 11.264-форматом кодирования MPEG (стандарт экспертной группы по киноизображению); первые части кодированных данных могут кодироваться согласно формату кодирования MPEG2 (стандарт экспертной группы по киноизображению 2) и т.д. В соответствии с некоторыми неограничивающими вариантами осуществления кодированный и воспроизведенный сигнал представляет собой видеосигнал, включающий в себя множество кадров (или полей, для чересстрочных видеосигналов) элементов отображения. Для простоты, термины кадр и поле используются взаимозаменяемо, чтобы указывать временные выборки видеосигнала.
В соответствии с некоторыми неограничивающими вариантами осуществления, чтобы подготавливать посредством рендеринга сигнал, аппаратные средства компьютерного процессора могут быть выполнены с возможностью дополнительно выполнять операции: идентификации временных ассоциирований между первыми частями кодированных данных и вторыми частями кодированных данных, причем временные ассоциирования указывают то, к какому из множества кадров элементов отображения в первом визуальном представлении сигнала относятся данные для восстановления. Применение данных для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала, может включать в себя в соответствии с временными ассоциированиями использование данных для восстановления для того, чтобы временно повышающе дискретизировать первое визуальное представление сигнала во второе визуальное представление сигнала, причем второе визуальное представление сигнала включает в себя большее число кадров элементов отображения относительно первого визуального представления сигнала. Таким образом, временные ассоциирования предоставляют возможность аппаратным средствам компьютерного процессора идентифицировать взаимосвязь между первыми частями кодированных данных и вторыми частями кодированных данных, дополнительно обеспечивая поток данных для того, чтобы преобразовывать визуальное представление сигнала, извлекаемого из первых частей кодированных данных, в сигнал с более высоким уровнем качества с использованием вторых частей кодированных данных в потоке данных. В соответствии с еще одним дополнительным вариантом осуществления сигнал представляет собой видеосигнал, в котором первое визуальное представление сигнала имеет первую частоту кадров; второе визуальное представление сигнала имеет вторую частоту кадров, причем вторая частота кадров превышает первую частоту кадров. Аппаратные средства компьютерного процессора дополнительно выполняют операции формирования, на основе первого визуального представления сигнала на первой частоте кадров, и как указано посредством данных для восстановления, предварительного визуального представления сигнала на второй частоте кадров; формирования набора остаточных данных, как указано посредством данных для восстановления; и применения набора остаточных данных к предварительному визуальному представлению сигнала на второй частоте кадров, чтобы формировать второе визуальное представление сигнала.
В дополнительных вариантах осуществления применение данных для восстановления включает в себя, как указано посредством данных для восстановления, пространственную повышающую дискретизацию второго визуального представления сигнала в третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение элементов отображения относительно второго визуального представления сигнала.
- 9 035886
В еще одних дополнительных вариантах осуществления данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с множеством разрешений элементов отображения. Второй декодер применяет операции повышающей дискретизации ко вторым частям кодированных данных для того, чтобы воспроизводить иерархию остаточных данных. Иерархия остаточных данных является уникальным способом сжатия данных, которые используются для того, чтобы извлекать более высокие уровни качества сигнала.
Как пояснено выше, сигнал может представлять собой видеосигнал. Иерархия остаточных данных может формироваться согласно временному наследованию остатков для множества кадров элементов отображения в сигнале. Аппаратные средства компьютерного процессора на данном уровне иерархии остаточных данных декодируют остаточные данные для первого кадра/поля, по меньшей мере частично, на основе остаточных данных, декодированных для второго кадра/поля. Второй кадр/поле соответствует моменту времени, отличающемуся от момента времени, к которому относится первый кадр/поле.
В дополнительных неограничивающих вариантах осуществления иерархия остаточных данных формируется согласно пространственному наследованию остатков в данном кадре/поле элементов отображения в сигнале. Аппаратные средства компьютерного процессора с данным уровнем качества в иерархии остаточных данных декодируют остаточные данные для части данного кадра/поля только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных. В дополнительных неограничивающих вариантах осуществления иерархия остаточных данных формируется согласно как пространственному наследованию остатков в данном кадре/поле элементов отображения в сигнале, так и временному наследованию остаточных данных для различных кадров/полей. Аппаратные средства компьютерного процессора с данным уровнем качества в иерархии остаточных данных декодируют остаточные данные для части данного кадра/поля только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных, и на основе опорного набора остаточных данных.
В еще дополнительных вариантах осуществления аппаратные средства компьютерного процессора дополнительно выполняют операции извлечения первого набора остаточных данных из базового набора остаточных данных; извлечения второго набора остаточных данных из базового набора остаточных данных, причем первый набор остаточных данных отличается от второго набора остаточных данных; применения первого набора остаточных данных к первой временной выборке первого визуального представления сигнала для того, чтобы формировать соответствующую первую временную выборку во втором визуальном представлении сигнала; и применения второго набора остаточных данных ко второй временной выборке первого визуального представления сигнала для того, чтобы формировать соответствующую вторую временную выборку во втором визуальном представлении сигнала. На основе второго визуального представления сигнала аппаратные средства компьютерного процессора формируют третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения. Аппаратные средства компьютерного процессора дополнительно декодируют второй базовый набор остаточных данных; извлекают третий набор остаточных данных из второго базового набора остаточных данных; извлекают четвертый набор остаточных данных из второго базового набора остаточных данных, причем третий набор остаточных данных отличается от четвертого набора остаточных данных; применяют третий набор остаточных данных к первой временной выборке третьего визуального представления сигнала для того, чтобы формировать соответствующую первую временную выборку в четвертом визуальном представлении сигнала; и применяют четвертый набор остаточных данных ко второй временной выборке третьего визуального представления сигнала для того, чтобы формировать соответствующую вторую временную выборку в четвертом визуальном представлении сигнала.
В соответствии с еще одними дополнительными вариантами осуществления аппаратные средства компьютерного процессора декодируют вторые части кодированных данных в преобразованные остаточные данные; обрабатывают преобразованные остаточные данные для того, чтобы формировать квантованные остаточные данные; деквантуют квантованные остаточные данные для того, чтобы воспроизводить остаточные данные; и применяют воспроизведенные остаточные данные к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
В качестве дополнительного неограничивающего примера аппаратные средства компьютерного процессора могут быть выполнены с возможностью декодировать вторые части кодированных данных в остаточные данные с первым уровнем качества; формировать на основе остаточных данных с первым уровнем качества предварительное визуальное представление остаточных данных со вторым уровнем качества, причем второй уровень качества выше первого уровня качества; декодировать вторые части кодированных данных в квантованные преобразованные остаточные данные; деквантовать квантованные преобразованные остаточные данные для того, чтобы формировать преобразованные остаточные данные; обрабатывать комбинацию преобразованных остаточных данных, остаточных данных с первым уровнем качества и предварительного визуального представления остаточных данных со вторым уровнем качества таким образом, чтобы воспроизводить остаточные данные со вторым уровнем качества; и применять воспроизведенные остаточные данные со вторым уровнем качества к первому визуальному представле
- 10 035886 нию сигнала для того, чтобы формировать второе визуальное представление сигнала.
Дополнительно, аппаратные средства компьютерного процессора могут быть выполнены с возможностью формировать на основе второго визуального представления сигнала третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения; декодировать вторые части кодированных данных в новый набор преобразованных остаточных данных; обрабатывать комбинацию нового набора преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы формировать новый набор остаточных данных; и применять новый набор остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
В дополнительных вариантах осуществления аппаратные средства компьютерного процессора могут быть выполнены с возможностью применять операцию повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно второго визуального представления сигнала. Применение операции повышающей дискретизации может включать в себя извлечение настроек для элемента отображения в третьем визуальном представлении сигнала на основе настроек для множества элементов отображения во втором визуальном представлении сигнала.
В одном варианте осуществления, как пояснено выше, данные для восстановления включают в себя остаточные данные. Аппаратные средства компьютерного процессора применяют остаточные данные к множеству элементов отображения в третьем визуальном представлении сигнала для того, чтобы формировать четвертое визуальное представление сигнала. Применяемые остаточные данные модифицируют настройки множества элементов отображения в третьем визуальном представлении сигнала для того, чтобы формировать настройки для соответствующих элементов отображения в четвертом визуальном представлении сигнала. Дополнительно, при реализации второго декодера для того, чтобы декодировать вторые части кодированных данных в остаточные данные, второй декодер декодирует по меньшей мере один остаток в остаточных данных посредством комбинирования результата с практически случайным числом, сформированным согласно данному распределению вероятностей. В соответствии с еще одним дополнительным вариантом осуществления аппаратные средства компьютерного процессора декодируют, по меньшей мере, некоторые вторые части кодированных данных через способы энтропийного декодирования методом Хаффмана и/или декодирования по длинам серий (RLE).
В еще одних дополнительных вариантах осуществления аппаратные средства компьютерного процессора декодируют кодированные данные через энтропийный декодер на основе статического диапазона в соответствии с распределением вероятностей символов, указываемым в данных для восстановления. В соответствии с другим вариантом осуществления аппаратные средства компьютерного процессора декодируют кодированные данные через статический арифметический энтропийный декодер в соответствии с распределением вероятностей символов, указываемым в данных для восстановления.
Различные изменения вторых вариантов осуществления
В соответствии с дополнительными вариантами осуществления аппаратные средства компьютерного процессора принимают поток данных. Аппаратные средства компьютерного процессора синтаксически анализируют поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных. Аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества. Аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные для восстановления указывают, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества. Аппаратные средства компьютерного процессора обрабатывают первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем качества. Аппаратные средства компьютерного процессора реализуют третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления. Вторые данные для восстановления указывают, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества. Третий уровень качества выше второго уровня качества. Аппаратные средства компьютерного процессора обрабатывают вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем качества.
Этот второй примерный вариант осуществления может реализовываться вместе с любым из одного или более следующих признаков таким образом, чтобы формировать еще одни нижеприведенные дополнительные варианты осуществления или другие варианты осуществления, как описано в данном документе.
- 11 035886
Например, в одном неограничивающем варианте осуществления первые части кодированных данных могут декодироваться в соответствии с форматом MPEG (стандарт экспертной группы по киноизображению), таким как MPEG2, h.264, VC1 или h.265. Аппаратные средства компьютерного процессора извлекают первые данные для восстановления из вторых частей кодированных данных. Аппаратные средства компьютерного процессора извлекают вторые данные для восстановления из третьих частей кодированных данных. Как вторые части кодированных данных, так и третьи части кодированных данных могут представлять собой сжатые видеоданные, кодированные в соответствии с одним или более форматов иерархического кодирования.
Различные изменения третьих вариантов осуществления
В соответствии с дополнительными вариантами осуществления аппаратные средства компьютерного процессора принимают поток данных. Аппаратные средства компьютерного процессора синтаксически анализируют принимаемый поток данных на части уже декодированных данных и еще не декодированных кодированных данных. Декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала. В одном варианте осуществления аппаратные средства компьютерного процессора используют декодированные данные (к примеру, несжатые данные) для того, чтобы формировать первое визуальное представление сигнала. Аппаратные средства компьютерного процессора реализуют декодер для того, чтобы декодировать кодированные данные (к примеру, сжатые данные) в данные для восстановления. Данные для восстановления указывают, как модифицировать первое визуальное представление сигнала. Аппаратные средства компьютерного процессора применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Этот примерный вариант осуществления может реализовываться вместе с любым из одного или более следующих признаков таким образом, чтобы формировать нижеприведенные еще одни дополнительные неограничивающие варианты осуществления.
Например, в соответствии с другими вариантами осуществления кодированные данные в потоке данных могут кодироваться в соответствии с форматом иерархического кодирования, в котором данные кодируются в соответствии с различными разрешениями в соответствующей иерархии сжатия.
Аппаратные средства компьютерного процессора применяют операции повышающей дискретизации для того, чтобы формировать остаточные данные на более высоких уровнях в иерархии. В одном варианте осуществления операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения, которые затем используются для того, чтобы модифицировать предварительное визуальное представление сигнала. В одном варианте осуществления настройки элемента после повышающей дискретизации (т.е. предварительный набор остаточных данных с более высоким уровнем качества) комбинированы с относительными остаточными данными, декодированными из данных для восстановления для того, чтобы формировать остаточные данные более высокого разрешения, которые затем используются для того, чтобы модифицировать предварительное визуальное представление сигнала.
В соответствии с дополнительными вариантами осуществления сигнал представляет собой видеосигнал, указывающий настройки для множества элементов отображения; второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального представления сигнала; и второе визуальное представление сигнала имеет разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала.
Реализация декодера для того, чтобы декодировать кодированные данные, может включать в себя идентификацию операций повышающей дискретизации, как указано посредством кодированных данных; и применение операций повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения (временное и/или пространственное) относительно второго визуального представления сигнала. В некоторых неограничивающих вариантах осуществления третье визуальное представление сигнала имеет идентичное временное разрешение элементов отображения и значительно более высокое пространственное разрешение элементов отображения относительно второго визуального представления сигнала. В других неограничивающих вариантах осуществления третье визуальное представление сигнала имеет значительно более высокое временное разрешение элементов отображения (т.е. более высокую частоту кадров) и идентичное пространственное разрешение элементов отображения относительно второго визуального представления сигнала. В еще одних других неограничивающих вариантах осуществления третье визуальное представление сигнала имеет значительно более высокое временное и пространственное разрешение элементов отображения относительно второго визуального представления сигнала.
В соответствии с еще одним дополнительным вариантом осуществления третье визуальное представление сигнала может быть предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения. Реализация декодера дополнительно может содержать использование данных для восстановления для того, чтобы модифицировать предварительное визуальное представление сигнала со значительно более высоким разрешением элементов отображения, при- 12 035886 чем модифицированное предварительное визуальное представление сигнала имеет более высокий уровень качества относительно предварительного визуального представления сигнала.
Следует отметить, что варианты осуществления в данном документе могут реализовываться в программном обеспечении или в аппаратных средствах либо могут реализовываться с использованием комбинации программного обеспечения и аппаратных средств и могут включать в себя конфигурацию одного или более компьютеризированных устройств, маршрутизаторов, сети, рабочих станций, карманных или переносных компьютеров, планшетных компьютеров, мобильных телефонов, игровых приставок, абонентских приставок, оборудования для проведения видеоконференций, видеопроигрывателей и т.д., с тем чтобы выполнять и/или поддерживать любые из операций способа, раскрытых в данном документе. Другими словами, одно или более компьютеризированных устройств или процессор могут быть запрограммированы и/или выполнены с возможностью работать так, как пояснено в данном документе, чтобы выполнять различные варианты осуществления.
В дополнение к технологиям, как пояснено выше, еще один другой вариант осуществления в данном документе включает в себя программы, чтобы выполнять этапы и операции, обобщенно описанные выше и подробно раскрытые ниже. Один такой вариант осуществления содержит машиночитаемый аппаратный ресурс хранения (т.е. энергонезависимые машиночитаемые носители), включающий в себя компьютерную программную логику, инструкции и т.д., кодированные на нем, которые при выполнении в компьютеризированном устройстве, имеющем процессор и соответствующее запоминающее устройство, программируют и/или инструктируют процессору выполнять любую из операций, раскрытых в данном документе. Такие компоновки могут предоставляться в качестве программного обеспечения, кода и/или других данных (например, структур данных), размещаемых или кодированных на машиночитаемом носителе, таком как оптический носитель (например, CD-ROM, DVD-ROM или Blu-Ray), карта флэш-памяти, гибкий или жесткий диск либо любой другой носитель, допускающий сохранение машиночитаемых инструкций, к примеру, микропрограммного обеспечения или микрокода на одном или более ROM- или RAM-, или PROM-кристаллах, либо в качестве специализированной интегральной схемы (ASIC). Программное обеспечение или микропрограммное обеспечение либо другие такие конфигурации могут устанавливаться на компьютеризированное устройство, чтобы инструктировать компьютеризированному устройству выполнять технологии, поясненные в данном документе. Соответственно, один конкретный вариант осуществления настоящего раскрытия сущности направлен на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель хранения данных, имеющий сохраненные инструкции для поддержки операций обработки сигналов. Инструкции, при выполнении посредством аппаратных средств компьютерного процессора, инструктируют аппаратным средствам компьютерного процессора системы синтаксически анализировать поток данных на первые части кодированных данных и вторые части кодированных данных; реализовывать первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала; реализовывать второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления, причем данные для восстановления указывают, как модифицировать первое визуальное представление сигнала; и применять данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Другой вариант осуществления настоящего раскрытия сущности направлен на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель хранения данных, имеющий сохраненные инструкции для поддержки операций обработки сигналов. Инструкции, при выполнении посредством аппаратных средств компьютерного процессора, инструктируют аппаратным средствам компьютерного процессора системы синтаксически анализировать поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных; реализовывать первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества; реализовывать второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные для восстановления указывают, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества; обрабатывать первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем качества; реализовывать третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления, причем вторые данные для восстановления указывают, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества, причем третий уровень качества выше второго уровня качества; и обрабатывать вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем качества.
Другой вариант осуществления настоящего раскрытия сущности направлен на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель хранения данных, имеющий сохраненные инструкции для поддержки операций обработки сигналов. Инструкции, при вы- 13 035886 полнении посредством аппаратных средств компьютерного процессора, инструктируют аппаратным средствам компьютерного процессора системы синтаксически анализировать принимаемый поток данных на декодированные данные и кодированные данные, причем декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала; использовать декодированные данные для того, чтобы формировать первое визуальное представление сигнала; реализовывать декодер для того, чтобы декодировать кодированные данные в данные для восстановления, причем данные для восстановления указывают, как модифицировать первое визуальное представление сигнала; и применять данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Порядок выполнения этапов добавлен для целей ясности. Эти этапы могут выполняться в любом подходящем порядке.
Другие варианты осуществления настоящего раскрытия сущности включают в себя программы, микропрограммное обеспечение и/или соответствующие аппаратные средства, чтобы выполнять любые из этапов варианта осуществления способа и операций, обобщенно описанных выше и подробно раскрытых ниже.
Кроме того, следует понимать, что система, способ, устройство, инструкции на машиночитаемых носителях хранения данных и т.д., как пояснено в данном документе, могут быть осуществлены строго в качестве программы, в качестве гибрида программного обеспечения, микропрограммного обеспечения и/или аппаратных средств либо только в качестве аппаратных средств, к примеру, в процессоре или в операционной системе или в приложении и т.д. Как пояснено выше, технологии в данном документе оптимально подходят для использования в программных, микропрограммных и/или аппаратных приложениях, которые обрабатывают сигналы и формируют потоки битов кодированных данных либо которые обрабатывают потоки битов кодированных данных и формируют визуальные представления сигналов. Тем не менее, следует отметить, что варианты осуществления в данном документе не ограничены использованием в таких вариантах применения, и что технологии, поясненные в данном документе, также оптимально подходят для других вариантов применения. Дополнительно, следует отметить, что, хотя каждый из различных признаков, технологий, конфигурации и т.д., в данном документе может быть пояснен в различных местах этого раскрытия сущности, подразумевается, что каждый из принципов может выполняться независимо друг от друга либо в комбинации друг с другом. Соответственно, один или более настоящих вариантов изобретения, вариантов осуществления и т.д., как описано в данном документе, могут осуществляться и изучаться множеством различных способов.
Кроме того, следует отметить, что это предварительное пояснение вариантов осуществления в данном документе не указывает каждый вариант осуществления и/или инкрементный аспект новизны настоящего раскрытия сущности либо заявленного изобретения(й). Вместо этого, данное краткое описание только представляет общие варианты осуществления и соответствующие аспекты новизны по сравнению с другими традиционными технологиями. На предмет дополнительных подробностей и/или возможных перспектив (изменений) изобретения(й), читателю следует обращаться к разделу Подробное описание и к соответствующим чертежам настоящего раскрытия сущности, как подробнее пояснено ниже.
Краткое описание чертежей
Вышеприведенные и другие цели, признаки и преимущества изобретения должны становиться очевидными из нижеследующего более подробного описания предпочтительных вариантов осуществления в данном документе, как проиллюстрировано на прилагаемых чертежах, на которых аналогичные ссылки с номером означают идентичные части на различных представлениях. Чертежи необязательно должны быть нарисованы в масштабе, вместо этого акцент делается на иллюстрации вариантов осуществления, принципов, идей и т.д.
Фиг. 1А-1Н являются примерными схемами, иллюстрирующими системы и способы декодирования согласно вариантам осуществления в данном документе.
Фиг. 1E является примерной схемой, иллюстрирующей аппаратные средства компьютерного процессора, обрабатывающие соответствующий поток данных согласно вариантам осуществления в данном документе.
Фиг. 1F является примерной схемой, иллюстрирующей аппаратные средства компьютерного процессора, обрабатывающие соответствующий поток данных согласно вариантам осуществления в данном документе.
Фиг. 2 является примерной схемой, иллюстрирующей систему и способ декодирования согласно вариантам осуществления в данном документе.
Фиг. 3A-3C являются примерными схемами, иллюстрирующими системы и способы декодирования согласно вариантам осуществления в данном документе.
Фиг. 4 является примерной схемой, иллюстрирующей системы и способ декодирования согласно вариантам осуществления в данном документе.
Фиг. 5А-5С являются примерными схемами, иллюстрирующими системы и способы остаточного декодирования согласно вариантам осуществления в данном документе.
Фиг. 6А и 6В являются примерными схемами, иллюстрирующими системы и способы преобразо- 14 035886 ванного остаточного декодирования согласно вариантам осуществления в данном документе.
Фиг. 7А-7С являются примерными схемами, иллюстрирующими использование преобразованных остаточных данных согласно вариантам осуществления в данном документе.
Фиг. 8 является примерной блок-схемой, иллюстрирующей компьютерную систему, поддерживающую обработку данных согласно вариантам осуществления в данном документе.
Фиг. 9-11 являются примерными блок-схемами последовательности операций способа, иллюстрирующими декодирование согласно вариантам осуществления в данном документе.
Фиг. 12А и 12В являются примерными блок-схемами, иллюстрирующими кодирование согласно вариантам осуществления в данном документе.
Осуществление изобретения
Способы, проиллюстрированные в данном документе, являются подходящими для любого типа многомерных сигналов, включающих в себя, без ограничения, звуковые сигналы, многоканальные звуковые сигналы, изображения, двумерные изображения, видеосигналы, многовидовые видеосигналы, трехмерные видеосигналы, объемные сигналы, объемные видеосигналы, сигналы формирования медицинских изображений, сигналы более чем с четырьмя размерностями и т.д.
Для простоты, в описании, проиллюстрированные варианты осуществления обычно приспосабливают вариант использования кодирования и декодирования видеопоследовательностей, т.е. временных сигналов, состоящих из последовательности двумерных изображений (обычно называемых кадрами или полями в случае чересстрочных видеосигналов, причем эти термины используются фактически взаимозаменяемо в этом документе), причем каждый элемент (в таком неограничивающем примерном случае типично называемый пикселом) характеризуется посредством набора настроек цветов в подходящем цветовом пространстве (например, YUV, RGB, HSV и т.д.). Различные цветовые плоскости (например, плоскость яркости (Y) и две плоскости цветности (U и V)) зачастую кодируются отдельно и зачастую с различными разрешениями (вследствие более низкой чувствительности человеческого глаза к информации цветности), хотя плоскости U и V типично используют информацию компенсации движения, вычисленную для плоскости Y. Способы и варианты осуществления, проиллюстрированные в данном документе, могут использоваться в сочетании друг с другом и/или с другими способами. Многие предпочтительные варианты осуществления, проиллюстрированные в данном документе, описывают технологии и алгоритмы с целью достижения многомасштабного декодирования (например, в качестве неограничивающего примера, включения версии SD (стандартной четкости) и HD (высокой четкости) идентичного ТВ-(телевизионного) канала в один поток данных) и эффективного сжатия (т.е. кодирования подходящего визуального представления сигнала с минимальным количеством битов). Они также представляют собой неограничивающий пример: другие неограничивающие варианты осуществления достигают различных целей, таких как уменьшение потребления вычислительной мощности, эффективность использования энергии, уменьшение тепла, выделяемого CPU, использование архитектур параллельной обработки и т.д.
Фиг. 1А является неограничивающей примерной схемой, иллюстрирующей систему кодирования и декодирования согласно вариантам осуществления в данном документе.
Кодер 110 принимает сигнал 100 и кодирует его в поток 115 данных. Декодер 120 принимает поток 115 данных и формирует восстановленный сигнал 150. В неограничивающем варианте осуществления сигнал 100 и сигнал 150 представляют собой видеосигналы, содержащие соответствующую последовательность изображений 100-1, 100-2, ..., 100-n и 150-1, 150-2, ..., 150-n. Каждое изображение 150-i сигнала 150 является восстановленным визуальным представлением соответствующего исходного изображения 100-i сигнала 100. Например, изображение 150-1 является восстановлением изображения 100-1; изображение 150-2 является восстановлением исходного изображения 100-2 и т.д.
Фиг. 1В является неограничивающей примерной схемой, иллюстрирующей системы многомасштабного кодирования и декодирования согласно вариантам осуществления в данном документе.
В этом примерном варианте осуществления аппаратные средства 106 компьютерного процессора включают в себя декодер 120 и ранее существовавший декодер 130.
Кодер 110 принимает сигнал 100 и кодирует его в гибридный многомасштабный поток 115 данных. Ранее существовавший декодер 130 принимает поток 115 данных и формирует восстановленный SD-сигнал 140 с первым уровнем качества. Декодер 120 принимает поток 115 данных и формирует восстановленный HD-сигнал 150 со вторым уровнем качества, причем второй уровень качества выше первого уровня.
В неограничивающем варианте осуществления сигнал 150 со вторым уровнем качества имеет более высокое разрешение (пространственное и/или временное) относительно первого уровня качества. В другом неограничивающем варианте осуществления ранее существовавший декодер 130 использует технологии декодирования на основе MPEG-стандарта (например, MPEG2, h.264 и т.д.) для того, чтобы декодировать часть потока 115 данных. В другом неограничивающем варианте осуществления декодер 120 формирует восстановленный SD-сигнал 140 в качестве базиса для того, чтобы формировать восстановленный HD-сигнал 150. Другими словами, аппаратные средства 106 компьютерного процессора могут быть выполнены с возможностью использовать восстановленный SD-сигнал 140 в качестве базиса для
- 15 035886 того, чтобы формировать восстановленный HD-сигнал 150.
В одном варианте осуществления поток 115 данных содержит информацию, которая игнорируется посредством ранее существовавшего декодера 130 и которая декодируется посредством декодера 120, позволяя декодеру 120 формировать на основе восстановленного SD-сигнала 140 восстановленный HD-сигнал 150. В неограничивающем варианте осуществления второй уровень качества сигнала 150 имеет разрешение, полученное посредством повышающей дискретизации, с помощью данных коэффициентов масштабирования, одной или более пространственных размерностей сигнала 140 с первым уровнем качества.
В неограничивающем примерном варианте осуществления процессор сигналов декодирования телевизионной абонентской приставки программируется таким образом, чтобы реализовывать способ, как проиллюстрировано на фиг. 1В, в котором поток 115 данных соответствует принимаемому широковещательному сигналу в форме транспортного MPEG-потока. Как пояснено выше и как подробнее пояснено ниже, поток 115 данных включает в себя первые части кодированных данных для декодирования посредством ранее существовавшего декодера 130 для того, чтобы формировать восстановленный SD-сигнал 140, и вторые части кодированных данных (улучшающих данных) для декодирования посредством декодера 120. В одном варианте осуществления улучшающие данные соответствуют информации, используемой посредством декодера 120 для того, чтобы формировать на основе восстановленного SD-сигнала 140 восстановленный HD-сигнал 150. В одном варианте осуществления данные в потоке 115 данных, используемом для того, чтобы формировать восстановленный SD-сигнал 150, характеризуются посредством идентификатора пакета (PID) транспортного потока, который отличается от PID основного элементарного потока, который соответствует восстановленному SD-сигналу 140. Другими словами, в одном варианте осуществления первые части кодированных данных, которые декодируются посредством ранее существовавшего декодера 130 для того, чтобы воспроизводить сигнал 140, тегируются с помощью первого значения уникального идентификатора (к примеру, первого PID); вторые части кодированных данных, которые должны декодироваться посредством декодера 120 и формировать сигнал 150, тегируются с помощью второго значения уникального идентификатора (к примеру, второго PID).
Множество различных типов устройств декодера (например, в качестве неограничивающего примера абонентских приставок) могут быть выполнены с возможностью принимать поток 115 данных. Первый набор из одного или более устройств декодера в сетевом окружении может включать в себя только ранее существовавший декодер 130. В таком случае устройства декодера, принимающие поток 115 данных, имеют возможность декодировать только первые части кодированных данных для того, чтобы формировать восстановленный SD-сигнал 140 для отображения на соответствующем экране отображения. Соответствующие аппаратные средства компьютерного процессора инициируют декодирование только первых частей кодированных данных, принимаемых в потоке данных, в первое визуальное представление сигнала. Другими словами, вторые части кодированных данных не используются посредством ранее существовавшего декодера 130. Аппаратные средства компьютерного процессора (например, абонентская приставка) затем инициируют отображение первого визуального представления сигнала на экране отображения. Таким образом, ранее существовавшие декодеры имеют возможность принимать поток 115 данных и при этом отображать визуальное представление сигнала, хотя с более низким уровнем качества, к примеру, SD, а не HD с более высоким уровнем качества. Модернизированные устройства декодера, включающие в себя декодер 120, имеют возможность декодировать первые части кодированных данных, а также вторые части кодированных данных в потоке 115 данных для того, чтобы воспроизводить восстановленный HD-сигнал 150. Таким образом, ранее существовавшие абонентские приставки и соответствующие декодеры принимают идентичный поток данных 115, но просто игнорируют улучшающие данные (вторые части кодированных данных) и декодируют сигнал вплоть до первого уровня качества (к примеру, восстановленный SD-сигнал 140). В соответствии с другими неограничивающими вариантами осуществления гибридный многомасштабный поток данных, содержащий первые части кодированных данных и вторые части кодированных данных, сохраняется на Blu-Ray-диске согласно подходящему BluRay-видеоформату, при этом вторые части кодированных данных (улучшающих данных) включены в качестве метаданных. Ранее существовавшие Blu-Ray-декодеры игнорируют улучшающие данные, декодируя первые части кодированных данных в видеосигнал с первым уровнем качества (к примеру, Full HD). Модернизированные UltraHD Blu-Ray-декодеры декодируют как первые части кодированных данных, так и вторые части кодированных данных с использованием видеосигнала с первым уровнем качества в качестве базиса для того, чтобы декодировать видеосигнал со вторым (более высоким) уровнем качества (к примеру, UltraHD).
Фиг. 1С является неограничивающей примерной схемой, иллюстрирующей системы многомасштабного кодирования и декодирования с несколькими улучшающими слоями согласно вариантам осуществления в данном документе.
Как показано, эта примерная реализация аппаратных средств 106 компьютерного процессора включает в себя декодер 130, декодер 120 и декодер 125.
В этом неограничивающем примерном варианте осуществления кодер 110 принимает исходный сигнал 100 с самым высоким уровнем качества (к примеру, UltraHDp60) и кодирует его в многомасштаб- 16 035886 ный поток 115 данных. Ранее существовавший декодер 130 принимает поток 115 данных и формирует восстановленный SD-сигнал 140 с первым уровнем качества (к примеру, чересстрочный SD 576i60). Декодер 120 принимает поток 115 данных и формирует восстановленный HD-сигнал 150 со вторым уровнем качества (к примеру, чересстрочный Full HD 1080i60), причем второй уровень качества выше первого уровня.
Декодер 125 принимает поток 115 данных и формирует восстановленный UltraHD-сигнал 160 с третьим уровнем качества (к примеру, построчный UltraHDp60), причем третий уровень качества выше второго уровня.
В дополнительном неограничивающем варианте осуществления ранее существовавший декодер 130 использует технологии декодирования на основе MPEG-стандарта (например, MPEG2, h.264 и т.д.) для того, чтобы декодировать поток 115 данных. В другом неограничивающем варианте осуществления декодер 130 формирует восстановленный SD-сигнал 140, декодер 120 использует сигнал 140 в качестве базиса для того, чтобы формировать восстановленный HD-сигнал 150; декодер 125 затем использует восстановленный HD-сигнал 150 в качестве базиса для того, чтобы формировать восстановленный UltraHDсигнал 160.
Поток 115 данных содержит информацию, которая игнорируется посредством ранее существовавшего декодера 130 и которая декодируется посредством декодера 120, позволяя декодеру 120 формировать, на основе восстановленного SD-сигнала 140, восстановленный HD-сигнал 150. Поток 115 данных также содержит информацию, которая игнорируется посредством декодера 120 и которая декодируется посредством декодера 125, позволяя декодеру 125 формировать, на основе восстановленного HD-сигнала 150, восстановленный UltraHD-сигнал 160. Таким образом, другие части кодированных данных в принимаемом потоке данных 115 используются для того, чтобы преобразовывать восстановленный сигнал с более низким уровнем качества в восстановленный сигнал с более высоким уровнем качества.
Более конкретно, аппаратные средства 106 компьютерного процессора используют первые части кодированных данных в потоке 115 данных для того, чтобы формировать восстановленный SD-сигнал 140. Декодер 120 декодирует вторые части кодированных данных в потоке 115 данных. Аппаратные средства 106 компьютерного процессора используют декодированные вторые части кодированных данных для того, чтобы преобразовывать восстановленный SD-сигнал 140 в восстановленный HD-сигнал 150. Еще дополнительно, декодер 125 декодирует третьи части кодированных данных в потоке 115 данных. Аппаратные средства 106 компьютерного процессора используют декодированные третьи части кодированных данных для того, чтобы преобразовывать восстановленный HD-сигнал 150 в восстановленный UltraHD-сигнал 160. Согласно некоторым неограничивающим вариантам осуществления, вторые части кодированных данных в потоке 115 данных декодируются посредством аппаратных средств 106 компьютерного процессора, по меньшей мере частично, на основе восстановленного SD-сигнала 140, и третьей части кодированных данных в потоке 115 данных декодируются посредством аппаратных средств 106 компьютерного процессора, по меньшей мере частично, на основе восстановленного HDсигнала 150.
В неограничивающем варианте осуществления декодер 125 формирует третий уровень качества посредством комбинирования сначала восстановленного HD-сигнала 150 с первым набором остатков, затем посредством повышающей дискретизации сигнала на вертикальный коэффициент в два или другое подходящее значение (превращающей чересстрочный HD в построчный HD), затем посредством комбинирования сформированного сигнала со вторым набором остатков, затем посредством повышающей дискретизации с коэффициентом масштабирования в два для обеих пространственных размерностей (формирования прогнозированного, или предварительного, визуального представления сигнала с третьим уровнем качества) и, в завершение, посредством комбинирования прогнозированного визуального представления сигнала с третьим уровнем качества с третьим набором остатков.
В неограничивающем примерном варианте осуществления процессор сигналов декодирования телевизионной абонентской приставки программируется таким образом, чтобы реализовывать способ декодирования, как проиллюстрировано на фиг. 1С, при этом поток 115 данных соответствует принимаемому широковещательному сигналу в форме транспортного MPEG-потока согласно ISO/IEC 13818-1 и EN ETSI 50083-9. Улучшающие данные (к примеру, вторые части кодированных данных и третьи части кодированных данных и т.д.), соответствующие информации, используемой посредством декодера 120 и посредством декодера 125 для того, чтобы формировать, на основе восстановленного SD-сигнала 140, восстановленный HD-сигнал 150 и восстановленный UltraHD 160, характеризуются, соответственно, посредством уникальных идентификаторов пакетов (PID) транспортного потока, которые отличаются от PID основного элементарного потока (первых частей кодированных данных, к примеру MPEGкодированных данных), которые используются для того, чтобы формировать восстановленный SD-сигнал 140. Таким образом, декодеры ранее существовавших абонентских приставок (которые включают в себя только ранее существовавший декодер 130 для того, чтобы декодировать данные, кодированные с помощью ранее существовавшего MPEG-формата) принимают идентичный поток данных 115, но просто игнорируют улучшающие данные и декодируют сигнал вплоть до первого уровня качества (SD-уровня качества).
- 17 035886
В соответствии с еще одними дополнительными вариантами осуществления на фиг. 1С, через теги, аппаратные средства 106 компьютерного процессора синтаксически анализируют поток 115 данных на первые части кодированных данных (данных, тегированных с помощью первого значения тега), вторые части кодированных данных (данных, тегированного с помощью второго значения тега) и третьи части кодированных данных (данных, тегированных с помощью третьего значения тега). Аппаратные средства 106 компьютерного процессора реализуют первый декодер 130 для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала (к примеру, восстановленный SD-сигнал 140) с первым уровнем качества.
Аппаратные средства 106 компьютерного процессора реализуют второй декодер 120 для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления. Первые данные для восстановления указывают, как модифицировать первое визуальное представление сигнала 140 во второе визуальное представление сигнала 150 со вторым уровнем качества. Второй уровень качества выше первого уровня качества. Другими словами, сигнал со вторым уровнем качества ближе к исходному сигналу, из которого извлекаются визуальные представления сигнала. Аппаратные средства 106 компьютерного процессора обрабатывают первые данные для восстановления и первое визуальное представление сигнала 140 для того, чтобы формировать второе визуальное представление сигнала 150 со вторым (более высоким) уровнем качества.
В одном варианте осуществления аппаратные средства 106 компьютерного процессора реализуют третий декодер 125, чтобы декодировать третьи части кодированных данных в потоке 115 данных во вторые данные для восстановления. Вторые данные для восстановления указывают, как модифицировать второе визуальное представление сигнала 150 в третье визуальное представление сигнала 160 с третьим уровнем качества. Третий уровень качества выше второго уровня качества. Аппаратные средства 106 компьютерного процессора обрабатывают вторые данные для восстановления и второе визуальное представление сигнала 150 для того, чтобы формировать третье визуальное представление сигнала 160 с третьим уровнем качества. В качестве дополнительного неограничивающего примера, первые части кодированных данных могут декодироваться в соответствии с форматом MPEG (стандарт экспертной группы по киноизображению). Первые данные для восстановления могут извлекаться из вторых частей кодированных данных в потоке 115 данных. Вторые данные для восстановления могут извлекаться из третьих частей кодированных данных в потоке 115 данных. Как вторые части кодированных данных, так и третьи части кодированных данных в потоке данных могут декодироваться в соответствующие данные для восстановления в соответствии с различными форматами кодирования, к примеру, в качестве неограничивающего примера, с иерархическими форматами кодирования сжатых данных.
Фиг. 1D является неограничивающей примерной схемой, иллюстрирующей многомасштабную обратно совместимую передачу в устройство отображения с улучшающими метаданными согласно вариантам осуществления в данном документе.
В этом примерном варианте осуществления аппаратные средства 106 компьютерного процессора включают в себя адаптированное устройство 121 декодера и отображения и ранее существовавшее устройство 131 декодера и отображения.
Передающее устройство 111 принимает исходный сигнал 100 с самым высоким уровнем качества (к примеру, UltraHDp120) и формирует многомасштабный поток 115 данных согласно данному формату передачи (к примеру, в качестве неограничивающего примера, HDMI-формату для передачи по такой линии связи, как HDMI-кабель). Ранее существовавшее устройство 131 декодера и отображения принимает поток 115 данных и формирует восстановленный сигнал 141 с первым уровнем качества (к примеру, UltraHDp60). Адаптированное устройство 121 декодера и отображения принимает поток 115 данных и формирует восстановленный сигнал 151 со вторым уровнем качества (к примеру, UltraHDp120), причем второй уровень качества выше первого уровня.
В неограничивающем варианте осуществления первый уровень качества данных (к примеру, несжатые данные) передается в потоке 116 данных в качестве несжатых видеоданных согласно стандартному формату передачи, который является совместимым с ранее существовавшими устройствами (к примеру, HDMI, DisplayPort или DVT). Улучшающие данные, к примеру сжатые данные, передаваемые в потоке 116 данных, передаются в качестве кодированных метаданных и декодируются посредством адаптированного устройства 121 декодера и отображения, чтобы формировать на основе восстановленного сигнала 141 с первым уровнем качества восстановленный сигнал 151 со вторым уровнем качества.
В неограничивающем примерном варианте осуществления процессор сигналов декодирования телевизора программируется таким образом, чтобы реализовывать способ, как проиллюстрировано на фиг. 1D, в котором поток 116 данных соответствует принимаемому HDMI-сигналу. Улучшающие данные в потоке 116, к примеру сжатые данные, являются информацией, используемой посредством декодера 121 для того, чтобы формировать, с использованием восстановленного сигнала 141 в качестве базиса, восстановленный сигнал 151. В одном неограничивающем варианте осуществления улучшающие данные передаются в качестве островных пакетов в периодах гашения горизонтальной развертки HDMIпередачи (аудиоданные также используют периоды гашения, но значительная часть периодов гашения доступна для улучшающих данных). В других неограничивающих вариантах осуществления передача
- 18 035886 улучшающих данных (дополнительных сжатых данных в потоке 116 данных для того, чтобы преобразовывать восстановленный сигнал 141 в восстановленный сигнал 151) использует HDMI-передачу метаданных через конкретный для производителя информационный кадр (VSI). В других неограничивающих вариантах осуществления передача использует DisplayPort-кабель, и улучшающие данные передаются в качестве метаданных в DisplayPort-формате.
Посредством передачи улучшающих данных (к примеру, иерархических сжатых улучшающих данных) в качестве кодированных метаданных ранее существовавшие устройства отображения, которые не имеют возможность интерпретировать метаданные, принимают идентичный поток данных 116, но просто игнорируют улучшающие данные и отображают сигнал 141 с первым уровнем качества. Таким образом, например, игровая приставка, приспосабливающая способ, может передавать через HDMI (или DisplayPort) видеосигнал с более высоким разрешением и/или на более высокой частоте кадров относительно разрешения и частоты кадров, осуществимых посредством простого приспособления традиционного (несжатого) формата передачи, требуемого для того, чтобы воспроизводить сигнал 141 (включающий в себя изображение 141-1, изображение 141-2, ...). Приемные устройства отображения без новых возможностей просто декодируют и отображают сигнал 141 с первым уровнем качества, тогда как адаптированные устройства отображения и декодеры имеют возможность также декодировать дополнительные улучшающие данные (сжатые данные), восстанавливая визуальное представление сигнала с одним или больше более высоких уровней качества.
Фиг. 1E является примерной схемой, иллюстрирующей аппаратные средства компьютерного процессора, обрабатывающие соответствующий поток данных согласно вариантам осуществления в данном документе. Как показано, поток 115 данных включает в себя первые части кодированных данных 181 (первые сжатые данные) и вторые части кодированных данных 182 (вторые сжатые данные). В одном варианте осуществления поток 115 данных принимается как транспортный поток MPEG (стандарт экспертной группы по киноизображению), включающий в себя первые части данных 181, тегированные с помощью первого идентификатора пакета (PID #1), и вторые части данных 182, тегированные с помощью второго идентификатора пакета (PID #2).
Как показано, первые части кодированных данных 181 перемежаются со вторыми частями кодированных данных 182 в потоке 115 данных.
Первые части кодированных данных 181 включают в себя первую часть кодированных данных 181-1, первую часть кодированных данных 181-2 и т.д. Как пояснено выше, каждая из первых частей кодированных данных 181 тегируется с помощью соответствующего первого уникального тегированного значения (такого как PID-номер в транспортном потоке), указывающего то, что такие данные должны декодироваться посредством декодера 130.
Вторые части кодированных данных 182 включают в себя вторую часть кодированных данных 182-1, вторую часть кодированных данных 182-2 и т.д. Каждая из вторых частей кодированных данных 182 тегируется с помощью соответствующего второго уникального тегированного значения, указывающего то, что такие данные должны декодироваться посредством декодера 120.
Аппаратные средства 106 компьютерного процессора включают в себя логику 176 синтаксического анализатора. Как предполагает название, логика 176 синтаксического анализатора синтаксически анализирует принимаемый поток данных 115 на части данных (к примеру, сжатых MPEG-данных), которые должны декодироваться посредством декодера 130, и части данных (к примеру, сжатых иерархических кодированных данных), которые должны декодироваться посредством декодера 120. В одном варианте осуществления логика 176 синтаксического анализатора использует теги в потоке 115 данных для того, чтобы идентифицировать первые части данных 181 и вторые части данных 182.
В соответствии с дополнительными вариантами осуществления поток 115 данных включает в себя временную информацию, указывающую соответствующие временные ассоциирования при воспроизведении между первыми частями кодированных данных и вторыми частями кодированных данных. В этом примерном варианте осуществления временная информация в потоке 115 данных указывает временное ассоциирование 183-1 между частью кодированных данных 181-1 и частью кодированных данных 182-1; временная информация в потоке 115 данных указывает временное ассоциирование 183-2 между частью кодированных данных 181-2 и частью кодированных данных 182-2; и т.д.
В соответствии с дополнительным неограничивающим примерным вариантом осуществления аппаратные средства 106 компьютерного процессора идентифицируют временные ассоциирования между первыми частями кодированных данных 181 и вторыми частями кодированных данных 182. Временные ассоциирования и информация указывают то, к какому из множества кадров или изображений элементов отображения в первом визуальном представлении сигнала 146-1 относятся данные 184 для восстановления (к примеру, остаточные данные). Компьютерные обрабатывающие аппаратные средства 106 реализуют первый декодер 130 для того, чтобы декодировать первые части кодированных данных 181 в первое визуальное представление сигнала 146-1.
Как показано подробнее, аппаратные средства 106 компьютерного процессора реализуют второй декодер 120 для того, чтобы декодировать вторые части кодированных данных 182 в соответствующие данные 184 для восстановления. Согласно неограничивающему варианту осуществления часть данных
- 19 035886
184 для восстановления декодируется из кодированных данных 192, также, по меньшей мере частично, на основе первого визуального представления сигнала 146-1. Аппаратные средства 106 компьютерного процессора дополнительно включают в себя логику 178-1 модификации, логику 179-1 повышающей дискретизации, логику 178-2 модификации и т.д., чтобы выполнять дополнительные операции декодирования относительно вторых частей кодированных данных 182. Таким образом, логика 178-1 модификации, логика 179-1 повышающей дискретизации, логика 178-2 модификации и т.д. могут считаться частью второго декодера 120. Ниже подробнее поясняются функции, выполняемые посредством логики 178-1 модификации, логики 179-1 повышающей дискретизации, логики 170-2 модификации и т.д.
В общем, данные 184 для восстановления указывают, как модифицировать первое визуальное представление сигнала 146-1 (к примеру, видеосигнала, включающего в себя множество кадров или полей) в сигнал с более высоким уровнем качества (с идентичным или различным разрешением).
В одном варианте осуществления декодер 130 декодирует первые части кодированных данных 181 в соответствии со способом декодирования MPEG (стандарт экспертной группы по киноизображению). Декодер 120 декодирует (распаковывает) вторые части кодированных данных 182 в соответствии с форматом иерархического кодирования, чтобы формировать данные 184 для восстановления. В качестве дополнительного неограничивающего примера визуальное представление сигнала 146-1 может представлять собой SD-сигнал стандартной четкости, извлекаемый из первых частей кодированных данных 181. Как описано в данном документе, аппаратные средства 106 компьютерного процессора применяют данные 184 для восстановления к первому визуальному представлению сигнала 146-1, чтобы формировать второе визуальное представление сигнала (с более высоким уровнем качества с идентичным или различным разрешением). Как пояснено выше, восстановленные сигналы могут включать в себя множество изображений или кадров видео, каждое из которых включает в себя множество элементов отображения.
Аппаратные средства 106 компьютерного процессора реализуют логику 178-1 модификации, чтобы преобразовывать визуальное представление сигнала 146-1 в визуальное представление сигнала 146-2 (имеющего более высокий уровень качества). В одном варианте осуществления логика 178-1 модификации использует часть данных 184 для восстановления для того, чтобы формировать визуальное представление сигнала 146-2 с более высоким уровнем качества. Данные 184 для восстановления (к примеру, остаточные данные) указывают модификации (к примеру, коррекции), которые должны выполняться для одного или более элементов отображения или изображений в визуальном представлении сигнала 146-1, чтобы формировать визуальное представление сигнала 146-2. Как упомянуто выше, второе визуальное представление сигнала 146-2 может иметь разрешение элементов отображения (к примеру, идентичное пространственное разрешение и идентичная частота кадров), идентичное разрешению элементов отображения первого визуального представления сигнала 146-1.
В качестве дополнительного неограничивающего примерного варианта осуществления применение данных для восстановления к первому визуальному представлению сигнала 146-1 (к примеру, к предварительному визуальному представлению сигнала) для того, чтобы формировать второе визуальное представление сигнала 146-2, может включать в себя в соответствии с идентифицированными временными ассоциированиями, как пояснено выше, использование данных 184 для восстановления для того, чтобы временно повышающе дискретизировать первое визуальное представление сигнала во второе визуальное представление сигнала 146-2, причем второе визуальное представление сигнала включает в себя большее число кадров элементов отображения относительно первого визуального представления сигнала.
В качестве дополнительного примера первое визуальное представление сигнала 146-1 может включать в себя 60 кадров в секунду выборок, второе визуальное представление сигнала 146-2 может включать в себя 120 кадров в секунду; первое визуальное представление сигнала 146-1 может включать в себя 120 кадров в секунду, второе визуальное представление сигнала 146-2 может включать в себя 240 кадров в секунду и т.д. В таком варианте осуществления, чтобы достигать временной повышающей дискретизации, аппаратные средства компьютерного процессора могут быть выполнены с возможностью формировать на основе первого визуального представления сигнала 146-1 (к примеру, на первой частоте кадров), и как указано посредством данных 184 для восстановления, предварительное визуальное представление сигнала на второй частоте кадров; формировать набор остаточных данных, как указано посредством данных 184 для восстановления; и применять набор остаточных данных к предварительному визуальному представлению сигнала на второй частоте кадров, чтобы формировать второе визуальное представление сигнала 146-2. Таким образом, логика 178-1 модификации может быть выполнена с возможностью осуществлять коррекции с использованием остаточных данных, а также операций временной повышающей дискретизации (чтобы увеличивать сигнал до более высокой частоты кадров), как указано посредством данных 184 для восстановления. В соответствии с дополнительными вариантами осуществления следует отметить, что визуальное представление сигнала 146-2 может иметь число кадров в секунду, идентичное числу кадров в секунду в визуальном представлении сигнала 146-1. Например, первое визуальное представление сигнала 146-1 может включать в себя 60 кадров в секунду, второе визуальное представление сигнала 146-2, сформированное посредством логики 178-1 модификации, может иметь более высокий уровень качества и также включать в себя 60 кадров в секунду; первое визуальное представление сигнала 146-1 может включать в себя 120 кадров в секунду, второе визуальное представление сигнала 146-2 мо
- 20 035886 жет иметь более высокий уровень качества и включать в себя 120 кадров в секунду и т.д.
Компьютерные обрабатывающие аппаратные средства 106 дополнительно включают в себя логику 179-1 повышающей дискретизации. В соответствии с настройками, как указано посредством данных 184 для восстановления, логика 179-1 повышающей дискретизации выполняет повышающую дискретизацию сигнала 146-2 в визуальное представление сигнала 146-3. В одном варианте осуществления операции повышающей дискретизации, выполняемые посредством логики 17 9-1 повышающей дискретизации, включают в себя преобразование визуального представления сигнала 146-2 в визуальное представление более высокого разрешения сигнала 146-3. Другими словами, визуальное представление сигнала 146-2 может представлять собой SD-сигнал. Операции повышающей дискретизации, применяемые посредством логики 179-1 повышающей дискретизации, могут быть выполнены с возможностью преобразовывать настройки элемента отображения более низкого разрешения в сигнале 146-2 в соответствующие настройки элемента отображения более высокого разрешения в сигнале 146-3. Это пояснено подробнее ниже.
В соответствии с дополнительными вариантами осуществления реализация второго декодера 120 и связанной логики, чтобы декодировать вторые части кодированных данных 182, может включать в себя использование данных 184 для восстановления для того, чтобы идентифицировать операции повышающей дискретизации; и через логику 179-1 повышающей дискретизации, применение идентифицированных операций повышающей дискретизации ко второму визуальному представлению сигнала 146-2, чтобы формировать третье визуальное представление сигнала 146-3, причем третье визуальное представление сигнала 146-3 имеет значительно более высокое разрешение элементов отображения относительно разрешения элементов отображения второго визуального представления сигнала 146-2. Идентификация операций повышающей дискретизации, как указано посредством вторых частей кодированных данных 182 (используемых для того, чтобы формировать данные 184 для восстановления), может включать в себя параметры декодирования, соответствующие конкретным коэффициентам ядра повышающей дискретизации; по меньшей мере частично, на основе декодированных параметров, формирование ядра повышающей дискретизации, соответствующего части третьего визуального представления сигнала 146-3; и применение ядра повышающей дискретизации к части второго визуального представления сигнала 146-2, чтобы формировать часть третьего визуального представления сигнала 146-3. Визуальное представление сигнала 146-3 может представлять собой предварительный HD-сигнал, требующий коррекции.
Аппаратные средства 106 компьютерного процессора дополнительно включают в себя логику 178-2 модификации. В одном варианте осуществления логика 178-2 модификации использует часть данных 184 для восстановления для того, чтобы формировать визуальное представление сигнала 146-4. Например, данные 184 для восстановления указывают модификации (к примеру, коррекции), которые должны быть выполняться для одного или более элементов отображения в визуальном представлении сигнала 146-3, чтобы формировать визуальное представление сигнала 146-4. Логика 178-2 модификации применяет данные 184 для восстановления к сигналу 146-3, чтобы корректировать надлежащие настройки элемента отображения. Аналогично тому, что пояснено выше, логика модификации 178 также может быть выполнена с возможностью осуществлять временную повышающую дискретизацию. Таким образом, сигнал 146-4 может включать в себя более высокое число изображений кадров для воспроизведения в единицу времени относительно сигнала 146-3.
Этот процесс повышающей дискретизации (пространственной и/или временной) и затем модификации может повторяться на любом числе уровней. Соответственно, визуальное представление сигнала 140, к примеру для HD-сигнала, может быть повышающе дискретизировано и скорректировано в соответствующий UltraHD-сигнал для воспроизведения на соответствующем экране отображения.
В соответствии с еще одним дополнительным вариантом осуществления аппаратные средства 106 компьютерного процессора реализуют второй декодер 120 и связанные компоненты для того, чтобы декодировать вторые части кодированных данных 182. Это может включать в себя декодирование первого набора остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных 182; использование первого набора остаточных данных (части данных 184 для восстановления) для того, чтобы модифицировать первое визуальное представление сигнала 146-1 и формировать второе визуальное представление сигнала 146-2; формирование, по меньшей мере частично, на основе второго визуального представления сигнала 146-2, третьего визуального представления сигнала 146-3, причем третье визуальное представление сигнала 146-3 имеет более высокое разрешение (к примеру, HD-разрешение) относительно разрешения (SD-разрешения) второго визуального представления сигнала 146-2; декодирование второго набора остаточных данных (данных 184 для восстановления) со вторым уровнем качества, как указано посредством вторых частей кодированных данных 182; использование второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала 146-3 и формировать четвертое визуальное представление сигнала 146-4. Если дополнительно требуется, аппаратные средства компьютерного процессора могут быть выполнены с возможностью формировать на основе четвертого визуального представления сигнала 146-4 пятое визуальное представление сигнала, причем пятое визуальное представление сигнала имеет более высокое разрешение (к примеру, построчное Full HD-разрешение, UltraHD-разрешение и т.д.) относительно разрешения
- 21 035886 четвертого визуального представления сигнала 146-4; декодирование третьего набора остаточных данных (данных 184 для восстановления) с третьим уровнем качества, как указано посредством вторых частей кодированных данных 182; и использовать третий набор остаточных данных для того, чтобы модифицировать пятое визуальное представление сигнала и формировать шестое визуальное представление сигнала (к примеру, скорректированный сигнал UltraHD-разрешения). В одном варианте осуществления первое визуальное представление сигнала представляет собой чересстрочный видеосигнал, и шестое визуальное представление сигнала представляет собой построчный видеосигнал. Как уже упомянуто, процесс модификации на более высокий уровень качества, повышающей дискретизации в предварительное визуальное представление после повышающей дискретизации сигнала и затем модификации в визуальное представление сигнала со следующим более высоким уровнем качества может повторяться любое число раз, на основе конкретного неограничивающего варианта осуществления. Как пояснено выше относительно фиг. 1D, передающее устройство 111 может быть выполнено с возможностью передавать соответствующий поток 116 данных в соответствующие аппаратные средства 107 компьютерного процессора. Фиг. 1F является примерной схемой, иллюстрирующей аппаратные средства 107 компьютерного процессора, обрабатывающие соответствующий поток 116 данных согласно вариантам осуществления в данном документе. Как показано, поток 116 данных включает в себя множество сегментов декодированных данных 191 (декодированные данные 191-1, декодированные данные 191-2, ...). Поток 116 данных также включает в себя множество сегментов кодированных данных 192 (кодированные данные 192-1, кодированные данные 192-2, ...).
В одном неограничивающем варианте осуществления декодированные данные 191 являются несжатыми данными. Кодированные данные 192 являются сжатыми данными (к примеру, данными, сжатыми в соответствии с форматом иерархического кодирования). Поток 116 данных может представлять собой HDMI-сигнал, в котором кодированные данные 192 являются сжатыми видеоданными; декодированные данные являются несжатыми видеоданными. В соответствии с другим вариантом осуществления поток 116 данных представляет собой DisplayPort-интерфейс, в котором кодированные данные 192 являются сжатыми видеоданными; декодированные данные являются несжатыми видеоданными.
Как показано подробнее, компьютерные обрабатывающие аппаратные средства 107 включают в себя логику 196 синтаксического анализатора. Как предполагает название, логика 196 синтаксического анализатора синтаксически анализирует принимаемые данные в потоке 160 данных в декодированные данные 191 и кодированные данные 192. Декодированные данные (к примеру, данные, отформатированные согласно HDMI-формату передачи) указывают настройки для того, чтобы восстанавливать первое визуальное представление сигнала 146-1. Через декодированные данные 191 аппаратные средства 107 компьютерного процессора формируют первое визуальное представление сигнала 146-1. В одном варианте осуществления сигнал представляет собой видеосигнал, указывающий настройки для множества элементов отображения.
Аппаратные средства 107 компьютерного процессора включают в себя декодер 120. Аппаратные средства 107 компьютерного процессора включают в себя дополнительную логику, к примеру, логику 198-1 модификации, логику 199-1 повышающей дискретизации, логику 198-2 модификации и т.д., все из которых могут считаться частью или быть ассоциированы с декодером 120.
Аппаратные средства 107 компьютерного процессора реализуют декодер 120-1, чтобы декодировать кодированные данные 192 в соответствующие данные 184 для восстановления. Согласно неограничивающему варианту осуществления часть данных 184 для восстановления декодируется из кодированных данных 192 также, по меньшей мере частично, на основе первого визуального представления сигнала 146-1. Данные 184 для восстановления указывают, как модифицировать первое визуальное представление сигнала 146-1. В одном варианте осуществления аппаратные средства 107 компьютерного процессора декодируют кодированные данные 192 в данные 184 для восстановления через декодирование в соответствии с форматом иерархического кодирования. Как подробнее описано в данном документе, кодированные данные 192 могут кодироваться в соответствии с форматом иерархического кодирования, в котором данные кодируются в соответствии с различными разрешениями (пространственными и/или временными) в иерархии. Варианты осуществления в данном документе дополнительно могут включать в себя применение одной или более операций повышающей дискретизации для того, чтобы формировать остаточные данные в данных 184 для восстановления. Операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения.
Через логику 198-1 модификации аппаратные средства 107 компьютерного процессора применяют часть данных 184 для восстановления (к примеру, часть остаточных данных) к первому визуальному представлению сигнала 146-1, чтобы формировать второе визуальное представление сигнала 146-2. Второе визуальное представление сигнала 146-2 имеет более высокий уровень качества относительно первого визуального представления сигнала 146-1. В одном варианте осуществления второе визуальное представление сигнала 146-2 имеет разрешение элементов отображения (к примеру, SD), идентичное разрешению элементов отображения первого визуального представления сигнала 146-1. В качестве дополнительного неограничивающего примера с использованием данных 184 для восстановления логика 198-1
- 22 035886 модификации корректирует определенные настройки элементов отображения в визуальном представлении сигнала 146-1, чтобы формировать визуальное представление сигнала 146-2.
Как пояснено выше, аппаратные средства 107 компьютерного процессора дополнительно включают в себя логику 199-1 повышающей дискретизации. Аппаратные средства 107 компьютерного процессора идентифицируют одну или более операций повышающей дискретизации, как указано посредством данных 184 для восстановления (извлекаемых из кодированных данных 192). Логика 199-1 повышающей дискретизации применяет идентифицированные операции повышающей дискретизации ко второму визуальному представлению сигнала 146-2, чтобы формировать третье визуальное представление сигнала 146-3. В одном варианте осуществления третье визуальное представление сигнала 146-3 имеет значительно более высокое разрешение элементов отображения относительно второго визуального представления сигнала 146-2. В качестве примера второе визуальное представление сигнала 146-2 может представлять собой видеосигнал SD-разрешения; третье визуальное представление сигнала 146-3 может представлять собой предварительный видеосигнал HD-разрешения. В соответствии с дополнительными вариантами осуществления третье визуальное представление сигнала 146-3 является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения относительно визуального представления сигнала 146-2. Аппаратные средства компьютерного процессора дополнительно включают в себя логику 198-2 модификации. Как показано, логика 198-2 модификации использует часть данных 184 для восстановления (к примеру, остаточные данные) для того, чтобы модифицировать предварительное визуальное представление сигнала 146-3 в визуальное представление сигнала 146-4. Визуальное представление сигнала 146-4 (модифицированное предварительное визуальное представление сигнала 146-3) имеет более высокий уровень качества относительно предварительного визуального представления сигнала 146-3 с HD-разрешением. Аналогично тому, что пояснено выше, аппаратные средства 107 компьютерного процессора могут повторять процесс повышающей дискретизации и модификации до любого требуемого уровня (пространственного и/или временного) разрешения. Согласно другим неограничивающим вариантам осуществления четвертое визуальное представление сигнала имеет более высокую частоту кадров относительно первого визуального представления сигнала, и операции повышающей дискретизации содержат подходящие операции временной повышающей дискретизации.
Фиг. 1G является примерной схемой, иллюстрирующей обработку согласно вариантам осуществления в данном документе. Как показано, аппаратные средства 106 компьютерного процессора используют первые части кодированных данных 181 для того, чтобы формировать визуальное представление сигнала 146-1, включающее в себя изображения или кадры FR1, FR2, FR3 и т.д. Аппаратные средства 106 компьютерного процессора реализуют декодер 120 для того, чтобы формировать остаточные данные 184-1, 184-2 и т.д. из вторых частей кодированных данных 182. Через применение остаточных данных 184-1 к кадрам FR1, FR2, FR3 и т.д. в первом визуальном представлении сигнала 146-1 аппаратные средства 106 компьютерного процессора формируют предварительное визуальное представление сигнала (на второй частоте кадров), включающее в себя изображения или кадры FR1', FR1,5', FR2', FR2,5', FR3' и т.д. Как показано, это предварительное визуальное представление сигнала включает в себя большее число кадров относительно визуального представления сигнала 146-1. В других неограничивающих вариантах осуществления предварительное визуальное представление включает в себя число кадров, идентичное числу кадров визуального представления сигнала 146-1.
Аппаратные средства 106 компьютерного процессора используют дополнительные остаточные данные 184-2 для того, чтобы модифицировать предварительное визуальное представление сигнала, включающее в себя кадры FR1', FR1,5', FR2', FR2,5', FR3' и т.д., в визуальное представление сигнала 146-2, включающее в себя кадры FR1, FR1,5, FR2, FR2,5, FR3 и т.д. Визуальное представление сигнала 146-2 имеет более высокий уровень качества относительно предварительного визуального представления сигнала, включающего в себя кадры FR1', FR1,5', FR2', FR2,5', FR3' и т.д. В одном варианте осуществления соответствующий набор остаточных данных формируется согласно временному наследованию для множества кадров сигнала. Например, аппаратные средства компьютерного процессора могут быть выполнены с возможностью декодировать остаточные данные для данного кадра сигнала (к примеру, остаточные данные для формирования кадра FR2' из кадра FR2), по меньшей мере частично, на основе остаточных данных, декодированных для другого кадра (к примеру, остаточных данных, используемых для того, чтобы преобразовывать кадр FR1 в кадр FR1'). Согласно некоторым неограничивающим вариантам осуществления временное наследование реализуется посредством декодирования остаточных данных для данного кадра следующим образом (способ 1 временного наследования на фиг. 1F): декодирование предварительных остаточных данных для данного кадра; для части остаточных данных (как указано посредством данных 184 для восстановления) комбинирование предварительных остаточных данных для данного кадра с остаточными данными опорного кадра, формирование остаточных данных для данного кадра. Согласно другим неограничивающим вариантам осуществления временное наследование реализуется посредством декодирования остаточных данных для данного кадра следующим образом (способ 2 временного наследования на фиг. 1F): декодирование первых базовых остаточных данных для последовательности кадров; комбинирование базовых остаточных данных с относительными остаточными дан- 23 035886 ными, формирование остаточных данных для данного кадра. В некоторых вариантах осуществления первые базовые остаточные данные также формируются посредством комбинирования относительных остаточных данных со вторыми базовыми остаточными данными на более высоком уровне агрегирования.
Фиг. 1Н является примерной схемой, иллюстрирующей обработку согласно вариантам осуществления в данном документе. Как показано, аппаратные средства 106 компьютерного процессора используют первые части кодированных данных 181 для того, чтобы формировать визуальное представление сигнала 146-1, включающее в себя изображения или кадры FR1, FR2, FR3, FR4 и т.д. Аппаратные средства 106 компьютерного процессора реализуют декодер 120 для того, чтобы формировать первый набор базовых остаточных данных 184-В1, 184-В2 и т.д., из вторых частей кодированных данных 182. В одном варианте осуществления данные 184 для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с множеством разрешений элементов отображения. Второй декодер 120 (или другой подходящий ресурс) применяет операции повышающей дискретизации ко вторым частям кодированных данных (или данных 184 для восстановления) для того, чтобы воспроизводить иерархию 167-1 остаточных данных, извлекаемых из базовых остаточных данных 184-В1 (корневых данных для того, чтобы воспроизводить остаточные данные для применения в множестве временных выборок). Другими словами, данные 184 для восстановления могут быть или включать в себя иерархию 167-1 остаточных данных, кодированных в соответствии с множеством разрешений элемента (нижние уровни в иерархии 167-1 имеют более низкое пространственное и/или временное разрешение, верхние уровни в иерархии 167-1 имеют более высокое пространственное и/или временное разрешение). В одном варианте осуществления второй декодер 120 применяет операции повышающей дискретизации ко вторым частям кодированных данных 182, чтобы воспроизводить иерархию 167-1 остаточных данных. В соответствии с дополнительными вариантами осуществления аппаратные средства компьютерного процессора формируют иерархию 167-1 согласно временному наследованию остатков для множества кадров элементов отображения в сигнале. Как показано, на данном верхнем уровне иерархии остаточных данных аппаратные средства компьютерного процессора декодируют остаточные данные для первого кадра (к примеру, остаточные данные 185-1), по меньшей мере частично, на основе базового набора остаточных данных (к примеру, остаточных данных ниже в иерархии 167-1), причем базовый набор остаточных данных служит в качестве базиса для того, чтобы воспроизводить остаточные данные для множества временных выборок сигнала. Базовый набор остаточных данных временно повышающе дискретизируется и затем комбинируется с относительными остаточными данными (воспроизведенными так, как указано посредством данных 184 для восстановления) для того, чтобы формировать остаточные данные с более высоким временным разрешением. Когда временное наследование указывается (к примеру, с помощью подходящего символа временного наследования) для данной части базовых остаточных данных, соответствующая часть базового набора остаточных данных расширена в остаточные данные для множества временных выборок сигнала без их комбинирования с дополнительными остаточными данными (т.е. без декодирования дополнительной информации из данных 184 для восстановления). Другими словами, часть базовых данных 184-В1 для восстановления расширена во времени, чтобы формировать часть соответствующих остаточных данных 185-1, 185-2 и т.д. для множества временных выборок (к примеру, изображений или кадров) сигнала.
В дополнение или в качестве альтернативы временному наследованию, иерархия остаточных данных 185 может формироваться согласно пространственному наследованию остатков в данном кадре элементов отображения в сигнале. В таком случае остаточные данные для данного изображения или кадра кодированы как иерархия остаточных данных с различными пространственными разрешениями с помощью следующей последовательности операций: декодирование остаточных данных с данным уровнем качества в иерархии, повышающая дискретизация остаточных данных, формирование предварительных остаточных данных со следующим более высоким разрешением, декодирование относительных остаточных данных для упомянутого следующего более высокого разрешения, применение относительных остаточных данных к предварительным остаточным данным, формирование остаточных данных со следующим более высоким уровнем качества в иерархии. Относительные остаточные данные могут декодироваться независимо для каждой временной выборки сигнала или согласно временной иерархии уровней агрегирования. При данном уровне качества в иерархии остаточных данных аппаратные средства компьютерного процессора декодируют остаточные данные для части данного кадра только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных. Другими словами, для части остаточных данных данные 184 для восстановления указывают информацию с низким (пространственным) уровнем качества вместе с символом пространственного наследования, и декодер имеет возможность восстанавливать соответствующую часть остаточных данных с более высоким уровнем качества без дополнительной информации из данных для восстановления. Согласно другим неограничивающим вариантам осуществления для части остаточных данных данные 184 для восстановления указывают информацию с низким (пространственным) уровнем качества вместе с символом временного наследования, и декодер восстанавливает соответствующую часть остаточных данных с более высоким уровнем качества с использованием опорного набора остаточных данных в качестве базиса.
- 24 035886
Аппаратные средства 106 компьютерного процессора используют первый набор базовых остаточных данных 184-В1, чтобы воспроизводить остаточные данные 185-1 (для временной выборки № 1), остаточные данные 185-2 (для временной выборки № 2), остаточные данные 18 5-3 (для временной выборки № 3) и т.д.
Как показано подробнее, аппаратные средства компьютерного процессора используют первый набор остаточных данных 18 5-1, чтобы модифицировать и преобразовывать кадр FR1 в кадр FR1'; аппаратные средства компьютерного процессора используют второй набор остаточных данных 185-2, чтобы модифицировать и преобразовывать кадр FR2 в кадр FR2'; аппаратные средства компьютерного процессора используют третий набор остаточных данных 185-3, чтобы модифицировать и преобразовывать кадр FR3 в кадр FR3'; и т.д. Визуальное представление сигнала 146-2 (разрешение № 1) в этом примерном варианте осуществления включает в себя кадры FR1', FR2', FR3', FR4' и т.д., извлекаемые из кадров в визуальном представлении сигнала 146-1 (разрешение № 1). Аппаратные средства 106 компьютерного процессора выполняют операции повышающей дискретизации, как указано посредством данных 184 для восстановления, для того чтобы повышающе дискретизировать визуальное представление сигнала 146-2 в визуальное представление сигнала 146-3. Например, логика 188-1 повышающей дискретизации пространственно повышающе дискретизирует элементы отображения в кадре FR1' в кадр FR1; логика 188-2 повышающей дискретизации пространственно повышающе дискретизирует элементы отображения в кадре FR2' в кадр FR2; логика 188-3 повышающей дискретизации пространственно повышающе дискретизирует элементы отображения в кадре FR3' в кадр FR3 и т.д. Повышающая дискретизация может включать в себя преобразование визуального представления более низкого разрешения сигнала 146-2 в визуальное представление более высокого разрешения сигнала 146-3.
Таким образом, варианты осуществления в данном документе включают в себя применение остаточных данных 186 к множеству элементов отображения в третьем визуальном представлении сигнала 146-3, чтобы формировать четвертое визуальное представление сигнала 146-4, применяемые остаточные данные 186 модифицируют настройки множества элементов отображения в третьем визуальном представлении сигнала 146-3, чтобы формировать настройки для соответствующих элементов отображения в четвертом визуальном представлении сигнала 146-4. Визуальное представление сигнала 146-3 (разрешение № 2) в этом примерном варианте осуществления включает в себя кадры FR1, FR2, FR3, FR4 и т.д.
Как показано подробнее, аппаратные средства 106 компьютерного процессора реализуют декодер 120 или связанную логику, чтобы формировать второй набор базовых остаточных данных 184-В2 из вторых частей кодированных данных 182. Аналогично тому, как аппаратные средства 106 компьютерного процессора извлекают наборы остаточных данных 185 из базовых остаточных данных 184-В1 через повышающую дискретизацию в иерархии 167-2, аппаратные средства 106 компьютерного процессора используют второй набор базовых остаточных данных 184-В2 для того, чтобы воспроизводить остаточные данные 186-1 (для временной выборки № 1), остаточные данные 186-2 (для временной выборки № 2), остаточные данные 186-3 (для временной выборки № 3) и т.д.
Как показано, аппаратные средства компьютерного процессора используют первый набор иерархически извлеченных остаточных данных 186-1 для того, чтобы преобразовывать кадр FR1 в кадр FR1'; аппаратные средства компьютерного процессора используют второй набор остаточных данных 186-2, чтобы преобразовывать кадр FR2 в кадр FR2'; аппаратные средства компьютерного процессора используют третий набор остаточных данных 186-3, чтобы преобразовывать кадр FR3 в кадр FR3'; и т.д. Визуальное представление сигнала 146-4 (разрешение № 2) в этом примерном варианте осуществления включает в себя кадры FR1', FR2', FR3', FR4' и т.д., извлекаемые из визуального представления сигнала 146-3 (разрешение № 2).
Фиг. 2 является неограничивающей примерной схемой, иллюстрирующей систему декодирования согласно вариантам осуществления в данном документе.
Поток 115 данных принимается посредством блока 200 и разделяется, формируя ранее существовавшие SD-данные 210 и дополнительные данные 220. Ранее существовавшие SD-данные декодируются посредством блока 230 декодирования SD из ранее существовавших SD-данных, формируя SD LOQ 140-1 (уровень качества), визуальное представление сигнала с первым уровнем качества (SD-уровнем качества). SD LOQ 140-1 повышающе дискретизируется посредством блока 270, формируя предварительный HD LOQ 280, прогнозированное визуальное представление сигнала со вторым (более высоким) уровнем качества (HD-уровнем качества).
Улучшающие данные 220 декодируются посредством блока 240 декодирования HD-остатков, формируя HD-остатки 260.
Предварительный HD LOQ 280 и HD-остатки 260 комбинируются, формируя конечный HD LOQ, т.е. восстановленный HD-сигнал 150-1.
В неограничивающем варианте осуществления SD LOQ 140-1 представляет собой двумерную плоскость элементов с первым уровнем качества, тогда как предварительный HD LOQ 280, HD-остатки 260 и восстановленный HD-сигнал 150-1 представляют собой двумерные плоскости элементов со вторым (более высоким) уровнем качества.
- 25 035886
В неограничивающем варианте осуществления блок 230 использует способ временного декодирования (например, MPEG2, Н.264, VP8 и т.д.), так что SD LOQ 140-2 (сформированный посредством блока 230, не показанного на фиг. 2 для простоты визуального представления) зависит, по меньшей мере частично, от ранее декодированного сигнала 140-1. В других неограничивающих вариантах осуществления блок 240 также реализует способ временного декодирования: в неограничивающем варианте осуществления HD-остатки, декодированные посредством блока 240 для того, чтобы формировать сигнал 1502, основаны, по меньшей мере частично, на HD-остатках, декодированных для того, чтобы формировать сигнал 150-1; в другом неограничивающем варианте осуществления HD-остатки, декодированные для того, чтобы формировать сигнал 150-2, основаны, по меньшей мере частично, на общей опорной плоскости, которая также используется посредством блока 240 для того, чтобы декодировать HD-остатки, применяемые для того, чтобы формировать сигнал 150-1.
В неограничивающем варианте осуществления улучшающие данные 220 включают в себя информацию, которая обрабатывается посредством блока 270, чтобы изменять и повышающе дискретизировать SD LOQ 140-1.
В неограничивающем варианте осуществления поток 115 данных включает в себя улучшающие данные 220 посредством использования идентификаторов пакетов, которые игнорируются посредством определенных ранее существовавших декодеров, так что упомянутые декодеры могут принимать и декодировать поток 115 данных и формировать SD LOQ 140-1 за счет простого игнорирования улучшающих данных 220 и декодирования ранее существовавших данных 210.
В неограничивающем варианте осуществления декодер 120 реализует размывание, как указано посредством вторых частей кодированных данных. В варианте осуществления оно реализуется посредством декодирования по меньшей мере одного остатка в остаточных данных 260 посредством применения практически случайного числа, сформированного согласно данному распределению вероятностей.
Фиг. 3A является неограничивающей примерной схемой, описывающей систему декодирования, аналогичную системе, описанной на фиг. 2, в которой поток 115 данных содержит информацию, соответствующую улучшающим данным 310. Блок 320 комбинирует SD LOQ 140-1 с изменяющим слоем (остаточными SD-данными) и затем повышающе дискретизирует их, формируя прогнозированный HD LOQ 280. В неограничивающем варианте осуществления изменяющий слой декодируется согласно способу поярусного иерархического декодирования.
В неограничивающем варианте осуществления операции повышающей дискретизации и обработки изображений, используемые для того, чтобы формировать прогнозированный HD LOQ 280, реализованы так, как указывается посредством улучшающих данных 310. В других неограничивающих вариантах осуществления улучшающие данные 310 содержат коэффициенты ядра для операций повышающей дискретизации, используемых посредством блока 320. В неограничивающем варианте осуществления операции повышающей дискретизации используют ядро 4x4 (взвешенное среднее 16 элементов с более низким уровнем качества, т.е. посредством 16 коэффициентов, чтобы формировать каждый элемент изображения более высокого уровня качества, или 64 коэффициентов для каждого блока элемента изображения 2x2 с более высоким уровнем качества в неограничивающем случае повышающей дискретизации с коэффициентом в два для обеих пространственных размерностей), указываемое посредством улучшающих данных 310. В неограничивающем варианте осуществления улучшающие данные 310 содержат информацию, соответствующую плоскости коэффициентов ядра, используемых посредством блока 320, чтобы повышающе дискретизировать SD LOQ 140-1 в прогнозированный HD LOQ 280. В неограничивающем варианте осуществления операции повышающей дискретизации и обработки изображений, используемые посредством блока 320, включают в себя нелинейные операции. В неограничивающем варианте осуществления повышающая дискретизация компонентов сигнала цветности (например, U и V в цветовом YUV-пространстве) выполняется после формирования конечного HD LOQ 150-1 для компонента (Y) яркости и основана, по меньшей мере частично, на восстановленной плоскости Y конечного HD LOQ 150-1 (в неограничивающем варианте осуществления посредством способа билатеральной фильтрации).
В неограничивающем варианте осуществления операции, выполняемые посредством блока 320, включают в себя операции обработки изображений (например, нерезкое маскирование, фильтры восстановления краев, размывание и т.д.). В другом неограничивающем варианте осуществления операции, выполняемые посредством блока 240, включают в себя комбинирование декодированных остатков со случайными значениями, вычисленными согласно данному распределению вероятностей.
Фиг. 3B является неограничивающей примерной схемой, описывающей систему декодирования, аналогичную системам, описанным на фиг. 2 и 3A, в которой поток 116 данных содержит информацию, соответствующую ранее существовавшим данным 330 с более низкой частотой кадров, улучшающим данным 311 компенсации движения и дополнительным улучшающим данным 312. Блок 321 формирует на основе сигнала 332 с низкой частотой кадров прогнозированный сигнал 360 с высокой частотой кадров. В неограничивающем варианте осуществления операции, выполняемые для того, чтобы формировать дополнительные кадры/поля сигнала 360 по сравнению с сигналом 332, содержат операции компенсации движения и/или операции временной повышающей дискретизации.
- 26 035886
Блок 340 обрабатывает дополнительные улучшающие данные 312 и декодирует остатки 350 для дополнительных кадров/полей. Остатки 350 затем комбинированы с новыми созданными кадрами/полями сигнала 360, формируя конечный восстановленный сигнал 151-1 с высокой частотой кадров. В неограничивающем варианте осуществления поток 116 данных передается через HDMI-кабель согласно основным принципам передачи по HDMI-стандарту, и ранее существовавшие данные 330 с более низкой частотой кадров содержат несжатые видеоданные согласно основным принципам передачи по HDMI-стандарту; улучшающие данные 311 и 312 передаются в качестве метаданных, которые игнорируются посредством ранее существовавших HDMI-устройств (которые просто декодируют и отображают сигнал 332), тогда как они обрабатываются и декодируются посредством надлежащим образом адаптированных устройств (которые декодируют и отображают сигнал 151).
Фиг. 3C является неограничивающей примерной схемой, дополнительно иллюстрирующей систему декодирования, аналогичную системам, описанным на фиг. 3B, описывающей процесс формирования дополнительных кадров, чтобы формировать, на основе видеосигнала на более низкой частоте кадров (т.е. с более низким уровнем качества с точки зрения временного разрешения) и на основе улучшающей информации, видеосигнал с более высокой частотой кадров (т.е. с более высоким уровнем качества с точки зрения временного разрешения). Другие неограничивающие варианты осуществления обрабатывают улучшающие данные таким образом, чтобы формировать, на основе сигнала с более низким уровнем качества, видеосигнал, который характеризуется как посредством более высокого пространственного разрешения, так и посредством более высокой частоты кадров.
Фиг. 4 является неограничивающей примерной схемой, иллюстрирующей согласно вариантам осуществления в данном документе систему декодирования, аналогичную системам, описанным на фиг. 2 и 3, в которой поток 115 данных содержит информацию, соответствующую ранее существовавшим SDданным 210, кодированным данным 410, кодированным данным 415 повышающей дискретизации и кодированным данным 420. Кодированные данные 410 обрабатываются посредством блока 430 декодирования SD-остатков, формируя плоскость остатков 435 с первым уровнем качества (в неограничивающем варианте осуществления с SD-разрешением). В неограничивающем варианте осуществления операции, выполняемые посредством блока 430, содержат энтропийное декодирование кодированных данных 410 и деквантование символов, сформированных посредством энтропийного декодирования, формируя остатки 435. В другом неограничивающем варианте осуществления операции, выполняемые посредством блока 430, содержат энтропийное декодирование кодированных данных 410, преобразование символов, сформированных посредством энтропийного декодирования и деквантования преобразованных символов, формируя остатки 435. В другом неограничивающем варианте осуществления операции, выполняемые посредством блока 430, содержат энтропийное декодирование кодированных данных 410, деквантование символов, сформированных посредством энтропийного декодирования, преобразование деквантованных символов в остатки 435. В неограничивающем варианте осуществления операции деквантования принимают квантованный символ и формируют значение, содержащееся в соответствующем интервале квантования, согласно данному распределению вероятностей. В других неограничивающих вариантах осуществления операции, выполняемые посредством блока 430, содержат декодирование плоскости остатков на основе способа поярусного иерархического декодирования. В одном варианте осуществления способ содержит декодирование плоскости остатков с первым (более низким) уровнем качества; формирование, на основе плоскости остатков с первым уровнем качества, прогнозированной плоскости остатков со вторым (более высоким) уровнем качества; комбинирование прогнозированной плоскости остатков со вторым уровнем качества с декодированными данными, формирование плоскости остатков со вторым уровнем качества.
Остатки 435 комбинированы с SD LOQ 140-1, формируя измененный SD LOQ 460. Измененный SD LOQ 460 повышающе дискретизируется посредством блока 480 посредством использования операций повышающей дискретизации, которые соответствуют кодированным данным 415 повышающей дискретизации, формируя прогнозированный HD LOQ 280. Кодированные данные 420 декодируются посредством блока 440, формируя преобразованные остатки 470. Преобразованные остатки 470, измененный SD LOQ 460 и прогнозированный HD LOQ 280 обрабатываются посредством блока 490 преобразования и суммирования, формируя восстановленный HD-сигнал 150-1. В неограничивающем варианте осуществления восстановленный HD-сигнал 150-1 представляет собой отдельное изображение (например, кадр или поле) видеопоследовательности. В неограничивающем варианте осуществления кодированные данные 410, кодированные данные 415 повышающей дискретизации и/или кодированные данные 420 содержат информацию, которая используется для того, чтобы формировать как улучшающие данные (например, SD-остатки, информацию повышающей дискретизации и преобразованные HD-остатки) для изображения 150-1, так и улучшающие данные для других изображений (например, кадров или полей) в видеопоследовательности. В неограничивающем варианте осуществления упомянутая информация содержит плоскость опорного буфера остатков, которые используются для того, чтобы восстанавливать как преобразованные остатки 470 (например, в качестве неограничивающего примера, посредством суммирования относительных остатков, соответствующих изображению 150-1, декодированному из кодированных данных 420), так и преобразованные остатки для других изображений в видеопоследовательно- 27 035886 сти (например, посредством суммирования относительных остатков, соответствующих другим изображениям в видеопоследовательности). В другом неограничивающем варианте осуществления часть улучшающих данных для изображения в последовательности декодируется, по меньшей мере частично, на основе соответствующей части улучшающих данных для другого изображения в последовательности.
Фиг. 5А является неограничивающей примерной схемой, описывающей остаточное декодирование согласно вариантам осуществления в данном документе.
Кодированные данные 410 обрабатываются посредством декодирования 500 методом Хаффмана (реализующего способ энтропийного декодирования методом Хаффмана), затем посредством RLEдекодирования 510 (реализующего способ декодирования на основе кодирования по длинам серий) и затем посредством деквантования 520 (реализующего подходящий способ деквантования), формируя остатки 435.
В других неограничивающих вариантах осуществления ввод блока 520 преобразуется (т.е. обрабатывается) перед деквантованием. В неограничивающем варианте осуществления блок 520 сначала деквантует принимаемые символы и затем преобразует результаты в остатки 435 согласно подходящему способу преобразования (например, DCT, преобразование Адамара, направленное преобразование с разложением и т.д.).
В одном варианте осуществления через декодер 430 или другой подходящий ресурс аппаратные средства 106 компьютерного процессора (аппаратные средства 107 компьютерного процессора) декодируют вторые части кодированных данных 182 (к примеру, кодированные данные 410 на фиг. 5А) в преобразованные остаточные данные; обрабатывают преобразованные остаточные данные для того, чтобы формировать квантованные остаточные данные; деквантуют квантованные остаточные данные для того, чтобы воспроизводить остаточные данные; и применяют воспроизведенные остаточные данные к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала. Следует отметить, что обработка может осуществляться любым подходящим способом. В соответствии с другим вариантом осуществления любой из одного или более наборов из остаточных данных может формироваться из преобразованных остаточных данных. Например, аппаратные средства компьютерного процессора могут быть выполнены с возможностью декодировать вторые части кодированных данных 182 в квантованные преобразованные остаточные данные; деквантовать квантованные остаточные данные для того, чтобы формировать преобразованные остаточные данные; обрабатывать преобразованные остаточные данные, соответствующее одно или более визуальных представлений сигнала (фиг. 7А) для того, чтобы воспроизводить остаточные данные; и применять воспроизведенные остаточные данные к визуальному представлению сигнала.
Фиг. 5В является неограничивающей примерной схемой, описывающей остаточное декодирование согласно способу поярусного иерархического декодирования согласно вариантам осуществления в данном документе.
Кодированные данные 410 разбиваются на множество поднаборов кодированных данных, соответствующих данному уровню качества плоскости остатков 435.
Поднабор 410-В кодированных данных, соответствующий самому низкому (нижнему) уровню качества для остаточных данных, обрабатывается посредством остаточного декодера 530+В, формируя остаточную плоскость ybottom 560+В. Плоскость 560+В обрабатывается посредством модуля 570+В вычисления прогнозирования, формируя прогнозированное визуальное представление UB+1 580+B+1. В неограничивающем варианте осуществления операции, выполняемые, чтобы формировать прогнозированное визуальное представление UB+1, включают в себя операцию повышающей дискретизации. Блок 430 продолжает посредством декодирования поднаборов кодированных данных для последующих (постепенно более высоких) уровней качества и посредством комбинирования остаточных данных, декодированных из упомянутого поднабора, с соответствующим прогнозированным визуальным представлением U на основе предыдущего (более низкого) уровня качества. Например, поднабор 410-1 кодированных данных обрабатывается посредством остаточного декодера 531, по меньшей мере частично, на основе информации 532-1 наследования, формируя промежуточные данные 541. В неограничивающем варианте осуществления информация 532-1 наследования указывает части промежуточных данных 541, которые непосредственно унаследованы из более низкого уровня качества, без необходимости для поднабора 4101 указывать какую-либо информацию относительно них. Промежуточные данные 541 и прогнозированное визуальное представление U-1 581 обрабатываются и комбинируются посредством модуля 551 восстановления, формируя плоскость Y-1 561 остатков, плоскость 561 обрабатывается посредством модуля 571 вычисления прогнозирования, формируя прогнозированное визуальное представление U0 580.
Поднабор 410-0 кодированных данных обрабатывается посредством остаточного декодера 530, по меньшей мере частично, на основе информации 532-0 наследования, формируя промежуточные данные 540. Промежуточные данные 540 и прогнозированное визуальное представление U0 580 обрабатываются и комбинируются посредством модуля 550 восстановления, формируя плоскость Y0 560 остатков, которая соответствует остаткам 435. В неограничивающем варианте осуществления модули 570, 571, ..., 570+В вычисления прогнозирования реализуют операции повышающей дискретизации и/или операции обработки изображений согласно параметрам, указываемым в соответствующих поднаборах кодирован- 28 035886 ных данных, принимаемых посредством блока 430. В других неограничивающих вариантах осуществления остаточные декодеры 530, 531, ..., 530+В формируют промежуточные данные также на основе опорных данных для того, чтобы эффективно учитывать временную корреляцию для множества изображений в видеопоследовательности. В некоторых неограничивающих вариантах осуществления опорные данные представляют собой одну или более опорных плоскостей, которые комбинированы с данными, указываемыми в соответствующих поднаборах кодированных данных множества изображений в видеопоследовательности. В других неограничивающих вариантах осуществления опорные данные являются соответствующими остаточными данными для опорного изображения в видеопоследовательности; в некоторых упомянутых вариантах осуществления информация 532-0, ..., 532-В наследования содержит информацию, указывающую то, что элемент промежуточных данных 540+N должен вычисляться посредством комбинирования декодированных данных с соответствующим элементом Y'' для опорного изображения в видеопоследовательности (т.е. информация относительно того, какие элементы плоскости Y должны быть основаны на опорном изображении, унаследована вдоль многоярусной иерархии, позволяя эффективно различать, например, указывая и завершая наследование с низким уровнем качества для значительной части изображения, элементы, которые могут извлекать выгоду из временной корреляции); в некоторых неограничивающих вариантах осуществления соответствующий элемент Y вычисляется согласно способу компенсации движения посредством обработки подходящей информации относительно движения, которая принимается посредством блока 430.
Фиг. 5С является неограничивающей примерной схемой, иллюстрирующей реализацию остаточного декодера 531 по фиг. 5В согласно вариантам осуществления в данном документе.
Поднабор 410-1 кодированных данных обрабатывается посредством модуля 580-1 оценки вероятностей таким образом, чтобы формировать вероятности 581 символов. В неограничивающем варианте осуществления модуль 580-1 оценки вероятностей восстанавливает, по меньшей мере частично, на основе параметров, указываемых в поднаборе 410-1 кодированных данных, распределение вероятностей для символов, которые энтропийно кодированы в поднабор 410-1 кодированных данных, с тем чтобы предоставлять возможность эффективного статического энтропийного декодирования. Поднабор 410-1 кодированных данных и вероятности 581 символов затем обрабатываются посредством декодера 580-2 на основе статического диапазона, формируя декодированные символы 582. В некоторых неограничивающих вариантах осуществления блок 580-1 формирует множество наборов из вероятностей 581 символов (по одному в расчете на каждый смежный мозаичный фрагмент символов для декодирования), с тем чтобы давать возможность блоку 580-2 реализовывать параллельное энтропийное декодирование декодированных символов 582. В другом неограничивающем варианте осуществления блок 580-2 реализует различные способы статического энтропийного декодирования, такие как арифметическое декодирование.
Декодированные символы 582 обрабатываются посредством деквантователя 580-3, формируя деквантованные символы 583. Деквантованные символы 583, информация 532-1 наследования и ссылочная информация 584 обрабатываются посредством модуля 580-3 комбинирования, формируя как промежуточные данные 541, так и информацию 530-1 наследования. В неограничивающем варианте осуществления информация 532-1 наследования указывает части промежуточных данных 541, которые непосредственно унаследованы из более низкого уровня качества без необходимости для поднабора 410-1 кодированных данных указывать какую-либо информацию относительно них. Это обеспечивает большую эффективность при передаче данных, поскольку кодированные данные не должны обязательно указывать информацию относительно элементов, которые могут эффективно прогнозироваться посредством декодера посредством информации, которой уже обладает декодер. В неограничивающем варианте осуществления информация 530-1 наследования также указывает то, какая часть промежуточных данных 541 должна формироваться, по меньшей мере частично, на основе ссылочной информации 584. Таким образом, кодированные данные могут декодироваться через энтропийный декодер на основе статического диапазона в соответствии с распределением вероятностей символов, указываемым в данных для восстановления. В соответствии с еще одним дополнительным вариантом осуществления кодированные данные могут декодироваться через статический арифметический энтропийный декодер в соответствии с распределением вероятностей символов, указываемым в данных для восстановления.
Фиг. 6А и 6В являются неограничивающими примерными схемами, иллюстрирующими преобразованное остаточное декодирование согласно вариантам осуществления в данном документе.
Фиг. 6А описывает последовательность операций, используемую в неограничивающем варианте осуществления, чтобы формировать четыре SD-плоскости преобразованных остатков (т.е. четыре плоскости с SD-разрешением): преобразованные А-остатки 640-1, преобразованные В-остатки 640-2, преобразованные С-остатки 640-3, преобразованные D-остатки 640-4. Как показано, другие части кодированных данных 420 декодируются согласно комбинации способов энтропийного декодирования методом Хаффмана (декодер 610 Хаффмана) и декодирования по длинам серий (RLE) (RLE-декодер 620). В неограничивающем варианте осуществления блоки 630-1, 630-2, 630-3, 630-4 деквантования используют различные способы и/или параметры деквантования (согласно тому факту, что различные наборы преобразованных остатков квантованы посредством кодера согласно различным параметрам квантования).
- 29 035886
Фиг. 6В описывает неограничивающий вариант осуществления, в котором А-остатки 640-1 и
D-остатки 640-4 восстановлены согласно плоскостям по умолчанию, известным на стороне декодера (например, в неограничивающем варианте осуществления плоскостям элементов, инициализированных, равными нулю), а не посредством декодирования информации, содержащейся в кодированных данных
420.
Другие неограничивающие варианты осуществления (не показаны на фиг. 6А и 6В) декодируют наборы 420-1, ..., 420-4 кодированных данных согласно способу статического энтропийного декодирования, аналогично способу, проиллюстрированному на фиг. 5С, в котором энтропийный декодер реализует способ статического энтропийного декодирования согласно распределению вероятностей символов, экстраполированному из одного или более параметров, указываемых в кодированных данных.
Фиг. 7А-7С являются неограничивающими примерными схемами, иллюстрирующими использование преобразованных остатков, иллюстрирующими операции, выполняемые посредством неограничивающего варианта осуществления блока 490.
Фиг. 7А иллюстрирует то, как блок 490 восстанавливает на основе предварительного HD LOQ 280 измененного SD LOQ 460 и преобразованных остатков 640, конечный HD LOQ 150-1 согласно вариантам осуществления в данном документе.
Каждый блок 2x2 элементов 150-1-1 конечного HD LOQ 150-1 (фиг. 7А иллюстрирует 150-1-1, но аналогичные операции реализуются для других блоков 2x2 изображения) формируется посредством обработки соответствующего блока 280-i предварительного HD LOQ 280, соответствующего элемента 460-i измененного SD LOQ 460 (например, в неограничивающем варианте осуществления элемента, совместно размещаемого с 280-i и 150-1-i в изображении, также заданного в качестве родительского элемента 280-i и 150-1-i) и четырех соответствующих преобразованных остатков 640-1-i, 640-2-i, 640-3-i и 640-4-i.
Более конкретно, для проиллюстрированного случая блока 2x2 элементов 150-1-1 четыре элемента 280-1 обрабатываются посредством блока 700 формирования РА вместе со своим соответствующим родительским элементом 460-1 измененного SD LOQ 460, формируя значение РА 730-1.
В-остаток 640-2-1 суммируется или вычитается для каждого из значений блока 280-1, например, в неограничивающем варианте осуществления суммируется с элементами слева от блока 2x2 и вычитается из элементов справа от блока 2x2.
С-остаток 640-3-1 суммируется или вычитается для каждого из значений блока 280-1, например, в неограничивающем варианте осуществления суммируется с элементами в верхней части блока 2x2 и вычитается из элементов в нижней части блока 2x2.
D-остаток 640-3-1 суммируется или вычитается для каждого из значений блока 280-1, например, в неограничивающем варианте осуществления суммируется с элементами вверху слева и внизу справа от блока 2x2 и вычитается из элементов вверху справа и внизу слева от блока 2x2.
Результат всех этих комбинаций представляет собой блок 2x2 элементов 150-1-1 конечного HD LOQ 150-1.
Процедура затем повторяется для всех блоков 2x2 конечного HD LOQ 150-1. В неограничивающем варианте осуществления, если одна из размерностей конечного HD LOQ 150-1 имеет нечетное число элементов, декодер сначала восстанавливает изображение с дополнительной строкой или столбцом и затем отбрасывает такую дополнительную строку или столбец.
Другими словами, описанный неограничивающий вариант осуществления восстанавливает конечный HD LOQ 150-1 следующим образом: формирование на основе второго визуального представления сигнала (измененного SD LOQ 460) третьего визуального представления сигнала (предварительного HD LOQ 280), причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения; декодирование вторых частей кодированных данных в набор преобразованных остаточных данных (А-остатки, Востатки, С-остатки и D-остатки 640); обработку комбинации набора преобразованных остаточных данных, второго визуального представления сигнала (измененного SD LOQ 460) и третьего визуального представления сигнала (предварительного HD LOQ 280) для того, чтобы формировать новый набор остаточных данных (не показан на чертеже, поскольку непосредственно применяется к предварительному HD LOQ 280); и применение нового набора остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
Фиг. 7В иллюстрирует неограничивающий вариант осуществления блока 700, в котором каждое значение 730-i SD-плоскости РА 730 формируется посредством вычисления разности между элементом 460-i (например, yh,k) и средним значением соответствующих четырех элементов блока 280-i 2x2 (например, pi,j, pi!j+1, Pi+1,j, Pi+1,j+1). Значение 730-1 комбинировано с А-остатком 640-1-1, и результирующее значение суммируется с каждым из четырех элементов блока 280-1.
Фиг. 7С иллюстрирует неограничивающий вариант осуществления с использованием преобразованных остатков в восстановлении остаточных данных (к примеру, остаточных данных, которые должны применяться для того, чтобы модифицировать первое визуальное представление сигнала во второе визу- 30 035886 альное представление сигнала) согласно иерархическому способу.
Согласно варианту осуществления остаточные данные восстановлены с постепенно более высокими уровнями качества согласно следующей последовательности: восстановление остаточных данных с более низким уровнем качества; формирование (к примеру, через операции повышающей дискретизации) предварительного визуального представления остаточных данных со следующим более высоким уровнем качества; декодирование преобразованных остатков; формирование относительных остаточных данных со следующим более высоким уровнем качества, как указано посредством преобразованных остатков; модификация предварительного визуального представления остаточных данных со следующим более высоким уровнем качества посредством применения относительных остаточных данных, формирования остаточных данных со следующим более высоким уровнем качества. Остаточные данные с самым высоким уровнем качества в иерархии остаточных данных затем применяются к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Другими словами, вариант осуществления обрабатывает кодированные данные следующим образом: декодирование вторых частей кодированных данных в остаточные данные с первым уровнем качества; формирование, на основе остаточных данных с первым уровнем качества, предварительного визуального представления остаточных данных со вторым уровнем качества, причем второй уровень качества выше первого уровня качества; декодирование вторых частей кодированных данных в квантованные преобразованные остаточные данные; деквантование квантованных преобразованных остаточных данных для того, чтобы формировать преобразованные остаточные данные; обработку комбинации преобразованных остаточных данных, остаточных данных с первым уровнем качества и предварительного визуального представления остаточных данных со вторым уровнем качества таким образом, чтобы воспроизводить остаточные данные со вторым уровнем качества (к примеру, посредством комбинирования предварительного визуального представления остаточных данных со вторым уровнем качества с набором относительных остаточных данных, как описано на фиг. 7С); и применение воспроизведенных остаточных данных со вторым уровнем качества к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Неограничивающий вариант осуществления дополнительно содержит формирование на основе второго визуального представления сигнала третьего визуального представления сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения; декодирование вторых частей кодированных данных в новый набор преобразованных остаточных данных; обработку комбинации нового набора преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы формировать новый набор остаточных данных; и применение нового набора остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
Фиг. 8 является схемой, иллюстрирующей примерную компьютерную архитектуру, в которой можно выполнять любую функциональность согласно вариантам осуществления в данном документе. Любая из одной или более различных технологий обработки могут реализовываться через выполнение программного кода на аппаратных средствах компьютерного процессора.
В неограничивающем варианте осуществления компьютерная система 850 расположена в абонентской приставке или на другом подходящем ресурсе. Варианты осуществления в данном документе обеспечивают возможность компьютерной системе 850 декодировать кодированные данные и восстанавливать сигнал с любым из одного или более различных более высоких уровней качества, как описано в данном документе. В качестве неограничивающего примера аппаратные средства компьютерного процессора в компьютерной системе 850 могут быть выполнены с возможностью формировать второй уровень качества (например, HD-видео) посредством обработки идентичного потока данных, который другие ранее существовавшие абонентские приставки декодируют только с первым уровнем качества (например, формируя SD-видео).
Например, как показано подробнее, компьютерная система 850 (например, аппаратные средства компьютерного процессора) настоящего примера может включать в себя механизм 811 межкомпонентного соединения, который связывает машиночитаемые носители 812 хранения данных, такие как энергонезависимый тип носителей (т.е. любой тип аппаратного носителя хранения данных), на которых может сохраняться и извлекаться цифровая информация. Компьютерная система 850 дополнительно может включать в себя процессор 813 (т.е. аппаратные средства 106, 107 компьютерного процессора и т.д., к примеру, одно или более совместно размещаемых или отдельно размещаемых относительно процессора процессорных устройств), интерфейс 814 ввода-вывода, интерфейс 817 связи и т.д. Аппаратные средства компьютерного процессора (т.е. процессор 813) могут быть расположены в одном местоположении или могут быть распределены по множеству местоположений.
Как предполагает название, интерфейс 814 ввода-вывода предоставляет возможности подключения к таким ресурсам, как репозиторий 880, устройства управления (к примеру, контроллер 892), один или более экранов отображения и т.д. Машиночитаемый носитель 812 хранения данных может представлять собой любое аппаратное устройство хранения данных для того, чтобы сохранять данные, такое как запо
- 31 035886 минающее устройство, оптическое устройство хранения данных, жесткий диск, гибкий диск и т.д. В одном варианте осуществления машиночитаемый носитель 812 хранения данных сохраняет инструкции и/или данные. Интерфейс 817 связи обеспечивает возможность компьютерной системе 850 и ресурсу 813 процессора передавать по ресурсу, к примеру, по любой из сетей 190. Интерфейс 814 ввода-вывода обеспечивает возможность ресурсу 813 процессора осуществлять доступ к данным из локального или удаленного местоположения, управлять соответствующим экраном отображения, принимать ввод и т.д.
Как показано, машиночитаемые носители 812 хранения данных могут кодироваться с помощью приложения 840-1 декодера (например, программного обеспечения, микропрограммного обеспечения и т.д.), выполняемого посредством процессора 813. Приложение 840-1 декодера может быть выполнено с возможностью включать в себя инструкции, чтобы реализовывать любую из операций, как пояснено в данном документе.
В ходе работы одного варианта осуществления процессор 813 осуществляет доступ к машиночитаемым носителям 812 хранения данных через использование механизма 811 межкомпонентного соединения для того, чтобы запускать, прогонять, приводить в исполнение, интерпретировать или иным образом выполнять инструкции в приложении 840-1 декодера, сохраненном на машиночитаемом носителе 812 хранения данных.
Выполнение приложения 840-1 декодера формирует функциональность обработки, такую как процесс 840-2 декодера в ресурсе 813 процессора. Другими словами, процесс 840-2 декодера, ассоциированный с ресурсом 813 процессора, представляет один или более аспектов выполнения приложения 840-1 декодера в рамках или на ресурсе 813 процессора в компьютерной системе 850.
Специалисты в данной области техники должны понимать, что компьютерная система 850 может включать в себя другие процессы и/или программные и аппаратные компоненты, такие как операционная система, которая управляет выделением и использованием аппаратных ресурсов для того, чтобы выполнять приложение 840-1 декодера. В соответствии с различными вариантами осуществления следует отметить, что компьютерная система может представлять собой любые из различных типов устройств, включающих в себя, но не только, абонентскую приставку, точку доступа, мобильный компьютер, персональную компьютерную систему, беспроводное устройство, базовую станцию, телефонное устройство, настольный компьютер, переносной компьютер, ноутбук, нетбук, мэйнфреймовую компьютерную систему, карманный компьютер, рабочую станцию, сетевой компьютер, сервер приложений, устройство хранения данных, бытовое электронное устройство, такое как камера, записывающая видеокамера, абонентская приставка, мобильное устройство, консоль для видеоигр, карманное устройство для видеоигр, периферийное устройство, такое как коммутатор, модем, маршрутизатор и т.д., либо, в общем, любой тип вычислительного или электронного устройства. Компьютерная система 850 может постоянно размещаться в любом местоположении или во множестве местоположений в сетевом окружении. Компьютерная система 850 может быть включена в любой подходящий ресурс в сетевом окружении, чтобы реализовывать функциональность, как пояснено в данном документе. Ниже поясняется функциональность, поддерживаемая посредством различных ресурсов, с помощью блок-схем последовательности операций способа на фиг. 9-11.
Следует отметить, что этапы на нижеприведенных блок-схемах последовательности операций способа могут выполняться в любом подходящем порядке.
Фиг. 9 является блок-схемой 900 последовательности операций, иллюстрирующей примерный способ согласно вариантам осуществления. Следует отметить, что возникает определенное пересечение с принципами, поясненными выше. На этапе 910 обработки, аппаратные средства компьютерного процессора синтаксически анализируют поток данных на первые части кодированных данных 181 и вторые части кодированных данных 182.
На этапе 920 обработки аппаратные средства компьютерного процессора реализуют первый декодер 130 для того, чтобы декодировать первые части кодированных данных 181 в первое визуальное представление сигнала.
На этапе 930 обработки аппаратные средства компьютерного процессора реализуют второй декодер 120 для того, чтобы декодировать вторые части кодированных данных 182 в данные 184 для восстановления, причем данные 184 для восстановления указывают, как модифицировать первое визуальное представление сигнала.
На этапе 940 обработки аппаратные средства компьютерного процессора применяют данные 184 для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Фиг. 10 является блок-схемой 1000 последовательности операций, иллюстрирующей примерный способ согласно вариантам осуществления.
Следует отметить, что возникает определенное пересечение с принципами, поясненными выше.
На этапе 1010 обработки аппаратные средства компьютерного процессора синтаксически анализируют поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных.
- 32 035886
На этапе 1020 обработки аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества.
На этапе 1030 обработки аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные для восстановления указывают, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества.
На этапе 1040 обработки аппаратные средства компьютерного процессора обрабатывают первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем качества.
На этапе 1050 обработки аппаратные средства компьютерного процессора реализуют третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления, причем вторые данные для восстановления указывают, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества, причем третий уровень качества выше второго уровня качества.
На этапе 106 обработки аппаратные средства компьютерного процессора обрабатывают вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем качества.
Фиг. 11 является блок-схемой 1100 последовательности операций, иллюстрирующей примерный способ согласно вариантам осуществления. Следует отметить, что возникает определенное пересечение с принципами, поясненными выше.
На этапе 1110 обработки аппаратные средства компьютерного процессора синтаксически анализируют принимаемый поток данных на декодированные данные и кодированные данные, причем декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала.
На этапе 1120 обработки аппаратные средства компьютерного процессора используют декодированные данные для того, чтобы формировать первое визуальное представление сигнала.
На этапе 1130 обработки аппаратные средства компьютерного процессора реализуют декодер для того, чтобы декодировать кодированные данные в данные для восстановления, причем данные для восстановления указывают, как модифицировать первое визуальное представление сигнала.
На этапе 1140 обработки аппаратные средства компьютерного процессора применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Фиг. 12А иллюстрирует неограничивающий примерный способ кодирования согласно вариантам осуществления в данном документе.
Исходный видеосигнал 100 обрабатывается посредством преобразователя 1200 с понижением частоты, формируя преобразованный с понижением частоты сигнал 1220. В неограничивающем варианте осуществления преобразованный с понижением частоты сигнал 1220 представляет собой сигнал с более низким разрешением элементов отображения.
Ранее существовавший кодер 1240 обрабатывает преобразованный с понижением частоты сигнал 1220, формируя кодированные данные 1250. В неограничивающем варианте осуществления ранее существовавший кодер 1240 кодирует преобразованный с понижением частоты сигнал согласно способу кодирования MPEG (стандарт экспертной группы по киноизображению). Формирователь 1230 данных для восстановления обрабатывает исходный сигнал 100 и восстановленное визуальное представление сигнала, кодированного посредством ранее существовавшего кодера 1240 (полученное либо посредством приема восстановленного визуального представления из ранее существовавшего кодера 1240, либо, как проиллюстрировано на фиг. 12А, посредством приема и декодирования кодированных данные 1250), формируя кодированные данные 1260 (к примеру, кодированные улучшающие данные).
Модуль 1270 комбинирования принимает кодированные данные 1250 (первые части кодированных данных) и кодированные данные 1260 (вторые части кодированных данных) и комбинирует их в поток 115 данных. В неограничивающем варианте осуществления поток 115 данных организован в качестве транспортного MPEG-2-потока, при этом вторые части кодированных данных ассоциированы с другим идентификатором пакета (PID) относительно первых частей кодированных данных.
Фиг. 12В иллюстрирует неограничивающий примерный способ кодирования согласно вариантам осуществления в данном документе.
Исходный видеосигнал 100 (к примеру, UltraHD-видеосигнал) обрабатывается посредством преобразователя 1200 с понижением частоты, формируя преобразованный с понижением частоты сигнал 1220 (к примеру, визуальное SD-представление исходного видеосигнала) и преобразованный с понижением частоты сигнал 1225 (к примеру, визуальное HD-представление исходного видеосигнала).
Ранее существовавший кодер 1240 обрабатывает преобразованный с понижением частоты сигнал 1220, формируя кодированные данные 1250. В неограничивающем варианте осуществления ранее суще
- 33 035886 ствовавший кодер 1240 кодирует преобразованный с понижением частоты сигнал согласно способу кодирования MPEG (стандарт экспертной группы по киноизображению). Формирователь 1230 HD-данных для восстановления обрабатывает преобразованное с понижением частоты визуальное HD-представление сигнала 1225 и восстановленное визуальное представление сигнала, кодированного посредством ранее существовавшего кодера 1240 (полученное либо посредством приема восстановленного визуального представления из ранее существовавшего кодера 1240, либо, как проиллюстрировано на фиг. 12В, посредством приема и декодирования кодированных данные 1250), формируя кодированные данные 1260 (к примеру, кодированные улучшающие HD-данные).
Формирователь 1237 UltraHD-данных для восстановления обрабатывает исходный сигнал 100 и восстановленное визуальное представление HD-сигнала 1235, принимаемые из 1230, формируя кодированные данные 1265 (к примеру, кодированные улучшающие UltraHD-данные).
Модуль 1271 комбинирования принимает кодированные данные 1250 (первые части кодированных данных), кодированные данные 1260 (вторые части кодированных данных) и кодированные данные 1265 (третьи части кодированных данных) и комбинирует их в поток 115 данных. В неограничивающем варианте осуществления поток 115 данных организован в качестве транспортного MPEG-2-потока, при этом вторые части кодированных данных и третьи части кодированных данных ассоциированы с конкретными идентификаторами пакетов (PID), отличающимися от PID первых частей кодированных данных. Снова следует отметить, что технологии в данном документе оптимально подходят для кодирования и декодирования принимаемых данных. Тем не менее, следует отметить, что варианты осуществления в данном документе не ограничены использованием в таких вариантах применения и что технологии, поясненные в данном документе, также оптимально подходят для других вариантов применения.
На основе описания, изложенного в данном документе, приведено множество конкретных подробностей для того, чтобы предоставлять полное понимание заявленного предмета изобретения. Тем не менее, специалисты в данной области техники должны понимать, что заявленный предмет изобретения может быть использован на практике без этих конкретных подробностей. В других случаях способы, устройства, системы и т.д., которые известны специалистами в данной области техники, подробно не описываются, с тем чтобы не затруднять понимание заявленного предмета изобретения. Некоторые части подробного описания представлены с точки зрения алгоритмов или символических представлений операций для битов данных или двоичных цифровых сигналах, сохраненных в запоминающем устройстве вычислительной системы, к примеру, в компьютерном запоминающем устройстве. Эти алгоритмические описания или представления являются примерами технологий, используемых специалистами в данной области техники в областях техники обработки данных для того, чтобы доносить сущность своей работы до других специалистов в данной области техники. Алгоритм, описанный в данном документе, в общем, считается самосогласованной последовательностью операций или аналогичной обработкой, приводящей к требуемому результату. В этом контексте, операции или обработка заключают в себе физическую обработку физических величин. Типично, хотя и не обязательно, такие величины могут принимать форму электрических или магнитных сигналов, допускающих сохранение, передачу, комбинирование, сравнение и иную обработку. Периодически удобно, преимущественно по причинам широкого использования, упоминать такие сигналы, как биты, данные, значения, элементы, символы, знаки, члены, числа, цифры и т.п. Тем не менее, следует понимать, что все эти и аналогичные термины должны быть ассоциированы с надлежащими физическими величинами и являются просто удобными обозначениями. Если прямо не указано иное, как очевидно из нижеприведенного пояснения, следует принимать во внимание, что в этом подробном описании, пояснение с использованием таких терминов, как обработка, вычисление, расчет, определение и т.п., означает действия или процессы вычислительной платформы, такой как компьютер или аналогичное электронное вычислительное устройство, которое обрабатывает или преобразует данные, представленные в качестве физических электронных или магнитных величин в запоминающих устройствах, регистрах или других устройствах хранения информации, передающих устройствах или на устройствах отображения вычислительной платформы.
Хотя это изобретение было конкретно показано и описано со ссылкой на его предпочтительные варианты осуществления, специалисты в данной области техники должны понимать, что различные изменения по форме и содержанию могут вноситься без отступления от сущности и объема настоящего изобретения, определяемых посредством прилагаемой формулы изобретения. Как предполагается, такие изменения входят в объем настоящего изобретения. В связи с этим, вышеприведенное описание вариантов осуществления настоящего изобретения не имеет намерение быть ограничивающим. Наоборот, все ограничения на изобретение представлены в прилагаемой формуле изобретения.

Claims (21)

  1. ФОРМУЛА ИЗОБРЕТЕНИЯ
    1. Способ декодирования гибридного обратно совместимого сигнала, используя аппаратные средства компьютерного процессора, при этом упомянутый способ содержит этапы, на которых синтаксически анализируют посредством логики синтаксического анализатора упомянутых аппаратных средств компьютерного процессора поток данных на первые части данных, кодированные в соответствии с ранее существовавшим форматом, и вторые части данных, кодированные в соответствии с форматом иерархического кодирования;
    декодируют в первом декодере упомянутые первые части кодированных данных таким образом, чтобы получить первое представление упомянутого сигнала с первым уровнем качества;
    причем упомянутый способ содержит этапы, на которых выполняют повышающую дискретизацию упомянутого первого представления упомянутого сигнала с первым уровнем качества таким образом, чтобы получить предварительное второе представление упомянутого сигнала со вторым уровнем качества;
    декодируют во втором декодере упомянутые вторые части кодированных данных таким образом, чтобы получить данные для восстановления, причем данные для восстановления указывают по меньшей мере, как следует модифицировать упомянутое предварительное второе представление сигнала, чтобы получить второе представление упомянутого сигнала со вторым уровнем качества, имеющее более высокое качество, чем упомянутое первое представление сигнала; и применяют по меньшей мере часть данных для восстановления к предварительному второму представлению сигнала для формирования упомянутого второго представления сигнала, чтобы сформировать упомянутое второе представление сигнала со вторым уровнем качества, причем данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с одним или более разрешениями элементов отображения, причем первые части кодированных данных декодируются в соответствии с упомянутым ранее существовавшим форматом, и при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с упомянутым форматом иерархического кодирования.
  2. 2. Способ по п.1, в котором упомянутый ранее существовавший формат является форматом MPEG (стандарт экспертной группы по киноизображению).
  3. 3. Способ по п.1, в котором первые части кодированных данных содержат несжатые видеоданные, при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с форматом иерархического кодирования.
  4. 4. Способ по п.2 или 3, в котором вторые части кодированных данных являются сжатыми данными, при этом декодирование вторых частей кодированных данных включает в себя применение операций повышающей дискретизации к сжатым данным для формирования данных для восстановления, причем применяемые операции повышающей дискретизации преобразуют настройки элементов отображения более низкого разрешения в настройки элементов отображения более высокого разрешения.
  5. 5. Способ по п.1, в котором аппаратные средства компьютерного процессора представляют собой первые аппаратные средства компьютерного процессора, при этом через вторые аппаратные средства компьютерного процессора принимают поток данных;
    инициируют декодирование только первых частей кодированных данных, принимаемых в потоке данных, в первое представление сигнала;
    инициируют отображение первого представления сигнала на экране отображения.
  6. 6. Способ по п.5, в котором первые части кодированных данных декодируются согласно способу декодирования, совместимому с аппаратными средствами компьютерного процессора ранее существовавшего декодера, и поток данных организован таким образом, что вторые части кодированных данных не используются посредством аппаратных средств компьютерного процессора ранее существовавшего декодера, при этом аппаратные средства компьютерного процессора ранее существовавшего декодера i) инициируют декодирование только первых частей кодированных данных и ii) инициируют отображение первого представления сигнала на соответствующем экране отображения.
  7. 7. Способ по п.1, в котором сигнал включает в себя множество элементов отображения, при этом второе представление сигнала имеет более высокий уровень качества, чем первое представление сигнала.
  8. 8. Способ по п.1, в котором декодирование вторых частей кодированных данных включает в себя этапы, на которых декодируют первый набор остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных;
    используют первый набор остаточных данных для модифицирования первого представления сигнала и формирования второго представления сигнала;
    формируют, по меньшей мере частично на основании второго представления сигнала третье представление сигнала, причем третье представление сигнала имеет более высокое разрешение, чем разреше- 35 035886 ние второго представления сигнала;
    декодируют второй набор остаточных данных со вторым уровнем качества, как указано посредством вторых частей кодированных данных;
    используют второй набор остаточных данных для модифицирования третьего представления сигнала и формирования четвертого представления сигнала.
  9. 9. Способ по п.1, в котором декодирование вторых частей кодированных данных включает в себя этапы, на которых:
    идентифицируют операции повышающей дискретизации, как указано посредством вторых частей кодированных данных;
    применяют операции повышающей дискретизации ко второму представлению сигнала для формирования третьего представления сигнала, причем третье представление сигнала имеет значительно более высокое разрешение элементов отображения, чем разрешение элементов отображения второго представления сигнала.
  10. 10. Способ по п.1, в котором данные для восстановления включают в себя по меньшей мере первый набор остаточных данных и второй набор остаточных данных, причем первый набор остаточных данных указывает, как следует модифицировать представление сигнала с первым разрешением элементов отображения, второй набор остаточных данных указывает, как следует модифицировать представление сигнала со вторым разрешением элементов отображения, причем второе разрешение элементов отображения выше первого разрешения элементов отображения.
  11. 11. Способ по п.1, в котором сигнал представляет собой видеосигнал, включающий в себя множество кадров элементов отображения, причем способ дополнительно содержит этап, на котором идентифицируют временные ассоциирования между первыми частями кодированных данных и вторыми частями кодированных данных, причем временные ассоциирования указывают, к какому из множества кадров элементов отображения в первом представлении сигнала относятся данные для восстановления, при этом применение данных для восстановления к первому представлению сигнала для формирования второго представления сигнала включает в себя этап, на котором в соответствии с временными ассоциированиями используют данные для восстановления для применения временной повышающей дискретизации к первому представлению сигнала для получения второго представления сигнала, причем второе представление сигнала включает в себя большее число кадров элементов отображения, чем первое представление сигнала.
  12. 12. Способ по п.1, в котором применение данных для восстановления включает в себя этап, на котором, как указано посредством данных для восстановления, применяют пространственную повышающую дискретизацию ко второму представлению сигнала для получения третьего представления сигнала, причем третье представление сигнала имеет более высокое разрешение элементов отображения, чем второе визуальное представление сигнала.
  13. 13. Способ по п.1, в котором данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с множеством разрешений элементов отображения, причем второй декодер применяет операции повышающей дискретизации ко вторым частям кодированных данных для воспроизведения иерархии остаточных данных.
  14. 14. Способ по п.1, дополнительно содержащий этапы, на которых декодируют вторые части кодированных данных в преобразованные остаточные данные;
    обрабатывают преобразованные остаточные данные для формирования квантованных остаточных данных;
    деквантуют квантованные остаточные данные для воспроизведения остаточных данных;
    применяют воспроизведенные остаточные данные к первому представлению сигнала для формирования второго представления сигнала.
  15. 15. Способ по п.1, дополнительно содержащий этапы, на которых декодируют вторые части кодированных данных в остаточные данные с первым уровнем качества;
    формируют на основании остаточных данных с первым уровнем качества предварительное представление остаточных данных со вторым уровнем качества, причем второй уровень качества выше первого уровня качества;
    декодируют вторые части кодированных данных в квантованные преобразованные остаточные данные;
    деквантуют квантованные преобразованные остаточные данные для формирования преобразованных остаточных данных;
    обрабатывают комбинацию преобразованных остаточных данных, остаточных данных с первым уровнем качества и предварительного представления остаточных данных со вторым уровнем качества таким образом, чтобы воспроизводить остаточные данные со вторым уровнем качества; и применяют воспроизведенные остаточные данные со вторым уровнем качества к первому представлению сигнала для формирования второго представления сигнала.
  16. 16. Способ по п.1, причем способ дополнительно содержит этапы, на которых формируют на основании второго представления сигнала третье представление сигнала, причем
    - 36 035886 третье представление сигнала является предварительным представлением сигнала со значительно более высоким разрешением элементов отображения;
    декодируют вторые части кодированных данных в набор преобразованных остаточных данных;
    обрабатывают комбинацию набора преобразованных остаточных данных, второго представления сигнала и третьего представления сигнала для формирования набора остаточных данных;
    применяют набор остаточных данных к третьему представлению сигнала для формирования четвертого представления сигнала.
  17. 17. Способ по п.1, дополнительно содержащий этап, на котором применяют операцию повышающей дискретизации ко второму представлению сигнала для формирования третьего представления сигнала, причем третье представление сигнала имеет значительно более высокое разрешение элементов отображения, чем второе представление сигнала, и при этом применение операции повышающей дискретизации включает в себя этап, на котором извлекают настройки для элемента отображения в третьем представлении сигнала на основании настроек для множества элементов отображения во втором представлении сигнала.
  18. 18. Способ по п.1, дополнительно содержащий этапы, на которых синтаксически анализируют упомянутый поток данных на третьей части кодированных данных;
    декодируют в третьем декодере упомянутые третьи части кодированных данных таким образом, чтобы получить вторые данные для восстановления, причем вторые данные для восстановления указывают, как следует модифицировать второе представление сигнала, чтобы получить третье представление сигнала с третьим уровнем качества, причем третий уровень качества выше второго уровня качества; и обрабатывают вторые данные для восстановления и второе представление сигнала для формирования третьего представления сигнала с третьим уровнем качества.
  19. 19. Способ по п.1, в котором упомянутые первые части данных отмечены с помощью первого значения уникального идентификатора и упомянутые вторые части данных отмечены с помощью второго значения уникального идентификатора.
  20. 20. Система для декодирования гибридного обратно совместимого сигнала, используя аппаратные средства компьютерного процессора, при этом упомянутая система содержит логику синтаксического анализатора упомянутых аппаратных средств компьютерного процессора для синтаксического анализа потока данных на первые части кодированных данных, кодированные в соответствии с ранее существовавшим форматом, и вторые части кодированных данных, кодированные в соответствии с форматом иерархического кодирования;
    первый декодер для декодирования упомянутых первых частей кодированных данных таким образом, чтобы получать первое представление сигнала с первым уровнем качества;
    средство для повышающей дискретизации упомянутого первого представления упомянутого сигнала с первым уровнем качества таким образом, чтобы получить предварительное второе представление упомянутого сигнала со вторым уровнем качества;
    второй декодер для декодирования упомянутых вторых частей кодированных данных таким образом, чтобы получать данные для восстановления, причем данные для восстановления указывают по меньшей мере, как следует модифицировать упомянутое предварительное второе представление сигнала, чтобы получить второе представление упомянутого сигнала со вторым уровнем качества, имеющее более высокое качество, чем упомянутое первое представление сигнала;
    причем упомянутые аппаратные средства компьютерного процессора применяют по меньшей мере часть данных для восстановления к первому представлению сигнала для формирования упомянутого второго представления сигнала, причем данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с одним или более разрешениями элементов отображения, причем первые части кодированных данных декодируются в соответствии с упомянутым ранее существовавшим форматом, и при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с упомянутым форматом иерархического кодирования.
  21. 21. Система по п.20, в которой упомянутые первые части данных отмечены с помощью первого значения уникального идентификатора и упомянутые вторые части данных отмечены с помощью второго значения уникального идентификатора.
EA201591975A 2013-04-15 2014-04-14 Гибридное обратно совместимое кодирование и декодирование сигналов EA035886B1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361812046P 2013-04-15 2013-04-15
PCT/IB2014/060716 WO2014170819A1 (en) 2013-04-15 2014-04-14 Hybrid backward-compatible signal encoding and decoding

Publications (2)

Publication Number Publication Date
EA201591975A1 EA201591975A1 (ru) 2016-04-29
EA035886B1 true EA035886B1 (ru) 2020-08-27

Family

ID=50685995

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201591975A EA035886B1 (ru) 2013-04-15 2014-04-14 Гибридное обратно совместимое кодирование и декодирование сигналов

Country Status (17)

Country Link
US (5) US9912945B2 (ru)
EP (2) EP3468191A1 (ru)
JP (3) JP6457488B2 (ru)
KR (1) KR102301083B1 (ru)
CN (2) CN110933437B (ru)
AU (1) AU2014255324B2 (ru)
BR (1) BR112015026244B1 (ru)
CA (1) CA2909445C (ru)
DK (1) DK2987325T3 (ru)
EA (1) EA035886B1 (ru)
ES (1) ES2699983T3 (ru)
HK (1) HK1216808A1 (ru)
MX (1) MX354337B (ru)
MY (1) MY189280A (ru)
PL (1) PL2987325T3 (ru)
SG (1) SG11201508427YA (ru)
WO (1) WO2014170819A1 (ru)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
BR112015026244B1 (pt) 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido
JP6232778B2 (ja) * 2013-06-27 2017-11-22 セイコーエプソン株式会社 画像処理装置、画像表示装置、および画像処理装置の制御方法
JP6862830B2 (ja) 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
CN107750456B (zh) 2015-04-13 2022-02-11 V-诺瓦国际有限公司 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码
JP6512700B2 (ja) * 2015-05-01 2019-05-15 日本テレビ放送網株式会社 映像信号伝送システム及び映像信号伝送方法
KR20160143145A (ko) * 2015-06-04 2016-12-14 삼성전자주식회사 멀티미디어 서비스를 제공하기 위한 방법 및 그 전자 장치
GB2544800A (en) 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
GB2598255B (en) * 2016-02-17 2022-07-27 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
FR3050895A1 (fr) * 2016-04-29 2017-11-03 Orange Procede de composition contextuelle d'une representation video intermediaire
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
CN107666560B (zh) * 2016-07-28 2020-11-17 北京数码视讯科技股份有限公司 一种视频去隔行方法及装置
GB2597859B (en) * 2016-09-08 2022-07-27 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
GB2553557B (en) 2016-09-08 2022-04-20 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
GB2554065B (en) 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
WO2018056002A1 (ja) * 2016-09-26 2018-03-29 株式会社日立国際電気 映像監視システム
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
US10567703B2 (en) * 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
US11653007B2 (en) 2018-07-15 2023-05-16 V-Nova International Limited Low complexity enhancement video coding
AU2019315029A1 (en) * 2018-08-03 2021-03-11 V-Nova International Limited Transformations for signal enhancement coding
GB2594803B (en) 2018-10-03 2022-10-19 V Nova Int Ltd Weighted downsampling and weighted transformations for signal coding
GB2616980B (en) 2018-10-09 2023-12-13 V Nova Int Ltd Signal element coding format compatibility within a hierarchical coding scheme using multiple resolutions
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
US20220159250A1 (en) * 2019-03-20 2022-05-19 V-Nova International Limited Residual filtering in signal enhancement coding
GB2620500B (en) * 2019-03-20 2024-05-15 V Nova Int Ltd Low complexity enhancement video coding
BR112021018466A2 (pt) 2019-03-20 2021-11-23 V Nova Int Ltd Processamento de resíduos em codificação de vídeo
GB201905400D0 (en) 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
WO2021005349A1 (en) 2019-07-05 2021-01-14 V-Nova International Ltd Quantization of residuals in video coding
WO2021050039A1 (en) * 2019-09-09 2021-03-18 Google Llc Compression of data that exhibits mixed compressibility
WO2021064414A1 (en) * 2019-10-02 2021-04-08 V-Nova International Limited Use of transformed coefficients to provide embedded signalling for watermarking
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
GB2599341B (en) 2020-07-28 2024-10-09 V Nova International Ltd Management system for multilayer encoders and decoders and method thereof
GB202103498D0 (en) 2021-03-12 2021-04-28 V Nova Int Ltd Processing of residuals in video coding
GB202107036D0 (en) 2021-05-17 2021-06-30 V Nova Int Ltd Secure decoder and secure decoding methods
GB2607123B (en) 2021-10-25 2023-10-11 V Nova Int Ltd Enhancement decoding implementation and method
CN113923318B (zh) * 2021-12-16 2022-03-04 成都索贝数码科技股份有限公司 一种实现hd和4k hdr视频信号同传输的方法以及sdi设备
WO2023135410A1 (en) 2022-01-11 2023-07-20 V-Nova International Ltd Integrating a decoder for hierarchical video coding
WO2023135420A1 (en) 2022-01-12 2023-07-20 V-Nova International Ltd Secure enhancement decoding implementation
GB2611129B (en) 2022-03-31 2024-03-27 V Nova Int Ltd Signal processing with overlay regions
US20240098285A1 (en) 2022-09-20 2024-03-21 V-Nova International Limited Method for decoding a video stream
GB2625756A (en) 2022-12-22 2024-07-03 V Nova Int Ltd Methods and modules for video pipelines
GB2627287A (en) 2023-02-17 2024-08-21 V Nova Int Ltd A video encoding module for hierarchical video coding
GB2624947A (en) 2023-03-24 2024-06-05 V Nova Int Ltd Enhancement decoding implementation and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088736A1 (en) * 2008-10-07 2010-04-08 Besen Peter D Enhanced video processing functionality in auxiliary system

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
BR0315443A (pt) * 2002-11-25 2005-08-16 Thomson Licensing Sa Codificador em duas camadas para dvd hìbrido de alta definição
US20060109901A1 (en) * 2002-12-19 2006-05-25 Koninklijke Philips Electronics N.V. System and method for drift-free fractional multiple description channel coding of video using forward error correction codes
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
CN101258749A (zh) * 2005-09-06 2008-09-03 皇家飞利浦电子股份有限公司 用于以不同分辨率进行视频再现的系统
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
JP2009530946A (ja) * 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映画データを符号化する符号化装置及び方法
WO2008007792A1 (en) * 2006-07-10 2008-01-17 Sharp Kabushiki Kaisha Methods and systems for combining layers in a multi-layer bitstream
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
CN101888559B (zh) 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
EP2092748A4 (en) * 2006-12-14 2011-01-05 Thomson Licensing METHOD AND DEVICE FOR CODING AND / OR DECODING VIDEO DATA USING EXPANSION LAYER RESTRICTION FOR SOFTENCE SCALINGABILITY
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR20100086478A (ko) * 2007-10-19 2010-07-30 톰슨 라이센싱 조합된 공간 및 비트 심도 확장성
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
EP2309493B1 (en) * 2009-09-21 2013-08-14 Google, Inc. Coding and decoding of source signals using constrained relative entropy quantization
EP2567546A4 (en) * 2010-05-10 2014-01-15 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING LAYERED CODED VIDEO
US20110292161A1 (en) * 2010-05-25 2011-12-01 Vidyo, Inc. Systems And Methods For Scalable Video Communication Using Multiple Cameras And Multiple Monitors
JP5835585B2 (ja) * 2010-07-08 2015-12-24 日本電気株式会社 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
CN105847781B (zh) * 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
EP2702765A1 (en) * 2011-04-28 2014-03-05 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
GB2505643B (en) * 2012-08-30 2016-07-13 Canon Kk Method and device for determining prediction information for encoding or decoding at least part of an image
JP6041555B2 (ja) * 2012-06-29 2016-12-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
WO2014084564A1 (ko) * 2012-11-27 2014-06-05 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
BR112015026244B1 (pt) 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088736A1 (en) * 2008-10-07 2010-04-08 Besen Peter D Enhanced video processing functionality in auxiliary system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
H. SCHWARZ ; D. MARPE ; T. WIEGAND: "Overview of the Scalable Video Coding Extension of the H.264/AVC Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, US, vol. 17, no. 9, 1 September 2007 (2007-09-01), US, pages 1103 - 1120, XP011193019, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2007.905532 *
T. SCHIERL ; K. GRUNEBERG ; T. WIEGAND: "Scalable video coding over RTP and MPEG-2 transport stream in broadcast and IPTV channels", IEEE WIRELESS COMMUNICATIONS, COORDINATED SCIENCE LABORATORY; DEPT. ELECTRICAL AND COMPUTER ENGINEERING; UNIVERSITY OF ILLINOIS AT URBANA-CHAMPAIGN, US, vol. 16, no. 5, 1 October 2009 (2009-10-01), US, pages 64 - 71, XP011284069, ISSN: 1536-1284, DOI: 10.1109/MWC.2009.5300304 *

Also Published As

Publication number Publication date
PL2987325T3 (pl) 2019-04-30
JP2016519904A (ja) 2016-07-07
EA201591975A1 (ru) 2016-04-29
US20200344488A1 (en) 2020-10-29
CN110933437A (zh) 2020-03-27
JP6705885B2 (ja) 2020-06-03
EP2987325B1 (en) 2018-08-29
JP6457488B2 (ja) 2019-01-23
US20230011071A1 (en) 2023-01-12
US20180115778A1 (en) 2018-04-26
JP7156762B2 (ja) 2022-10-19
ES2699983T3 (es) 2019-02-13
US20210329276A1 (en) 2021-10-21
BR112015026244A8 (pt) 2022-11-08
CN105432083A (zh) 2016-03-23
US11394985B2 (en) 2022-07-19
US10652560B2 (en) 2020-05-12
KR102301083B1 (ko) 2021-09-10
US10887612B2 (en) 2021-01-05
JP2019062570A (ja) 2019-04-18
KR20150140842A (ko) 2015-12-16
BR112015026244B1 (pt) 2023-04-25
SG11201508427YA (en) 2015-11-27
EP3468191A1 (en) 2019-04-10
CN110933437B (zh) 2022-07-26
MX354337B (es) 2018-02-27
US20140321555A1 (en) 2014-10-30
MX2015014352A (es) 2016-04-20
BR112015026244A2 (pt) 2017-07-25
JP2020141416A (ja) 2020-09-03
US9912945B2 (en) 2018-03-06
CA2909445A1 (en) 2014-10-23
CN105432083B (zh) 2020-01-07
HK1216808A1 (zh) 2016-12-02
DK2987325T3 (en) 2018-12-17
EP2987325A1 (en) 2016-02-24
CA2909445C (en) 2024-02-20
AU2014255324A1 (en) 2015-11-12
MY189280A (en) 2022-01-31
WO2014170819A1 (en) 2014-10-23
AU2014255324B2 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
JP7156762B2 (ja) 方法、デコード装置およびコンピュータプログラム
US20230276061A1 (en) Scalable video coding system with parameter signaling
KR102126886B1 (ko) 단계적 계층에서의 신호 인코딩, 디코딩 및 재구성 동안의 잔차 데이터의 압축해제
US8675731B2 (en) Encoder and method
US20140044191A1 (en) Decoder and method
TW202103496A (zh) 用於適應性迴路濾波器之剪切值計算之簡化
US20190238842A1 (en) Method and apparatus for extracting intra prediction mode information of square or rectangular block
JP2021515494A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
TW201826785A (zh) 用於減少於視訊之時間可適性層之假影之系統及方法
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
US20240056591A1 (en) Method for image coding based on signaling of information related to decoder initialization
WO2024213012A1 (en) Visual volumetric video-based coding method, encoder and decoder
EP3272124B1 (en) Scalable video coding system with parameter signaling
TW202046739A (zh) 用於適應性迴圈濾波器變數之適應變數集合

Legal Events

Date Code Title Description
MM4A Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s)

Designated state(s): KG TM