EA032859B1 - Многоуровневое декодирование сигнала и восстановление сигнала - Google Patents

Многоуровневое декодирование сигнала и восстановление сигнала Download PDF

Info

Publication number
EA032859B1
EA032859B1 EA201490312A EA201490312A EA032859B1 EA 032859 B1 EA032859 B1 EA 032859B1 EA 201490312 A EA201490312 A EA 201490312A EA 201490312 A EA201490312 A EA 201490312A EA 032859 B1 EA032859 B1 EA 032859B1
Authority
EA
Eurasian Patent Office
Prior art keywords
signal
quality level
data set
decoded
data
Prior art date
Application number
EA201490312A
Other languages
English (en)
Other versions
EA201490312A1 (ru
Inventor
Лука Россато
Гвидо Меарди
Original Assignee
Лука Россато
Гвидо Меарди
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Лука Россато, Гвидо Меарди filed Critical Лука Россато
Publication of EA201490312A1 publication Critical patent/EA201490312A1/ru
Publication of EA032859B1 publication Critical patent/EA032859B1/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

Декодер декодирует первый набор данных и использует первый набор декодированных данных для восстановления сигнала в соответствии с первым уровнем качества. Декодер дополнительно декодирует второй набор данных и идентифицирует операцию повышающей дискретизации, заданную вторым набором декодированных данных. Декодер применяет операцию повышающей дискретизации, идентифицированную во втором наборе декодированных данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором, более высоком уровне качества. Чтобы улучшить восстановленный сигнал, декодер извлекает остаточные данные из второго набора декодированных данных. Остаточные данные указывают, как изменить восстановленный сигнал на втором уровне качества после применения операции повышающей дискретизации, которая описана выше. Декодер затем изменяет восстановленный сигнал на втором уровне качества, как задано остаточными данными.

Description

Уровень техники
Эффективность CPU (центральный процессор) имеет значение как во время кодирования, так и декодирования сигнала. Процессоры последнего поколения становятся все более параллельными, имеющими вплоть до сотен простых ядер на каждой однокристальной ИС.
К сожалению, по своей природе традиционные кодеки семейства MPEG (Экспертная группа по движущимся изображениям) структурно не являются параллельными. Это происходит от того, что они являются блочными, и каждый блок изображения должен кодироваться и декодироваться последовательно, поскольку для достижения эффективного сжатия все блоки нужно сделать некоторым образом зависимыми друг от друга.
Посредством введения в кодирование MPEG так называемых секций (в основном порций изображения, которые рассматриваются независимо друг от друга, как если бы они были отдельными видео, помещенными одно за другим) стандарт Н.264 допускает обработку нескольких потоков параллельно (обычно 2 или 3 потока). Важные элементы алгоритма, например устранение блочности (то есть фильтр, который сглаживает переходы между блоками для создания более однородного изображения), обычно являются глобальными операциями, полными условных команд, которые не подходят для применений, включающих в себя параллельные CPU.
Современные CPU и GPU (графические процессоры) обычно очень мощные; один GPU может включать в себя несколько сотен вычислительных ядер для выполнения параллельной обработки информации. При использовании современной технологии более крупные части изображения можно хранить в кэше процессора для обработки. Потребность фрагментировать изображения на множество небольших блоков, что было движущим фактором, когда создавалось MPEG, так как процессоры той эпохи могли иметь дело только с очень небольшими кусками видеоданных единовременно - и тогда только последовательно - уже не применяется к современным CPU и GPU. Таким образом, большая часть доступной мощности обработки может оставаться неиспользуемой при реализации MPEG-подобных типов кодирования/декодирования, при этом артефакты блочности вносятся в сигнал без необходимости.
Также по сравнению с тем, что было современным, когда разрабатывалось MPEG, современные приложения обычно требуют кодирования видео с гораздо более высокой четкостью и гораздо более высоким общим качеством воспроизведения. В видео с высокой четкостью (HD), с высоким качеством существует гораздо большая разница между областями с низкой детализацией (возможно, даже не в фокусе) и областями с очень мелкой детализацией. Это делает использование преобразований частотной области, например используемых в MPEG, еще больше неподходящим для обработки и воспроизведения изображений, поскольку диапазон релевантных частот становится гораздо шире.
К тому же изображения с более высоким разрешением включают в себя большее количество шумов камеры и/или зернистости, то есть очень детализированные высокочастотные пиксельные переходы, которые могут быть совершенно неуместными для просмотра и требуют многих разрядов для кодирования.
Наконец, традиционные кодеки непригодны для эффективной работы при формировании трехмерных (3D) или объемных изображений, которое становится все более важным в таких областях, как медицинская (диагностическая) визуализация, формирование научных изображений и т.п.
Большинство целевых устройств сегодня поддерживают разные разрешения и качество воспроизведения. Так называемое SVC (Масштабируемое кодирование видео), текущий стандарт MPEG для масштабируемости, не был одобрительно принят промышленностью и демонстрирует принятие от небольшого до отсутствующего, потому что он считается слишком сложным и отчасти неэффективным по использованию полосы пропускания.
Кроме того, существует обилие кодированных видео; то есть у поставщика контента обычно нет времени настраивать параметры кодера и экспериментировать с каждым конкретным видеопотоком. В настоящее время поставщикам контента не нравится, что многие параметры кодирования нужно подстраивать вручную (каждый раз выполняя кодирование и проверку качества результатов), чтобы успешно кодировать видео.
В качестве альтернативы стандартам MPEG для кодирования/декодирования использованы так называемые пирамиды изображений с целью кодирования/декодирования. Например, используя пирамиды Лапласа, традиционные системы создали изображения с более низким разрешением, используя фильтры Гаусса, а затем создавая пирамиду из разниц между изображениями, полученными путем повышающей дискретизации с помощью жестко запрограммированного декодера, обратно от уровней с более низким разрешением на исходный уровень.
Использование традиционного кодирования с пирамидой Лапласа прекращено. Одним недостатком таких преобразований является то, что авторы всегда пытались избежать искажений/артефактов на изображении с пониженной дискретизацией, поэтому они всегда использовали фильтрацию Гаусса, так как это единственный тип фильтра, который не добавляет никакой собственной информации. Однако непреодолимая проблема с фильтрацией Гаусса состоит в том, что она вносит эффект размытия, так что при масштабировании обратно к большим разрешениям существует потребность в чрезмерном количестве информации коррекции изображения для воспроизведения исходного изображения.
- 1 032859
Краткое описание
Варианты осуществления в этом документе отступают от традиционных систем и способов. Например, варианты осуществления в этом документе ориентированы на уникальные способы обработки и воспроизведения сигналов, например информации изображения и других типов кодированной информации.
Точнее говоря, неограничивающий вариант осуществления, описанный в этом документе, включает в себя восстановление сигнала на последовательно более высоких уровнях качества в иерархии. Например, в соответствии с одним вариантом осуществления декодер декодирует первый набор данных и использует первый набор декодированных данных для восстановления сигнала в соответствии с первым уровнем качества. Декодер декодирует второй набор данных и идентифицирует операцию повышающей дискретизации, заданную вторым набором декодированных данных, вместе с масштабным коэффициентом, также заданным вторым набором декодированных данных. Декодер затем применяет операцию повышающей дискретизации и масштабный коэффициент, идентифицированные во втором наборе декодированных данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества. В этом примере второй уровень качества выше по качеству, чем первый уровень качества. Таким образом, набор декодированных данных указывает, как выполнять повышающую дискретизацию с одного уровня на следующий.
В соответствии с дополнительными вариантами осуществления, чтобы улучшить восстановленный сигнал на соответствующем уровне качества, декодер также может конфигурироваться для извлечения остаточных данных из второго набора декодированных данных. Остаточные данные могут указывать, как изменить восстановленный сигнал на втором уровне качества после применения операции повышающей дискретизации, которая описана выше. Декодер изменяет восстановленный сигнал на втором уровне качества, как задано остаточными данными.
Декодер может повторить вышеупомянутую обработку для каждого из множественных уровней качества в иерархии. Например, для каждого из множественных уровней качества выше второго уровня качества декодер повторяет этапы декодирования следующего, более высокого набора данных в иерархии выше последнего обработанного уровня качества; идентификации операции повышающей дискретизации и масштабного коэффициента, заданных следующим, более высоким набором декодированных данных; применения операции повышающей дискретизации и масштабного коэффициента, идентифицированных в следующем, более высоком наборе декодированных данных, чтобы восстановить сигнал на следующем, более высоком уровне качества; идентификации остаточной информации и/или остаточных характеристик, заданных следующим, более высоким набором декодированных данных; применения остаточной информации для изменения восстановленного сигнала на следующем, более высоком уровне качества.
Отметим, что сигнал, который обсуждается в этом документе, может иметь любой подходящий тип, включая многомерные сигналы. В качестве неограничивающих примеров сигнал может быть изображением (например, изображениями, видеокадрами, картами движений, медицинскими/научными изображениями и т.п.), объемным сигналом (например, медицинскими/научными объемными изображениями, голографическими изображениями, пленооптическими/светлопольными изображениями и т.п.), сигналом, характеризующимся более чем тремя измерениями, контролируемым по времени сигналом (например, звуковым сигналом, видеосигналом и т.п.), и так далее. Для простоты варианты осуществления, проиллюстрированные в этом документе, часто обращаются к сигналам, которые отображаются в виде двумерных плоскостей настроек (например, двумерных изображений в подходящем цветовом пространстве), таким как изображение. Однако такие же идеи и способы также применимы к любому другому типу сигнала.
По этой причине в документе мы будем обращаться к основным элементам сигнала при заданном разрешении как к элементам сигнала или элементам плоскости (пелам): каждый пел представляет собой значение на равномерной сетке в многомерном пространстве. Для двумерных изображений пелы обычно также называются пикселями (элементами изображения), тогда как для трехмерных изображений пелы также называются вокселами (объемными элементами изображения). Разрешение сигнала задает количество пелов, которые присутствуют для каждого измерения сетки. Сигнал, который обсуждается в этом документе, также может представлять всего лишь одну из плоскостей/компонентов более сложного сигнала, характеризующегося несколькими плоскостями/компонентами (например, яркость и цветность, RGB, HSV и т.п.).
В одном варианте осуществления сигнал включает в себя данные изображения для восстановления изображения. В соответствии с таким вариантом осуществления декодер восстанавливает сигнал с еще более высокими разрешениями или более высокими уровнями качества на основе многоуровневых наборов кодированных данных, чтобы в конечном счете восстановить исходное изображение или близкую копию исходного изображения для воспроизведения. В некоторых случаях изображение с более низким уровнем качества (например, восстановленный сигнал на уровне ниже наивысшего возможного разрешения в иерархии) может отображаться для просмотра, например, когда устройство вывода неспособно отобразить полное исходное разрешение или когда ограничивается полоса пропускания для передачи.
- 2 032859
Эти и другие разновидности вариантов осуществления подробнее обсуждаются ниже.
Как упоминалось выше, отметим, что варианты осуществления в этом документе могут включать в себя конфигурацию из одного или более компьютеризированных устройств, маршрутизаторов, сети, рабочих станций, карманных или переносных компьютеров или т.п. для осуществления и/или поддержки любых или всех операций способа, раскрытых в этом документе. Другими словами, одно или более компьютеризированных устройств или процессоров можно запрограммировать и/или сконфигурировать для работы, которая объясняется в этом документе, чтобы осуществить другие варианты осуществления.
В дополнение к декодеру и обработке, которые обсуждались выше, еще одни варианты осуществления в этом документе включают в себя компьютерные программы для выполнения этапов и операций, обобщенных выше и подробно раскрытых ниже. Один такой вариант осуществления выполнен в виде машиночитаемого аппаратного ресурса хранения (то есть неизменяемых со временем машиночитаемых носителей), включающего в себя логику компьютерной программы, команды и т.п., кодированные на нем, который при выполнении на компьютеризированном устройстве, имеющем процессор и соответствующее запоминающее устройство, программирует и/или побуждает процессор выполнять любые из операций, раскрытых в этом документе. Такие средства могут предоставляться в виде программного обеспечения, кода и/или других данных (например, структур данных), организованных или кодированных на машиночитаемом носителе, таком как оптический носитель (например, CD-ROM), гибкий или жесткий диск или другой носитель, такой как микропрограммное обеспечение или микрокод в одной или более микросхемах ROM, RAM или PROM, или в виде специализированной интегральной схемы (ASIC). Программное обеспечение или микропрограммное обеспечение либо другие такие конфигурации можно установить на компьютеризированное устройство, чтобы побудить компьютеризированное устройство выполнять методики, объясненные в этом документе.
Соответственно один конкретный вариант осуществления настоящего раскрытия изобретения ориентирован на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель информации, имеющий сохраненные на нем команды для поддержки операций по обработке сигналов. Например, в одном варианте осуществления команды при выполнении процессором в соответствующем компьютерном устройстве побуждают процессор декодировать первый набор данных; использовать первый набор декодированных данных для восстановления сигнала в соответствии с первым уровнем качества; декодировать второй набор данных; идентифицировать операцию повышающей дискретизации и масштабный коэффициент, заданные вторым набором декодированных данных; и применить операцию повышающей дискретизации и масштабный коэффициент, идентифицированные во втором наборе декодированных данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества.
Порядок этапов добавлен для ясности. Эти этапы могут выполняться в любом подходящем порядке.
Другие варианты осуществления настоящего раскрытия изобретения включают в себя компьютерные программы, микропрограммное обеспечение и/или соответствующие аппаратные средства для выполнения любого из этапов и операций варианта осуществления способа, обобщенных выше и подробно раскрытых ниже.
Также нужно понимать, что система, способ, устройство, команды на машиночитаемых носителях информации и т.п., которые обсуждаются в этом документе, могут быть воплощены строго в виде компьютерной программы, в виде гибрида программного обеспечения, микропрограммного обеспечения и/или аппаратных средств или исключительно в виде аппаратных средств, например в процессоре, или в операционной системе, или в программном приложении и т.п.
Как описано выше, методики в этом документе хорошо подходят для использования в программных, микропрограммных и/или аппаратных применениях, которые обрабатывают сигналы. Однако следует отметить, что варианты осуществления в этом документе не ограничиваются использованием в таких применениях, и что обсуждаемые в этом документе методики с тем же успехом хорошо подходят для других применений.
Более того, отметим, что хотя каждый (каждая) из разных признаков, методик, конфигураций и т.п. в этом документе может обсуждаться в разных местах данного раскрытия изобретения, подразумевается, что каждая из идей может выполняться независимо друг от друга или совместно друг с другом. Соответственно одно или более настоящих изобретений, вариантов осуществления и т.п., которые описаны в этом документе, можно воплощать и рассматривать многими разными способами.
Также отметим, что данное предварительное обсуждение вариантов осуществления в этом документе не задает каждый вариант осуществления и/или добавочный элемент новизны настоящего раскрытия изобретения или заявленного изобретения (изобретений). Вместо этого данное краткое описание представляет только общие варианты осуществления и соответствующие моменты новизны по сравнению с традиционными методиками. За дополнительными подробностями и/или возможными видами (перестановками) изобретения (изобретений) читатель направляется в раздел Подробное описание и к соответствующим чертежам настоящего раскрытия изобретения, которые дополнительно обсуждаются ниже.
- 3 032859
В частности, в настоящей заявке раскрыт способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных; используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества; декодируют второй набор данных; идентифицируют операцию повышающей дискретизации, заданную декодированным вторым набором данных; и применяют операцию повышающей дискретизации, идентифицированную в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества; декодируют третий набор данных; идентифицируют операцию повышающей дискретизации, заданную декодированным третьим набором данных; и применяют операцию повышающей дискретизации, идентифицированную в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить сигнал на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
В дополнительном аспекте операция повышающей дискретизации, идентифицированная в декодированном втором наборе данных, является первой операцией повышающей дискретизации; и операция повышающей дискретизации, идентифицированная в декодированном третьем наборе данных, является второй операцией повышающей дискретизации, причем первая операция повышающей дискретизации отличается от второй операции повышающей дискретизации.
В другом дополнительном аспекте операция повышающей дискретизации, примененная к восстановленному сигналу на первом уровне качества, включает в себя по меньшей мере одну операцию, выбранную из группы, состоящей из i) операции бикубического фильтра, ii) фильтра устранения смешивания и iii) операции нерезкого маскирования.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых из декодированного второго набора данных создают первый поднабор данных операции повышающей дискретизации, соответствующий первой части сигнала, причем первый поднабор данных операции повышающей дискретизации задает первую операцию повышающей дискретизации для применения к сигналу на первом уровне качества для того, чтобы создать предварительную визуализацию первой части сигнала на втором уровне качества; и из декодированного второго набора данных создают второй поднабор данных операции повышающей дискретизации, соответствующий второй части сигнала, причем второй поднабор данных операции повышающей дискретизации задает вторую операцию повышающей дискретизации для применения к сигналу на первом уровне качества для того, чтобы создать предварительную визуализацию второй части сигнала на втором уровне качества.
В еще одном дополнительном аспекте способ дополнительно содержит этап, на котором применяют первую операцию повышающей дискретизации к восстановленному сигналу на втором уровне качества для восстановления визуализации первой части сигнала на третьем уровне качества; и из декодированного третьего набора данных декодируют третий поднабор данных операции повышающей дискретизации, соответствующий второй части сигнала, причем третий поднабор данных операции повышающей дискретизации задает третью операцию повышающей дискретизации для применения к сигналу на втором уровне качества для того, чтобы создать предварительную визуализацию второй части сигнала на третьем уровне качества.
В еще одном дополнительном аспекте способ дополнительно содержит этап, на котором в ответ на идентификацию из декодированного второго набора данных того, что конкретная операция повышающей дискретизации, заданная для использования на одном уровне качества, должна быть использована на последовательно более высоких уровнях качества для восстановления соответственной части сигнала, применяют конкретную операцию повышающей дискретизации, идентифицированную в декодированном втором наборе данных, к восстановленному сигналу на последовательно более высоких уровнях качества.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых извлекают остаточные данные из декодированного второго набора данных, причем остаточные данные указывают, как изменить предварительную визуализацию восстановленного сигнала на втором уровне качества после применения операции повышающей дискретизации; изменяют предварительную визуализацию восстановленного сигнала на втором уровне качества, как задано остаточными данными; и изменяют, как задано остаточными данными, извлеченными из декодированного второго набора данных, визуализацию восстановленного сигнала на уровне качества выше второго уровня качества.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых идентифицируют остаточные данные, как задано декодированным вторым набором данных; и изменяют элементы восстановленного сигнала на втором уровне качества способом, как задано остаточными данными; и используют остаточные данные, как задано декодированным вторым набором данных, также для восстановления более высоких уровней качества, чем второй уровень качества, до тех пор пока соответствующий декодированный набор данных для более высокого уровня качества, чем второй уровень качества, не задаст использование других остаточных данных.
В еще одном дополнительном аспекте способ дополнительно содержит этап, на котором обрабатывают декодированный второй набор данных, чтобы идентифицировать первую операцию повышающей
- 4 032859 дискретизации для применения к конкретной части восстановленного сигнала на первом уровне качества; и применяют упомянутую операцию повышающей дискретизации к конкретной части восстановленного сигнала на первом уровне качества, чтобы восстановить сигнал на втором уровне качества.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых обрабатывают декодированный второй набор данных, чтобы идентифицировать тип атрибута особо идентифицированной части восстановленного сигнала на первом уровне качества; отображают тип атрибута в набор по меньшей мере из одной операции повышающей дискретизации, причем набор по меньшей мере из одной операции повышающей дискретизации сконфигурирован для обработки типа данных в сигнале, как задано типом атрибута; и для каждой части сигнала используют набор по меньшей мере из одной операции повышающей дискретизации, заданной ее типом атрибута, в качестве операций повышающей дискретизации по умолчанию для восстановления последующих уровней качества той части сигнала до тех пор, пока соответствующий декодированный набор данных для более высокого уровня качества, чем первый уровень качества, не задаст использование других типов атрибута для сигнала или для частей сигнала.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых применяют разные операции повышающей дискретизации, идентифицированные в декодированном втором наборе данных, к разным частям восстановленного сигнала на первом уровне качества, чтобы восстановить сигнал на втором уровне качества; и для каждой части сигнала используют набор по меньшей мере из одной операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, в качестве операций повышающей дискретизации по умолчанию для восстановления последующих уровней качества той части сигнала до тех пор, пока соответствующий декодированный набор данных для более высокого уровня качества, чем первый уровень качества, не задаст использование других операций повышающей дискретизации для сигнала или для частей сигнала.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых обрабатывают декодированный второй набор данных, чтобы идентифицировать значение масштабного коэффициента, причем значение масштабного коэффициента указывает разрешение, в котором нужно повысить дискретизацию восстановленного сигнала на первом уровне качества до восстановленного сигнала на втором уровне качества; и в соответствии с масштабным коэффициентом повышают дискретизацию восстановленного сигнала на первом уровне качества до восстановленного сигнала на втором уровне качества вместо выполнения повышающей дискретизации в соответствии со значением масштабного коэффициента по умолчанию.
В еще одном дополнительном аспекте способ дополнительно содержит этап, на котором используют значения масштабного коэффициента, как задано декодированными наборами данных на разных уровнях иерархии, чтобы восстановить сигнал, вместо выполнения повышающей дискретизации в соответствии со значениями масштабного коэффициента по умолчанию для разных уровней качества в иерархии.
В еще одном дополнительном аспекте значения масштабного коэффициента включают в себя первое значение масштабного коэффициента и второе значение масштабного коэффициента, причем первое значение масштабного коэффициента задано декодированным первым набором данных, а второе значение масштабного коэффициента задано декодированным вторым набором данных, причем первое значение масштабного коэффициента отличается от второго значения масштабного коэффициента, и способ дополнительно содержит этапы, на которых используют первое значение масштабного коэффициента, чтобы повысить дискретизацию и восстановить сигнал с разрешением, указанным первым масштабным коэффициентом и разрешением первого уровня качества; и используют второе значение масштабного коэффициента, чтобы восстановить сигнал на втором уровне качества.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых декодируют второй набор данных, чтобы идентифицировать характеристики моделируемых остатков, причем характеристики указывают декодеру, как моделировать остатки, которые будут добавлены в восстановленный сигнал, причем характеристики не указывают конкретные элементы восстановленного сигнала, которые следует изменить, и конкретные изменения для применения; и для каждого элемента сигнала используют характеристики моделируемых остаточных данных, как задано декодированным вторым набором данных, чтобы также описать моделируемые остатки для более высоких уровней качества, чем второй уровень качества, элементов сигнала, совмещенных с тем элементом сигнала, до тех пор пока соответствующий декодированный набор данных для более высокого уровня качества, чем второй уровень качества, не задаст использование других характеристик моделируемых остатков для сигнала или для частей сигнала; и используют набор характеристик для изменения элементов восстановленного сигнала на отображенном уровне качества способом, как задано моделируемыми остаточными данными.
В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых декодируют второй набор данных, чтобы идентифицировать спектральные характеристики, ассоциированные с остатками, которые представляют информацию с более низким приоритетом, причем спектральные характеристики указывают декодеру, как моделировать остатки, чтобы применить к восстановленному сигналу, причем спектральные характеристики не указывают фактическое местоположение или конкрет
- 5 032859 ные значения остатков; и для каждого элемента сигнала используют спектральные характеристики, как задано декодированным вторым набором данных, чтобы также описать моделируемые остатки для более высоких уровней качества, чем второй уровень качества, части сигнала, совмещенной с тем элементом сигнала, до тех пор пока соответствующий декодированный набор данных для более высокого уровня качества, чем второй уровень качества, не задаст использование других спектральных характеристик моделируемых остатков для сигнала или для конкретных частей сигнала; и используют набор спектральных характеристик для изменения элементов восстановленного сигнала на отображенном уровне качества способом, как задано моделируемыми остаточными данными.
В еще одном дополнительном аспекте иерархия включает в себя дополнительный набор данных для восстановления сигнала в соответствии с последующим уровнем качества в иерархии, причем последующий уровень качества выше текущего уровня качества в иерархии, и способ дополнительно содержит этап, на котором отображают информацию изображения на устройстве отображения в соответствии с восстановленным сигналом на текущем уровне качества.
В еще одном дополнительном аспекте способ дополнительно содержит для каждого из множественных уровней качества выше третьего уровня качества повторение этапов, на которых декодируют следующий, более высокий набор данных в иерархии выше последнего обработанного уровня качества; идентифицируют операцию повышающей дискретизации и/или масштабный коэффициент, заданные следующим, более высоким декодированным набором данных; применяют операцию повышающей дискретизации, идентифицированную в следующем, декодированном более высоком наборе данных, чтобы восстановить сигнал на следующем, более высоком уровне качества; идентифицируют остаточную информацию и/или остаточные характеристики, заданные следующим, декодированным более высоким набором декодированных данных; и применяют остаточную информацию для изменения восстановленного сигнала на более высоком уровне качества.
В еще одном дополнительном аспекте декодер принимает отдельные иерархии сигнала для разных цветовых плоскостей сигнала, причем отдельные иерархии сигнала характеризуются независимыми масштабными коэффициентами, операциями и наивысшими уровнями качества; декодер повышает дискретизацию цветовых плоскостей более низкого разрешения на основании другой цветовой плоскости с более высоким уровнем качества для того, чтобы цветовая плоскость более низкого разрешения соответствовала разрешению цветовой плоскости с более высоким уровнем качества; декодер объединяет все восстановленные цветовые плоскости в восстановленный цветовой сигнал для отправки в устройство отображения.
В еще одном дополнительном аспекте декодируют отдельные иерархии принятого сигнала для разных цветовых плоскостей, ассоциированных с сигналом, причем отдельные иерархии принятого сигнала характеризуются независимыми и, возможно, разными масштабными коэффициентами, операциями и наивысшими уровнями качества; и когда разные восстановленные цветовые плоскости характеризуются разными уровнями качества, повышают дискретизацию цветовых плоскостей более низкого разрешения для соответствия разрешению цветовой плоскости с наивысшим уровнем качества, а потом соединяют восстановленные цветовые плоскости в восстановленный цветовой сигнал для отправки в устройство отображения.
В еще одном дополнительном аспекте восстановление сигнала на втором уровне качества дополнительно содержит этапы, на которых применяют операцию повышающей дискретизации, заданную декодированным вторым набором данных, к восстановленному сигналу на втором уровне качества для восстановления предварительной визуализации сигнала на втором уровне качества; идентифицируют остаточные данные, заданные декодированным вторым набором данных; и объединяют остаточные данные и предварительную визуализацию сигнала на втором уровне качества для восстановления визуализации сигнала на втором уровне качества.
В еще одном дополнительном аспекте операция повышающей дискретизации, идентифицированная в декодированном втором наборе данных, является первой операцией повышающей дискретизации, полученной из данных первой операции повышающей дискретизации, заданных декодированным вторым набором данных; при этом операция повышающей дискретизации, идентифицированная в декодированном третьем наборе данных, является второй операцией повышающей дискретизации, полученной из данных второй операции повышающей дискретизации, заданных декодированным третьим набором данных; и при этом вторая операция повышающей дискретизации включает в себя данные ядра повышающей дискретизации, которые отличаются от каждого из множественных наборов данных ядра повышающей дискретизации, используемых операцией повышающей дискретизации, заданной декодированным вторым набором данных.
В еще одном дополнительном аспекте операция повышающей дискретизации, заданная декодированным третьим набором данных, основана, по меньшей мере, частично на операции повышающей дискретизации, заданной декодированным вторым набором данных.
В еще одном дополнительном аспекте данные операции повышающей дискретизации декодируют посредством способа декодирования на основе уровней, при этом упомянутый способ содержит этапы, на которых декодируют данные операции повышающей дискретизации на первом уровне качества; соз
- 6 032859 дают предварительную визуализацию данных операции повышающей дискретизации на втором уровне качества на основе декодированных данных операции повышающей дискретизации на первом уровне качества; декодируют набор регулировок повышающей дискретизации; и объединяют регулировки повышающей дискретизации с предварительной визуализацией данных операции повышающей дискретизации на втором уровне качества для создания данных операции повышающей дискретизации на втором уровне качества.
В еще одном дополнительном аспекте сигнал является трехмерным сигналом, и операция повышающей дискретизации, заданная декодированным вторым набором данных, указывает повышающую дискретизацию сигнала по трем измерениям.
В еще одном дополнительном аспекте сигнал является видеосигналом, и операция повышающей дискретизации, как задано декодированным вторым набором данных, указывает повышающую дискретизацию сигнала как по пространственным, так и по временным измерениям.
В настоящей заявке также раскрыт способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных; используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества; декодируют второй набор данных; идентифицируют операцию повышающей дискретизации, заданную декодированным вторым набором данных; и применяют операцию повышающей дискретизации, идентифицированную в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества; идентифицируют остаточные данные, как задано декодированным вторым набором данных, используют мультимасштабный энтропийный декодер для декодирования остаточных данных, причем декодированные остаточные данные задают, как изменить конкретные элементы восстановленного сигнала на втором уровне качества; и изменяют элементы восстановленного сигнала на втором уровне качества способом, как задано декодированными остаточными данными.
В настоящей заявке также раскрыта компьютерная система, содержащая аппаратное средствопроцессор; запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средствопроцессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять приложение и выполнять операции по декодированию первого набора данных; использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества; декодированию второго набора данных; идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества; декодированию третьего набора данных; идентификации операции повышающей дискретизации, заданной декодированным третьим набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить сигнал на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
В настоящей заявке также раскрыто машиночитаемое аппаратное запоминающее устройство, имеющее сохраненные на нем команды, причем команды при выполнении аппаратным средством обработки побуждают аппаратное средство обработки выполнить операции по декодированию первого набора данных; использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества; декодированию второго набора данных; идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества; декодированию третьего набора данных; идентификации операции повышающей дискретизации, заданной декодированным третьим набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить сигнал на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
В настоящей заявке также раскрыт способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных; используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества; декодируют второй набор данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества; идентифицируют операцию повышающей дискретизации, как задано декодированным поднабором данных второго набора данных; и применяют идентифицированную операцию повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем
- 7 032859 второй уровень качества выше первого уровня качества; обрабатывают декодированный второй набор данных, чтобы получить остаточные данные для визуализации сигнала на втором уровне качества, причем остаточные данные указывают, как изменить предварительную визуализацию сигнала на втором уровне качества; и изменяют восстановленную предварительную визуализацию сигнала на втором уровне качества с использованием остаточных данных.
В дополнительном аспекте операция повышающей дискретизации содержит первое ядро повышающей дискретизации для восстановления первой части сигнала на втором уровне качества и второе ядро повышающей дискретизации для восстановления второй части сигнала на втором уровне качества, причем первое ядро повышающей дискретизации отличается от второго ядра повышающей дискретизации; и при этом параметры первого ядра повышающей дискретизации и второго ядра повышающей дискретизации заданы декодированным поднабором данных второго набора данных.
В другом дополнительном аспекте способ дополнительно содержит этапы, на которых декодируют третий набор данных; идентифицируют операцию повышающей дискретизации, заданную декодированным третьим набором данных; и применяют операцию повышающей дискретизации, идентифицированную в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить предварительную визуализацию сигнала на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
В еще одном дополнительном аспекте обработка декодированного второго набора данных для получения остаточных данных содержит этапы, на которых одновременно параллельно обрабатывают поднаборы декодированного второго набора данных, чтобы получить остаточные данные из декодированного второго набора данных; и изменяют восстановленную предварительную визуализацию сигнала на втором уровне качества, как задано остаточными данными.
В еще одном дополнительном аспекте операция повышающей дискретизации задана декодированными данными из набора, по существу, не ограниченных возможных операций повышающей дискретизации.
В еще одном дополнительном аспекте кодер во время кодирования сигнала создает второй набор данных, чтобы задать операцию повышающей дискретизации для восстановления предварительной визуализации сигнала на втором уровне качества.
В еще одном дополнительном аспекте кодер производит операцию повышающей дискретизации, чтобы уменьшить энтропию остаточных данных, которые должны быть применены для предварительной визуализации сигнала на втором уровне качества.
В еще одном дополнительном аспекте кодер выполняет понижающую дискретизацию сигнала во время кодирования, чтобы идентифицировать операцию повышающей дискретизации, которая должна быть включена во второй набор данных для восстановления предварительной визуализации сигнала на втором уровне качества.
В настоящей заявке также раскрыта компьютерная система, содержащая аппаратное средствопроцессор; запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средствопроцессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять команды и выполнять операции по декодированию первого набора данных; использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества; декодированию второго набора данных; идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества; идентификации остаточных данных, как задано декодированным вторым набором данных, использованию энтропийного декодера для декодирования остаточных данных, причем декодированные остаточные данные задают, как изменить конкретные элементы восстановленного сигнала на втором уровне качества; и изменению элементов восстановленного сигнала на втором уровне качества способом, как задано декодированными остаточными данными.
В настоящей заявке также раскрыто машиночитаемое аппаратное запоминающее устройство, имеющее сохраненные на нем команды, причем команды при выполнении устройством обработки побуждают устройство обработки выполнить операции по декодированию первого набора данных; использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества; декодированию второго набора данных; идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества; идентификации остаточных данных, как задано декодированным вторым набором данных, использованию энтропийного декодера для декодирования остаточных данных, причем декодированные остаточные данные задают, как изменить конкретные элементы восстановленного сигнала на втором уровне качества; и изменению элементов восстановленного
- 8 032859 сигнала на втором уровне качества способом, как задано декодированными остаточными данными.
В настоящей заявке также раскрыт способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных; используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества; декодируют второй набор данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества, кодер во время кодирования сигнала создает второй набор данных, чтобы задать операцию повышающей дискретизации для восстановления предварительной визуализации сигнала на втором уровне качества, кодер производит операцию повышающей дискретизации, чтобы уменьшить энтропию остаточных данных, которые должны быть применены к предварительной визуализации сигнала на втором уровне качества; идентифицируют операцию повышающей дискретизации, как задано декодированным поднабором данных второго набора данных; и применяют идентифицированную операцию повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества.
В настоящей заявке также раскрыта компьютерная система, содержащая аппаратное средствопроцессор; запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средствопроцессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять команды и выполнять операции по декодированию первого набора данных; использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества; декодированию второго набора данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества; идентификации операции повышающей дискретизации, как задано декодированным поднабором данных второго набора данных; и применению идентифицированной операции повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества, при этом кодер во время кодирования сигнала создает второй набор данных, чтобы задать операцию повышающей дискретизации для восстановления предварительной визуализации сигнала на втором уровне качества, при этом кодер во время кодирования сигнала производит операцию повышающей дискретизации, чтобы уменьшить энтропию остаточных данных, которые должны быть применены к предварительной визуализации сигнала на втором уровне качества.
В настоящей заявке также раскрыта компьютерная система, содержащая аппаратное средствопроцессор; запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средствопроцессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять команды и выполнять операции по декодированию первого набора данных; использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества; декодированию второго набора данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества; идентификации операции повышающей дискретизации, как задано декодированным поднабором данных второго набора данных; и применению идентифицированной операции повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества; обработке декодированного второго набора данных, чтобы получить остаточные данные для визуализации сигнала на втором уровне качества, причем остаточные данные указывают, как изменить предварительную визуализацию сигнала на втором уровне качества; и изменению восстановленной предварительной визуализации сигнала на втором уровне качества с использованием остаточных данных.
Краткое описание чертежей
Вышеупомянутые и другие цели, признаки и преимущества изобретения станут очевидными из нижеследующего, более конкретного описания предпочтительных вариантов осуществления в этом документе, которые проиллюстрированы на прилагаемых чертежах, на которых сходные ссылочные позиции относятся к одинаковым частям на разных представлениях. Чертежи не обязательно представлены в масштабе, вместо этого внимание уделяется иллюстрации вариантов осуществления, принципов, идей и т.п.
Фиг. 1 - примерная схема кодера и соответствующих кодированных данных в соответствии с вариантами осуществления в этом документе.
Фиг. 2 - примерная схема, иллюстрирующая процесс кодирования и декодирования сигнала в соответствии с вариантами осуществления в этом документе.
Фиг. 3 - примерная схема, иллюстрирующая расширение сигнала, включающего в себя информацию изображения на разных уровнях качества в иерархии, в соответствии с вариантами осуществления в этом документе.
Фиг. 4 - примерная схема, иллюстрирующая декодирование и восстановление сигнала в соответствии с вариантами осуществления в этом документе.
- 9 032859
Фиг. 5 - примерная схема, иллюстрирующая повышающую дискретизацию изображения с более низким разрешением до изображения с более высоким разрешением в соответствии с вариантами осуществления в этом документе.
Фиг. 6 - примерная схема, иллюстрирующая повышающую дискретизацию изображения с более низким разрешением до изображения с более высоким разрешением в соответствии с вариантами осуществления в этом документе.
Фиг. 7 - примерная схема, иллюстрирующая повышающую дискретизацию изображения с более низким разрешением до изображения с более высоким разрешением в соответствии с вариантами осуществления в этом документе.
Фиг. 8 - схема, иллюстрирующая примерную архитектуру компьютера для исполнения машинного кода, микропрограммного обеспечения, программного обеспечения, приложений, логики и т.п. в соответствии с вариантами осуществления в этом документе.
Фиг. 9 - блок-схема последовательности операций, иллюстрирующая примерный способ восстановления сигнала в соответствии с вариантами осуществления в этом документе.
Фиг. 10 и 11 объединяются для образования блок-схемы последовательности операций, иллюстрирующей более конкретный примерный способ восстановления сигнала в соответствии с вариантами осуществления в этом документе.
Подробное описание
Как описано выше, в качестве неограничивающего примера декодер декодирует первый набор данных и использует первый набор декодированных данных для восстановления сигнала в соответствии с первым уровнем качества. Декодер дополнительно декодирует второй набор данных и идентифицирует операцию повышающей дискретизации вместе с масштабным коэффициентом, заданные вторым набором декодированных данных. Декодер затем применяет операцию повышающей дискретизации и масштабный коэффициент, идентифицированные во втором наборе декодированных данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором, более высоком уровне качества. Чтобы улучшить восстановленный сигнал, декодер извлекает остаточные данные из второго набора декодированных данных. Остаточные данные указывают, как изменить восстановленный сигнал на втором уровне качества после применения операции повышающей дискретизации и масштабного коэффициента, которые обсуждались выше. Декодер затем изменяет восстановленный сигнал на втором уровне качества, как задано остаточными данными. Декодер может конфигурироваться для повторения этого процесса восстановления сигнала на еще более высоких уровнях качества.
Фиг. 1 - примерная схема, иллюстрирующая кодер и формирование соответствующих наборов кодированных данных в соответствии с вариантами осуществления в этом документе.
Во время работы кодер 140 в среде 100 кодирования обрабатывает сигнал 115 для создания кодированных данных 150. Отметим, что сигнал 115, кодированный кодером 140, может быть любым подходящим типом информации в виде данных.
В качестве неограничивающего примера сигнал 115 может быть данными изображения, символами и т.п., указывающими настройки каждого из множественных элементов сигнала (например, пелов/элементов плоскости, пикселей/элементов изображения, вокселов/объемных элементов изображения и т.п.) в соответствующем изображении. Как уже упоминалось, изображение может быть двумерным (например, изображения, видеокадры, двумерные карты движений и т.п.), трехмерным (например, трехмерные/объемные изображения, голографические изображения, снимки методом компьютерной аксиальной томографии, медицинские/научные изображения, трехмерные карты движений и т.п.) или даже характеризующимся более чем тремя измерениями. В соответствии с таким вариантом осуществления настройки элементов сигнала (которые заданы сигналом 115) указывают, как восстановить соответствующее изображение для воспроизведения на устройстве.
Кодированные данные 150, созданные кодером 140, включают в себя иерархию кодированных данных, включающую набор кодированных данных 150-1, набор кодированных данных 150-2, набор кодированных данных 150-3 и так далее.
Вообще, каждый набор кодированных данных на соответствующем уровне качества в иерархии задает, как восстановить сигнал для соответствующего уровня качества, а также является основой для восстановления сигнала на более высоких уровнях качества. Как обсуждается ниже, восстановление сигнала 115 на соответствующем уровне качества с использованием набора кодированных данных может зависеть от восстановления сигнала на следующем, более низком уровне качества.
Точнее говоря, в соответствии с одним вариантом осуществления каждый набор кодированных данных 150 включает в себя соответствующий набор из одной или более операций и/или соответствующие остаточные данные для восстановления на конкретном уровне качества. Например, набор кодированных данных 150-1 может включать в себя одну или более операций 160-1 и остаточные данные 170-1; набор кодированных данных 150-2 может включать в себя одну или более операций 160-2 и остаточные данные 170-2; набор кодированных данных 150-3 может включать в себя одну или более операций 160-3 и остаточные данные 170-3 и так далее.
Чтобы создать наборы кодированных данных 150, кодер 140 применяет операции понижающей
- 10 032859 дискретизации для понижения принятого сигнала 115 до более низких уровней качества. Например, кодер понижает информацию исходного изображения до информации изображения с более низким разрешением в иерархии. Кодированные данные 150, созданные кодером 140, указывают то, как восстановить сигнал 115 на более низком уровне качества до сигнала на следующем, более высоком уровне качества. Кодер 140 повторяет процесс на каждом последующем, более низком разрешении или уровне качества в иерархии.
Как упоминалось ранее, в дополнение к заданию одной или более операций кодированные данные 150 могут включать в себя остаточные данные 170. В одном варианте осуществления остаточные данные для данного уровня задают то, как изменить восстановленный сигнал на соответствующем уровне качества. Изменение восстановленного сигнала на данном уровне качества может выполняться для повышения точности восстановленного сигнала, приведения восстановленного сигнала в улучшенный вид для последующей повышающей дискретизации на более высоких уровнях качества, и т.п. Отметим, что набор кодированных данных при желании может не включать в себя никакие остаточные данные или никакие операции. В таких случаях декодер выполняет операции повышающей дискретизации и восстановление сигнала на более высоком уровне качества на основе параметров по умолчанию, установленных при восстановлении предыдущих уровней качества.
В одном варианте осуществления, который будет позже обсуждаться в этом описании изобретения, самый нижний уровень кодированных данных в иерархии может использоваться для создания начальной точки для восстановления соответствующего более высокого уровня качества сигнала 115. Следующий уровень кодированных данных (прямо над самым нижним уровне качества) может применяться к восстановленному сигналу на самом нижнем уровне качества для создания более высокого качества сигнала. Применение каждого набора данных на последовательно более высоком уровне в иерархии может создавать изображение со все более и более высоким разрешением.
Отметим, что включение соответствующего набора из одной или более операций 160 над изображением и/или остаточных данных 170 показано только в качестве неограничивающего примера, и что соответствующий набор кодированных данных 150 на конкретном уровне в иерархии может не задавать никакие операции 160 или не включать в себя никакие остаточные данные 170.
Фиг. 2 - примерная схема, иллюстрирующая процесс кодирования в соответствии с вариантами осуществления в этом документе. В этом примере предположим, что исходное изображение 210 на фиг. 2 задается сигналом 115. То есть сигнал 115 указывает, как установить каждый элемент изображения в группе из множественных элементов изображения (например, 1920x1080 элементов изображения).
Во время кодирования исходного изображения 210 кодер 140 выполняет операцию понижающей дискретизации на уровне М, чтобы создать изображение со следующим, более низким разрешением в иерархии на уровне М-1, как показано; на основе изображения на уровне М-1 кодер 140 выполняет другую операцию понижающей дискретизации на уровне М-1, чтобы создать изображение со следующим, более низким разрешением в иерархии на уровне М-2; и так далее.
Как описано ранее, на каждом соответствующем уровне качества кодер 140 создает соответствующий набор кодированных данных, чтобы преобразовать сигнал с более низким разрешением или более низким уровнем качества в сигнал со следующим, более высоким разрешением или качеством.
В соответствии с одним вариантом осуществления кодер 140 понижает дискретизацию с одного уровня качества до следующего на основе нужного масштабного коэффициента. Например, в качестве неограничивающего примера фиг. 2 иллюстрирует методику реализации масштабного коэффициента 2:1 для получения разрешения следующего, более низкого уровня с уровня М до уровня М-1; с уровня М-1 до уровня М-2; и т.п. В этом примере на основе масштабного коэффициента 2:1 у каждого измерения сигнала от одного уровня качества до следующего, более низкого уровня качества понижается дискретизация с коэффициентом 2. На каждом последовательно более низком уровне кодер 140 уменьшает разрешение АхВ до разрешения А/2хВ/2, до разрешения А/4хВ/4 и т.п.
Отметим, что кодер 140 может конфигурироваться для динамического изменения масштабного коэффициента с одного уровня качества до следующего, чтобы сделать более эффективным кодирование и/или декодирование. Информация масштабного коэффициента для каждого из уровней качества может сохраняться в соответствующих наборах кодированных данных.
В одном варианте осуществления каждая составляющая цвета элементов изображения кодифицируется отдельно на основе стандарта цветового пространства, например YUV, RGB или HSV, хотя атрибуты сигнала 115 при задании изображения могут кодироваться в соответствии с любым подходящим форматом.
Чтобы обеспечить необходимую понижающую дискретизацию до последовательно более низких уровней качества, новые элементы изображения при необходимости можно добавлять или удалять на соответствующем уровне качества. Например, добавление элементов изображения может включать в себя копирование или зеркальное отображение границ изображения, чтобы отрегулировать изображение до поля видимых элементов подходящего размера. В случае видеосигнала и масштабного коэффициента 2:1, например, понижающая дискретизация имеет тенденцию хорошо работать с изображениями, кото
- 11 032859 рые имеют соответствующие горизонтальные и вертикальные размеры, которые легко масштабируются на основе степени 2.
Чтобы упростить понижающую дискретизацию, как показано на уровне М-3 и М-3 * качества, кодер 140 может отрегулировать размеры разрешения на каждом уровне путем добавления или удаления строк или столбцов элементов изображения при необходимости, так что изображение можно легко масштабировать с одного уровня на следующий.
Точнее говоря, в одном варианте осуществления для регулировки разрешения изображения с пониженной дискретизацией кодер 140 добавляет строки и/или столбцы (в зависимости от того, какое измерение нужно отрегулировать) путем дублирования или зеркального отображения строки или столбца и копирования строки или столбца по периметру изображения, как показано. В одном варианте осуществления во время понижающей дискретизации граничную строку (например, самую нижнюю строку) элементов изображения на уровне М-3 можно скопировать или зеркально отобразить и добавить к нижней строке уровня М-3, чтобы создать изображение для уровня М-3* для изменения его измерений. У изображения на уровне М-3* затем можно дополнительно понизить дискретизацию до уровня М-4 на основе степени 2. То есть у изображения на уровне М-3* можно понизить дискретизацию с 240 элементов изображения X 136 элементов изображения до уровня М-4, имеющего измерения в 120 элементов изображения X 68 элементов изображения.
Фиг. 3 - примерная схема, иллюстрирующая расширение элементов изображения на разных уровнях в соответствии с вариантами осуществления в этом документе.
Более высокие уровни качества в иерархии 230 восстанавливаются путем повышающей дискретизации более низких уровней (используя конкретные операции, описанные позже) и путем декодирования необходимых остатков (кодированных и переданных с помощью описанных позже операций). В одном варианте осуществления не нужно, чтобы ядро/операция, используемые для повышения дискретизации (например, на декодирующей стороне), принадлежало к такому же виду, как ядро/операция, используемые для понижения дискретизации (например, на кодирующей стороне). Также не нужно, чтобы операция, используемая для получения более низких уровней, была именно фильтром (линейным или нелинейным): фактически она может быть сочетанием методик. Другими словами, кодирование и соответствующий процесс декодирования, которые обсуждаются в этом документе, могут быть асимметричными. В одном варианте осуществления сигнал 115 кодируется с помощью одной или более операций на каждом уровне качества, чтобы уменьшить энтропию соответствующих остаточных данных, которые применяются после повышающей дискретизации, как будет позже обсуждаться в этом описании изобретения. Это может уменьшить объем данных, которые необходимы для восстановления исходного сигнала 115.
В соответствии с одним вариантом осуществления более низкие уровни качества получаются из более высоких уровней (путь вниз) с использованием подстроенного билинейного фильтра (который из экспериментов производит впечатление одного из ядер/операций, которые лучше всего сохраняют информацию, даже если результирующий сигнал не является лучшим для просмотра) или трилинейного фильтра. Другими словами, восстановленный сигнал 115 может не быть безупречным воспроизведением исходного изображения с более низким разрешением. Кодированный сигнал 115 на более низких уровнях качества в иерархии может включать в себя артефакты.
В одном варианте осуществления результаты применения билинейного фильтра во время кодирования подстраиваются, чтобы минимизировать энтропию остатков, когда мы повышаем дискретизацию обратно до более высоких уровней. Уменьшение энтропии остаточных данных для одного или более уровней качества может уменьшить общий объем данных, которые необходимы для восстановления сигнала на высоком уровне качества. В одном варианте осуществления кодирование/декодирование отчасти имеет потери. Однако восстановление сигнала с использованием кодированных данных может быть почти безупречной копией исходной версии сигнала 115.
В одном варианте осуществления восстановление сигнала 115 на более высоких уровнях с более низких уровней включает в себя использование с выгодой сочетания одного или более способов повышающей дискретизации, например операций бикубического или трикубического фильтра, операций фильтра нерезкого маскирования, операций фильтра устранения смешивания и т.п. Например, во время кодирования кодер 140 может задать одну или более операций, которые должны включаться в соответствующий набор кодированных данных, которые должны использоваться для повышающей дискретизации восстановленного сигнала с одного уровня качества до следующего во время процесса декодирования. Для соответствующего уровня и, если необходимо, для каждого элемента сигнала кодер 140 может выбрать отсутствие операций, одну или более операций повышающей дискретизации (например, операцию бикубического или трикубического фильтра, фильтр устранения смешивания, фильтр нерезкого маскирования и т.п.), которые будут применяться декодером к восстановленному сигналу на каждом из уровней качества в иерархии.
Фиг. 4 - примерная схема, иллюстрирующая декодирование кодированных данных для восстановления сигнала на разных уровнях качества в соответствии с вариантами осуществления в этом документе.
- 12 032859
Способом, который обсуждался ранее, кодер 140 создает набор кодированных данных 425 для восстановления соответствующего сигнала 115. Как показано, набор кодированных данных 425-1 включает в себя набор остаточных данных 470-1; набор кодированных данных 425-2 включает в себя операции 460-2 и остаточные данные 470-2; набор кодированных данных 425-3 включает в себя операции 460-3 и остаточные данные 470-3 и так далее вверх по иерархии.
Как показано, декодер 440 в среде 400 декодирования использует иерархические наборы кодированных данных 425 для восстановления соответствующего сигнала 115 на разных уровнях качества. Как описано ранее, один вариант осуществления в этом документе включает в себя восстановление сигнала 115 на последовательно более высоких уровнях качества в иерархии на основе декодирования наборов кодированных данных 425. Декодированные данные указывают, как выполнять повышающую дискретизацию и последующие остаточные изменения с одного уровня на следующий.
В соответствии с таким вариантом осуществления декодер 440 декодирует первый набор кодированных данных 425-1 и использует первый набор декодированных данных, чтобы создать восстановленный сигнал 450-1 в соответствии с первым уровнем качества (например, уровнем J). Предположим в этом примере, что уровень J является самым нижним уровнем качества, и что набор кодированных данных 425-1 включает в себя подходящие данные, например остаточные данные 470-1, для создания восстановленного сигнала 450-1, который является самым нижним уровнем качества в иерархии. Этот восстановленный сигнал 450-1 (например, низкий уровень качества) предоставляет основу для повышающей дискретизации до еще более высоких уровней качества в иерархии.
Декодер 440 затем декодирует второй набор кодированных данных 425-2 для обработки на уровне J+1 качества в иерархии. На основе декодированных данных из набора кодированных данных 425-2 декодер 440 применяет одну или более операций 460-2 (например, операций Ul + 1 повышающей дискретизации) к восстановленному сигналу 450-1, чтобы создать восстановленный сигнал 451-1 на уровне J+1 качества. В этом примере восстановленный сигнал 451-1 (например, на уровне J+1 качества) выше по качеству, чем восстановленный сигнал 450-1 на уровне J качества.
В соответствии с дополнительными вариантами осуществления, чтобы улучшить восстановленный сигнал на соответствующем уровне качества, декодер 440 может конфигурироваться для извлечения и применения остаточных данных 470-2 из кодированных данных 425-2.
В примерном варианте осуществления декодер 440 реализует мультимасштабное энтропийное декодирование, чтобы улучшить восстановленный сигнал. Например, в таком варианте осуществления декодер идентифицирует остаточные данные 470-2, которые заданы декодированным набором кодированных данных 425-2. В качестве неограничивающего примера декодер 440 может использовать мультимасштабный энтропийный декодер для декодирования остаточных данных 470-2. Декодированные остаточные данные задают то, как изменить конкретные элементы восстановленного сигнала на втором уровне качества. Например, декодер 440 изменяет элементы восстановленного сигнала 451-1 на уровне J+1 качества способом, как задано остаточными данными 470-2.
Точнее говоря, остаточные данные 470-2, ассоциированные с уровнем J+1 качества, указывают то, как изменить восстановленный сигнал 451-1 после применения одной или более операций 460-2 повышающей дискретизации (например, операций UJ+1 повышающей дискретизации), как описано выше. То есть остаточные данные 470-2 указывают, как изменить конкретные части восстановленного сигнала
451- 1, чтобы создать восстановленный сигнал 451-2. Посредством дополнительной обработки декодер 440 изменяет восстановленный сигнал 451-1 способом, как задано остаточными данными 470-2, чтобы создать восстановленный сигнал 451-2 на уровне J+1 качества.
После обработки на уровне J+1 качества, которая описана выше, декодер 440 декодирует набор кодированных данных 425-3 для обработки на уровне J+2 качества в иерархии. На основе информации в наборе кодированных данных 425-3 декодер 440 применяет одну или более операций 460-3 (например, операций UJ+2 повышающей дискретизации), идентифицированных в наборе кодированных данных 4253, к восстановленному сигналу 451-2 на уровне J+1 качества, чтобы создать восстановленный сигнал
452- 1 на уровне J+2 качества. В этом примере уровень J+2 качества у восстановленного сигнала 452-1 выше по качеству, чем восстановленный сигнал 451-2 на уровне J+1 качества.
После применения операций 460-3 декодер 440 извлекает остаточные данные 470-3 из кодированных данных 425-3. Остаточные данные 470-3, ассоциированные с уровнем J+2 качества, указывают то, как изменить восстановленный сигнал 452-1 после применения одной или более операций 460-3 повышающей дискретизации (например, операций UJ+2 повышающей дискретизации), как описано выше. То есть остаточные данные 470-3 указывают, как изменить конкретные части восстановленного сигнала 452-1, чтобы создать восстановленный сигнал 452-2. Посредством дополнительной обработки с помощью операции RJ+2 декодер 440 изменяет восстановленный сигнал 452-1 способом, как задано остаточными данными 470-3, чтобы создать восстановленный сигнал 452-2.
Декодер 440 может конфигурироваться для повторения вышеупомянутой обработки для каждого из множественных уровней качества в иерархии. Например, для каждого из множественных уровней качества выше уровня J+2 качества декодер 440 повторяет этапы декодирования следующего, более высокого набора кодированных данных в иерархии выше последнего обработанного уровня качества; идентифика
- 13 032859 ции одной или более операций повышающей дискретизации на основе содержимого следующего, более высокого набора декодированных данных; применения одной или более операций повышающей дискретизации (если есть), идентифицированных на основе содержимого следующего, более высокого набора декодированных данных, чтобы восстановить сигнал на следующем, более высоком уровне качества; идентификации остаточной информации и/или остаточных характеристик (если есть), заданных следующим, более высоким набором декодированных данных; применения остаточной информации для изменения восстановленного сигнала на следующем, более высоком уровне качества. Этот процесс может повторяться до тех пор, пока декодер не восстановит копию или близкую копию сигнала 115.
Декодер 440 может конфигурироваться для использования операций повышающей дискретизации и/или остаточных данных по умолчанию для восстановления сигнала на разных уровнях качества, если никакие операции и/или остаточные данные не заданы для уровня качества в иерархии. В одном варианте осуществления такие значения по умолчанию получаются на основе операций и/или остаточных данных, которые использовались для восстановления более низких уровней качества у тех же частей сигнала.
Отметим, что сигнал 115 может иметь любой подходящий тип данных. Однако в одном варианте осуществления, как упоминалось, сигнал 115 включает в себя данные изображения. В соответствии с таким вариантом осуществления декодер 440 восстанавливает исходный сигнал 115 с еще более высоким разрешением или более высокими уровнями качества на основе многоуровневых наборов кодированных данных, чтобы в конечном счете восстановить изображение для воспроизведения (или для использования с другими целями). В некоторых случаях изображение с более низким уровнем качества (например, восстановленный сигнал на уровне ниже наивысшего возможного разрешения в иерархии) может отображаться для просмотра (или использоваться с другими целями), если не нужно или невозможно восстановить версию с таким же разрешением, как и исходный сигнал 115.
В одном варианте осуществления декодер 440 или другой подходящий ресурс инициирует отображение информации изображения на устройстве с экраном в соответствии с восстановленным сигналом на более высоком возможном уровне или выбранном уровне качества.
Фиг. 5 - примерная схема, иллюстрирующая повышающую дискретизацию изображения с более низким разрешением до изображения с более высоким разрешением в соответствии с вариантами осуществления в этом документе. Предположим в этом неограничивающем примере, что сигнал 115 и соответствующие кодированные данные 425 указывают, как преобразовать или расширить изображение с более низким разрешением до изображения с более высоким разрешением.
В качестве неограничивающего примера предположим, что наборы кодированных данных указывают, как управлять настройками элементов изображения на каждом уровне качества. Например, изображение 510-1 на уровне J качества включает в себя поле элементов W изображения; изображение 510-2 на уровне J+1 качества включает в себя поле элементов X изображения; изображение 510-3 включает в себя поле элементов Y изображения; и т.п. Предположим, что восстановленный сигнал 450-1 задает, как управлять настройками элементов W изображения на изображении 510-1; восстановленный сигнал 451-2 задает, как управлять настройками элементов X изображения на изображении 510-2; восстановленный сигнал 452-2 задает, как управлять настройками элементов Y изображения; и так далее. Таким образом, декодирование на фиг. 4 может использоваться для декодирования информации изображения и создания разных визуализаций исходного сигнала 115 в соответствии с разными уровнями качества.
Нижеследующие фиг. 6 и 7 конкретнее указывают то, как выполнить повышающую дискретизацию и применить остаточные данные.
Например, фиг. 6 является схемой, иллюстрирующей простой пример повышающей дискретизации изображения с более низким разрешением до изображения с более высоким разрешением в соответствии с вариантами осуществления в этом документе.
В этом примере предположим, что набор кодированных данных 425-1 указывает, как создать восстановленный сигнал 450-1. Восстановленный сигнал 450-1 указывает настройки отображения элементов изображения следующим образом: элемент W1 изображения=100, элемент W2 изображения=92, элемент W3 изображения=98, элемент W4 изображения=20. Аналогичным образом восстановленный сигнал 4511, выведенный из набора кодированных данных 425-2 на фиг. 4, указывает настройки отображения элементов изображения на изображении 620-1, как показано на фиг. 6; восстановленный сигнал 451-2 на фиг. 4 указывает настройки отображения элементов изображения на изображении 620-2, как показано на фиг. 6.
Таким образом, в этом неограничивающем примере изображение 610 является представлением восстановленного сигнала 450-1; изображение 620-1 является представлением восстановленного сигнала 451-1; изображение 620-2 является представлением восстановленного сигнала 451-2 и так далее.
Как описано ранее, операции 460-2 для уровня J+1 качества указывают, как повысить дискретизацию на этапе Ul + 1 на фиг. 4. В этом примере предположим, что операции 460-2 повышающей дискретизации указывают преобразовать элемент W1 изображения из изображения 610 в четыре элемента изображения, имеющие такое же значение 100. Таким образом, применение операции повышающей дискретизации декодером 440 приводит к расширению элемента W1 изображения на четыре элемента X1, Х2,
- 14 032859
Х3 и Х4 изображения с таким же значением. Аналогичным образом каждый из остальных элементов W2, W3 и W4 изображения расширяется на четыре соответствующих элемента изображения с таким же значением, как показано.
Отметим, что расширение одного элемента изображения на четыре элемента изображения показано только в качестве неограничивающего примера, и величина расширения элемента изображения с одного уровня качества до следующего может меняться в зависимости от варианта осуществления. Например, один элемент изображения можно расширить на любое количество подходящих элементов изображения (например, не только четыре элемента изображения) при повышающей дискретизации с одного уровня качества до следующего, и подходящее ядро/операция фильтрации может применяться для сглаживания изображения вместо простого копирования значений элементов. Также отметим, что изображение 610, изображение 620-1, изображение 620-2 могут представлять только часть общего набора элементов изображения на соответствующем уровне качества.
Посредством применения остаточных данных 470-2 (например, матрицы разностных данных) в операции RJ+1 изменения декодер 440 применяет набор остаточных данных 470-2, чтобы изменить настройки, ассоциированные с элементами изображения 620-1. Например, декодер 440 регулирует значение элементов изображения на изображении 620-1 путем добавления смещения или значений разности в матрице остаточных данных 470-2 к значениям элемента изображения на изображении 620-1, чтобы создать изображение 620-2, как показано.
Фиг. 7 - примерная схема, иллюстрирующая повышающую дискретизацию изображения с более низким разрешением до изображения с более высоким разрешением в соответствии с вариантами осуществления в этом документе. Однако в отличие от примера на фиг. 6 этот пример на фиг. 7 включает в себя расширение одного элемента изображения на множественные элементы изображения с другими значениями в зависимости от примененной операции повышающей дискретизации.
В этом примере предположим, что набор кодированных данных 425-1 указывает, как создать восстановленный сигнал 450-1. Восстановленный сигнал 450-1 указывает настройки отображения элементов изображения на изображении 710 следующим образом: элемент W1 изображения=100, элемент W2 изображения=92, элемент W3 изображения=98, элемент W4 изображения=20. Аналогичным образом в этом примере восстановленный сигнал 451-1 на фиг. 4 указывает настройки отображения элементов изображения на изображении 720-1, как показано на фиг. 7. Восстановленный сигнал 451-2 на фиг. 4 указывает настройки отображения элементов изображения на изображении 720-2, как показано на фиг. 7.
Таким образом, в этом неограничивающем примере изображение 710 является представлением восстановленного сигнала 450-1; изображение 720-1 является представлением восстановленного сигнала 451-1; изображение 720-2 является представлением восстановленного сигнала 451-2 и так далее.
Как описано ранее, операции 460-2 для уровня J+1 качества указывают, как повысить дискретизацию на этапе U|.| на фиг. 4. Предположим, что операции 460-2 повышающей дискретизации в этом примере указывают, как преобразовать элемент W1 изображения из изображения 610 в четыре элемента изображения, имеющие другие значения. Например, исполнение операций 460-2 декодером 440 преобразует элемент W1 изображения в четыре элемента изображения с разными значениями на изображении 720-1: Х1=100, Х2=100, Х3=100 и Х4=95. Таким образом, в этом примере вместо расширения элемента W1 изображения=100 на четыре элемента изображения (например, X1, Х2, Х3 и Х4), установленных в 100, декодер 440 устанавливает X1, Х2, Х3 и Х4 в иные значения, нежели значение W1.
В одном варианте осуществления декодер 440 применяет одну или более операций, например операцию бикубического или трикубического фильтра, фильтр устранения смешивания, фильтр нерезкого маскирования и т.п., чтобы расширить один элемент сигнала на множественные элементы сигнала, имеющие другие значения настройки отображения. Значения, назначенные расширенным элементам, могут выбираться, по меньшей мере, частично на основе настроек соседних элементов сигнала.
Как упоминалось выше, значения элементов сигнала указывают любую информацию, например цвет, оттенок, яркость и т.п., так что соответствующее устройство отображения может отобразить изображение пользователю.
Аналогичным образом каждый из остальных элементов W2, W3 и W4 изображения расширяется на четыре соответствующих элемента изображения с таким же или другим значением, как показано на фиг. 7.
Снова отметим, что расширение одного элемента изображения на четыре элемента изображения показано только в качестве неограничивающего примера, и величина расширения элемента изображения с одного уровня качества до следующего может меняться в зависимости от варианта осуществления. Например, один элемент изображения можно расширить на любое количество подходящих элементов изображения (например, не только четыре элемента изображения) при повышающей дискретизации с одного уровня качества до следующего. Также изображение 710, изображение 720-1, изображение 720-2 могут представлять только часть общего набора элементов изображения на соответствующем уровне качества.
После применения одной или более операций повышающей дискретизации, как описано выше, чтобы расширить элементы изображения, декодер применяет остаточные данные 470-2 к изображению 720
- 15 032859
1, чтобы создать изображение 720-2. Используя остаточные данные 470-2 (например, матрицу разностных данных) в операции RJ+1 изменения, декодер 440 применяет набор остаточных данных 470-2, чтобы изменить настройки, ассоциированные с элементами изображения 720-1. Например, декодер 440 регулирует значение элементов изображения на изображении 720-1 путем добавления смещения или значений разности в матрице остаточных данных 470-2 к значениям элемента изображения на изображении 720-1, чтобы создать изображение 720-2, как показано. Как упоминалось выше, декодер повторяет эти этапы на разных уровнях качества в иерархии, чтобы восстановить сигнал 115.
Использование разных операций повышающей дискретизации на разных уровнях качества.
В соответствии с одним вариантом осуществления наборы кодированных данных могут задавать разные операции повышающей дискретизации для применения на разных уровнях, чтобы восстановить соответствующий сигнал 115. Например, набор кодированных данных 425-2 может задавать первую повышающую дискретизацию, например операцию бикубического или трикубического фильтра, в которой повысить дискретизацию (например, UJ+2) с уровня J+1 качества до уровня J+2 качества. Набор кодированных данных 425-3 может задавать вторую повышающую дискретизацию, например операцию фильтра устранения смешивания, в которой повысить дискретизацию (например, UJ+3) с уровня J+2 качества до уровня J+3 качества, и так далее. Возможность задавать и применять разные операции повышающей дискретизации (или их сочетания) на каждом уровне качества обеспечивает гибкость, так как декодеру 440 не требуется восстанавливать сигнал с использованием только операции повышающей дискретизации по умолчанию.
Использование одной и той же или более операций повышающей дискретизации на множественных уровнях качества.
В соответствии с другим вариантом осуществления операция повышающей дискретизации, заданная для использования на одном уровне качества, может использоваться на последовательно более высоких уровнях качества для восстановления соответствующего сигнала 115. Например, декодер 440 может конфигурироваться для применения одной или более операций повышающей дискретизации, которые заданы набором кодированных данных 425-2, для восстановления сигнала 115 на уровне J+2 качества, как описано ранее.
Набор кодированных данных 425-3 (например, более высокий уровень качества) может не задавать никакие операции повышающей дискретизации. В соответствии с таким вариантом осуществления декодер 440 может конфигурироваться для восстановления сигнала 115 на более высоких уровнях качества до тех пор, пока либо соответствующий набор декодированных данных для более высокого уровня качества не укажет прекратить применение операции повышающей дискретизации, и/либо до тех пор, пока набор кодированных данных на более высоком уровне качества не укажет применить другой набор из одной или более операций повышающей дискретизации.
Таким образом, варианты осуществления в этом документе могут включать в себя декодирование набора кодированных данных на более высоком уровне качества. В ответ на идентификацию того, что набор кодированных данных на более высоком уровне качества не задает конкретной операции повышающей дискретизации, декодер 440 применяет операции повышающей дискретизации, используемые на более низком уровне качества, чтобы восстановить сигнал на более высоком уровне качества.
Использование остаточных данных на множественных уровнях качества.
В соответствии с еще одними вариантами осуществления остаточные данные, заданные для использования на одном уровне качества, могут использоваться на последовательно более высоких уровнях качества для восстановления соответствующего сигнала 115 до тех пор, пока более высокий уровень качества не укажет использовать другие остаточные данные, или более высокий уровень качества не укажет прекратить применение остаточных данных. Например, декодер 440 может извлечь остаточные данные из набора декодированных данных на конкретном уровне качества. Как описано ранее, остаточные данные указывают, как изменить восстановленный сигнал на конкретном уровне качества после применения заданной операции повышающей дискретизации. Декодер 440 изменяет восстановленный сигнал на конкретном уровне качества, как задано набором кодированных данных. Более того, декодер 440 изменяет восстановленный сигнал на уровне качества выше конкретного уровня качества.
В качестве примера предположим, что декодер 440 идентифицирует остаточные данные 470-2, которые заданы набором кодированных данных 425-2. Остаточные данные 470-2 задают местоположение элементов в восстановленном сигнале на уровне J+1 качества и то, как изменить элементы восстановленного сигнала 451-1 на уровне J+1 качества. Декодер 440 изменяет элементы или части восстановленного сигнала 451-1 на уровне J+1 качества способом, как задано остаточными данными 470-2. Декодер 440 использует остаточные данные 470-2 также для восстановления сигнала 115 на более высоких уровнях качества (например, J+2 и выше) до тех пор, пока соответствующий набор декодированных данных для более высокого уровня качества не укажет использовать другие остаточные данные на более высоких уровнях качества.
Применение операций повышающей дискретизации к заданным частям восстановленного сигнала.
В соответствии с еще одними вариантами осуществления каждый набор кодированных данных может задавать разные операции повышающей дискретизации, которые должны применяться декодером к
- 16 032859 конкретным частям восстановленного сигнала. Часть сигнала характеризуется разным количеством элементов сигнала (больше либо равным единице) в зависимости от конкретного уровня качества. В качестве примера предположим, что декодер 440 обрабатывает набор декодированных данных на уровне X качества, чтобы идентифицировать конкретную часть (например, которая указана местоположением) восстановленного сигнала на уровне Х-1 качества, в которой нужно применить операцию повышающей дискретизации, заданную набором декодированных данных. Декодер 440 затем применяет операцию повышающей дискретизации к конкретной части (например, такой части, которая меньше всех элементов изображения, если это восстановленное изображение) восстановленного сигнала на уровне Х-1 качества (например, уровне качества непосредственно ниже уровня X качества), чтобы восстановить сигнал на уровне X качества.
В качестве примера набор кодированных данных для данного уровня качества может задавать первую операцию для применения к первой части восстановленного сигнала (например, первой области, первому типу данных и т.п. в восстановленном сигнале), чтобы выполнить повышающую дискретизацию; набор кодированных данных для данного уровня качества также может задавать вторую операцию для применения ко второй (другой) части восстановленного сигнала (например, второй области, второму типу данных и т.п. в восстановленном сигнале) и так далее.
Набор кодированных данных может не задавать никакие операции повышающей дискретизации для конкретных частей сигнала. В соответствии с вариантом осуществления для каждой части сигнала декодер 440 может конфигурироваться для восстановления сигнала 115 на более высоких уровнях качества до тех пор, пока либо соответствующий набор декодированных данных для более высокого уровня качества не укажет прекратить применение операции повышающей дискретизации, и/либо до тех пор, пока набор кодированных данных на более высоком уровне качества не укажет применить другой набор из одной или более операций повышающей дискретизации.
В соответствии с дополнительными вариантами осуществления декодер 440 может обработать наборы данных на каждом уровне качества, чтобы идентифицировать некий тип атрибута (например, область в фокусе, область не в фокусе, лицо человека, текст, другие объекты, в быстром движении, неподвижный, в замедленном движении и т.п.) особо идентифицированной части восстановленного сигнала, в которой нужно применить обработку с повышением дискретизации. Декодер применяет заданные операции к любым данным в восстановленном сигнале с заданным типом атрибута. Декодеру 440 может потребоваться проанализировать восстановленный сигнал, чтобы идентифицировать подходящие части восстановленного сигнала, в которых нужно применить заданную одну или более операций.
В одном варианте осуществления декодер 440 может отобразить тип атрибута, заданный в наборе кодированных данных, в набор из одной или более операций повышающей дискретизации, которые будут осуществляться над частью восстановленного сигнала, имеющей заданный тип атрибута. Например, для каждой части сигнала с конкретным типом атрибута для заданного уровня качества декодер 440 использует набор из одной или более операций повышающей дискретизации, заданных ее типом атрибута, в качестве операций повышающей дискретизации по умолчанию для восстановления непосредственного уровня качества и последующих более высоких уровней качества той части сигнала. Те же операции могут использоваться до тех пор, пока соответствующий набор декодированных данных для более высокого уровня качества, чем первый уровень качества, не задаст использование других типов атрибута для сигнала или для частей сигнала.
Таким образом, как задано набором кодированных данных для данного уровня качества, заданные операции могут применяться к конкретному типу атрибута данных для данного уровня качества, а также для данных на более высоких уровнях качества, имеющих такой же заданный тип атрибута.
Использование разных масштабных коэффициентов на разных уровнях качества.
В соответствии с дополнительными вариантами осуществления декодер 440 может конфигурироваться для декодирования каждого из набора кодированных данных, чтобы идентифицировать значение масштабного коэффициента (например, измерения или разрешение сигнала) для повышающей дискретизации соответствующего уровня качества. Как подсказывает его название, значение масштабного коэффициента может задавать разрешение, в котором нужно повысить дискретизацию восстановленного сигнала на уровне J+1 качества до восстановленного сигнала на уровне J+2 качества. Как задано масштабным коэффициентом, декодер 440 может конфигурироваться для повышения дискретизации восстановленного сигнала на уровне J+1 качества до восстановленного сигнала на уровне J+2 качества вместо выполнения повышающей дискретизации в соответствии с известным декодеру 440 значением масштабного коэффициента по умолчанию.
Если отсутствует масштабный коэффициент, заданный для конкретной повышающей дискретизации восстановленного сигнала с одного уровня качества до другого, то декодер использует заранее установленный масштабный коэффициент по умолчанию или масштабный коэффициент, заданный на предыдущем, более низком уровне качества. В одном варианте осуществления декодер 440 использует значения масштабного коэффициента, как задано наборами декодированных данных на разных уровнях иерархии, чтобы восстановить сигнал 115, вместо выполнения повышающей дискретизации в соответствии со значениями масштабного коэффициента по умолчанию для разных уровней качества в иерархии.
- 17 032859
Наборы кодированных данных могут задавать разные масштабные коэффициенты для разных уровней качества. Например, в одном варианте осуществления значения масштабного коэффициента для разных уровней качества (либо заданные в наборах кодированных данных на каждом уровне качества, либо известные декодеру 440 как значение масштабного коэффициента по умолчанию, если никакой масштабный коэффициент не задается в наборе кодированных данных) включают в себя первое значение масштабного коэффициента и второе значение масштабного коэффициента. Предположим в этом примере, что первое значение масштабного коэффициента, заданное набором декодированных данных на уровне J+1 качества, указывает масштабный коэффициент для повышающей дискретизации с уровня J качества до уровня J+1 качества. Набор кодированных данных может указывать повышение дискретизации с уровня J+1 качества до уровня J+2 качества способом, который обсуждался ранее, используя второй масштабный коэффициент. Первое значение масштабного коэффициента отличается от второго значения масштабного коэффициента. Таким образом, декодер 440 может повышать дискретизацию в соответствии с разными масштабными коэффициентами с одного уровня до следующего.
В еще одном варианте осуществления декодер 440 сначала повышает дискретизацию сигнала до разрешения, полученного путем умножения разрешения у первого уровня качества на первый масштабный коэффициент. В этот момент, как описано ранее, на основе второго значения масштабного коэффициента на более высоком уровне качества декодер 440 исключает наиболее удаленные плоскости восстановленного сигнала (например, удаляет одну или более строк либо столбцов на границе изображения для двумерного сигнала), чтобы восстановить сигнал с разрешением, заданным вторым масштабным коэффициентом.
Моделирование артефактов в восстановленном сигнале.
В соответствии с другим вариантом осуществления декодер 440 может конфигурироваться для декодирования одного или более наборов кодированных данных, чтобы идентифицировать характеристики эффектов, которые нужно моделировать при восстановлении сигнала. Например, характеристики сигнала, заданные в соответствующем наборе кодированных данных, могут указывать декодеру 440 то, как моделировать некоторые эффекты, которые нужно добавить в восстановленную версию сигнала на конкретном уровне качества (например, на наивысшем или выбранном уровне качества). В соответствии с таким вариантом осуществления набору кодированных данных не нужно указывать конкретные элементы восстановленного сигнала, которые следует изменить, и конкретные изменения для применения. Вместо этого набор кодированных данных указывает эффект или улучшение, которые будут применяться или распределяться в восстановленном сигнале.
В качестве примера декодер 440 может конфигурироваться для декодирования набора данных, чтобы идентифицировать спектральные характеристики, ассоциированные с эффектами, обнаруженными в исходной версии остатков, которые представляют информацию с более низким приоритетом. Такие эффекты могут быть атрибутами, например зернистостью, шумом датчика камеры, деталями сигнала, имеющими более низкий приоритет и т.п. Спектральные характеристики в кодированных данных могут указывать декодеру 440, как моделировать эффекты путем добавления таких эффектов в восстановленный сигнал на одном или более уровнях качества в иерархии. Спектральная информация о добавлении эффектов может указывать наличие эффектов, которые будут моделироваться, и соответствующее распределение эффектов. Однако спектральная информация не должна указывать фактическое местоположение или конкретные значения остатков, которые потребовались бы для точного восстановления артефактов, которые присутствуют в исходной версии сигнала.
В соответствии с дополнительными вариантами осуществления для каждого элемента сигнала декодер 440 использует спектральные характеристики, которые заданы набором декодированных данных, чтобы также описать моделируемые эффекты для более высоких уровней качества, нежели уровень качества, на котором была идентифицирована спектральная информация. То есть способом, который обсуждался ранее, для каждой части восстановленного сигнала декодер 440 может использовать характеристики моделируемых остатков, заданные на предыдущих уровнях, для множественных уровней качества в иерархии до тех пор, пока соответствующий набор декодированных данных для более высокого уровня качества не задаст использование для восстановленного сигнала или для конкретных частей восстановленного сигнала других спектральных характеристик моделируемых эффектов. Таким образом, декодер 440 может конфигурироваться для использования набора спектральных характеристик, чтобы изменить элементы восстановленного сигнала для отображения на соответствующем, более высоком уровне качества способом, который задан спектральной информацией. В одном варианте осуществления декодер применяет информацию о спектральных характеристиках на уровне качества, на котором восстановленный сигнал отображается на устройстве отображения.
Восстановление сигнала на основе множественных восстановленных плоскостей информации.
В соответствии с одним вариантом осуществления декодер 440 принимает отдельные иерархии сигнала для разных цветовых плоскостей сигнала (например, красный-зеленый-синий, YUV, HSV или другие типы цветовых пространств). Отдельные иерархии сигнала могут характеризоваться независимыми (и, возможно, разными) масштабными коэффициентами, операциями и наивысшими уровнями качества. Когда разные восстановленные цветовые плоскости характеризуются разными уровнями качества,
- 18 032859 декодер повышает дискретизацию цветовых плоскостей более низкого разрешения, чтобы они соответствовали разрешению цветовой плоскости с наивысшим уровнем качества, а потом соединяет все восстановленные цветовые плоскости в восстановленный цветовой сигнал для отправки в устройство отображения.
Повышающая дискретизация поэтому может включать в себя восстановление 3 или более плоскостей информации для каждого уровня качества в иерархии. Объединение плоскостной информации на соответствующем уровне качества задает изображение или восстановленный сигнал для соответствующего уровня качества.
В примерном варианте осуществления декодер 440 может восстановить три плоскости на каждом уровне качества. Одна плоскость может представлять яркость (например, Y в стандарте YUV), ассоциированную с элементами изображения; другая плоскость может представлять цветность синего (например, U в стандарте YUV), ассоциированную с элементами изображения; а другая плоскость может представлять цветность красного (например, V в стандарте YUV), ассоциированную с элементами изображения. Каждая плоскость может кодироваться в соответствии с разными уровнями качества. Например, плоскость яркости, которая является самой важной при просмотре соответствующего изображения, может кодироваться с наивысшим уровнем детализации; плоскости цветности могут кодироваться с более низким уровнем детализации, потому что они менее важны при просмотре соответствующего изображения.
В соответствии с вариантом осуществления способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии дополнительно включает в себя этапы извлечения вспомогательной информации, в частности информации о движении, информации деформации и так далее, из второго набора декодированных данных, причем вспомогательная информация указывает параметры, влияющие на применение операции (операций) повышающей дискретизации к сигналу на первом уровне качества и влияющие на изменение восстановленного сигнала на втором уровне качества, как задано остаточными данными.
Фиг. 8 - примерная блок-схема компьютерной системы 800, которая обеспечивает компьютерную обработку в соответствии с вариантами осуществления в этом документе.
Компьютерная система 800 может быть или включать в себя компьютеризированное устройство, например персональный компьютер, схемы обработки, рабочую станцию, портативное вычислительное устройство, консоль, сетевой терминал, устройство обработки, сетевое устройство, работающее в качестве коммутатора, маршрутизатора, сервера, клиента и т.п.
Отметим, что нижеследующее обсуждение предоставляет основной вариант осуществления, указывающий, как осуществить функциональные возможности, ассоциированные с декодером 440, который обсуждался ранее. Однако следует отметить, что фактическая конфигурация для осуществления операций, которые описаны в этом документе, может меняться в зависимости от соответствующего применения.
Как показано, компьютерная система 800 из настоящего примера включает в себя межсоединение 811, которое соединяет машиночитаемые носители 812 информации, например неизменяемый со временем тип носителей, машиночитаемый, аппаратный носитель информации и т.п., на котором может храниться и извлекаться цифровая информация. Компьютерная система 800 может дополнительно включать в себя процессор 813, интерфейс 814 ввода-вывода и интерфейс 817 связи.
Интерфейс 814 ввода-вывода обеспечивает возможность подключения к репозиторию 180 и, при наличии, к экрану дисплея, периферийным устройствам 816, таким как клавиатура, компьютерная мышь и т.п.
Машиночитаемый носитель 812 информации (например, аппаратные носители информации) может быть любым подходящим устройством и/или аппаратными средствами, например запоминающим устройством, оптическим запоминающим устройством, жестким диском, гибким диском и т.п. Машиночитаемый носитель информации может быть неизменяемым со временем носителем информации для хранения команд, ассоциированных с приложением 440-1 декодера.
Команды исполняются с помощью соответствующего ресурса, например декодера 440, для выполнения любой из операций, которые обсуждаются в этом документе.
Интерфейс 817 связи дает возможность компьютерной системе 800 взаимодействовать по сети 190 для извлечения информации из удаленных источников и взаимодействовать с другими компьютерами, коммутаторами, клиентами, серверами и т.п. Интерфейс 814 ввода-вывода также дает возможность процессору 813 извлекать или сделать попытку извлечения сохраненной информации из репозитория 180.
Как показано, машиночитаемые носители 812 информации могут кодироваться с помощью приложения 440-1 декодера, исполняемого процессором 813 в виде процесса 440-2.
Отметим, что компьютерная система 800 или декодер 440 также могут быть воплощены включающими в себя машиночитаемый носитель 812 информации (например, аппаратные носители информации, неизменяемые со временем носители информации и т.п.) для хранения данных и/или логических команд.
Компьютерная система 800 может включать в себя процессор 813 для исполнения таких команд и осуществления операций, которые обсуждаются в этом документе. Соответственно при исполнении код, ассоциированный с приложением 440-1 декодера, может поддерживать обработку функциональных воз
- 19 032859 можностей, которые обсуждаются в этом документе.
Во время работы одного варианта осуществления процессор 813 обращается к машиночитаемым носителям 812 информации посредством использования межсоединения 811, чтобы запустить, прогнать, исполнить, интерпретировать или иным образом выполнить команды приложения 440-1 декодера, сохраненные на машиночитаемом носителе 812 информации. Исполнение приложения 440-1 декодера порождает функциональные возможности обработки в процессоре 813. Другими словами, процесс 440-2 декодера, ассоциированный с процессором 813, представляет одну или более особенностей исполнения приложения 440-1 декодера в рамках процессора 813 в компьютерной системе 800.
Специалисты в данной области техники поймут, что компьютерная система 800 может включать в себя другие процессы и/или программные и аппаратные компоненты, например операционную систему, которая управляет распределением и использованием аппаратных ресурсов обработки для исполнения приложения 440-1 декодера.
В соответствии с другими вариантами осуществления отметим, что компьютерная система может относиться к любому из различных типов устройств, включая, но не только, персональную компьютерную систему, настольный компьютер, переносной компьютер, ноутбук, нетбук, мэйнфрейм, карманный компьютер, рабочую станцию, сетевой компьютер, сервер приложений, запоминающее устройство, бытовую электронику, например фотокамеру, видеокамеру, телевизионную приставку, мобильное устройство, игровую приставку, карманное игровое устройство, периферийное устройство, например коммутатор, модем, маршрутизатор или, в общем, любой тип вычислительного или электронного устройства.
Функциональные возможности, поддерживаемые компонентами в декодере 440, сейчас будут обсуждаться посредством блок-схем последовательности операций на фиг. 9-11. Как описано выше, приложение 440-1 декодера, исполняемое соответствующим коммутатором и/или другими аппаратными средствами, может конфигурироваться для выполнения этапов на блок-схемах последовательности операций, которые обсуждаются ниже.
Отметим, что будет иметь место некоторое перекрытие по отношению к идеям, обсуждаемым выше для фиг. 1-8. Также отметим, что этапы на блок-схемах последовательности операций не всегда нужно выполнять в показанном порядке. Этапы могут выполняться в любом подходящем порядке.
Фиг. 9 - блок-схема 900 последовательности операций, иллюстрирующая способ восстановления сигнала на разных уровнях качества в соответствии с вариантами осуществления в этом документе.
На этапе 910 декодер 440 декодирует первый набор данных.
На этапе 920 декодер 440 использует первый набор декодированных данных для восстановления сигнала 115 в соответствии с первым уровнем качества.
На этапе 930 декодер 440 декодирует второй набор данных.
На этапе 940 декодер 440 идентифицирует операцию повышающей дискретизации, заданную вторым набором декодированных данных.
На этапе 950 декодер 440 применяет операцию повышающей дискретизации, идентифицированную во втором наборе декодированных данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества.
Фиг. 10 и 11 объединяются для образования блок-схемы 1000 последовательности операций (например, блок-схемы 1000-1 последовательности операций и блок-схемы 1000-2 последовательности операций), иллюстрирующей декодирование в соответствии с вариантами осуществления в этом документе.
На этапе 1010 декодер 440 декодирует первый набор данных.
На этапе 1020 декодер 440 использует первый набор декодированных данных для восстановления сигнала 115 в соответствии с первым уровнем качества.
На этапе 1030 декодер 440 декодирует второй набор данных.
На этапе 1040 декодер 440 идентифицирует операцию повышающей дискретизации и масштабный коэффициент, заданные вторым набором декодированных данных.
На этапе 1050 декодер 440 применяет операцию повышающей дискретизации и масштабный коэффициент, идентифицированные во втором наборе декодированных данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал 115 на втором уровне качества.
На этапе 1060 декодер 440 извлекает остаточные данные из второго набора декодированных данных. Остаточные данные указывают, как изменить восстановленный сигнал на втором уровне качества после применения операции повышающей дискретизации.
На этапе 1070 декодер 440 изменяет восстановленный сигнал на втором уровне качества, как задано остаточными данными.
На этапе 1110 для каждого из множественных уровней качества выше второго уровня качества в иерархии декодер 440 повторяет следующие этапы:
На подэтапе 1120 декодер 440 декодирует следующий, более высокий набор данных в иерархии выше последнего обработанного уровня качества.
На подэтапе 1130 декодер 440 идентифицирует операцию повышающей дискретизации и масштабный коэффициент, заданные следующим, более высоким набором декодированных данных.
На подэтапе 1140 декодер 440 применяет операцию повышающей дискретизации и масштабный ко
- 20 032859 эффициент, идентифицированные в следующем, более высоком наборе декодированных данных, чтобы восстановить сигнал 115 на следующем, более высоком уровне качества.
На подэтапе 1150 декодер 440 идентифицирует остаточную информацию и/или остаточные характеристики, заданные следующим, более высоким набором декодированных данных.
На подэтапе 1160 декодер 440 применяет остаточную информацию, чтобы изменить восстановленный сигнал на более высоком уровне качества.
Снова отметим, что методики в этом документе хорошо подходят для использования при обработке и восстановлении сигналов с использованием декодера. Однако следует отметить, что варианты осуществления в этом документе не ограничиваются использованием в таких применениях, и что обсуждаемые в этом документе методики с тем же успехом хорошо подходят для других применений.
На основе изложенного в этом документе описания изложены многочисленные характерные подробности, чтобы обеспечить всестороннее понимание заявленного предмета изобретения. Тем не менее, специалистам в данной области техники будет понятно, что заявленный предмет изобретения может быть осуществлен на практике без этих характерных подробностей. В иных случаях способы, устройства, системы и т.п., которые были бы известны среднему специалисту, не описаны подробно, чтобы не затруднять понимание заявленного предмета изобретения. Некоторые части подробного описания представлены в виде алгоритмов или символических представлений операций над информационными разрядами или двоичными цифровыми сигналами, сохраненными в запоминающем устройстве вычислительной системы, например запоминающем устройстве компьютера. Эти алгоритмические описания или представления являются примерами методик, используемых средними специалистами в области обработки данных, чтобы выразить суть их работы другим специалистам в данной области техники. Алгоритм, как описано в этом документе и в целом, рассматривается как самосогласованная последовательность операций или аналогичная обработка, приводящая к нужному результату. В этом смысле операции или обработка включают в себя физическое манипулирование с физическими величинами. Как правило, хотя и не обязательно, такие величины могут принимать форму электрических или магнитных сигналов, допускающую хранение, передачу, объединение, сравнение или иную манипуляцию. Доказано, что иногда удобно, в основном ввиду распространенного использования, ссылаться на такие сигналы как на разряды, данные, значения, элементы, символы, знаки, члены, числа, цифры или т.п. Однако следует понимать, что все эти и аналогичные термины должны ассоциироваться с подходящими физическими величинами и всего лишь являются удобными обозначениями. Пока специально не указано иное, как очевидно из нижеследующего обсуждения, принимается во внимание, что по всему этому описанию изобретения обсуждения, использующие такие термины, как обработка, вычисление, расчет, определение или т.п., ссылаются на действия или процессы вычислительной платформы, например компьютера или аналогичного электронного вычислительного устройства, которая манипулирует или преобразует данные, представленные в виде физических электронных или магнитных величин в запоминающих устройствах, регистрах или других устройствах хранения информации, устройствах передачи или устройствах отображения вычислительной платформы.
Несмотря на то, что данное изобретение подробно показано и описано со ссылками на его предпочтительные варианты осуществления, специалистам в данной области техники будет понятно, что в нем могут быть сделаны различные изменения в форме и деталях без отклонения от сущности и объема настоящей заявки, которые определены прилагаемой формулой изобретения. Планируется, что такие разновидности будут охвачены объемом настоящей заявки. По существу, предшествующее описание вариантов осуществления настоящей заявки не планируется быть ограничивающим. Точнее, любые ограничения изобретения представляются в нижеследующей формуле изобретения.

Claims (42)

1. Способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных;
используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества;
декодируют второй набор данных;
идентифицируют операцию повышающей дискретизации, заданную декодированным вторым набором данных;
применяют операцию повышающей дискретизации, идентифицированную в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества;
декодируют третий набор данных;
идентифицируют операцию повышающей дискретизации, заданную декодированным третьим набором данных; и применяют операцию повышающей дискретизации, идентифицированную в декодированном треть
- 21 032859 ем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить сигнал на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
2. Способ по п.1, в котором операция повышающей дискретизации, идентифицированная в декодированном втором наборе данных, является первой операцией повышающей дискретизации; и в котором операция повышающей дискретизации, идентифицированная в декодированном третьем наборе данных, является второй операцией повышающей дискретизации, причем первая операция повышающей дискретизации отличается от второй операции повышающей дискретизации.
3. Способ по п.1, в котором операция повышающей дискретизации, примененная к восстановленному сигналу на первом уровне качества, включает в себя по меньшей мере одну операцию, выбранную из группы, состоящей из:
i) операции бикубического фильтра, ii) фильтра устранения смешивания и iii) операции нерезкого маскирования.
4. Способ по п.1, дополнительно содержащий этапы, на которых из декодированного второго набора данных создают первый поднабор данных операции повышающей дискретизации, соответствующий первой части сигнала, причем первый поднабор данных операции повышающей дискретизации задает первую операцию повышающей дискретизации для применения к сигналу на первом уровне качества для того, чтобы создать предварительную визуализацию первой части сигнала на втором уровне качества; и из декодированного второго набора данных создают второй поднабор данных операции повышающей дискретизации, соответствующий второй части сигнала, причем второй поднабор данных операции повышающей дискретизации задает вторую операцию повышающей дискретизации для применения к сигналу на первом уровне качества для того, чтобы создать предварительную визуализацию второй части сигнала на втором уровне качества.
5. Способ по п.1, дополнительно содержащий этап, на котором применяют первую операцию повышающей дискретизации к восстановленному сигналу на втором уровне качества для восстановления визуализации первой части сигнала на третьем уровне качества; и из декодированного третьего набора данных декодируют третий поднабор данных операции повышающей дискретизации, соответствующий второй части сигнала, причем третий поднабор данных операции повышающей дискретизации задает третью операцию повышающей дискретизации для применения к сигналу на втором уровне качества для того, чтобы создать предварительную визуализацию второй части сигнала на третьем уровне качества.
6. Способ по п.1, дополнительно содержащий этап, на котором в ответ на идентификацию из декодированного второго набора данных того, что конкретная операция повышающей дискретизации, заданная для использования на одном уровне качества, должна быть использована на последовательно более высоких уровнях качества для восстановления соответственной части сигнала, применяют конкретную операцию повышающей дискретизации, идентифицированную в декодированном втором наборе данных, к восстановленному сигналу на последовательно более высоких уровнях качества.
7. Способ по п.1, дополнительно содержащий этапы, на которых извлекают остаточные данные из декодированного второго набора данных, причем остаточные данные указывают, как изменить предварительную визуализацию восстановленного сигнала на втором уровне качества после применения операции повышающей дискретизации;
изменяют предварительную визуализацию восстановленного сигнала на втором уровне качества, как задано остаточными данными; и изменяют, как задано остаточными данными, извлеченными из декодированного второго набора данных, визуализацию восстановленного сигнала на уровне качества выше второго уровня качества.
8. Способ по п.7, дополнительно содержащий этапы, на которых идентифицируют остаточные данные, как задано декодированным вторым набором данных; и изменяют элементы восстановленного сигнала на втором уровне качества способом, как задано остаточными данными; и используют остаточные данные, как задано декодированным вторым набором данных, также для восстановления более высоких уровней качества, чем второй уровень качества, до тех пор пока соответствующий декодированный набор данных для более высокого уровня качества, чем второй уровень качества, не задаст использование других остаточных данных.
9. Способ по п.1, дополнительно содержащий этап, на котором обрабатывают декодированный второй набор данных, чтобы идентифицировать первую операцию повышающей дискретизации для применения к конкретной части восстановленного сигнала на первом уровне качества; и применяют упомянутую операцию повышающей дискретизации к конкретной части восстановленного сигнала на первом уровне качества, чтобы восстановить сигнал на втором уровне качества.
10. Способ по п.1, дополнительно содержащий этапы, на которых
- 22 032859 обрабатывают декодированный второй набор данных, чтобы идентифицировать тип атрибута особо идентифицированной части восстановленного сигнала на первом уровне качества;
отображают тип атрибута в набор по меньшей мере из одной операции повышающей дискретизации, причем набор по меньшей мере из одной операции повышающей дискретизации сконфигурирован для обработки типа данных в сигнале, как задано типом атрибута; и для каждой части сигнала используют набор по меньшей мере из одной операции повышающей дискретизации, заданной ее типом атрибута, в качестве операций повышающей дискретизации по умолчанию для восстановления последующих уровней качества той части сигнала до тех пор, пока соответствующий декодированный набор данных для более высокого уровня качества, чем первый уровень качества, не задаст использование других типов атрибута для сигнала или для частей сигнала.
11. Способ по п.1, дополнительно содержащий этапы, на которых применяют разные операции повышающей дискретизации, идентифицированные в декодированном втором наборе данных, к разным частям восстановленного сигнала на первом уровне качества, чтобы восстановить сигнал на втором уровне качества; и для каждой части сигнала используют набор по меньшей мере из одной операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, в качестве операций повышающей дискретизации по умолчанию для восстановления последующих уровней качества той части сигнала до тех пор, пока соответствующий декодированный набор данных для более высокого уровня качества, чем первый уровень качества, не задаст использование других операций повышающей дискретизации для сигнала или для частей сигнала.
12. Способ по п.1, дополнительно содержащий этапы, на которых обрабатывают декодированный второй набор данных, чтобы идентифицировать значение масштабного коэффициента, причем значение масштабного коэффициента указывает разрешение, в котором нужно повысить дискретизацию восстановленного сигнала на первом уровне качества до восстановленного сигнала на втором уровне качества; и в соответствии с масштабным коэффициентом повышают дискретизацию восстановленного сигнала на первом уровне качества до восстановленного сигнала на втором уровне качества вместо выполнения повышающей дискретизации в соответствии со значением масштабного коэффициента по умолчанию.
13. Способ по п.1, дополнительно содержащий этап, на котором используют значения масштабного коэффициента, как задано декодированными наборами данных на разных уровнях иерархии, чтобы восстановить сигнал, вместо выполнения повышающей дискретизации в соответствии со значениями масштабного коэффициента по умолчанию для разных уровней качества в иерархии.
14. Способ по п.13, в котором значения масштабного коэффициента включают в себя первое значение масштабного коэффициента и второе значение масштабного коэффициента, причем первое значение масштабного коэффициента задано декодированным первым набором данных, а второе значение масштабного коэффициента задано декодированным вторым набором данных, причем первое значение масштабного коэффициента отличается от второго значения масштабного коэффициента, и способ дополнительно содержит этапы, на которых используют первое значение масштабного коэффициента, чтобы повысить дискретизацию и восстановить сигнал с разрешением, указанным первым масштабным коэффициентом и разрешением первого уровня качества; и используют второе значение масштабного коэффициента, чтобы восстановить сигнал на втором уровне качества.
15. Способ по п.1, дополнительно содержащий этапы, на которых декодируют второй набор данных, чтобы идентифицировать характеристики моделируемых остатков, причем характеристики указывают декодеру, как моделировать остатки, которые будут добавлены в восстановленный сигнал, причем характеристики не указывают конкретные элементы восстановленного сигнала, которые следует изменить, и конкретные изменения для применения; и для каждого элемента сигнала используют характеристики моделируемых остаточных данных, как задано декодированным вторым набором данных, чтобы также описать моделируемые остатки для более высоких уровней качества, чем второй уровень качества, элементов сигнала, совмещенных с тем элементом сигнала, до тех пор пока соответствующий декодированный набор данных для более высокого уровня качества, чем второй уровень качества, не задаст использование других характеристик моделируемых остатков для сигнала или для частей сигнала; и используют набор характеристик для изменения элементов восстановленного сигнала на отображенном уровне качества способом, как задано моделируемыми остаточными данными.
16. Способ по п.1, дополнительно содержащий этапы, на которых декодируют второй набор данных, чтобы идентифицировать спектральные характеристики, ассоциированные с остатками, которые представляют информацию с более низким приоритетом, причем спектральные характеристики указывают декодеру, как моделировать остатки, чтобы применить к восстановленному сигналу, причем спектральные характеристики не указывают фактическое местоположе
- 23 032859 ние или конкретные значения остатков; и для каждого элемента сигнала используют спектральные характеристики, как задано декодированным вторым набором данных, чтобы также описать моделируемые остатки для более высоких уровней качества, чем второй уровень качества, части сигнала, совмещенной с тем элементом сигнала, до тех пор пока соответствующий декодированный набор данных для более высокого уровня качества, чем второй уровень качества, не задаст использование других спектральных характеристик моделируемых остатков для сигнала или для конкретных частей сигнала; и используют набор спектральных характеристик для изменения элементов восстановленного сигнала на отображенном уровне качества способом, как задано моделируемыми остаточными данными.
17. Способ по п.1, в котором иерархия включает в себя дополнительный набор данных для восстановления сигнала в соответствии с последующим уровнем качества в иерархии, причем последующий уровень качества выше текущего уровня качества в иерархии, и способ дополнительно содержит этап, на котором отображают информацию изображения на устройстве отображения в соответствии с восстановленным сигналом на текущем уровне качества.
18. Способ по п.1, дополнительно содержащий для каждого из множественных уровней качества выше третьего уровня качества повторение этапов, на которых декодируют следующий, более высокий набор данных в иерархии выше последнего обработанного уровня качества;
идентифицируют операцию повышающей дискретизации и/или масштабный коэффициент, заданные следующим, более высоким декодированным набором данных;
применяют операцию повышающей дискретизации, идентифицированную в следующем, декодированном более высоком наборе данных, чтобы восстановить сигнал на следующем, более высоком уровне качества;
идентифицируют остаточную информацию и/или остаточные характеристики, заданные следующим, декодированным более высоким набором декодированных данных; и применяют остаточную информацию для изменения восстановленного сигнала на более высоком уровне качества.
19. Способ по п.1, в котором декодер принимает отдельные иерархии сигнала для разных цветовых плоскостей сигнала, причем отдельные иерархии сигнала характеризуются независимыми масштабными коэффициентами, операциями и наивысшими уровнями качества;
декодер повышает дискретизацию цветовых плоскостей более низкого разрешения на основании другой цветовой плоскости с более высоким уровнем качества для того, чтобы цветовая плоскость более низкого разрешения соответствовала разрешению цветовой плоскости с более высоким уровнем качества;
декодер объединяет все восстановленные цветовые плоскости в восстановленный цветовой сигнал для отправки в устройство отображения.
20. Способ по п.1, в котором декодируют отдельные иерархии принятого сигнала для разных цветовых плоскостей, ассоциированных с сигналом, причем отдельные иерархии принятого сигнала характеризуются независимыми и, возможно, разными масштабными коэффициентами, операциями и наивысшими уровнями качества; и когда разные восстановленные цветовые плоскости характеризуются разными уровнями качества, повышают дискретизацию цветовых плоскостей более низкого разрешения для соответствия разрешению цветовой плоскости с наивысшим уровнем качества, а потом соединяют восстановленные цветовые плоскости в восстановленный цветовой сигнал для отправки в устройство отображения.
21. Способ по п.1, в котором восстановление сигнала на втором уровне качества дополнительно содержит этапы, на которых применяют операцию повышающей дискретизации, заданную декодированным вторым набором данных, к восстановленному сигналу на втором уровне качества для восстановления предварительной визуализации сигнала на втором уровне качества;
идентифицируют остаточные данные, заданные декодированным вторым набором данных; и объединяют остаточные данные и предварительную визуализацию сигнала на втором уровне качества для восстановления визуализации сигнала на втором уровне качества.
22. Способ по п.1, в котором операция повышающей дискретизации, идентифицированная в декодированном втором наборе данных, является первой операцией повышающей дискретизации, полученной из данных первой операции повышающей дискретизации, заданных декодированным вторым набором данных;
при этом операция повышающей дискретизации, идентифицированная в декодированном третьем наборе данных, является второй операцией повышающей дискретизации, полученной из данных второй операции повышающей дискретизации, заданных декодированным третьим набором данных; и
- 24 032859 при этом вторая операция повышающей дискретизации включает в себя данные ядра повышающей дискретизации, которые отличаются от каждого из множественных наборов данных ядра повышающей дискретизации, используемых операцией повышающей дискретизации, заданной декодированным вторым набором данных.
23. Способ по п.1, в котором операция повышающей дискретизации, заданная декодированным третьим набором данных, основана, по меньшей мере частично, на операции повышающей дискретизации, заданной декодированным вторым набором данных.
24. Способ по п.1, в котором данные операции повышающей дискретизации декодируют посредством способа декодирования на основе уровней, при этом упомянутый способ содержит этапы, на которых декодируют данные операции повышающей дискретизации на первом уровне качества;
создают предварительную визуализацию данных операции повышающей дискретизации на втором уровне качества на основе декодированных данных операции повышающей дискретизации на первом уровне качества;
декодируют набор регулировок повышающей дискретизации; и объединяют регулировки повышающей дискретизации с предварительной визуализацией данных операции повышающей дискретизации на втором уровне качества для создания данных операции повышающей дискретизации на втором уровне качества.
25. Способ по п.1, в котором сигнал является трехмерным сигналом, и операция повышающей дискретизации, заданная декодированным вторым набором данных, указывает повышающую дискретизацию сигнала по трем измерениям.
26. Способ по п.25, в котором сигнал является видеосигналом, и операция повышающей дискретизации, как задано декодированным вторым набором данных, указывает повышающую дискретизацию сигнала как по пространственным, так и по временным измерениям.
27. Способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных;
используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества;
декодируют второй набор данных;
идентифицируют операцию повышающей дискретизации, заданную декодированным вторым набором данных;
применяют операцию повышающей дискретизации, идентифицированную в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества;
идентифицируют остаточные данные, как задано декодированным вторым набором данных, используют мультимасштабный энтропийный декодер для декодирования остаточных данных, причем декодированные остаточные данные задают, как изменить конкретные элементы восстановленного сигнала на втором уровне качества; и изменяют элементы восстановленного сигнала на втором уровне качества способом, как задано декодированными остаточными данными.
28. Компьютерная система, содержащая аппаратное средство-процессор;
запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средство-процессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять приложение и выполнять операции по декодированию первого набора данных;
использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества;
декодированию второго набора данных;
идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных;
применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества;
декодированию третьего набора данных;
идентификации операции повышающей дискретизации, заданной декодированным третьим набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить сигнал на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
- 25 032859
29. Машиночитаемое аппаратное запоминающее устройство, имеющее сохраненные на нем команды, причем команды при выполнении аппаратным средством обработки побуждают аппаратное средство обработки выполнить операции по декодированию первого набора данных;
использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества;
декодированию второго набора данных;
идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных;
применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества;
декодированию третьего набора данных;
идентификации операции повышающей дискретизации, заданной декодированным третьим набором данных; и применению операции повышающей дискретизации, идентифицированной в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить сигнал на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
30. Способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных;
используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества;
декодируют второй набор данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества;
идентифицируют операцию повышающей дискретизации, как задано декодированным поднабором данных второго набора данных;
применяют идентифицированную операцию повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества;
обрабатывают декодированный второй набор данных, чтобы получить остаточные данные для визуализации сигнала на втором уровне качества, причем остаточные данные указывают, как изменить предварительную визуализацию сигнала на втором уровне качества; и изменяют восстановленную предварительную визуализацию сигнала на втором уровне качества с использованием остаточных данных.
31. Способ по п.30, в котором операция повышающей дискретизации содержит первое ядро повышающей дискретизации для восстановления первой части сигнала на втором уровне качества и второе ядро повышающей дискретизации для восстановления второй части сигнала на втором уровне качества, причем первое ядро повышающей дискретизации отличается от второго ядра повышающей дискретизации; и при этом параметры первого ядра повышающей дискретизации и второго ядра повышающей дискретизации заданы декодированным поднабором данных второго набора данных.
32. Способ по п.30, дополнительно содержащий этапы, на которых декодируют третий набор данных;
идентифицируют операцию повышающей дискретизации, заданную декодированным третьим набором данных; и применяют операцию повышающей дискретизации, идентифицированную в декодированном третьем наборе данных, к восстановленному сигналу на втором уровне качества, чтобы восстановить предварительную визуализацию сигнала на третьем уровне качества, причем третий уровень качества выше второго уровня качества в иерархии.
33. Способ по п.30, в котором обработка декодированного второго набора данных для получения остаточных данных, содержит этапы, на которых одновременно параллельно обрабатывают поднаборы декодированного второго набора данных, чтобы получить остаточные данные из декодированного второго набора данных; и изменяют восстановленную предварительную визуализацию сигнала на втором уровне качества, как задано остаточными данными.
34. Способ по п.30, в котором операция повышающей дискретизации задана декодированными данными из набора, по существу, не ограниченных возможных операций повышающей дискретизации.
35. Способ по п.30, в котором кодер во время кодирования сигнала создает второй набор данных, чтобы задать операцию повышающей дискретизации для восстановления предварительной визуализации сигнала на втором уровне качества.
36. Способ по п.30, в котором кодер производит операцию повышающей дискретизации, чтобы
- 26 032859 уменьшить энтропию остаточных данных, которые должны быть применены для предварительной визуализации сигнала на втором уровне качества.
37. Способ по п.30, в котором кодер выполняет понижающую дискретизацию сигнала во время кодирования, чтобы идентифицировать операцию повышающей дискретизации, которая должна быть включена во второй набор данных для восстановления предварительной визуализации сигнала на втором уровне качества.
38. Компьютерная система, содержащая аппаратное средство-процессор;
запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средство-процессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять команды и выполнять операции по декодированию первого набора данных;
использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества;
декодированию второго набора данных;
идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных;
применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества;
идентификации остаточных данных, как задано декодированным вторым набором данных, использованию энтропийного декодера для декодирования остаточных данных, причем декодированные остаточные данные задают, как изменить конкретные элементы восстановленного сигнала на втором уровне качества; и изменению элементов восстановленного сигнала на втором уровне качества способом, как задано декодированными остаточными данными.
39. Машиночитаемое аппаратное запоминающее устройство, имеющее сохраненные на нем команды, причем команды при выполнении устройством обработки побуждают устройство обработки выполнить операции по декодированию первого набора данных;
использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества;
декодированию второго набора данных;
идентификации операции повышающей дискретизации, заданной декодированным вторым набором данных;
применению операции повышающей дискретизации, идентифицированной в декодированном втором наборе данных, к восстановленному сигналу на первом уровне качества, чтобы восстановить сигнал на втором уровне качества, причем второй уровень качества выше первого уровня качества;
идентификации остаточных данных, как задано декодированным вторым набором данных, использованию энтропийного декодера для декодирования остаточных данных, причем декодированные остаточные данные задают, как изменить конкретные элементы восстановленного сигнала на втором уровне качества; и изменению элементов восстановленного сигнала на втором уровне качества способом, как задано декодированными остаточными данными.
40. Способ восстановления сигнала на последовательно более высоких уровнях качества в иерархии, содержащий этапы, на которых декодируют первый набор данных;
используют декодированный первый набор данных для восстановления сигнала в соответствии с первым уровнем качества;
декодируют второй набор данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества, кодер во время кодирования сигнала создает второй набор данных, чтобы задать операцию повышающей дискретизации для восстановления предварительной визуализации сигнала на втором уровне качества, кодер производит операцию повышающей дискретизации, чтобы уменьшить энтропию остаточных данных, которые должны быть применены к предварительной визуализации сигнала на втором уровне качества;
идентифицируют операцию повышающей дискретизации, как задано декодированным поднабором данных второго набора данных; и применяют идентифицированную операцию повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества.
41. Компьютерная система, содержащая
- 27 032859 аппаратное средство-процессор;
запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средство-процессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять команды и выполнять операции по декодированию первого набора данных;
использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества;
декодированию второго набора данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества;
идентификации операции повышающей дискретизации, как задано декодированным поднабором данных второго набора данных; и применению идентифицированной операции повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества, при этом кодер во время кодирования сигнала создает второй набор данных, чтобы задать операцию повышающей дискретизации для восстановления предварительной визуализации сигнала на втором уровне качества, при этом кодер во время кодирования сигнала производит операцию повышающей дискретизации, чтобы уменьшить энтропию остаточных данных, которые должны быть применены к предварительной визуализации сигнала на втором уровне качества.
42. Компьютерная система, содержащая аппаратное средство-процессор;
запоминающее устройство, которое хранит команды, ассоциированные с приложением, исполняемым аппаратным средством-процессором; и межсоединение, соединяющее аппаратное средство-процессор и запоминающее устройство, заставляя аппаратное средство-процессор исполнять команды и выполнять операции по декодированию первого набора данных;
использованию декодированного первого набора данных для восстановления сигнала в соответствии с первым уровнем качества;
декодированию второго набора данных, причем второй набор данных создан кодером для восстановления сигнала на втором уровне качества;
идентификации операции повышающей дискретизации, как задано декодированным поднабором данных второго набора данных;
применению идентифицированной операции повышающей дискретизации к восстановленному сигналу на первом уровне качества, чтобы восстановить предварительную визуализацию сигнала на втором уровне качества, причем второй уровень качества выше первого уровня качества;
обработке декодированного второго набора данных, чтобы получить остаточные данные для визуализации сигнала на втором уровне качества, причем остаточные данные указывают, как изменить предварительную визуализацию сигнала на втором уровне качества; и изменению восстановленной предварительной визуализации сигнала на втором уровне качества с использованием остаточных данных.
EA201490312A 2011-07-21 2012-07-20 Многоуровневое декодирование сигнала и восстановление сигнала EA032859B1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/188,201 US8948248B2 (en) 2011-07-21 2011-07-21 Tiered signal decoding and signal reconstruction
PCT/IB2012/053722 WO2013011492A2 (en) 2011-07-21 2012-07-20 Tiered signal decoding and signal reconstruction

Publications (2)

Publication Number Publication Date
EA201490312A1 EA201490312A1 (ru) 2014-11-28
EA032859B1 true EA032859B1 (ru) 2019-07-31

Family

ID=46801597

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201490312A EA032859B1 (ru) 2011-07-21 2012-07-20 Многоуровневое декодирование сигнала и восстановление сигнала

Country Status (13)

Country Link
US (1) US8948248B2 (ru)
EP (1) EP2735157A2 (ru)
JP (1) JP6492659B2 (ru)
KR (1) KR102165147B1 (ru)
CN (2) CN108712646B (ru)
AU (1) AU2012285356B2 (ru)
BR (1) BR112014001210B1 (ru)
CA (1) CA2842437C (ru)
EA (1) EA032859B1 (ru)
IL (1) IL230270B (ru)
MX (1) MX2014000692A (ru)
WO (1) WO2013011492A2 (ru)
ZA (1) ZA201400470B (ru)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626772B2 (en) 2012-01-18 2017-04-18 V-Nova International Limited Distinct encoding and decoding of stable information and transient/stochastic information
JP6033725B2 (ja) * 2013-03-28 2016-11-30 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EA035886B1 (ru) 2013-04-15 2020-08-27 В-Нова Интернэшнл Лтд. Гибридное обратно совместимое кодирование и декодирование сигналов
US9984440B2 (en) * 2013-06-18 2018-05-29 Adobe Systems Incorporated Iterative patch-based image upscaling
US10554980B2 (en) * 2015-02-23 2020-02-04 Lg Electronics Inc. Method for processing image on basis of intra prediction mode and device therefor
ES2953917T3 (es) 2015-04-13 2023-11-17 V Nova Int Ltd Codificación de una pluralidad de señales con objetivo de velocidad de datos de una señal en dependencia de la complejidad de la información
CN105259410B (zh) * 2015-10-26 2017-12-05 天津大学 一种强噪声干扰下的欠采样波形的频率估计方法及其装置
GB2552353B (en) * 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
GB2553086B (en) 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
US10951874B2 (en) * 2016-09-02 2021-03-16 Mediatek Inc. Incremental quality delivery and compositing processing
KR102385188B1 (ko) * 2017-09-29 2022-04-12 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
EP3489901A1 (en) * 2017-11-24 2019-05-29 V-Nova International Limited Signal encoding
US11259037B2 (en) 2017-12-06 2022-02-22 V-Nova International Limited Method and apparatus for decoding a received set of encoded data
GB2573486B (en) * 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
EP3496403A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Hierarchical data structure
EP3496404A1 (en) 2017-12-06 2019-06-12 V-Nova International Limited Image processing
US10972754B2 (en) * 2018-04-18 2021-04-06 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method of generating power of 2 transform block sizes
GB2574575A (en) * 2018-04-27 2019-12-18 V Nova Int Ltd Video decoder chipset
MX2021001341A (es) * 2018-08-03 2021-05-27 V Nova Int Ltd Transformaciones para codificacion de mejora de se?al.
WO2020089583A1 (en) 2018-10-09 2020-05-07 V-Nova International Limited Signal element coding format compatability within a hierarchical coding scheme using multiple resolutions
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
GB201817780D0 (en) 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media for processing configuration data
WO2020188271A1 (en) 2019-03-20 2020-09-24 V-Nova International Limited Temporal signalling for video coding technology
WO2021005347A1 (en) 2019-07-05 2021-01-14 V-Nova International Ltd Quantization of residuals in video coding
CN115191116A (zh) 2019-10-02 2022-10-14 威诺瓦国际有限公司 使用嵌入信令来校正信号损伤
KR102417150B1 (ko) * 2019-11-19 2022-07-04 연세대학교 산학협력단 사용자 동작 인식 방법 및 이를 위한 시스템
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
GB2595696B (en) * 2020-06-04 2022-12-28 Envisics Ltd Forming a hologram of a target image for projection using data streaming

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081838A1 (en) * 2001-05-31 2003-05-01 Chia-Yuan Teng Header compression for image data stream
US20060071825A1 (en) * 2004-09-14 2006-04-06 Gary Demos High quality wide-range multi-layer image compression coding system
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618443B1 (en) 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
US6469710B1 (en) * 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
CA2430591C (en) * 2000-12-01 2011-04-19 Imax Corporation Techniques and systems for developing high-resolution imagery
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
US8306340B2 (en) * 2002-09-17 2012-11-06 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
WO2006043755A1 (en) 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
KR100679022B1 (ko) 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
WO2007080477A2 (en) * 2006-01-10 2007-07-19 Nokia Corporation Switched filter up-sampling mechanism for scalable video coding
US7701509B2 (en) * 2006-04-25 2010-04-20 Nokia Corporation Motion compensated video spatial up-conversion
US8774269B2 (en) * 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
TWI368443B (en) 2006-11-09 2012-07-11 Lg Electronics Inc Method and apparatus for decoding/encoding a video signal
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8509434B2 (en) * 2008-06-20 2013-08-13 Korean Broadcasting System Method and apparatus for protecting scalable video coding contents
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8711943B2 (en) * 2011-07-21 2014-04-29 Luca Rossato Signal processing and tiered signal encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081838A1 (en) * 2001-05-31 2003-05-01 Chia-Yuan Teng Header compression for image data stream
US20060071825A1 (en) * 2004-09-14 2006-04-06 Gary Demos High quality wide-range multi-layer image compression coding system
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AMMAR N. ET AL.: "Switched SVC upsampling filters", 18. JVT MEETING; 75. MPEG MEETING; 14-01-2006 - 20-01-2006; BANGKOK,TH; (JOINT VIDEO TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16), no. JVT-R075, 11 January 2006 (2006-01-11), XP030006342, ISSN: 0000-0410 the whole document *
ANONYMOUS: "Joint scalable video model JSVM-12", 25. JVT MEETING; 82. MPEG MEETING; 21-10-2007 - 26-10-2007; SHENZHEN,CN; (JOINT VIDEO TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVT-Y202, JVT-Y202, 11 March 2008 (2008-03-11), XP030007295 *
HASSAN MANSOUR ; PANOS NASIOPOULOS ; VIKRAM KRISHNAMURTHY: "Rate and Distortion Modeling of CGS Coded Scalable Video Content", IEEE TRANSACTIONS ON MULTIMEDIA., IEEE SERVICE CENTER, PISCATAWAY, NJ., US, vol. 13, no. 2, 1 April 2011 (2011-04-01), US, pages 165 - 180, XP011363644, ISSN: 1520-9210, DOI: 10.1109/TMM.2010.2099648 *
SEGALL A.: "Up-/Down-sampling for Spatial SVC", 17. JVT MEETING; 74. MPEG MEETING; 14-10-2005 - 21-10-2005; NICE, FR; (JOINT VIDEO TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16), no. JVT-Q083, 12 October 2005 (2005-10-12), XP030006241, ISSN: 0000-0413 the whole document *
SHIPENG L.I. ET AL.: "Experimental Results with Progressive Fine Granularity Scalable (PFGS) Coding", 51. MPEG MEETING; 20-03-2000 - 24-03-2000; NOORDWIJKERHOUT; (MOTIONPICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), no. M5742, 12 March 2000 (2000-03-12), XP030034919, ISSN: 0000-0296 page 1-page 4 *
YONG-HWAN KIM ; JOOYOUNG YI ; BYEONGHO CHOI: "Fast and memory-efficient up-sampling methods for H.264/AVC SVC with extended spatial scalability", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 56, no. 2, 1 May 2010 (2010-05-01), NEW YORK, NY, US, pages 695 - 703, XP011312726, ISSN: 0098-3063 *

Also Published As

Publication number Publication date
AU2012285356A2 (en) 2014-03-13
AU2012285356A1 (en) 2014-02-20
US20130294495A1 (en) 2013-11-07
CN108712646A (zh) 2018-10-26
CN103875245A (zh) 2014-06-18
BR112014001210A2 (pt) 2017-02-21
EP2735157A2 (en) 2014-05-28
KR102165147B1 (ko) 2020-10-14
KR20140051344A (ko) 2014-04-30
JP2014524213A (ja) 2014-09-18
JP6492659B2 (ja) 2019-04-03
WO2013011492A3 (en) 2013-05-30
MX2014000692A (es) 2014-06-23
CA2842437A1 (en) 2013-01-24
CN108712646B (zh) 2022-12-06
ZA201400470B (en) 2015-09-30
CA2842437C (en) 2020-02-18
EA201490312A1 (ru) 2014-11-28
IL230270B (en) 2018-06-28
WO2013011492A2 (en) 2013-01-24
BR112014001210B1 (pt) 2022-07-12
AU2012285356B2 (en) 2017-04-20
US8948248B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
KR102165147B1 (ko) 계층형 신호 디코딩 및 신호 복원
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
TWI439138B (zh) 呈現影像圖框之非圖框邊緣區塊的強化壓縮
KR20160021417A (ko) 공간적으로 확장 가능한 비디오 코딩을 위한 적응적 보간
CA2842548C (en) Inheritance in a tiered signal quality hierarchy
KR102165078B1 (ko) 공간적으로 스케일러블한 비디오 코딩을 위한 적응적 업샘플링
JP2005333622A (ja) イメージおよびビデオの予測可逆符号化
CN110383696B (zh) 用于对超像素边界进行编码和解码的方法和装置
TW201415897A (zh) 解碼器及解碼方法
Ascenso et al. The jpeg ai standard: Providing efficient human and machine visual data consumption
US20200366938A1 (en) Signal encoding
TWI672941B (zh) 影像處理方法、設備及系統
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
CN106664387B9 (zh) 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质
CN115918070A (zh) 基于视频的点云编解码的非二进制占用图
JP2015207874A (ja) 映像記録装置、映像再生装置及び映像記録プログラム
EA040899B1 (ru) Способ и устройство обработки сигнала на множественных уровнях качества сигнала для восстановления

Legal Events

Date Code Title Description
PC4A Registration of transfer of a eurasian patent by assignment
MM4A Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s)

Designated state(s): KG TM