EA029351B1 - Устройство кодирования видеокадров и устройство декодирования видеокадров - Google Patents

Устройство кодирования видеокадров и устройство декодирования видеокадров Download PDF

Info

Publication number
EA029351B1
EA029351B1 EA201690326A EA201690326A EA029351B1 EA 029351 B1 EA029351 B1 EA 029351B1 EA 201690326 A EA201690326 A EA 201690326A EA 201690326 A EA201690326 A EA 201690326A EA 029351 B1 EA029351 B1 EA 029351B1
Authority
EA
Eurasian Patent Office
Prior art keywords
segment
transformations
list
node
transform
Prior art date
Application number
EA201690326A
Other languages
English (en)
Other versions
EA201690326A1 (ru
Inventor
Томоюки Ямамото
Томохиро Икаи
Original Assignee
Шарп Кабусики Кайся
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42936156&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EA029351(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Шарп Кабусики Кайся filed Critical Шарп Кабусики Кайся
Publication of EA201690326A1 publication Critical patent/EA201690326A1/ru
Publication of EA029351B1 publication Critical patent/EA029351B1/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

При сохранении высокой степени свободы в выборе форматов сегментов и форматов преобразования, адаптированных к локальным свойствам видеокадров, снижается объём метаданных. Устройство (10) кодирования видеокадров делит вводимые видеокадры на блоки предписанного формата и кодирует видеокадры по блокам. В устройстве кодирования видеокадров имеются узел определения параметра предсказания, предназначенный для определения сегментной структуры блока; узел выработки предсказанного изображения, предназначенный для выработки предсказанного изображения для каждого сегмента, определённого сегментной структурой; узел выработки коэффициента преобразования, предназначенный для применения любого из преобразований, включённых в заранее заданный набор преобразований, к остатку предсказания, представляющему собой разность между предсказанным изображением и вводимыми видеокадрами; узел выведения возможных преобразований, предназначенный для определения списка возможных преобразований, представляющего собой список применимых преобразований, на основе информации о форме сегмента, при этом информация о форме сегмента характеризует каждый сегмент в отношении размера сегмента, особенности формата сегмента или уровня в сегментной структуре; узел определения частотного преобразования, предназначенный для определения для каждого из блоков метки выбора преобразования, обозначающей преобразование, подлежащее применению к остатку предсказания в блоке среди множества преобразований, включенных в список возможных преобразований; и узел кодирования с переменной длиной, предназначенный для кодирования с переменной длиной метки выбора преобразования на основе списка возможных преобразований, при этом в котором заданный набор преобразований представляет собой заранее заданный используемый набор преобразований.

Description

Изобретение относится к устройству кодирования видеокадров, которое вырабатывает кодированные данные путём кодирования видеокадров, и к устройству декодирования видеокадров, которое воспроизводит видеоданные из кодированных видеоданных, которые передаются и сохраняются.
Уровень техники
Введение и определения основных терминов
В блочно-ориентированной системе кодирования видеокадров подлежащие кодированию вводимые видеокадры разделяются на заранее заданные единицы обработки, называемые "макроблоками" (далее МБ), операция кодирования выполняется для каждого из МБ, и тем самым вырабатываются кодированные данные. Когда видеоданные воспроизводятся, подлежащие декодированию кодированные данные обрабатываются для каждого из МБ, и вырабатывается декодированное изображение.
В настоящее время широко распространена система, описанная в непатентной литературе 1 (Н.264/АУС (Усовершенствованное видеокодирование)) как блочно-ориентированная система кодирования видеокадров. Согласно Н.264/АУС вырабатываются предсказанные изображения, которые предсказывают вводимые видеокадры, подлежащие разделению на МБ, и вычисляется остаток предсказания, т.е. разность между вводимыми видеокадрами и предсказанным изображением. Коэффициент преобразования выводится путём применения частотного преобразования, представленного дискретным косинусным преобразованием (ДКП), к остатку предсказания. Полученный коэффициент преобразования кодируется с переменной длиной кодового слова способом, называемым КАДАК (контекстно-ориентированное адаптивное двоичное арифметическое кодирование) (САВАС) или КАКПДКС (контекстноориентированное адаптивное кодирование с переменной длиной кодового слова) (САУБС). Предсказанное изображение вырабатывается путём внутрикадрового предсказания, которое использует пространственную корреляцию видеокадров, или межкадрового предсказания (предсказания компенсации движения), которое использует особую корреляцию видеокадров.
Принцип разделения и его эффекты
Согласно межкадровому предсказанию, изображение, приближающееся к вводимым видеокадрам подлежащего кодированию макроблока, вырабатывается в блоках, называемых "сегментами". К каждому сегменту относятся один или два вектора движения. Предсказанное изображение вырабатывается путём соотнесения с областью, которая соответствует подлежащему кодированию МБ на локальном декодированном изображении, которое записано в кадровой памяти, на основе вектора (векторов) движения. Локальное декодированное изображение, которое в этом случае имеется в виду, называется "опорным изображением". Согласно Н.264/АУС, доступны такие форматы сегментов, как 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 и 4x4 пиксела. Когда используется малый формат сегмента, предсказанное изображение может быть выработано путём обозначения каждого вектора движения в мелких единицах и, следовательно, может быть выработано предсказанное изображение, близкое к вводимым видеокадрам, даже если пространственная корреляция движения низка. С другой стороны, когда используется большой формат сегмента, может быть снижен объём кодов, что необходимо для кодирования вектора движения, когда пространственная корреляция движения высока.
Принцип формата преобразования и его эффекты
Для остатка предсказания, который вырабатывается с помощью предсказанного изображения, снижается пространственная или временная избыточность значения пиксела вводимых видеокадров. Дополнительно, энергия может быть сосредоточена на низкочастотном компоненте коэффициента преобразования путём применения ДКП к остатку предсказания. Следовательно, за счёт выполнения кодирования с переменной длиной кодового слова с помощью смещения энергии объём кодов кодированных данных может быть снижен по сравнению со случаем, когда предсказанное изображение и ДКП не используются.
Согласно Н.264/АУС применяется система (блочно-адаптивный выбор преобразования), которая выбирает ДКП, адаптированное к локальному свойству видеокадров, среди ДКП, имеющих множество видов форматов преобразования, с целью увеличения концентрации энергии на низкочастотном компоненте с помощью ДКП. Например, когда предсказанное изображение вырабатывается с помощью межкадрового предсказания, ДКП, применимое к преобразованию остатка предсказания, может быть выбрано из двух видов ДКП, т.е. ДКП 8x8 и ДКП 4x4. ДКП 8x8 эффективно для плоской области, имеющей относительно малый объём высокочастотных компонентов, так как в ДКП 8x8 пространственная корреляция значения пиксела может использоваться в широком диапазоне. С другой стороны, ДКП 4x4 эффективно для области, имеющей большой объём высокочастотных компонентов, такой как область, включающая в себя контур предмета. Можно сказать, что согласно Н.264/АУС ДКТТ 8x8 подходит для большого формата преобразования, а ДКП 4x4 - для малого формата преобразования.
Согласно Н.264/АУС, ДКП 8x8 и ДКП 4x4 могут быть выбраны, если площадь сегмента равна или превышает 8x8 пикселов. ДКП 4x4 может быть выбрано, если площадь сегмента меньше 8x8 пикселов.
Как описано выше, согласно Н.264/АУС, могут быть выбраны подходящие форматы сегмента преобразования, соответствующие степени пространственной корреляции значения пиксела или пространст- 1 029351
венной корреляции вектора движения, т.е. локальных свойств видеокадров. Следовательно, объём кодов кодированных данных может быть снижен.
Описание адаптивного расширения формата преобразования и расширения формата сегмента
В последнее время увеличилась доля видеокадров высокой чёткости с разрешением, равным или превышающим "ΗΌ (1920x1080 пикселов)" (высокую чёткость). По сравнению с обычными видеокадрами с низким разрешением, в случае видеокадров высокой чёткости пространственная корреляция значения пиксела и пространственная корреляция вектора движения на видеокадрах могут занимать широкий диапазон в локальной области видеокадров. Прежде всего, видеокадрам высокой чёткости свойственны высокие пространственные корреляции в локальной области и для значения пиксела, и для вектора движения.
Непатентная литература 2 описывает систему кодирования видеокадров, согласно которой объём кодов кодированных данных снижается с помощью свойства пространственной корреляции в видеокадрах высокой чёткости, как описано выше, путём расширения формата сегмента и формата преобразования в Н.264/АУС.
Конкретнее, к форматам сегмента, определённым в Н.264/ЛУС, добавляются такие форматы сегмента, как 64x64, 64x32, 32x64, 32x32, 32x16 и 16x32. Кроме того, к ДКП, определённым в Н.264/АУС, добавляются ДКП, имеющие три вида новых форматов преобразования: ДКП 16x16, ДКП 16x8 и ДКП 8x16.
Когда площадь сегмента равна или превышает 16x16 пикселов, могут быть выбраны ДКП 16x16, ДКП 8x8 и ДКП 4x4. Когда формат сегмента равен 16x8, могут быть выбраны ДКП 16x8, ДКП 8x8 и ДКП 4x4. Когда формат сегмента равен 8x16, могут быть выбраны ДКП 8x16, ДКП 8x8 и ДКП 4x4. Когда формат сегмента равен 8x8, могут быть выбраны ДКП 8x8 и ДКП 4x4. Когда площадь сегмента меньше 8x8 пикселов, может быть выбрано ДКП 4x4.
Согласно системе, описанной в непатентной литературе 2, объём кодов кодированных данных может быть снижен, так как формат сегмента и формат преобразования, приспособляемые к локальному свойству видеокадров, могут быть выбраны даже для видеокадров высокой чёткости, имеющих относительно широкие динамические диапазоны пространственных корреляций пиксела и вектора движения, путём переключения между описанными выше различными форматами сегмента и форматами преобразования.
Список ссылок.
Непатентная литература.
Непатентная литература 1: 1ТИ-Т Кесоттепбайоп Н.264 (11/07).
Непатентная литература 2: 1ТИ-Т Т09-8С16-С-0123.
Сущность изобретения
Задачи, которые решает изобретение
Как описано выше, в системе кодирования видеокадров для снижения объёма кодов кодированных данных будет эффективным увеличивать число видов форматов сегмента и форматов преобразования, которые могут быть выбраны. Однако возникает новая задача, состоящая в том, что возрастает объём кодов дополнительных данных, требуемый для выбора формата сегмента и формата преобразования, применяемых при декодировании в каждой локальной области в видеокадрах.
Согласно непатентной литературе 1 и 2, даже если формат сегмента велик, может быть использовано частотное преобразование с малым (4x4 ДКП) форматом преобразования. Однако большой сегмент чаще выбирается в области, имеющей высокую пространственную корреляцию значения пиксела и вектора движения. Следовательно, когда к такому сегменту применяется частотное преобразование с малым форматом преобразования, становится трудно сосредоточить энергию остатка предсказания на меньшем числе коэффициентов преобразования по сравнению со случаем, когда к нему применяется частотное преобразование с большим форматом преобразования. Следовательно, частотное преобразование с малым форматом преобразования выбирается редко, и понапрасну расходуются дополнительные данные, необходимые для определения формата преобразования. В частности, когда из-за расширения наибольшего формата сегмента возрастает разница в размахе между большим форматом сегмента и малым форматом преобразования, становится труднее выбирать меньший формат преобразования.
Согласно непатентной литературе 2, может быть выбрано частотное преобразование, имеющее тот же формат преобразования, что и формат сегмента для прямоугольного сегмента. Однако в непатентной литературе 2 не упоминается ничего о том, какой критерий используется для определения форматов преобразования, которые могут быть выбраны, когда далее добавляются виды формата преобразования.
Настоящее изобретение было разработано с учётом изложенных выше обстоятельств, и его целью является обеспечение устройства кодирования видеокадров, которое позволяет снизить объём кодов дополнительных данных, сохраняя возможность выбора формата сегмента и формата преобразования, приспосабливаемых к локальному свойству видеокадров, когда в устройстве кодирования видеокадров доступны различные форматы сегмента и форматы преобразования. Другой его целью является обеспечение устройства декодирования видеокадров, способного декодировать кодированные данные, кодированные
- 2 029351
устройством кодирования видеокадров.
Решение задачи
Первым техническим средством согласно настоящему изобретению является устройство декодирования видеокадров, предназначенное для выполнения обработки декодирования вводимых кодированных данных для каждого блока, содержащее узел декодирования кода с переменной длиной, предназначенный для декодирования сегментной структуры подлежащего обработке блока из введённых кодированных данных; узел выработки предсказанного изображения, предназначенный для выработки предсказанного изображения для каждого сегмента, определённого сегментной структурой; и узел выведения возможных преобразований, предназначенный для определения списка возможных преобразований, представляющего собой список применимых преобразований, на основе информации о форме сегмента, при этом информация о форме сегмента характеризует каждый сегмент в отношении размера сегмента, особенности формата сегмента или уровня в сегментной структуре, в котором узел декодирования с переменной длиной выполнен с возможностью декодирования метки выбора преобразования на основе введённых кодированных данных и списка возможных преобразований, наряду с декодированием коэффициента преобразования подлежащего обработке блока на основе метки выбора преобразования. Устройство декодирования видеокадров дополнительно содержит узел восстановления остатка предсказания, предназначенный для восстановления остатка предсказания путём применения обратного преобразования к коэффициенту преобразования, причём обратное преобразование соответствует преобразованию, причём преобразование определено меткой выбора преобразования; и узел выработки локального декодированного изображения, предназначенный для вывода декодированных данных изображения на основе предсказанного изображения и остатка предсказания, причём декодированные данные изображения соответствуют подлежащему обработке блоку, в котором список применимых преобразований включен в заранее заданный набор преобразований, в котором список применимых преобразований включен в заранее заданный набор преобразований, при этом заданный набор преобразований представляет собой заранее заданный используемый набор преобразований.
Вторым техническим средством является устройство кодирования видеокадров, предназначенное для деления вводимых видеокадров на блоки заранее заданного формата и выполнения обработки кодирования для каждого блока, содержащее узел определения параметра предсказания, предназначенный для определения сегментной структуры блока; узел выработки предсказанного изображения, предназначенный для выработки предсказанного изображения для каждого сегмента, определённого сегментной структурой; узел выработки коэффициента преобразования, предназначенный для применения любого из преобразований, включённых в заранее заданный набор преобразований, к остатку предсказания, представляющему собой разность между предсказанным изображением и вводимыми видеокадрами; узел выведения возможных преобразований, предназначенный для определения списка возможных преобразований, представляющего собой список применимых преобразований, на основе информации о форме сегмента, при этом информация о форме сегмента характеризует каждый сегмент в отношении размера сегмента, особенности формата сегмента или уровня в сегментной структуре; узел определения частотного преобразования, предназначенный для определения для каждого из блоков метки выбора преобразования, обозначающей преобразование, подлежащее применению к остатку предсказания в блоке среди множества преобразований, включенных в список возможных преобразований; и узел кодирования с переменной длиной, предназначенный для кодирования с переменной длиной метки выбора преобразования на основе списка возможных преобразований, в котором заданный набор преобразований представляет собой заранее заданный используемый набор преобразований.
Эффекты изобретения
Согласно устройству кодирования видеокадров по настоящему изобретению возможно снизить объём кодов дополнительных данных, сохраняя на высоком уровне возможность выбора формата преобразования, подходящего для локального свойства видеокадра; и далее возможно снизить объём обработки при операции кодирования путём ограничения форматов преобразования, которые могут быть выбраны, высокоэффективными форматами, когда выбран определённый формат сегмента. Согласно устройству декодирования видеокадров по настоящему изобретению возможно декодировать кодированные данные, которые кодированы устройством кодирования видеокадров.
Краткое описание чертежей
Фиг. 1 является схемой для объяснения определений расширенного макроблока (МБ) и последовательности обработки.
Фиг. 2 является блок-схемой варианта осуществления устройства кодирования видеокадров по настоящему изобретению.
Фиг. 3 является схемой для объяснения определений уровневой структуры сегмента и последовательности обработки.
Фиг. 4 является блок-схемой алгоритма для объяснения примера операции выработки списка запрещённых преобразований.
Фиг. 5 является блок-схемой алгоритма для объяснения другого примера операции выработки списка запрещённых преобразований.
- 3 029351
Фиг. 6 являются схемами для объяснения разделения сегментов, выполняемого, когда выработан список запрещённых преобразований.
Фиг. 7 являются другими схемами для объяснения разделения сегментов, выполняемого, когда выработан список запрещённых преобразований.
Фиг. 8 является блок-схемой алгоритма для объяснения ещё одного примера операции выработки списка запрещённых преобразований.
Фиг. 9 является схемой для объяснения частного примера процедуры выработки списка запрещённых преобразований.
Фиг. 10 является блок-схемой алгоритма для объяснения примерной операции выработки кодированных данных для метки выбора преобразования.
Фиг. 11 является блок-схемой варианта осуществления устройства декодирования видеокадров по настоящему изобретению.
Фиг. 12 является блок-схемой другого варианта осуществления устройства кодирования видеокадров по настоящему изобретению.
Фиг. 13 является блок-схемой алгоритма для объяснения примера операции выработки списка возможных преобразований.
Фиг. 14 является блок-схемой другого варианта осуществления устройства декодирования видеокадров по настоящему изобретению.
Фиг. 15 является блок-схемой ещё одного варианта осуществления устройства кодирования видеокадров по настоящему изобретению.
Фиг. 16 является блок-схемой ещё одного варианта осуществления устройства декодирования видеокадров по настоящему изобретению.
Подробное описание изобретения
Первый вариант осуществления.
Устройство 10 кодирования видеокадров и устройство 20 декодирования видеокадров, т.е. вариант осуществления устройства кодирования видеокадров и устройства декодирования видеокадров согласно настоящему изобретению, будут описаны со ссылкой на фиг. 1-11. В описании этих чертежей одинаковым компонентам присвоены одинаковые ссылочные позиции, а описания одинаковых компонентов опущены.
В нижеследующем описании предполагается, что вводимые видеокадры последовательно вводятся в устройство кодирования видеокадров расширенными макроблоками, состоящими из 64x64 пикселов, и для них выполняется обработка. Допустим, что расширенные МБ вводятся в порядке растровой развёртки, как показано на фиг. 1. Однако настоящее изобретение применимо к случаю, когда формат расширенного МБ отличается от упомянутого выше. Настоящее изобретение в особенности эффективно для расширенных МБ, формат которых превышает 16x16 пикселов, что является широко распространённым в настоящее время объёмом подлежащего обработке блока.
Допустим, что обработка, выполняемая в устройствах кодирования и декодирования видеокадров в нижеследующем описании, осуществляется на основе Н.264/АУС, и что блоки, в которых особо не упомянуты операции, следуют операциям согласно Н.264/АУС. Однако система кодирования видеокадров, к которой применимо настоящее изобретение, не ограничена Н.264/АУС, и настоящее изобретение применимо к системам, сходным с Н.264/АУС, таким как УС-1, МРЕО-2 и ЛУ8. а также с другой системой кодирования видеокадров, которая применяет обработку для каждого блока или частотное преобразование.
Конфигурация устройства 10 кодирования видеокадров.
Фиг. 2 является блок-схемой конфигурации устройства 10 кодирования видеокадров. Устройство 10 кодирования видеокадров включает в себя кадровую память 101, узел 102 определения параметра предсказания, узел 103 выработки предсказанного изображения, узел 104 выведения ограничения преобразования, узел 105 определения частотного преобразования, узел 106 выработки остатка предсказания, узел 107 выработки коэффициента преобразования, узел 108 кодирования с переменной длиной кодового слова, узел 109 восстановления остатка предсказания и узел 110 выработки локального декодированного изображения.
Кадровая память 101.
В кадровую память 101 записывается локальное декодированное изображение. "Локальное декодированное изображение" является изображением, которое вырабатывается путём суммирования предсказанного изображения с остатком предсказания, который воссоздаётся путём применения обратного частотного преобразования к коэффициенту преобразования. В момент обработки конкретного расширенного МБ или конкретного кадра вводимых видеокадров в кадровую память 101 записываются локальное декодированное изображение для кадра, который кодирован перед кадром, подлежащим обработке, и локальное декодированное изображение, которое соответствует расширенному МБ, который кодирован перед расширенным МБ, подлежащим обработке. Допустим, что локальное декодированное изображение, записанное в кадровую память 101, может надлежащим образом быть считано каждым из компонен- 4 029351
тов устройства.
Узел 102 определения параметра предсказания (определение сегментной структуры, описание определения режима).
Узел 102 определения параметра предсказания определяет параметр предсказания на основе локального свойства вводимых видеокадров и выводит параметр предсказания. Параметр предсказания включает в себя, по меньшей мере, сегментную структуру, которая отражает структуру сегментов, которые применены к каждому блоку в расширенном МБ, и данные движения для межкадрового предсказания (вектор движения и индекс локального декодированного изображения для ссылки (индекс опорного изображения)). Параметр предсказания может также включать в себя режим внутрикадрового предсказания, который указывает на способ выработки предсказанного изображения для внутрикадрового предсказания.
Подробности сегментной структуры будут описаны со ссылкой на фиг. 3. Сегментная структура выражена иерархической структурой. Уровень, на котором в качестве единицы объёма обработки взяты 64x64 пиксела, определён как "уровень Ь0". Уровень, на котором в качестве единицы объёма обработки взяты 32x32 пиксела, определён как "уровень Ь1". Уровень, на котором в качестве единицы объёма обработки взяты 16x16 пикселов, определён как "уровень Ь2". Уровень, на котором в качестве единицы объёма обработки взяты 8x8 пикселов, определён как "уровень Ь3". На каждом уровне в качестве способа деления может быть выбран любой один тип деления, т.е. одночастный, при котором не выполняется деления, горизонтальное деление на два, при котором площадь делится на две равные части прямой горизонтальной линией, вертикальное деление на два, при котором площадь делится на две равные части прямой вертикальной линией, и деление на четыре, при котором площадь делится на четыре равные части двумя прямыми линиями в горизонтальном и вертикальном направлениях. Уровень с большой единицей обработки, называется "верхним уровнем", уровень с малой единицей обработки называется "нижним уровнем". В данном варианте осуществления самым верхним уровнем является уровень Ь0, а самым нижним - уровень Ь3. Сегментная структура выражена путём определения способа деления на каждом уровне последовательно, начиная с уровня Ь0, т.е. самого верхнего. Конкретнее, сегментная структура может быть однозначно выражена согласно следующей процедуре.
Этап 810: если способом деления для уровня Ь0 является одночастное, горизонтальное деление на два или вертикальное деление на два, то площадь, выраженная с помощью способа деления, определяется как сегмент единицы обработки на уровне Ь0. Когда способом деления является деление на четыре, сегмент определяется согласно этапу §11 для каждой из делимых площадей.
Этап §11: если способом деления для уровня Ь1 является одночастное, горизонтальное деление на два или вертикальное деление на два, площадь, выраженная с помощью способа деления, определяется как сегмент единицы обработки на уровне Ь1. Когда способом деления является деление на четыре, сегмент определяется согласно этапу §12 для каждой из разделённых площадей.
Этап §12: если способом деления для уровня Ь2 является одночастное, горизонтальное деление на два или вертикальное деление на два, площадь, выраженная с помощью способа деления, определяется как сегмент единицы обработки на уровне Ь2. Когда способом деления является деление на четыре, сегмент определяется согласно этапу §13 для каждой из разделённых площадей.
Этап §13: площадь, выраженная с помощью способа деления для уровня Ь3, определяется как сегмент единицы обработки на уровне Ь3.
Ниже будет описан порядок обработки каждого сегмента в расширенном МБ. Как показано на фиг. 3, на каждом уровне обработка выполняется в порядке растровой развёртки независимо от способа деления. Однако если в качестве способа деления на уровне, отличном от нижнего уровня (уровня Ь3), выбрано деление на четыре, сегмент, выраженный для более низкого уровня, обрабатывается в порядке растровой развёртки для каждой из площадей, получаемых делением на четыре. В частях, которые будут описаны позже, при обработке сегмента в расширенном МБ будет применён описанный выше порядок обработки.
Уровень Ьх, которому принадлежит сегмент р, выводится согласно следующей процедуре.
Этап §20: если формат сегмента р равен формату сегмента, который выработан одночастным, горизонтальным делением на два и вертикальным делением на два конкретного уровня Ьу, в качестве значения Ьх принимается Ьу.
В случае, отличном от описанного выше, в качестве значения Ьх принимается Ь3 (Ьх принимается в качестве самого нижнего уровня).
Описание формы сегмента.
Данные, характеризующие каждый сегмент, принадлежащий сегментной структуре, т.е. формат сегмента, данные, обозначающие особенности формата сегмента, или уровень в сегментной структуре, называются "информацией о форме сегмента". Все такие моменты являются данными формы каждого сегмента - как, например, собственно формат сегмента, такой как 32x32, данные, обозначающие, превышает ли формат сегмента конкретный формат сегмента, отношение продольной длины к поперечной длине сегмента, количественное отношение между продольной и поперечной длинами сегмента, мини- 5 029351
мальные и максимальные значения продольной и поперечной длин сегмента и уровень, которому принадлежит сегмент.
Параметр предсказания определяется путём определения искажений в зависимости от скорости (передачи). При определении искажений в зависимости от скорости для каждого подходящего параметра предсказания вычисляется объём кодов кодированных данных, требуемых при кодировании подлежащего обработке расширенного МБ с помощью параметра предсказания, а стоимость, называемая "стоимостью искажений в зависимости от скорости", вычисляется из локального декодированного изображения и искажения вводимых видеокадров, и выбирается параметр предсказания, минимизирующий эту стоимость. Стоимость искажений в зависимости от скорости вычисляется для всех возможных сочетаний сегментных структур и фрагментов данных движения, т.е. параметров предсказания. Наилучшее их сочетание определяется в качестве параметра предсказания. Обозначив объём кодов кодированных данных расширенного МБ как "К", а среднеквадратическую погрешность между вводимыми видеокадрами и локальным декодированным изображением, соответствующим расширенному МБ, как "Ό", можно вычислить стоимость С искажений в зависимости от скорости согласно уравнению С = Ό + λΚ, где параметр λ представляет собой отношение между объёмом К кодов и погрешностью Ό.
Согласно определению искажений в зависимости от скорости определяется и выводится параметр предсказания, подходящий для кодирования подлежащего обработке расширенного МБ, т.е. подходящая сегментная структура и данные движения, соответствующие каждому сегменту.
Когда стоимость искажений в зависимости от скорости вычисляется для конкретного параметра предсказания, частотное преобразование, применяемое к подлежащему обработке расширенному МБ, не может быть определено однозначно. В этом случае стоимость искажений в зависимости от скорости может использоваться в качестве стоимости искажений в зависимости от скорости, требуемой при применении конкретного частотного преобразования или, когда применяются все из множества частотных преобразований, может использоваться минимальная стоимость искажений в зависимости от скорости.
Узел 103 выработки предсказанного изображения.
Узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение подлежащего обработке расширенного МБ на основе введённого в него параметра предсказания и выводит предсказанное изображение. Выработка предсказанного изображения выполняется согласно следующей процедуре.
Этап §30: на основе сегментной структуры, включённой в параметр предсказания, расширенный МБ делится на сегменты, и предсказанное изображение вырабатывается для каждого из сегментов согласно этапу §31.
Этап §31: из параметра предсказания считываются данные движения, соответствующие сегменту, подлежащему обработке, т.е. вектор движения и индекс опорного изображения. На локальном декодированном изображении, обозначенном индексом опорного изображения, предсказанное изображение вырабатывается путём предсказания компенсации движения на основе значения пиксела области, представленной вектором движения.
Узел 106 выработки остатка предсказания.
Узел 106 выработки остатка предсказания вырабатывает остаток предсказания расширенного МБ на основе вводимых видеокадров и предсказанного изображения, которое вводится в него, и выводит остаток предсказания. Остаток предсказания - это двумерные данные, имеющие тот же формат, что расширенный МБ, а каждый их элемент - это разностное значение между пикселом вводимых видеокадров и соответствующим пикселом предсказанного изображения.
Узел 107 выработки коэффициента преобразования.
Узел 107 выработки коэффициента преобразования применяет частотное преобразование к остатку преобразования на основе введённых в него остатка преобразования и метки выбора преобразования, тем самым вырабатывает коэффициент преобразования и выводит коэффициент преобразования. Метка выбора преобразования обозначает частотное преобразование, которое нужно применить к каждому сегменту расширенного МБ. Узел 107 выработки коэффициента преобразования выбирает частотное преобразование, обозначенное меткой выбора преобразования, для каждого сегмента в расширенном МБ и применяет выбранное частотное преобразование к остатку преобразования. Частотное преобразование, обозначенное меткой выбора преобразования, является любым из частотных преобразований, включённых в набор (заранее заданный набор преобразований) всех частотных преобразований, которые могут применяться узлом 107 выработки коэффициента преобразования.
Заранее заданный набор преобразований в данном варианте осуществления включает в себя девять видов частотных преобразований, т.е. ДКТТ 4x4, ДКТТ 8x8, ДКП 16x16, ДКП 16x8, ДКП 8x16, ДКП 16x1, ДКП 1x16, ДКП 8x1 и ДКП 1x8. Каждое из упомянутых здесь частотных преобразований соответствует ДКП (дискретному косинусному преобразованию), имеющему конкретный формат преобразования (например, ДКП 4x4 соответствует дискретному косинусному преобразованию с форматом преобразования 4x4 пиксела). Настоящее изобретение не ограничено только набором упомянутых выше частотных преобразований, но также легко приспосабливаемо к любому поднабору заранее заданных преобра- 6 029351
зований. В заранее заданный набор преобразований могут быть включены частотные преобразования, включающие дискретные косинусные преобразования, имеющие другие форматы преобразования, такие как, например, ДКП 32x32 и ДКП 64x64. В заранее заданный набор преобразований могут быть включены частотные преобразования, отличные от дискретного косинусного преобразования, такие как, например, преобразование Адамара, синусное преобразование и волновое преобразование, или частотные преобразования, включающие преобразования, приблизительно тождественные этим преобразованиям.
Обработка, применяющая частотное преобразование с форматом преобразования ^хН к сегменту ΜχΝ пикселов, обозначена нижеследующим псевдокодом. Область К (х, у, ν, й) означает область, находящуюся в позиции, смещенной на х пикселов вправо и на у пикселов вниз относительно верхней левой точки сегмента, т.е. от начальной точки, и имеющую ν пикселов в ширину и й пикселов в высоту.
для (ΐ=0, ΐ<Ν, ί+=Η) {
для (ΐ=0, ΐ<Μ, ΐ+=\Υ) {
Частотное преобразование применяется к области Κ(ΐ, у XV, Н)
}
}
Узел 104 выведения ограничения преобразования.
Узел 104 выведения ограничения преобразования получает ограничение, касающееся частотного преобразования, которое может быть выбрано в каждом сегменте в расширенном МБ в качестве ограничения преобразования на основе введённого в него параметра предсказания, и выводит ограничение преобразования. Узел 104 выведения ограничения преобразования получает ограничение преобразования каждого сегмента на основе информации о форме сегмента, определённых параметром предсказания.
Ограничение преобразования определено как набор списков запрещённых преобразований, которые соотносятся с сегментами в расширенном МБ. В список запрещённых преобразований в качестве элементов включены частотные преобразования, которые не могут быть выбраны для соотнесённого с ними сегмента (запрещённые частотные преобразования), из частотных преобразований, включённых в заранее заданный набор преобразований. Другими словами, остаток, полученный путём извлечения из заранее заданного набора преобразований элементов списка запрещённых преобразований, составляет набор частотных преобразований, которые могут быть выбраны для соотнесённого сегмента (список возможных преобразований).
Список запрещённых преобразований и список возможных преобразований могут быть обозначены данными набора преобразований, которые включают в себя данные, обозначающие, включено ли каждое преобразование в набор. Если обозначить число преобразований, включённых в заранее заданный набор преобразований, как N1, то число комбинаций преобразований равно двум в степени N1 и, следовательно, преобразования, включённые в набор, могут быть выражены данными набора преобразований в диапазоне от нуля до 2Ν1-1 (двух в степени N1 минус один). Не все комбинации преобразований всегда необходимо выражать данными набора преобразований, может быть выражено значение, соответствующее конкретной комбинации. В простом примере, когда заранее заданный набор преобразований включает в себя только ДКП 4x4 и ДКП 8x8, список запрета может быть выражен однобитовой меткой, которая обозначает, запрещено ли ДКП 4x4 (или ДКП 8x8). Список возможных преобразований может также быть выражен значениями от нуля до двух путём соответственного соотнесения ДКП 4x4 с нулём, комбинации ДКП 4x4 и ДКП 8x8 с единицей и ДКП 8x8 с двумя.
Смысл информации набора преобразований может меняться для каждого уровня, сегмента, комбинации блоков и т.д. Одно и то же значение "нуль" набора преобразований может означать ДКП 16x16 для уровня Й0, ДКП 8x8 для уровня Й1 и ДКП 4x4 для уровня Й2. Список запрещённых преобразований и список возможных преобразований могут быть выражены каждый с помощью значений в малом диапазоне путём изменения смысла значения данных набора преобразований.
Следовательно, предполагается, что ограничение преобразования и список возможных преобразований в настоящем изобретении считаются равными данным набора преобразований, которые обозначают ограничения преобразования и возможные преобразования без влияния со стороны термина "список".
Список йр запрещённых преобразований для конкретного сегмента р вырабатывается согласно следующей процедуре. Допустим, что сегмент р имеет формат ΜxN пикселов (М пикселов в поперечном направлении и N пикселов в продольном направлении) и что сегмент р принадлежит уровню Ьх.
Этап 840: Ьр задаётся как пустой.
Этап 841: частотное преобразование добавляется в Ьр, формат преобразования которого превышает ΜxN пикселов.
Этап 842: частотное преобразование добавляется в Ьр, который определён в соответствии со значением Μΐπ(Μ,
Этап 843: частотное преобразование добавляется в Ьр, который определён в соответствии со значением М^Ю
Этап 844: частотное преобразование, определённое в зависимости от значения уровня 1.x, добавля- 7 029351
ется в Ьр.
Отметим, что информация о форме сегмента включает в себя данные, обозначающие, превышает ли формат преобразования МхЫ пикселов, значение Μίη(Μ, Ν), значение ΜνΝ и значение уровня Ьх.
Ограничение формата преобразования в соответствии с Μίη(Μ, Ν).
Более подробная процедура этапа 842 будет описана со ссылкой на блок-схему алгоритма по фиг. 4.
Этап 850: если Μίη(Μ, Ν) равно или превышает заранее заданное пороговое значение ТЫ (например, ТЫ равно Тй1=16 пикселов), процедура переходит к этапу 851, а когда Μίη(Μ, Ν) принимает другое значение, процедура переходит к этапу 852.
Этап 851: если в списке частотных преобразований имеются два или более частотных преобразования, имеющих форматы преобразования в отношениях сходства, частотное преобразование с наименьшим форматом преобразования (ДКП 4x4, ДКП 8x8 или ДКП 1x8) из набора частотных преобразований, имеющих форматы преобразования в отношениях сходства, добавляется в Ьр, и процедура переходит к этапу 852. Отношения сходства в этом случае включают в себя отношения подобия. Например, в отношениях сходства находятся такие форматы преобразования, как 16x16, 8x8 и 4x4 в заранее заданный набор преобразований варианта осуществления. Отношения сходства также включают в себя отношения приблизительного сходства. Например, в отношениях сходства находятся форматы преобразования 16x1 и 8x1, а также форматы преобразования 1x16 и 1x8 в заранее заданном наборе преобразований варианта осуществления. Хотя это и не применено в нижеследующем описании, частотные преобразования можно на основе их форматов распределить на три категории - квадрат, прямоугольник, вытянутый по вертикали, и прямоугольник, вытянутый по горизонтали, и частотные преобразования, принадлежащие каждой из категорий, могут считаться находящимися в отношениях сходства.
Этап 852: если Μίη(Μ, Ν) равно или превышает заранее заданное пороговое значение ТЬ2 (например, ТЬ2 равно ТЬ2=32 пиксела), процедура переходит к этапу 853, а в иных случаях обработка завершается.
Этап 853: если в заранее заданном наборе преобразований имеются три или более частотных преобразования, форматы преобразования которых находятся в отношениях сходства, частотное преобразование с предпоследним по величине форматом преобразования (ДКП 8x8) в каждой комбинации частотных преобразований, форматы преобразования которых находятся в отношениях сходства, добавляется в Ьр, и процедура завершается. Тем не менее, ТЬ2>ТЬ1.
Сегмент является единицей компенсации движения. Сегментная конфигурация определена так, что движения между кадрами изображения в сегменте единообразны, чтобы приблизить предсказанное изображение, т.е. выработанный сегмент, к введённому изображению посредством части, использующей векторы движения. Большой сегмент выделяется для большого объекта (или его части) во вводимых видеокадрах, а малый сегмент выделяется для маленького объекта. Обычно во вводимых видеокадрах пространственная корреляция значений пиксела в области, соответствующей большому объекту, высока по сравнению с пространственной корреляцией значений пиксела в области, соответствующей маленькому объекту. Следовательно, для большого сегмента частотное преобразование с большим форматом преобразования эффективно по сравнению с частотным преобразованием с малым форматом преобразования. Следовательно, даже когда для большого сегмента в качестве запрещённого преобразования определено частотное преобразование с малым форматом преобразования, объём кодов декодированных данных не возрастает значительно.
Ограничение формата преобразования в соответствии со значением ΜνΝ.
Более подробная процедура этапа 843 будет описана со ссылкой на блок-схему алгоритма по фиг. 5.
Этап 860: если значение ΜνΝ равно или превышает два (поперечная длина сегмента р в два или более раз превышает его продольную длину), процедура переходит к этапу 861, в иных случаях процедура переходит к этапу 863.
Этап 861: все частотные преобразования, имеющие квадратные форматы преобразования (ДКП 4x4, ДКП 8x8 и ДКП 16x16) добавляются в Ьр и процедура переходит к этапу 862.
Этап 862: частотные преобразования, продольные длины форматов преобразования которых превышают их поперечные длины, (ДКП 8x16 и ДКП 1x16) добавляются в Ьр и процедура завершается.
Этап 863: если значение Μ±Ν равно или меньше 0,5 (продольная длина сегмента р в два или более раз превышает его поперечную длину), процедура переходит к этапу 864, а в иных случаях процедура переходит к этапу 866.
Этап 864: все частотные преобразования, имеющие квадратные форматы преобразования (ДКП 4x4, ДКП 8x8 и ДКП 16x 16) добавляются в Ьр, и процедура переходит к этапу 865.
Этап 865: частотные преобразования, поперечные длины форматов преобразования которых превышают их продольную длину, (ДКП 16x8 и ДКП 16x 1) добавляются в Ьр, и процедура завершается.
Этап 866: если значение Μ±Ν равно единице (продольная и поперечная длина сегмента р равны), процедура переходит к этапу 867, а в иных случаях процедура завершается.
Этап 867: частотные преобразования, имеющие форматы преобразования с отличными друг от друга продольными и поперечными длинами (ДКП 16x8, ДКП 16x1, ДКП 8x16 и ДКП 1x16) добавляются в
- 8 029351
Ьр.
Назначение этапов §61 и §62 будет описано со ссылкой на фиг. 6. Как изображено на фиг. 6(а), предполагается, что в единице и обработки на уровне представлены два объекта (объект О на переднем плане и фон В), а в нижней части единицы и обработки находится граница между объектом О переднего плана и фоном В. В этом случае выбирается сегмент в виде вытянутого в поперечном направлении прямоугольника, у которого значение ΜΓΝ равно или превышает два, как изображено на фиг. 6(Ь). Напротив, сегмент в виде вытянутого в продольном направлении прямоугольника, как изображено на фиг. 6(с), не выбирается.
Соотношение между форматом преобразования и объёмом кодов кодированных данных для сегмента, который включает в себя и фон В, и объект О переднего плана в случае, если выбран вытянутый в поперечном направлении прямоугольный сегмент, будет описано со ссылкой на фиг. 6 (б-Г). Фиг. 6 (б), (е) и (Г) изображают соотношения между сегментом и форматом преобразования в случаях, если к сегменту применены квадратный, вытянутый в поперечном направлении прямоугольный и вытянутый в продольном направлении прямоугольный форматы преобразования. Если используется частотное преобразование с квадратным (фиг. 6(б)) или вытянутым в продольном направлении прямоугольным (фиг. 6(Г)) форматом преобразования, граница обычно находится в области, к которой применено частотное преобразование.
С другой стороны, если используется частотное преобразование с вытянутым в поперечном направлении прямоугольным (фиг. 6(е)) форматом преобразования, граница в редких случаях присутствует в области, к которой применено частотное преобразование. Если в области, к которой применено частотное преобразование, имеется граница, энергия благодаря частотному преобразованию не может быть сосредоточена на низкочастотном компоненте коэффициента преобразования и, следовательно, объём кодов, требуемых для кодирования коэффициента преобразования, возрастает. С другой стороны, если в области, к которой применено частотное преобразование, нет границы, энергия благодаря частотному преобразованию может быть сосредоточена на низкочастотном компоненте коэффициента преобразования и, следовательно, объём кодов, требуемых для кодирования коэффициента преобразования, снижается. Следовательно, для вытянутого в поперечном направлении прямоугольного сегмента эффективнее применять частотное преобразование с вытянутым в поперечном направлении прямоугольным форматом преобразования по сравнению со случаем применения частотного преобразования с квадратным или вытянутым в продольном направлении прямоугольным форматом преобразования. Следовательно, даже если для вытянутого в поперечном направлении прямоугольного сегмента установлен запрет на частотное преобразование с квадратным или вытянутым в продольном направлении прямоугольным форматом преобразования, объём кодов кодированных данных не возрастает значительно.
Назначение этапов §64 и §65 то же, что описано выше. Даже если для вытянутого в продольном направлении прямоугольного сегмента установлен запрет на частотное преобразование с квадратным или вытянутым в поперечном направлении прямоугольным форматом преобразования, объём кодов кодированных данных не возрастает значительно.
Назначение этапа §66 будет описано со ссылкой на фиг. 7. Как изображено на фиг. 7(а), предполагается, что в единице и обработки на уровне представлены два объекта (объект О на переднем плане и фон В), а в нижней правой части единицы и обработки находится граница между объектом О переднего плана и фоном В. В этом случае выбирается квадратный сегмент, у которого значение ΜΓΝ равно единице, как изображено на фиг. 7(Ь).
Соотношение между форматом преобразования и объёмом кодов кодированных данных для сегмента (нижнего правого сегмента), который включает в себя как фон В, так и объект О переднего плана, требуемых, если выбран квадратный сегмент, будет описано со ссылкой на фиг. 7 (б-Г). Фиг. 7 (б), (е) и (Г) изображают соотношения между сегментом и форматами преобразования в случаях, если к нижнему правому сегменту применены квадратный, вытянутый в поперечном направлении прямоугольный и вытянутый в продольном направлении прямоугольный форматы преобразования. В этом случае, если используется любой из форматов преобразования - квадратный, вытянутый в поперечном направлении прямоугольный или вытянутый в продольном направлении прямоугольный - коэффициент присутствия границы не очень сильно меняется в области, к которой применено частотное преобразование. Следовательно, для нижнего правого сегмента при использовании частотного преобразования с квадратным, вытянутым в продольном направлении прямоугольным или вытянутым в поперечном направлении прямоугольным форматом преобразования разница в объёме кодов кодированных данных мала.
С другой стороны, в сегменты единицы и обработки, отличные от нижнего правого сегмента, включён только фон В, и нет границы. Следовательно, при использовании любого формата преобразования в области, к которой применено частотное преобразование, нет границы. Следовательно, больше энергии может быть сосредоточено на коэффициенте преобразования, если используется частотное преобразование с квадратным форматом преобразования, при котором пространственное соотношение значения пиксела остатков предсказания может использоваться сбалансировано в обоих направлениях - горизонтальном (в поперечном направлении) и вертикальном (в продольном направлении) - по сравнению
- 9 029351
со случаем, когда используется частотное преобразование с вытянутым в поперечном направлении прямоугольным или вытянутым в продольном направлении прямоугольным форматом преобразования. Следовательно, для квадратного сегмента частотное преобразование с квадратным форматом преобразования эффективнее, чем частотное преобразование с вытянутым в поперечном направлении прямоугольным или вытянутым в продольном направлении прямоугольным форматом преобразования. Следовательно, даже если для квадратного сегмента установлен запрет на частотное преобразование с вытянутым в поперечном направлении прямоугольным или вытянутым в продольном направлении прямоугольным форматом преобразования, объём кодов кодированных данных не возрастает значительно.
Ограничение формата преобразования в соответствии с уровнем, которому принадлежит сегмент.
Более подробная процедура этапа 844 будет описана со ссылкой на блок-схему алгоритма по фиг. 8.
Этап 870: если уровень Ьх является верхним уровнем, процедура переходит к этапу 871, а в иных случаях процедура переходит к этапу 872.
Этап 871: частотные преобразования, отличные от частотного преобразования с наибольшим форматом преобразования (ДКП 8x8 и ДКП 4x4) из множества возможных частотных преобразований с форматами преобразования, формы которых (ДКП 16x16, ДКП 8x8 и ДКП 4x4), добавляются в Ьр, и процедура завершается.
Этап 872: если уровень Ьх является самым нижним уровнем, процедура переходит к этапу 873, а в иных случаях процедура завершается.
Этап 873: частотные преобразования, отличные от частотного преобразования с наименьшим форматом преобразования (ДКП 16x16 и ДКП 8x8) из множества возможных частотных преобразований с форматами преобразования, формы которых (ДКП 16x16, ДКП 8x8 и ДКП 4x4), добавляются в Ьр, и процедура завершается.
В случае, если сегменты выражены с помощью уровневой структуры, даже если для сегмента, принадлежащего самому верхнему уровню, ограничены некоторые частотные преобразования с относительно малыми форматами преобразования, объём кодов кодированных данных не возрастает значительно. Это происходит потому, что даже если конкретное преобразование (например, ДКП 8x8 или ДКП 4x4) не может быть выбрано на самом верхнем уровне, это преобразование может быть выбрано уровнем ниже. В области, где эффективны частотные преобразования с малыми форматами преобразования, не выбираются сегменты, принадлежащие самому верхнему уровню, но выбираются сегменты в нижних уровнях, для которых могут быть выбраны частотные преобразования с малыми форматами преобразования, и тем самым может быть подавлено любое возрастание объёма кодов кодированных данных. В особенности, на основе того, что частотные преобразования с большими форматами преобразования эффективны для большого сегмента, если среди возможных частотных преобразований имеется множество частотных преобразований со сходными по форме форматами преобразования, предпочтительно ограничивать частотные преобразования с малыми форматами преобразования среди этих частотных преобразований на самом верхнем уровне.
Аналогичным образом в случае, если сегменты выражены с помощью уровневой структуры, даже если для сегмента, принадлежащего самому нижнему уровню, ограничены некоторые частотные преобразования с относительно большими форматами преобразования, объём кодов кодированных данных не возрастает значительно. В особенности, на основе того, что частотные преобразования с малыми форматами преобразования эффективны для малого сегмента, если среди возможных частотных преобразований имеется множество частотных преобразований со сходными по форме форматами преобразования, предпочтительно ограничивать частотные преобразования с большими форматами преобразования среди этих частотных преобразований на самом нижнем уровне.
Конкретный пример операции выработки списка запрещённых преобразований.
Конкретный пример процедуры выработки ограничения преобразования для конкретной сегментной структуры, т.е. списка запрещённых преобразований для каждого сегмента, выполняемой узлом 104 выведения ограничения преобразования, будет представлен со ссылкой на фиг. 9. Как изображено на фиг. 9, расширенный МБ поделён на четыре части на уровне Ь0, и затем верхняя левая его часть на уровне Ь1 оставлена в виде одного сегмента (сегмент а), верхняя правая часть на уровне Ь1 поделена на два по горизонтали (сегменты Ь и с), нижняя левая часть на уровне Ь1 поделена на два по вертикали (сегменты ά и е), а нижняя правая часть на уровне Ь1 поделена на четыре.
Что касается области, поделённой на уровне Ь1 на четыре части, то её верхняя левая часть на уровне Ь2 оставлена в виде одного сегмента (сегмент ί), верхняя правая часть на уровне Ь2 поделена на два по горизонтали (сегменты д и И), нижняя левая часть на уровне Ь2 поделена на два по вертикали (сегменты ί и Д а нижняя правая часть на уровне Ь2 поделена на четыре. Каждая из частей, полученных делением на четыре на уровне Ь2, оставлена на уровне Ь3 в виде одного сегмента (сегменты к, 1, т и п). Форматы преобразования частотных преобразований, которые могут быть выбраны, имеют, как описано выше, девять видов форматов, т.е. 4x4, 8x8, 16x16, 16x1, 1x16, 8x1, 1x8, 16x8 и 8x16.
Сегмент а имеет формат 32x32 пиксела и принадлежит уровню Ь1. При применении к нему описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с фор- 10 029351
матами преобразования 4x4, 8x1 и 1x8 добавляются в список запрещённых преобразований на этапе 851, частотное преобразование с форматом преобразования 8x8 добавляется в список запрещённых преобразований на этапе 852, а частотные преобразования с форматами преобразования 1x16, 16x1, 16x8 и 8x16 добавляются в список запрещённых преобразований на этапе 867.
Сегменты Ь и с имеют формат 32x16 пикселов и принадлежат уровню Ь1. При применении к ним описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с форматами преобразования 4x4, 8x1 и 1x8 добавляются в список запрещённых преобразований на этапе 851, частотные преобразования с форматом преобразования 4x4, 8x8 и 16x16 добавляются в список запрещённых преобразований на этапе 861, а частотные преобразования с форматами преобразования 1x16 и 8x16 добавляются в список запрещённых преобразований на этапе 862.
Сегменты б и е имеют формат 16x32 пиксела и принадлежат уровню Ь1. При применении к ним описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с форматами преобразования 4x4, 8x1 и 1x8 добавляются в список запрещённых преобразований на этапе 851, частотные преобразования с форматом преобразования 4x4, 8x8 и 16x16 добавляются в список запрещённых преобразований на этапе 864, а частотные преобразования с форматами преобразования 16x 1 и 16x8 добавляются в список запрещённых преобразований на этапе 865.
Сегмент £ имеет формат 16x16 пикселов и принадлежит уровню Ь2. При применении к нему описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с форматами преобразования 4x4, 8x1 и 1x8 добавляются в список запрещённых преобразований на этапе 851, а частотные преобразования с форматами преобразования 1x16, 16x1, 16x8 и 8x16 добавляются в список запрещённых преобразований на этапе 867.
Сегменты д и й имеют формат 16x8 пикселов и принадлежат уровню Ь2. При применении к ним описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с форматами преобразования 16x16, 1x16 и 8x16 добавляются в список запрещённых преобразований на этапе 841, частотные преобразования с форматом преобразования 4x4, 8x8 и 16x16 добавляются в список запрещённых преобразований на этапе 861, а частотные преобразования с форматами преобразования 1x16 и 8x16 добавляются в список запрещённых преобразований на этапе 862.
Сегменты ί и _) имеют формат 8x16 пикселов и принадлежат уровню Ь2. При применении к ним описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с форматами преобразования 16x16, 16x1 и 16x8 добавляются в список запрещённых преобразований на этапе 841, частотные преобразования с форматом преобразования 4x4, 8x8 и 16x16 добавляются в список запрещённых преобразований на этапе 864, а частотные преобразования с форматами преобразования 16x1 и 16x8 добавляются в список запрещённых преобразований на этапе 865.
Сегменты к, 1, т и η имеют формат 8x8 пикселов и принадлежат уровню Ь3. При применении к ним описанной выше процедуры выработки списка запрещённых преобразований частотные преобразования с форматами преобразования 16x16, 16x1, 16x8, 1x16 и 8x16 добавляются в список запрещённых преобразований на этапе 841, частотные преобразования с форматом преобразования 16x1, 16x8, 1x16 и 8x16 добавляются в список запрещённых преобразований на этапе 867, а частотные преобразования с форматами преобразования 8x8 и 16x 16 добавляются в список запрещённых преобразований на этапе 5Ь.
Как в описанном выше примере, для расширенного МБ, имеющего другую сегментную структуру, список запрещённых преобразований может также быть выработан для каждого сегмента в расширенном МБ и может быть выведен в качестве ограничения преобразования.
В приведённом выше описании этапы 842, 843 и 844 выполняются в процедуре для выработки списка запрещённых преобразований. Однако только некоторые из них могут быть исполнены. В подробной процедуре по этапу 842 может быть исполнено строго либо определение на этапе 850, либо определение на этапе 851. В подробной процедуре по этапу 843, что касается определений, могут быть выполнены только некоторые из определений, выполняемых на этапах 860, 863 и 866, а что касается операций, выполняемых после каждого из определений, то могут быть выполнены строго один из этапов 861 и 862 и строго один из этапов 864 и 865. В подробной процедуре по этапу 844 может быть выполнено строго либо определение на этапе 870, либо определение на этапе 872. Когда выполняется такое упрощение процедуры, может быть уменьшен объём вычислительной обработки, необходимой для выработки списка запрещённых преобразований.
Узел 105 определения частотного преобразования.
Узел 105 определения частотного преобразования определяет частотное преобразование, подлежащее применению к каждому сегменту в расширенном МБ, с помощью введённого в него ограничения преобразования и выводит эти данные в качестве метки выбора преобразования. Для определения частотного преобразования, подлежащего применению к конкретному сегменту р, используется следующая процедура.
Этап 8120: из ограничения преобразования извлекается список Ьр запрещённых преобразований, соответствующий сегменту р.
- 11 029351
Этап §121: путём извлечения разностного набора между заранее заданным набором преобразований и списком Ьр запрещённых преобразований получается список Ср возможных преобразований.
Этап §122: если список Ср возможных преобразований является пустым множеством, к списку Ср возможных преобразований добавляется частотное преобразование с наименьшим форматом преобразования из частотных преобразований с квадратными форматами преобразования, включённых в заранее заданный набор преобразований. Этот этап необходим, чтобы избежать случая, когда нет ни одного применимого частотного преобразования, если список запрещённых преобразований совпадает с заранее заданным набором преобразований. Если список запрещённых преобразований всегда вырабатывается так, чтобы он не совпадал с заранее заданным набором преобразований, этот этап можно опустить.
Этап §123: вычисляется стоимость зависимости искажения от скорости передачи для случая, когда применяется каждое из частотных преобразований, включённых в список Ср возможных преобразований, и в качестве частотного преобразования, подлежащего применению к сегменту р, определяется частотное преобразование, минимизирующее стоимость зависимости искажения от скорости передачи. Узел 108 кодирования с переменной длиной кодового слова.
Узел 108 кодирования с переменной длиной кодового слова вырабатывает кодированные данные, соответствующие коэффициенту преобразования, параметру предсказания и метке выбора преобразования в расширенном МБ на основе введённых в него коэффициента преобразования, параметра предсказания, ограничения преобразования и метки выбора преобразования, и выводит кодированные данные.
Коэффициент преобразования и параметр предсказания кодируются с переменной длиной кодового слова обычным способом, и полученные коды выводятся. Метка выбора преобразования кодируется с переменной длиной кодового слова с помощью ограничения преобразования, и полученный код выводится. Процедура кодирования с переменной длиной кодового слова метки выбора преобразования будет описана со ссылкой на блок-схему алгоритма по фиг. 10.
Этап §80: если способ деления, используемый для уровня Ь0 в расширенном МБ, не является делением на четыре части, выполняется обработка на этапе §81, а в иных случаях выполняется обработка на этапах §82-§92.
Этап §81: данные, обозначающие частотное преобразование, подлежащее применению к каждому сегменту в единице обработки уровня Ь0 (64x64 пиксела), кодируются с переменной длиной кодового слова, и процедура завершается.
Этап §82: выполняются операции на этапах §83-§92 для каждой единицы обработки (по 32x32 пиксела каждая) на уровне Ь1, получаемой путём деления единицы обработки на уровне Ь0 на четыре.
Этап §83: если способ деления, используемый для уровня Ь1 в текущей единице обработки (32x32 пиксела), не является делением на четыре части, процедура переходит к этапу §84, в иных случаях процедура переходит к этапу §85.
Этап §84: данные, обозначающие частотное преобразование, подлежащее применению к каждому сегменту в текущей единице обработки (32x32 пиксела), кодируются с переменной длиной кодового слова, и процедура переходит к этапу §92.
Этап §85: операции по этапам §86-§91 применяются к каждой единице обработки (по 16x16 пикселов каждая) на уровне Ь2, получаемой путём деления единицы обработки на уровне Ь1 (32x32 пиксела) на четыре.
Этап §86: если способ деления, используемый на уровне Ь2 в текущей единице обработки (16x16 пикселов), не является делением на четыре части, процедура переходит к этапу §87, в иных случаях процедура переходит к этапу §88.
Этап §87: данные, обозначающие частотное преобразование, подлежащее применению к каждому сегменту в текущей единице обработки (16x16 пикселов), кодируются с переменной длиной кодового слова, и процедура переходит к этапу §91.
Этап §88: операции по этапам §89-§90 выполняются на уровне Ь3 для каждой единицы обработки (по 8x8 пикселов каждая), получаемой путём деления единицы обработки на уровне Ь2 на четыре.
Этап §89: данные, обозначающие частотное преобразование, подлежащее применению к каждому сегменту в текущей единице обработки (8x8 пикселов), кодируются с переменной длиной кодового слова, и процедура переходит к этапу §90.
Этап §90: если обработка всех единиц обработки (по 8x8 пикселов каждая) завершена, процедура переходит к этапу §91. Если процедура не завершается, берётся следующая единица обработки (8x8 пикселов), и процедура переходит к этапу §89.
Этап §91: если обработка всех единиц обработки (по 16x16 пикселов каждая) завершена, процедура переходит к этапу §92. Если процедура не завершается, берётся следующая единица обработки (16x16 пикселов), и процедура переходит к этапу §86.
Этап §92: если обработка всех единиц обработки (по 32x32 пиксела каждая) завершена, процедура завершается. Если процедура не завершается, берётся следующая единица обработки (32x32 пиксела), и процедура переходит к этапу §83.
Кодирование с переменной длиной кодового слова выполняется согласно следующей процедуре
- 12 029351
для метки выбора преобразования, соответствующей конкретному сегменту р.
Этап 8130: из ограничения преобразования извлекается список Ьр запрещённых преобразований, соответствующий сегменту р.
Этап 8131: путём извлечения разностного набора между заранее заданным набором преобразований и списком Ьр запрещённых преобразований выводится список Ср возможных преобразований.
Этап 8132: если список Ср возможных преобразований является пустым множеством, к списку Ср возможных преобразований добавляется частотное преобразование с наименьшим форматом преобразования из частотных преобразований с квадратными форматами преобразования, включённых в заранее заданный набор преобразований. Частотное преобразование, добавленное в этом этапе, не ограничено описанными выше частотными преобразованиями и может являться частотным преобразованием с форматом преобразования меньше, чем у другого сегмента р, включённого в заранее заданный набор преобразований. Однако необходимо, чтобы это частотное преобразование было тем же частотным преобразованием, что использовано на этапе 8122 узла определения частотного преобразования.
Этап 8133: если в список Ср возможных преобразований включено только одно частотное преобразование, операция кодирования с переменной длиной кодового слова завершается. В этом случае, даже если данные, обозначающие частотное преобразование, подлежащее применению к сегменту р, не включено в кодированные данные, не возникает проблемы, так как в момент декодирования данных можно однозначно определить, какое частотное преобразование должно быть применено.
Этап 8134: частотные преобразования, включённые в список Ср возможных преобразований, переупорядочиваются в заранее заданном порядке и соотносятся с индексами, которые увеличиваются на единицу, начиная с нуля.
Этап 8135: Индекс, соотнесённый с частотным преобразованием, подлежащим применению к сегменту р, кодируется с переменной длиной кодового слова. В качестве способа кодирования индекса с переменной длиной кодового слова используется, например, способ, который принимает битовую строку значения индекса, полученную путём выражения значения индекса в двоичном коде с помощью I битов в качестве кодированных данных, используя минимальное 1, при котором два в степени ί равно или превышает 8, где 8 является числом элементов списка возможных частотных преобразований.
Если число элементов списка возможных частотных преобразований уменьшается, уменьшается объём кодов, необходимый для кодирования индекса. Путём установки запрещённого преобразования для каждого сегмента может быть снижен объём кодов, необходимый для кодирования метки выбора преобразования. Если число элементов списка возможных частотных преобразований мало, может быть снижен объём вычислений для операции кодирования для выбора частотного преобразования, подлежащего применению.
В качестве заранее заданного порядка на этапе 8134 может быть использован порядок, согласно которому, например, индекс меньше, чем индекс, присвоенный частотному преобразованию с малым форматом преобразования, присваивается частотному преобразованию с большим форматом преобразования, если частотное преобразование имеет квадратный формат, индекс меньше, чем индекс, присвоенный другому частотному преобразованию с вытянутым в поперечном направлении прямоугольным форматом преобразования, присваивается частотному преобразованию, а если частотное преобразование имеет вытянутый в поперечном направлении прямоугольный формат, частотному преобразованию присваивается индекс меньше, чем индекс, присвоенный другому частотному преобразованию с вытянутым в продольном направлении прямоугольным форматом преобразования. В этом случае индексы, расположенные в порядке возрастания, обычно соотносятся друг за другом с ДКП 16x16, ДКП 16x8, ДКП 8x16, ДКП 8x8, ДКП 4x4, ДКП 16x1, ДКП 1x16, ДКП 8x1 и ДКП 1x8 (в таком порядке).
Заранее заданный порядок на этапе 8134 может быть также, в другом примере, порядком убывания частоты выбора каждого частотного преобразования. А именно, подсчитывается, сколько раз каждое преобразование из заранее заданного набора преобразований выбрано в качестве преобразования сегмента после начала операции кодирования, и вырабатывается такой порядок, чтобы меньший индекс был закреплён за частотным преобразованием, которое выбрано наибольшее число раз. В этом случае вырабатывается также смещение частоты выработки индекса и, следовательно, снижается объём кодов, получаемых, когда индекс кодируется с переменной длиной на этапе 8135. Значение коэффициента количества выборов может быть установлено на исходное значение, такое как нуль, в должный момент времени, такой как начальный момент кодирования нового кадра или начальный момент кодирования сектора, т.е. набора из заранее заданного числа расширенных МБ. Может быть подсчитано и использовано число выборов условного частотного преобразования, такое как, например, число выборов каждого частотного преобразования для каждого формата сегмента.
Для кодирования индекса с переменной длиной кодового слова на этапе 8135 может также быть использован другой способ. Например, могут также быть использованы различные виды КПД, КАДАК и т.д., предусмотренные Н.264/АУС.
Без кодирования индекса с переменной длиной кодового слова как такового кодируется метка, обозначающая, совпадает ли индекс с предполагаемым значением индекса, и индекс может быть кодирован
- 13 029351
с переменной длиной кодового слова, только если метка обозначает несовпадение. Частотное преобразование, используемое для сегмента, подлежащего обработке, оценивается с помощью фрагментов данных об уже кодированном расширенном МБ (таких как локально декодированное изображение, сегментная структура и вектор движения), и в качестве предполагаемого значения индекса определяется индекс, соответствующий частотному преобразованию. В особенности предпочтительно получать предполагаемое значение индекса на основе частотного преобразования, применяемого к сегменту поблизости от сегмента, подлежащего обработке, учитывая пространственную корреляцию частотного преобразования. А именно, получаются, соответственно, индексы частотных преобразований, которые применяются к сегментам, расположенным слева, над и справа вверху от сегмента, подлежащего обработке. И предпочтительной является система, в которой два или более этих индекса совпадают друг с другом, значение двух или более индексов определяется в качестве предполагаемого значения индекса, а в иных случаях в качестве предполагаемого значения индекса определяется наименьшее значение этих индексов.
Согласно описанию, кодирование с переменной длиной кодового слова даётся меткам выбора преобразования для всех сегментов в процедуре кодирования метки выбора преобразования с переменной длиной кодового слова. Однако после наложения ограничения, согласно которому частотное преобразование широко применяется к сегментам, принадлежащим одной единице обработки конкретного уровня Ьх, одна метка выбора преобразования, общая для сегментов в единице обработки, может быть кодирована с переменной длиной кодового слова для каждой единицы обработки на уровне Ьх. В этом случае степень свободы выбора частотного преобразования снижена. Однако кодирование всех меток выбора преобразования не обязательно для каждого сегмента, метка выбора преобразования должна быть кодирована лишь для каждой единицы обработки на уровне Ьх и, следовательно, может быть снижен объём кодов, необходимых для кодирования метки выбора преобразования. Напротив, сегмент может быть разделён на единицы, каждая из которых не меньше, чем частотное преобразование с наибольшим форматом преобразования в списке возможных преобразований, и метка выбора преобразования может быть кодирована для этой единицы.
Узел 109 восстановления остатка предсказания.
Узел 109 восстановления остатка предсказания воссоздаёт остаток предсказания путём применения обратного частотного преобразования к коэффициенту преобразования на основе введённых в него коэффициента преобразования и метки выбора преобразования и выводит восстановленный остаток предсказания. Если коэффициент преобразования квантован, перед применением обратного частотного преобразования к коэффициенту преобразования применяется обратное квантование.
Узел 110 выработки локального декодированного изображения.
Узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него предсказанного изображения и остатка предсказания и выводит локальное декодированное изображение. Каждое значение пиксела локального декодированного изображения является суммой значений пиксела соответствующих пикселов предсказанного изображения и остатка предсказания. С целью снижения искажения блоков, возникающего на границе блока, и погрешностей квантования к локальному декодированному изображению может быть применён фильтр.
Работа устройства 10 кодирования видеокадров.
Ниже будет описана работа устройства 10 кодирования видеокадров.
Этап §100: вводимые видеокадры, введённые извне в устройство 10 кодирования видеокадров, последовательно вводятся расширенными МБ в узел 102 определения параметра предсказания и в узел 106 выработки остатка предсказания. Для каждого из расширенных МБ последовательно выполняется обработка на этапах §101-§109, как описано ниже.
Этап §101: узел 102 определения параметра предсказания определяет параметр предсказания для подлежащего обработке расширенного МБ на основе введённых в него вводимых видеокадров и выводит параметр предсказания на узел 103 выработки предсказанного изображения и на узел 108 кодирования с переменной длиной кодового слова.
Этап §102: узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение, приближающееся к области подлежащего обработке расширенного МБ во вводимых видеокадрах на основе введённых в него параметра предсказания и локального декодированного изображения, записанного в кадровой памяти 101, и выводит предсказанное изображение на узел 106 выработки остатка предсказания и узел 110 выработки локально декодированного изображения.
Этап §103: узел 106 выработки остатка предсказания вырабатывает остаток предсказания, соответствующий подлежащему обработке расширенному МБ на основе введённых в него вводимых видеокадров и предсказанного изображения и выводит остаток предсказания на узел 105 определения частотного преобразования и узел 107 выработки коэффициента преобразования.
Этап §104: узел 104 выведения ограничения преобразования получает ограничение частотных преобразований в каждом сегменте подлежащего обработке расширенного МБ в качестве ограничения преобразования на основе введённого в него параметра предсказания и выводит ограничение преобразования на узел 105 определения частотного преобразования и узел 108 кодирования с переменной длиной кодового слова.
- 14 029351
Этап §105: узел 105 определения частотного преобразования определяет частотное преобразование, подлежащее применению к каждому сегменту подлежащего обработке расширенного МБ на основе введённых в него ограничения преобразования и остатка предсказания и выводит частотное преобразование в качестве метки выбора преобразования на узел 107 выработки коэффициента преобразования, узел 108 кодирования с переменной длиной кодового слова и узел 109 восстановления остатка предсказания.
Этап §106: узел 107 выработки коэффициента преобразования применяет частотное преобразование, определённое введённой в него меткой выбора преобразования, к введённому в него остатку предсказания, тем самым вырабатывая коэффициент преобразования, соответствующий подлежащему обработке расширенному МБ и выводит коэффициент преобразования на узел 108 кодирования с переменной длиной кодового слова и узел 109 восстановления остатка предсказания.
Этап §107: узел 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определённому введённой в него меткой выбора преобразования, к введённому в него коэффициенту преобразования, тем самым восстанавливает остаток предсказания, соответствующий подлежащему обработке расширенному МБ и выводит восстановленный остаток предсказания на узел 110 выработки локального декодированного изображения.
Этап §108: узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него остатка предсказания и предсказанного изображения и выводит локальное декодированное изображение на кадровую память 101 для записи в неё.
Этап §109: узел 108 кодирования с переменной длиной кодового слова кодирует с переменной длиной кодового слова введённые в него коэффициент преобразования, параметр предсказания и метку выбора преобразования с помощью введённого в него ограничения преобразования и выводит результат вовне в качестве кодированных данных.
Конфигурация устройства 20 декодирования видеокадров.
Ниже будет описано устройство 20 декодирования видеокадров, которое декодирует кодированные данные, кодированные устройством 10 кодирования видеокадров, и тем самым вырабатывает декодированные видеоданные.
Фиг. 11 является блок-схемой конфигурации устройства 20 декодирования видеокадров. Устройство 20 декодирования видеокадров включает в себя кадровую память 101, узел 103 выработки предсказанного изображения, узел 104 выведения ограничения преобразования, узел 109 восстановления остатка предсказания, узел 110 выработки локального декодированного изображения и узел 201 декодирования кода с переменной длиной кодового слова.
Узел 201 декодирования кода с переменной длиной кодового слова декодирует параметр предсказания, метку выбора преобразования и коэффициент преобразования на основе введённых в него кодированных данных и ограничения преобразования и выводит декодированные результаты. А именно, вначале из кодированных данных декодируется параметр предсказания, и выводится результат. Затем из кодированных данных декодируется метка выбора преобразования с помощью ограничения преобразования, и выводится результат. Наконец, из кодированных данных декодируется коэффициент преобразования с помощью метки выбора преобразования, и выводится результат.
Работа устройства 20 декодирования видеокадров.
Ниже будет описана работа устройства 20 декодирования видеокадров.
Этап §110: кодированные данные, введённые извне в устройство 20 декодирования видеокадров, последовательно вводятся расширенными МБ в узел 201 декодирования кода с переменной длиной кодового слова, и для кодированных данных, соответствующих каждому расширенному МБ, последовательно выполняются операции §111-§117.
Этап §111: узел 201 декодирования кода с переменной длиной кодового слова декодирует параметр предсказания, соответствующий подлежащему обработке расширенному МБ из введённых в него кодированных данных и выводит параметр предсказания на узел 103 выработки предсказанного изображения и на узел 104 выведения ограничения преобразования.
Этап §112: узел 104 выведения ограничения преобразования получает ограничение, касающееся частотного преобразования, для каждого сегмента подлежащего обработке расширенного МБ в качестве ограничения преобразования на основе введённого в него параметра предсказания и выводит ограничение преобразования на узел 201 декодирования кода с переменной длиной кодового слова.
Этап §113: узел 201 декодирования кода с переменной длиной кодового слова декодирует метку выбора преобразования, соответствующую МБ, подлежащему обработке, на основе введённых в него кодированных данных и ограничения преобразования и выводит метку выбора преобразования на узел 109 восстановления остатка предсказания.
Этап §114: узел 201 декодирования кода с переменной длиной кодового слова декодирует коэффициент преобразования, соответствующий подлежащему обработке расширенному МБ на основе введённых в него декодированных данных и метки выбора преобразования, полученной на этапе §113, и выводит коэффициент преобразования на узел 109 восстановления остатка предсказания.
Этап §115: узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение, соответствующее подлежащему обработке расширенному МБ на основе введённого в него пара- 15 029351
метра предсказания и локального декодированного изображения, записанного в кадровой памяти 101, и выводит предсказанное изображение на узел 110 выработки локального декодированного изображения.
Этап §116: узел 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определённому введённой в него меткой выбора преобразования, к введённому в него коэффициенту преобразования, тем самым восстанавливает остаток предсказания, соответствующий подлежащему обработке расширенному МБ и выводит остаток предсказания на узел 110 выработки локального декодированного изображения.
Этап §117: узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него остатка предсказания и предсказанного изображения, выводит локальное декодированное изображение на кадровую память 101 для записи локального декодированного изображения в кадровую память 101 и выводит локальное декодированное изображение вовне в качестве области декодированных видеоданных, соответствующей подлежащему обработке блоку.
Как описано выше, согласно устройству 20 декодирования видеокадров, декодированные видеокадры могут быть выработаны из кодированных данных, выработанных устройством 10 кодирования видеокадров.
Приложенный пункт 1: использование данных об элементах помимо формата сегмента и уровня, которому он принадлежит.
Согласно описанию устройства 10 кодирования видеокадров и устройства 20 декодирования видеокадров, список запрещённых преобразований для каждого сегмента в расширенном МБ вырабатывается только на основе формата сегмента и уровня, которому этот сегмент принадлежит. Однако может также использоваться другой фрагмент данных, который может быть воспроизведён для декодирования на основе данных, включённых в кодированные данные. Например, вектор движения и индекс опорного изображения, включённые в параметр предсказания, также могут использоваться для выведения списка запрещённых преобразований.
Ниже будет описана процедура добавления частотного преобразования в список запрещенных преобразований с помощью вектора движения и индекса опорного изображения в конкретном сегменте. Вектор движения сегмента р обозначен как тур, а его индекс опорного изображения - как ге!р. Вектор движения самого левого из сегментов, прилежащих к верхней стороне сегмента р (сегмента и), обозначен как туи, а его индекс опорного изображения - как теки. Вектор движения верхнего из сегментов, прилежащих к левой стороне сегмента р (сегмента 1), обозначен как тук а его индекс опорного изображения как гей.
Этап §140: если тур, туи и ту1 совпадают друг с другом и гекр, теки и гей совпадают друг с другом, процедура переходит к этапу §141. В иных случаях процедура завершается.
Этап §141: если в списке частотных преобразований имеются два или более частотных преобразования, форматы преобразования которых находятся в отношениях сходства, в Ьр добавляется частотное преобразование с наименьшим форматом преобразования во всех комбинациях частотных преобразований, форматы преобразования которых находятся в отношениях сходства, и процедура завершается.
Совпадение векторов движения среди соседних блоков означает, что в локальной области высока пространственная корреляция векторов движения, пространственная корреляция значения пиксела обычно тоже высока и, следовательно, возрастание объёма кодов кодированных данных невелико, даже если запрещено применение частотных преобразований с малыми форматами преобразования из частотных преобразования с подобными форматами преобразования.
В приведённом выше описании предполагается, что вектор движения индексы опорного изображения, используемые для выведения списка запрещённых преобразований, являются векторами движения и индексами опорного изображения сегментов, прилежащих к сегменту р. Однако могут использоваться и иные векторы движения. Например, векторы движения могут использоваться в расширенных МБ, прилежащих к расширенному МБ, к которому принадлежит сегмент р (расширенным МБ, подлежащим обработке). А именно, вектор движения сегмента, расположенного в верхней правой части расширенного МБ, прилежащего к левой стороне подлежащего обработке расширенного МБ, используется в качестве тук а вектор движения сегмента, расположенного в нижней левой части расширенного МБ, прилежащего к верхней стороне подлежащего обработке расширенного МБ, используется в качестве туи. В этом случае одни и те же ту1 и туи используются во всех сегментах в расширенном МБ и, следовательно, обработка на этапах §140 и §141 может быть выполнена параллельно для каждого сегмента.
Приложенный пункт 2: момент выработки списка запрещённых преобразований.
Согласно описанию устройства 10 кодирования видеокадров и устройства 20 декодирования видеокадров узел 104 выведения ограничения преобразования выполняет операцию выработки списка запрещённых преобразований для каждого сегмента расширенного МБ в любое время. Однако если добавление частотного преобразования в список запрещенных преобразований выполняется только на основе формата преобразования и уровня, которому принадлежит сегмент, список запрещённых преобразований может также вырабатываться предварительно в заранее заданный момент. В этом случае список запрещённых преобразований, выработанный предварительно для каждого вида сегментов, должен быть соот- 16 029351
несён с каждым сегментом в расширенном МБ с помощью узла 104 выведения ограничения преобразования. Заранее заданный момент может являться моментом начала кодирования вводимых видеокадров, моментом, идущим непосредственно за моментом начала декодирования кодированных данных, или моментом, идущим непосредственно за началом операции кодирования или декодирования заранее заданной единицы кодирования, такой как последовательность, кадр или сектор. Число выполнений операции выработки списка запрещённых преобразований может быть снижено и, следовательно, может быть снижен объём обработки кодирования и декодирования.
Напротив, в случае, если частотное преобразование добавляется в список запрещённых преобразований, когда используются векторы движения и индексы опорного изображения, операция выработки списка запрещённых преобразований должна выполняться в любой момент для каждого расширенного МБ, как описано для устройства 10 кодирования видеокадров и устройства 20 декодирования видеокадров. В этом случае объём обработки для кодирования и декодирования возрастает благодаря возрастанию числа выполнений операции выработки списка запрещённых преобразований. Однако по сравнению со случаем, если операция выработки не выполняется для каждого МБ, может быть выработан список запрещённых преобразований, более приспособленный к локальному свойству видеокадров, путём использования большего количества данных, чем получаемый из кодированных данных.
Второй вариант осуществления.
Устройство 11 кодирования видеокадров и устройство 21 декодирования видеокадров, которые являются другим вариантом осуществления устройства кодирования видеокадров и устройства декодирования видеокадров согласно настоящему изобретению, будут описаны со ссылкой на фиг. 12-14. В описании сопровождающих чертежей одинаковым компонентам присвоены одинаковые ссылочные позиции, и они не будут описываться повторно.
Устройство 11 кодирования видеокадров и устройство 21 декодирования видеокадров в варианте осуществления характеризуются тем, что список возможных преобразований выводится напрямую без выработки списка запрещённых преобразований путём замены узла 104 выведения ограничения преобразования как в устройстве 10 кодирования видеокадров, так и в устройстве 20 декодирования видеокадров узлом 111 выведения возможных преобразований.
Узел 104 выведения ограничения преобразования и узел 111 выведения возможных преобразований обобщённо называются узлом выведения управления преобразованием.
Фиг. 12 является блок-схемой конфигурации устройства 11 кодирования видеокадров. Устройство 11 кодирования видеокадров включает в себя кадровую память 101, узел 102 определения параметра предсказания, узел 103 выработки предсказанного изображения, узел 106 выработки остатка предсказания, узел 107 выработки коэффициента преобразования, узел 109 восстановления остатка предсказания и узел 110 выработки локального декодированного изображения, узел 111 выведения возможных преобразований, узел 112 определения частотного преобразования и узел 113 кодирования с переменной длиной кодового слова.
Узел 111 выведения возможных преобразований выводит в качестве списка возможных преобразований данные о частотных преобразованиях, которые могут быть выбраны, для каждого сегмента в расширенном МБ на основе введённого в него параметра предсказания. Узел 111 выведения возможных преобразований вырабатывает список возможных предсказаний для сегмента на основе информации о форме сегмента для каждого сегмента, определённого параметром предсказания.
Список возможных предсказаний соотносится с каждым сегментом в расширенном МБ и определяет набор частотных преобразований, которые могут быть выбраны для каждого сегмента, из частотных преобразований, включённых в заранее заданный набор преобразований.
Список Ср возможных преобразований для конкретного сегмента р вырабатывается согласно нижеследующей процедуре. Допустим, сегмент р имеет формат ΜχΝ пикселов (М пикселов в поперечном направлении и N пикселов в продольном направлении). Также допустим, что сегмент р принадлежит уровню Ьх.
Этап §150: частотное преобразование добавляется в Ср, который определяется в соответствии с количественным отношением М и Ν.
Этап §151: если Ср пуст, в Ср добавляется частотное преобразование с наибольшим форматом преобразования из частотных преобразований с форматами преобразования меньшими, чем все форматы сегментов.
Подробная процедура по этапу §150 будет описана со ссылкой на блок-схему алгоритма по фиг. 13.
Этап §160: с помощью заранее заданного значения ТН3 (далее, например, ТЬ3=16) значение Μίη(Μ, ТН3) задаётся как Μ1, а значение Μίη(Ν, ТН3) задаётся как N1. Предпочтительно задать значение ТН3 равным длине одной из сторон формата преобразования частотного преобразования с наибольшим квадратным форматом преобразования, включённого в заранее заданный набор преобразований. Если в заранее заданном наборе преобразований имеется частотное преобразование с форматом преобразования Μ1χΝ1, это частотное преобразование добавляется в список Ср возможных преобразований, и процедура переходит к этапу §161.
- 17 029351
Этап §161: если М больше N (если сегмент р является вытянутым в поперечном направлении прямоугольником), процедура переходит к этапу §162, а в иных случаях процедура переходит к этапу §163.
Этап §162: если в заранее заданном наборе преобразований имеется частотное преобразование с форматом преобразования М1х1, это частотное преобразование добавляется в список Ср возможных преобразований, и процедура завершается.
Этап §163: если М меньше N (если сегмент р является вытянутым в продольном направлении прямоугольником), процедура переходит к этапу §164, а в иных случаях процедура переходит к этапу §165.
Этап §164: если в заранее заданном наборе преобразований имеется частотное преобразование с форматом преобразования 1χΝ1, это частотное преобразование добавляется в список Ср возможных преобразований, и процедура завершается.
Этап §165: Значение МЖ2 задаётся как М2, а значение N1^2 задаётся как N2. Если в заранее заданном наборе преобразований имеется частотное преобразование с форматом преобразования М2хШ, это частотное преобразование добавляется в список Ср возможных преобразований, и процедура завершается. Этот этап выполняется, если М равно N (когда сегмент р является квадратом).
Количественные отношения между М и N и формат МχN сегмента являются фрагментами информации о форме сегмента.
В описанном выше алгоритме, если в заранее заданном наборе преобразований для вытянутого в поперечном (продольном) направлении прямоугольного сегмента имеется частотное преобразование с продольной (поперечной) длиной формата короче, чем высота (ширина) сегмента, это частотное преобразование добавляется в список Ср возможных преобразований. Частотное преобразование с вытянутым в поперечном (продольном) направлении прямоугольным форматом эффективно для вытянутого в поперечном (продольном) направлении сегмента, как упомянуто со ссылкой на фиг. 6 в описании процедуры выведения списка запрещённых преобразований узлом 104 выведения ограничения преобразования устройства 10 кодирования видеокадров. А именно, число случаев, когда в формате преобразования имеется граница объекта, может быть снижено путём использования частотного преобразования с форматом преобразования, длина короткой стороны которого гораздо меньше длины его длинной стороны. Следовательно, благодаря частотному преобразованию может быть усилен эффект сосредоточения энергии на низкочастотном компоненте коэффициента преобразования.
Узел 112 определения частотного преобразования определяет частотное преобразование, подлежащее применению к каждому сегменту в расширенном МБ, с помощью введённого в него списка возможных преобразований и выводит частотное преобразование в качестве метки выбора преобразования. А именно, вычисляется стоимость зависимости искажения от скорости передачи для случая, если применяется каждое из частотных преобразований, включённых в список Ср возможных преобразований, и в качестве частотного преобразования, подлежащего применению к сегменту р, определяется частотное преобразование, минимизирующее стоимость зависимости искажения от скорости передачи.
Узел 113 кодирования с переменной длиной кодового слова вырабатывает кодированные данные, соответствующие коэффициенту преобразования, параметру предсказания и метке выбора преобразования в расширенном МБ, на основе кодирования с переменной длиной кодового слова, списка возможных преобразований и метки выбора преобразования в дополнение к введённым в него коэффициенту преобразования и параметру предсказания, и выводит кодированные данные.
Процедура кодирования с переменной длиной кодового слова метки выбора преобразования для каждого сегмента в расширенном МБ та же, что описана на этапах §80-§92 (фиг. 10) узла 108 кодирования с переменной длиной кодового слова в устройстве 10 кодирования видеокадров. Этапы §133-§135 узла 108 кодирования с переменной длиной кодового слова применяются в качестве подробной процедуры кодирования с переменной длиной кодового слова метки выбора преобразования для конкретного сегмента.
Ниже будет описана работа устройства 11 кодирования видеокадров.
Этап §170: вводимые видеокадры, введённые извне в устройство 11 кодирования видеокадров, последовательно вводятся расширенными МБ в узел 102 определения параметра предсказания и в узел 106 выработки остатка предсказания. Операции на описанных ниже этапах §171-§179 выполняются последовательно для каждого из расширенных МБ.
Этап §171: узел 102 определения параметра предсказания определяет параметр предсказания для подлежащего обработке расширенного МБ на основе введённых в него вводимых видеокадров и выводит параметр предсказания на узел 103 выработки предсказанного изображения и узел 113 кодирования с переменной длиной кодового слова.
Этап §172: узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение, приближающееся к области подлежащего обработке расширенного МБ во вводимых видеокадрах на основе введённого в него параметра предсказания и локально декодированного изображения, записанного в кадровой памяти 101, и выводит предсказанное изображение на узел 106 выработки остатка предсказания и на узел 110 выработки локального декодированного изображения.
Этап §173: узел 106 выработки остатка предсказания вырабатывает остаток предсказания, соответ- 18 029351
ствующий подлежащему обработке расширенному МБ на основе введённых в него вводимых видеокадров и предсказанного изображения и выводит остаток предсказания на узел 112 определения частотного преобразования и на узел 107 выработки коэффициента преобразования.
Этап 8174: узел 111 выведения возможных преобразований выводит ограничение, касающееся частотного преобразования, для каждого сегмента в подлежащем обработке расширенном МБ на основе введённого в него параметра предсказания и выводит ограничение на узел 112 определения частотного преобразования и на узел 113 кодирования с переменной длиной кодового слова.
Этап 8175: узел 112 определения частотного преобразования определяет частотное преобразование, подлежащее применению к каждому сегменту подлежащего обработке расширенного МБ на основе введённых в него ограничения преобразования и остатка предсказания и выводит частотное преобразование в качестве метки выбора преобразования на узел 107 выработки коэффициента преобразования, на узел 113 кодирования с переменной длиной кодового слова и на узел 109 восстановления остатка предсказания.
Этап 8176: узел 107 выработки коэффициента преобразования применяет частотное преобразование, определённое введённой в него меткой выбора преобразования, к введённому в него остатку предсказания, тем самым вырабатывая коэффициент преобразования, соответствующий подлежащему обработке расширенному МБ, и выводит коэффициент преобразования на узел 108 кодирования с переменной длиной кодового слова и на узел 109 восстановления остатка предсказания.
Этап 8177: узел 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определённому введённой в него меткой выбора преобразования, к введённому в него коэффициенту преобразования, тем самым восстанавливая остаток предсказания, соответствующий подлежащему обработке расширенному МБ, и выводит остаток предсказания на узел 110 выработки локального декодированного изображения.
Этап 8178: узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него остатка предсказания и предсказанного изображения и выводит локальное декодированное изображение на кадровую память 101 для записи локального декодированного изображения в кадровую память 101.
Этап 8179: узел 113 кодирования с переменной длиной кодового слова кодирует с переменной длиной кодового слова введённые в него коэффициент преобразования, параметр предсказания и метку выбора преобразования с помощью введённого в него ограничения преобразования и выводит вовне результаты кодирования в качестве кодированных данных.
Согласно описанной выше процедуре устройство 11 кодирования видеокадров может кодировать введённые в него вводимые видеокадры, вырабатывать кодированные данные и выводить кодированные данные вовне.
Другой пример способа выработки списка возможных преобразований.
Приведённый в описании пример способа выработки списка возможных преобразований относится к узлу 111 выведения возможных преобразований. Однако список возможных преобразований может быть выработан другим способом. Например, если в заранее заданный набор преобразований включены два частотных преобразования ДКПа и ДКПЬ, находящиеся в отношении сходства (однако формат преобразования ДКПа превышает формат преобразования ДКПЬ), эффективен способ выработки списка возможных преобразований, при котором в список возможных преобразований для сегмента, включённого в верхний уровень, добавляется ДКПа и не добавляется ДКПЬ, а в список возможных преобразований для сегмента, включённого в нижний уровень, добавляется ДКПЬ. А именно, если в заранее заданный набор преобразований включены ДКП 16x16 и ДКП 8x8, в список возможных преобразований для сегмента, включённого в уровень Ь0 с единицей обработки 64x64 пиксела, добавляется, по меньшей мере, ДКП 16x16 и не добавляется ДКП 8x8; а в список возможных преобразований для сегмента, включённого в уровень Ь1 с единицей обработки 32x32 пиксела, добавляется, по меньшей мере, ДКП 8x8.
Даже в случае, когда конкретное частотное преобразование ДКПЬ (например, ДКП 8x8) не может быть выбрано для сегмента, включённого в конкретный уровень Ьх, если ДКПЬ может быть выбрано для сегмента, принадлежащего уровню Ьу, лежащему ниже уровня Ьх, возрастание объёма кодов кодированных данных может быть подавлено не путём выбора какого-либо из сегментов, принадлежащих верхнему уровню Ьх, но путём выбора сегмента, принадлежащего нижнему уровню Ьу, что позволяет выбрать ДКПЬ в области, где ДКПЬ эффективно. А именно, на основе того, что частотное преобразование с большим форматом преобразования, эффективно для большого сегмента, эффективно также и то, что для сегмента, принадлежащего верхнему уровню Ьх, позволено выбрать ДКПа с большим форматом преобразования (например, ДКП 16x16) вместо запрета на выбор ДКПЬ, а с другой стороны, для сегмента, принадлежащего нижнему уровню Ьу, позволено выбрать ДКПЬ.
Конфигурация устройства 21 декодирования видеокадров.
Ниже будет описано устройство 21 декодирования видеокадров, вырабатывающее декодированные видеоданные путём декодирования кодированных данных, кодированных устройством 11 кодирования видеокадров.
- 19 029351
Фиг. 14 является блок-схемой конфигурации устройства 21 декодирования изображений. Устройство 21 декодирования видеокадров включает в себя кадровую память 101, узел 103 выработки предсказанного изображения, узел 109 восстановления остатка предсказания, узел 110 выработки локального декодированного изображения, узел 111 выведения возможных преобразований и узел 202 декодирования кода с переменной длиной кодового слова.
Узел 202 декодирования кода с переменной длиной кодового слова декодирует параметр предсказания, метку выбора преобразования и коэффициент преобразования на основе введённых в него кодированных данных и списка возможных преобразований и выводит результаты декодирования. А именно, узел 202 декодирования кода с переменной длиной кодового слова сначала декодирует параметр предсказания из кодированных данных и выводит параметр предсказания, затем декодирует метку выбора преобразования из кодированных данных с помощью списка возможных преобразований и выводит метку выбора преобразования, и наконец, декодирует коэффициент преобразования из кодированных данных с помощью метки выбора преобразования и выводит коэффициент преобразования. Когда метка выбора преобразования декодирована, необходимо узнать, сколько битов использовано для кодирования метки выбора преобразования. Для этого данные об элементах, включённых в список возможных преобразований, не являются необходимыми, нужно знать только число элементов, включённых в список возможных преобразований. В этом случае сигнал, введённый в узел 202 декодирования кода с переменной длиной кодового слова, и сигнал, используемый для декодирования метки выбора преобразования, может относиться только к числу элементов, включённых в список возможных преобразований, из списка возможных преобразований.
Работа устройства 21 декодирования видеокадров.
Ниже будет описана работа устройства 21 декодирования видеокадров.
Этап §180: кодированные данные, введённые извне в устройство 21 декодирования видеокадров, расширенными МБ один за другим последовательно вводятся в узел 201 декодирования кода с переменной длиной кодового слова, и для кодированных данных, соответствующих каждому расширенному МБ, последовательно выполняется обработка, описанная ниже на этапах §181-8187.
§181: узел 202 декодирования кода с переменной длиной кодового слова декодирует параметр предсказания, соответствующий подлежащему обработке расширенному МБ, из введённых в него кодированных данных и выводит параметр предсказания на узел 103 выработки предсказанного изображения и на узел 111 выведения возможных преобразований.
§182: узел 111 выведения возможных преобразований выводит список возможных преобразований для каждого сегмента подлежащего обработке расширенного МБ на основе введённого в него параметра предсказания и выводит список возможных преобразований на узел 202 декодирования кода с переменной длиной кодового слова.
§183: узел 202 декодирования кода с переменной длиной кодового слова декодирует метку выбора преобразования, соответствующую МБ, подлежащему обработке, на основе введённых в него кодированных данных и ограничения преобразования и выводит метку выбора преобразования на узел 109 восстановления остатка предсказания.
§184: узел 202 декодирования кода с переменной длиной кодового слова декодирует коэффициент преобразования, соответствующий подлежащему обработке расширенному МБ, на основе введённых в него кодированных данных и метки выбора преобразования, выведенной на этапе §183, и выводит коэффициент преобразования на узел 109 восстановления остатка предсказания.
§185: узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение, соответствующее подлежащему обработке расширенному МБ, на основе введённого в него параметра предсказания и локального декодированного изображения, записанного в кадровой памяти 101, и выводит предсказанное изображение на узел 110 выработки локального декодированного изображения.
Этап §186: узел 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определённому введённой в него меткой выбора преобразования, к введённому в него коэффициенту преобразования, тем самым восстанавливая остаток предсказания, соответствующий подлежащему обработке расширенному МБ, и выводит остаток предсказания на узел 110 выработки локального декодированного изображения.
Этап §187: узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него остатка предсказания и предсказанного изображения, выводит локальное декодированное изображение на кадровую память 101 для записи локального декодированного изображения в кадровой памяти 101 и выводит вовне локальное декодированное изображение в качестве области в декодированных видеоданных, соответствующей подлежащему обработке блоку. Заключение для декодера.
Как описано выше, согласно устройству 21 декодирования видеокадров, декодированные видеоданные могут быть выработаны из кодированных данных, выработанных устройством 11 кодирования видеокадров.
Третий вариант осуществления.
Устройство 30 кодирования видеокадров и устройство 40 декодирования видеокадров, являющиеся
- 20 029351
ещё одним вариантом осуществления устройства кодирования видеокадров и устройства декодирования видеокадров согласно настоящему изобретению, будут описаны со ссылкой на фиг. 15-16. В описании сопровождающих чертежей одинаковые ссылочные позиции присвоены одинаковым компонентам, и эти компоненты не будут описаны повторно. Предполагается, что сегментная структура и заранее заданный набор преобразований, доступные устройству 30 кодирования видеокадров и устройству 40 декодирования видеокадров, одинаковы с используемыми устройством 11 кодирования видеокадров и устройством 21 декодирования видеокадров.
Устройство 30 кодирования видеокадров и устройство 40 декодирования видеокадров в данном варианте осуществления отличаются от устройства 11 кодирования видеокадров и устройства 21 декодирования видеокадров тем, что устройство 30 кодирования видеокадров и устройство 40 декодирования видеокадров включают в себя функцию, которая адаптивно меняет способ выведения списка возможных преобразований посредством того, что узел выведения возможных преобразований сопоставляет свойство видеокадров в заранее заданной единице, превышающей размером МБ, такой как сцена, кадр или сектор видеоданных.
Фиг. 15 является блок-схемой конфигурации устройства 30 кодирования видеокадров. Устройство 30 кодирования видеокадров включает в себя кадровую память 101, узел 102 определения параметра предсказания, узел 103 выработки предсказанного изображения, узел 106 выработки остатка предсказания, узел 107 выработки коэффициента преобразования, узел 109 восстановления остатка предсказания, узел 110 выработки локального декодированного изображения, узел 112 определения частотного преобразования, узел 301 определения правила выведения списка возможных преобразований, узел 302 выведения возможных преобразований и узел 303 кодирования с переменной длиной кодового слова.
Узел 301 определения правила выведения списка возможных преобразований вырабатывает правило выведения списка возможных преобразований, которое определяет или обновляет способ выведения списка возможных преобразований, исполняемый узлом выведения возможных преобразований на основе вводимых видеокадров, вводимых заранее заданными единицами, превышающими размером МБ, такими как сцена, кадр или сектор. Далее для простоты описания правило выведения списка возможных преобразований будет описано с допущением, что это правило вырабатывается для каждого кадра.
Определение правила выведения списка возможных преобразований.
Правило выведения списка возможных преобразований определяется как комбинация основных правил, которые перечислены ниже.
Основное правило 1: это правило оговаривает добавление заранее заданного частотного преобразования В из заранее заданного набора преобразований в список возможных преобразований для заранее заданного сегмента А. Далее основное правило 1 описано в следующем виде: [разрешение, сегмент А, частотное преобразование В]. Например, [разрешение, 64x64, Т16х16] означает, что нужно добавить частотное преобразование Т16х16 в список возможных преобразований для сегмента 64x64.
Основное правило 2: это правило оговаривает запрет на включение заранее заданного частотного преобразования В из заранее заданного набора преобразований в список возможных преобразований для заранее заданного сегмента А. Далее основное правило 2 описано в следующем виде: [запрет, сегмент А, частотное преобразование В]. Например, [запрет, 64x64, Т4х4] означает, что нужно запретить Т4х4 для сегмента форматом 64x64 и не включать Т4x4 в список возможных преобразований.
Основное правило 3: это правило оговаривает замену частотного преобразования В в списке возможных преобразований другим частотным преобразованием С, если заранее заданное частотное преобразование В из заранее заданного набора преобразований включено в список возможных преобразований для заранее заданного сегмента А. Далее основное правило 3 описано в следующем виде: [замена, сегмент А, частотное преобразование В, частотное преобразование С]. Например, [замена, 64x32, Т4x4, 'N6x11 означает, что нужно исключить Т4x4 из списка возможных преобразований, и вместо него включить 'N6x1 в список возможных преобразований, если '4x4 включено в список возможных преобразований для сегмента форматом 64x32.
Правило выведения списка возможных преобразований включает в себя множество основных правил, и каждое из основных правил относится к одному из основных правил 1-3.
В правило выведения списка возможных преобразований в дополнение к основным правилам или вместо них может быть включено составное правило, выраженное комбинацией основных правил. Ниже будут приведены примеры составных правил.
Составное правило 1: конкретное преобразование запрещается для сегмента, принадлежащего конкретному уровню. Например, составному правилу 1 соответствует правило запрета любого преобразования с форматом '8x8 или менее на уровне Ь0. Составное правило (К1) может быть выражено как набор основных правил следующим образом:
К1={ [запрет, Ρ, Т] : («Р» - сегмент, принадлежащий уровню Ь0) Л («Т» частотное преобразование Т8>8 или менее)}.
Правило также соответствует составному правилу 1 запрета любого частотного преобразования ма- 21 029351
лого формата из частотных преобразований, находящихся в отношениях сходства, на уровне выше заранее заданного уровня, а именно, правило о запрете Т8х8 и Т4х4 из преобразований Т16х16, Т8х8 и Т4х4, которые находятся в отношениях сходства на уровне выше уровня 1.1.
Составное правило 2: конкретное преобразование А заменяется конкретным преобразованием В для сегмента конкретной формы. Например, составному правилу 2 соответствует правило замены прямоугольного частотного преобразования конкретным квадратным частотным преобразованием (например, Т4х4) для квадратного сегмента. Составное правило (К2) может быть выражено как набор основных правил следующим образом:
К2= {[замена, Р, Т, Т4*4] : (Р е квадратным сегментам,) Л (Т е прямоугольным частотным преобразованиям)}
Правило замещения квадратного частотного преобразования вытянутым в поперечном направлении прямоугольным частотным преобразованием для вытянутого в поперечном направлении прямоугольного сегмента также соответствует составному правилу 2.
Процедура определения правила выведения списка возможных преобразований.
Возможные правила, включающие в качестве элементов основные и составные правила, определяются предварительно до начала операции кодирования, а правило выведения списка возможных преобразований задаётся как пустое. Стоимость зависимости искажения от скорости передачи вычисляется для случая, когда операция кодирования выполняется путём применения каждого из основных правил или каждого из составных правил, включённых в возможные правила, к каждому введённому кадру. Стоимость С1 зависимости искажения от скорости передачи также вычисляется для случая, когда все возможные правила не применяются. При сравнении стоимости С2 зависимости искажения от скорости передачи, вычисленной для случая, когда применяется каждое из основных или каждое из составных правил, со стоимостью С1, если стоимость С2 меньше стоимости С1, определяется, что основное или составное правило применяется и добавляется в правило выведения списка возможных преобразований.
Согласно изложенной выше процедуре, в правило выведения списка возможных преобразований добавляется только то основное или составное правило из заранее заданных возможных правил, применение которого при кодировании кадра может снизить стоимость зависимости искажения от скорости передачи.
Узел 302 выведения возможных преобразований выводит данные о частотных преобразованиях, которые могут быть выбраны в каждом сегменте в расширенном МБ, в качестве списка возможных преобразований на основе введённого параметра предсказания и правила выведения списка возможных преобразований. Список возможных преобразования соотносится с каждым сегментом в расширенном МБ и определяет набор частотных преобразований, которые могут быть выбраны в каждом сегменте, из частотных преобразований, включённых в заранее заданный набор преобразований. В этом этапе введённое правило выведения списка возможных преобразований также используется для операции выведения списка возможных преобразований.
Процедура выработки списка Ср возможных преобразований для конкретного сегмента р на основе введённого правила выведения списка возможных преобразований является следующей. Допустим, что сегмент р имеет формат ΜαΝ (М пикселов в поперечном направлении и N пикселов в продольном направлении).
Этап 8200: если в правило выведения списка возможных преобразований включены составные правила, каждое их этих составных правил разделяется на основные правила, и эти основные правила добавляются в правило выведения списка возможных преобразований.
Этап 8201: обработка по этапу 8202 выполняется для всех основных правил, принадлежащих основному правилу 1, включённых в список возможных преобразований.
Этап 8202: основное правило 1, подлежащее обработке, выражается как [разрешение, Р1, Т1]. Если форма сегмента р и Р1 совпадает, частотное преобразование Т1 добавляется в список возможных преобразований.
Этап 8203: обработка по этапу 8204 выполняется для всех основных правил, принадлежащих основному правилу 2, включённых в список возможных преобразований.
Этап 8204: основное правило 2, подлежащее обработке, выражается как [запрет, Р2, Т2]. Если форма сегмента р и Р2 совпадает, а частотное преобразование Т2 присутствует в списке возможных преобразований, частотное преобразование Т2 удаляется из списка возможных преобразований.
Этап 8205: обработка по этапу 8206 выполняется для всех основных правил, принадлежащих основному правилу 3, включённых в список возможных преобразований.
Этап 8206: основное правило 3, подлежащее обработке, выражается как [замена, Р3, Т3]. Если форма сегмента р и Р3 совпадает, а частотное преобразование Т2 присутствует в списке возможных преобразований, частотное преобразование Т3 заменяется частотным преобразованием Т4.
Согласно приведённому выше алгоритму, узел 302 выведения возможных преобразований может выводить список возможных преобразований согласно введённому в него правилу выведения списка возможных преобразований.
- 22 029351
Узел 303 кодирования с переменной длиной кодового слова вырабатывает кодированные данные, соответствующие введённым в него коэффициенту преобразования, параметру предсказания, списку возможных преобразований, метке выбора преобразования и правилу выведения списка возможных преобразований соответственно, и выводит кодированные данные.
Ниже будут описаны подробности выработки кодированных данных, соответствующих правилу выведения списка возможных преобразований. Кодированные данные вырабатываются путём кодирования с переменной длиной кодового слова каждого из основных или составных правил, включённых в правило выведения списка возможных преобразований. При кодировании с переменной длиной кодового слова основного правила вначале кодируются данные, обозначающие, какое из подлежащих кодированию основных правил 1-3 к ним относится, а затем кодируются данные, обозначающие сегмент, к которому применяется основное правило. Наконец, в случае основного правила 1 кодируются данные, обозначающие разрешённое частотное преобразование, в случае основного правила 2 кодируются данные, обозначающие запрещённое частотное преобразование, а в случае основного правила 3 кодируются данные, обозначающие вид каждого из частотных преобразований до и после замены. Если предварительно определено, какое основное правило может быть включено в список выведения списка возможных преобразований, объём кодов может быть снижен путём определения данных, обозначающих, применяется ли основное правило, в качестве кодированных данных вместо кодирования с переменной длиной кодового слова основных правил изложенным выше способом.
Составное правило кодируется после того, как составное правило разделяется на основные правила. Если предварительно определено, какое составное правило может быть включено в список выведения списка возможных преобразований, объём кодов может быть снижен путём определения данных, обозначающих, применяется ли составное правило, в качестве кодированных данных. Например, возможно закодировать данные о том, применять или не применять составное правило, запрещающее Т4x4 и Т8x8 в сегменте, превышающем по размеру 32x32, в виде однобитовой метки.
Может быть возможным закодировать данные, обозначающие с применением или без применения каждого из основных правил, включённых в группу правил, определённую путём совместной обработки конкретных основных правил или конкретных составных правил, следует кодировать метку, обозначающую, оценивать с применением или без применения для всех основных правил, включённых в группу правил. А именно, если составные правила, обозначающие, какое из преобразований ^6x16. Т8x8 и Т4x4 применяется на уровне Ь3, выражены как "позволить_ΐ16x16_^3", "позволить_ΐ16x16_^3" и "позволить_ΐ16x16)^3", группа правил "позволить_Ь3" вырабатывается путём совместной обработки этих трёх составных правил. При кодировании вначале с помощью одного бита кодируется, применяется ли "позволить_Ь3". Если "позволить_Ь3" применяется, с помощью одного бита кодируется, применяется или нет каждое составное правило, включённое в группу правил. Если "позволить_Ь3" не применяется, заранее заданным способом оценивается, применяется ли каждое составное правило.
Основные и составные правила могут быть кодированы совместно, без кодирования их одно за другим с переменной длиной кодового слова. Например, только если закодирована метка, обозначающая, все ли основные правила не применяются или применяется по меньшей мере одно основное правило, и эта метка обозначает, что применяется по меньшей мере одно основное правило, могут быть кодированы данные, обозначающие, применяется или нет каждое из основных правил.
Ниже будет описана работа устройства 30 кодирования видеокадров.
Этап §210: вводимые видеокадры, введённые извне в устройство 30 кодирования видеокадров, кадр за кадром вводятся в узел 301 определения правила выведения списка возможных преобразований, и расширенный МБ за расширенным МБ последовательно вводятся в узел 102 определения параметра предсказания и узел 106 выработки остатка предсказания. Операции на этапах §211-§212 выполняются для каждого кадра, а операции на этапах §213-§221 выполняются для каждого расширенного МБ.
Этап §211: узел 301 определения правила выведения списка возможных преобразований вырабатывает правило выведения списка возможных преобразований на основе введённого в него кадра и выводит правило выведения списка возможных преобразований на узел 302 выведения возможных преобразований и узел 303 кодирования с переменной длиной кодового слова.
Этап §212: узел 303 кодирования с переменной длиной кодового слова вырабатывает соответствующие кодированные данные на основе введённого в него правила выведения списка возможных преобразований и выводит вовне соответствующие кодированные данные.
Этап §213: узел 102 определения параметра предсказания определяет параметр предсказания для подлежащего обработке расширенного МБ на основе введённых в него вводимых видеокадров и выводит параметр предсказания на узел 103 выработки предсказанного изображения, узел 302 выведения возможных преобразований и узел 303 кодирования с переменной длиной кодового слова.
Этап §214: узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение, приближающееся к области подлежащего обработке расширенного МБ во вводимых видеокадрах на основе введённого в него параметра предсказания и локально декодированного изображения, записанного в кадровой памяти 101, и выводит предсказанное изображение на узел 106 выработки остатка
- 23 029351
предсказания и на узел 110 выработки локального декодированного изображения.
Этап §215: узел 106 выработки остатка предсказания вырабатывает остаток предсказания, соответствующий подлежащему обработке расширенному МБ на основе введённых в него вводимых видеокадров и предсказанного изображения и выводит остаток предсказания на узел 112 определения частотного преобразования и на узел 107 выработки коэффициента преобразования.
Этап §216: узел 302 выведения возможных преобразований выводит ограничение, касающееся частотного преобразования, для каждого сегмента в подлежащем обработке расширенном МБ на основе введённых в него параметра предсказания и правила выведения списка возможных преобразований и выводит ограничение на узел 112 определения частотного преобразования и на узел 303 кодирования с переменной длиной кодового слова.
Этап §217: узел 112 определения частотного преобразования определяет частотное преобразование, подлежащее применению к каждому сегменту подлежащего обработке расширенного МБ, на основе введённых в него ограничения преобразования и остатка предсказания и выводит частотное преобразование в качестве метки выбора преобразования на узел 107 выработки коэффициента преобразования, на узел 303 кодирования с переменной длиной кодового слова и на узел 109 восстановления остатка предсказания.
Этап §218: узел 107 выработки коэффициента преобразования применяет частотное преобразование, определённое введённой в него меткой выбора преобразования, к введённому в него остатку предсказания, тем самым вырабатывая коэффициент преобразования, соответствующий подлежащему обработке расширенному МБ, и выводит коэффициент преобразования на узел 108 кодирования с переменной длиной кодового слова и на узел 109 восстановления остатка предсказания.
Этап §219: узел 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определённому введённой в него меткой выбора преобразования, к введённому в него коэффициенту преобразования, тем самым восстанавливая остаток предсказания, соответствующий подлежащему обработке расширенному МБ, и выводит остаток предсказания на узел 110 выработки локального декодированного изображения.
Этап §220: узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него остатка предсказания и предсказанного изображения и выводит локальное декодированное изображение на кадровую память 101 для записи локального декодированного изображения в кадровую память 101.
Этап §221: узел 303 кодирования с переменной длиной кодового слова кодирует с переменной длиной кодового слова введённые в него коэффициент преобразования, параметр предсказания и метку выбора преобразования с помощью введённого в него ограничения преобразования и выводит вовне полученные данные в качестве кодированных данных.
Согласно описанной выше процедуре устройство 30 кодирования видеокадров может кодировать введённые в него вводимые видеокадры, тем самым вырабатывая кодированные данные, и выводить кодированные данные вовне.
Конфигурация устройства 40 декодирования видеокадров.
Ниже будет описано устройство 40 декодирования видеокадров, которое декодирует кодированные данные, кодированные устройством 30 кодирования видеокадров, тем самым вырабатывая декодированные видеоданные.
Фиг. 16 является блок-схемой конфигурации устройства 40 декодирования изображений. Устройство 40 декодирования видеокадров включает в себя кадровую память 101, узел 103 выработки предсказанного изображения, узел 109 восстановления остатка предсказания, узел 110 выработки локального декодированного изображения, узел 302 выведения возможных преобразований и узел 401 декодирования кода с переменной длиной кодового слова.
Узел 401 декодирования кода с переменной длиной кодового слова декодирует параметр предсказания, метку выбора преобразования, коэффициент преобразования и правило выведения списка возможных преобразований на основе введённых в него кодированных данных и списка возможных преобразований и выводит результаты декодирования. А именно, узел 401 декодирования кода с переменной длиной кодового слова сначала декодирует и выводит правило выведения списка возможных преобразований, затем декодирует параметр предсказания из кодированных данных и выводит параметр предсказания, декодирует метку выбора преобразования из кодированных данных с помощью списка возможных преобразований и выводит метку выбора преобразования, и, наконец, декодирует коэффициент преобразования из кодированных данных с помощью метки выбора преобразования и выводит коэффициент преобразования.
Работа устройства 21 декодирования видеокадров.
Ниже будет описана работа устройства 21 декодирования видеокадров.
Этап §230: кодированные данные, введённые извне в устройство 40 декодирования видеокадров, по кадрам последовательно вводятся в узел 401 декодирования кода с переменной длиной кодового слова. Для кодированных данных, соответствующих каждому кадру, последовательно выполняются описанные ниже операции на этапах §231-§239.
- 24 029351
Этап §231: узел 401 декодирования кода с переменной длиной кодового слова декодирует правило выведения списка возможных преобразований, соответствующее кадру, подлежащему обработке, из введённых в него кодированных данных и выводит правило выведения списка возможных преобразований на узел 302 выведения возможных преобразований.
Этап §232: узел 401 декодирования кода с переменной длиной кодового слова разделяет введённые в него кодированные данные для каждого кадра на кодированные данные для каждого расширенного МБ. Операции на описанных ниже этапах §233-§239 последовательно выполняются для кодированных данных, соответствующих каждому расширенному МБ.
Этап §233: узел 401 декодирования кода с переменной длиной кодового слова декодирует параметр предсказания, из каждых введённых в него кодированных данных, соответствующих подлежащему обработке расширенному МБ, и выводит параметр предсказания на узел 302 выведения возможных преобразований.
Этап §234: узел 302 выведения возможных преобразований выводит список возможных преобразований для каждого сегмента подлежащего обработке расширенного МБ на основе введённых в него правила выведения списка возможных преобразований и параметра предсказания и выводит список возможных преобразований на узел 401 декодирования кода с переменной длиной кодового слова.
Этап §235: узел 401 декодирования кода с переменной длиной кодового слова декодирует метку выбора преобразования, соответствующую подлежащему обработке МБ, на основе введённых в него кодированных данных и ограничения преобразования и выводит метку выбора преобразования на узел 109 восстановления остатка предсказания.
Этап §236: узел 401 декодирования кода с переменной длиной кодового слова декодирует коэффициент преобразования, соответствующий подлежащему обработке расширенному МБ, на основе введённых в него кодированных данных и метки выбора преобразования, выведенной на этапе §235, и выводит коэффициент преобразования на узел 109 восстановления остатка предсказания.
Этап §237: узел 103 выработки предсказанного изображения вырабатывает предсказанное изображение, соответствующее подлежащему обработке расширенному МБ, на основе введённого в него параметра предсказания и локального декодированного изображения, записанного в кадровой памяти 101, и выводит предсказанное изображение на узел 110 выработки локального декодированного изображения.
Этап §238: узел 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определённому введённой в него меткой выбора преобразования, к введённому в него коэффициенту преобразования, тем самым восстанавливая остаток предсказания, соответствующий подлежащему обработке расширенному МБ, и выводит остаток предсказания на узел 110 выработки локального декодированного изображения.
Этап §239: узел 110 выработки локального декодированного изображения вырабатывает локальное декодированное изображение на основе введённых в него остатка предсказания и предсказанного изображения, выводит локальное декодированное изображение на кадровую память 101 для записи локального декодированного изображения в кадровой памяти 101 и выводит вовне локальное декодированное изображение в качестве области в декодированных видеоданных, соответствующей подлежащему обработке блоку.
Как описано выше, согласно устройству 40 декодирования видеокадров декодированные видеоданные могут вырабатываться из кодированных данных, выработанных устройством 11 кодирования видеокадров.
Устройство кодирования видеокадров и устройство декодирования видеокадров в каждом варианте осуществления полностью или частично могут в основном быть выполнены в виде БИС (большой интегральной схемы), т.е. интегральной схемы. Каждый из функциональных блоков устройства кодирования видеокадров и устройства декодирования видеокадров может быть по отдельности выполнен в виде микросхемы, либо все эти функциональные блоки полностью или частично могут быть интегрированы в одну микросхему. Принцип их выполнения в виде интегральной схемы (схем) может быть осуществлён не только посредством БИС, но также посредством специализированной (специализированных) ИС или многоцелевого процессора (процессоров). Когда благодаря развитию полупроводниковой техники появится технология их выполнения в виде интегральной схемы (схем), превосходящей БИС, такая технология тоже может быть использована.
Список ссылочных позиций.
10 - устройство кодирования видеокадров;
11 - устройство декодирования видеокадров;
20 - устройство кодирования видеокадров;
21 - устройство декодирования видеокадров;
30 - устройство кодирования видеокадров;
40 - устройство декодирования видеокадров;
101 - кадровая память;
102 - узел определения параметра предсказания;
103 - узел выработки предсказанного изображения;
- 25 029351
104 - узел выведения ограничения преобразования;
105 - узел определения частотного преобразования;
106 - узел выработки остатка предсказания;
107 - узел выработки коэффициента трансформации;
108 - узел кодирования с переменной длиной кодового слова;
109 - узел восстановления остатка предсказания;
110 - узел выработки локального декодированного изображения;
111 - узел выведения возможных преобразований;
112 - узел определения частотного преобразования;
113 - узел кодирования с переменной длиной кодового слова;
201 - узел декодирования кода с переменной длиной кодового слова;
202 - узел декодирования кода с переменной длиной кодового слова;
301 - узел определения правила выведения списка возможных преобразований;
302 - узел выведения возможных преобразований;
303 - узел кодирования с переменной длиной кодового слова;
401 - узел декодирования кода с переменной длиной кодового слова.

Claims (2)

  1. ФОРМУЛА ИЗОБРЕТЕНИЯ
    1. Устройство декодирования видеокадров, предназначенное для выполнения обработки декодирования вводимых кодированных данных для каждого блока, содержащее
    узел декодирования кода с переменной длиной, предназначенный для декодирования сегментной структуры подлежащего обработке блока из введённых кодированных данных;
    узел выработки предсказанного изображения, предназначенный для выработки предсказанного изображения для каждого сегмента, определённого сегментной структурой; и
    узел выведения возможных преобразований, предназначенный для определения списка возможных преобразований, представляющего собой список применимых преобразований, на основе информации о форме сегмента, при этом информация о форме сегмента характеризует каждый сегмент в отношении размера сегмента, особенности формата сегмента или уровня в сегментной структуре, в котором
    узел декодирования с переменной длиной выполнен с возможностью декодирования метки выбора преобразования на основе введённых кодированных данных и списка возможных преобразований, наряду с декодированием коэффициента преобразования подлежащего обработке блока на основе метки выбора преобразования,
    устройство декодирования видеокадров дополнительно содержит
    узел восстановления остатка предсказания, предназначенный для восстановления остатка предсказания путём применения обратного преобразования к коэффициенту преобразования, причём обратное преобразование соответствует преобразованию, причём преобразование определено меткой выбора преобразования; и
    узел выработки локального декодированного изображения, предназначенный для вывода декодированных данных изображения на основе предсказанного изображения и остатка предсказания, причём декодированные данные изображения соответствуют подлежащему обработке блоку, в котором
    список применимых преобразований включен в заранее заданный набор преобразований, при этом заданный набор преобразований представляет собой заранее заданный используемый набор преобразований.
  2. 2. Устройство кодирования видеокадров, предназначенное для деления вводимых видеокадров на блоки заранее заданного формата и выполнения обработки кодирования для каждого блока, содержащее
    узел определения параметра предсказания, предназначенный для определения сегментной структуры блока;
    узел выработки предсказанного изображения, предназначенный для выработки предсказанного изображения для каждого сегмента, определённого сегментной структурой;
    узел выработки коэффициента преобразования, предназначенный для применения любого из преобразований, включённых в заранее заданный набор преобразований, к остатку предсказания, представляющему собой разность между предсказанным изображением и вводимыми видеокадрами;
    узел выведения возможных преобразований, предназначенный для определения списка возможных преобразований, представляющего собой список применимых преобразований, на основе информации о форме сегмента, при этом информация о форме сегмента характеризует каждый сегмент в отношении размера сегмента, особенности формата сегмента или уровня в сегментной структуре;
    узел определения частотного преобразования, предназначенный для определения для каждого из блоков метки выбора преобразования, обозначающей преобразование, подлежащее применению к остатку предсказания в блоке среди множества преобразований, включенных в список возможных преобразований; и
    узел кодирования с переменной длиной, предназначенный для кодирования с переменной длиной
    - 26 029351
    метки выбора преобразования на основе списка возможных преобразований;
    в котором заданный набор преобразований представляет собой заранее заданный используемый набор преобразований.
EA201690326A 2009-04-08 2010-03-17 Устройство кодирования видеокадров и устройство декодирования видеокадров EA029351B1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009093606 2009-04-08
JP2009146509 2009-06-19

Publications (2)

Publication Number Publication Date
EA201690326A1 EA201690326A1 (ru) 2016-10-31
EA029351B1 true EA029351B1 (ru) 2018-03-30

Family

ID=42936156

Family Applications (5)

Application Number Title Priority Date Filing Date
EA201690329A EA029773B1 (ru) 2009-04-08 2010-03-17 Способ декодирования видеокадров
EA201690326A EA029351B1 (ru) 2009-04-08 2010-03-17 Устройство кодирования видеокадров и устройство декодирования видеокадров
EA201101473A EA024522B1 (ru) 2009-04-08 2010-03-17 Устройство и способ кодирования видеокадров и устройство и способ декодирования видеокадров
EA201690324A EA029414B1 (ru) 2009-04-08 2010-03-17 Устройство кодирования видеокадров и устройство декодирования видеокадров
EA201690320A EA201690320A3 (ru) 2009-04-08 2010-03-17 Устройство кодирования видеокадров и устройство декодирования видеокадров

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EA201690329A EA029773B1 (ru) 2009-04-08 2010-03-17 Способ декодирования видеокадров

Family Applications After (3)

Application Number Title Priority Date Filing Date
EA201101473A EA024522B1 (ru) 2009-04-08 2010-03-17 Устройство и способ кодирования видеокадров и устройство и способ декодирования видеокадров
EA201690324A EA029414B1 (ru) 2009-04-08 2010-03-17 Устройство кодирования видеокадров и устройство декодирования видеокадров
EA201690320A EA201690320A3 (ru) 2009-04-08 2010-03-17 Устройство кодирования видеокадров и устройство декодирования видеокадров

Country Status (10)

Country Link
US (1) US8855203B2 (ru)
EP (1) EP2418855B1 (ru)
JP (3) JPWO2010116869A1 (ru)
CN (5) CN104717502B (ru)
BR (1) BRPI1014257B1 (ru)
EA (5) EA029773B1 (ru)
HK (4) HK1211398A1 (ru)
MX (1) MX2011010550A (ru)
MY (1) MY157572A (ru)
WO (1) WO2010116869A1 (ru)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479129B1 (ko) * 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
BR112012025206B1 (pt) 2010-04-09 2022-04-12 Mitsubishi Electric Corporation Dispositivo de decodificação de imagem em movimento
EP3493543B1 (en) 2010-12-17 2020-12-23 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image encoding method and moving image decoding method
CN102685487B (zh) 2011-03-16 2015-07-08 华为技术有限公司 图像编解码方法、图像编解码设备及网络系统
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
CN102857755B (zh) 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
JP2014523710A (ja) * 2011-07-22 2014-09-11 モトローラ モビリティ エルエルシー ビデオ・コーディングにおける直交形状変換をスキャンするためのデバイスおよび方法
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
US9247254B2 (en) 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
CN103096053B (zh) * 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
US9350996B2 (en) 2011-12-20 2016-05-24 Google Technology Holdings LLC Method and apparatus for last coefficient indexing for high efficiency video coding
CN102761742B (zh) * 2012-07-03 2017-06-06 华为技术有限公司 变换块划分方法，变换块划分参数的编码方法及解码方法
US10271067B2 (en) * 2013-01-07 2019-04-23 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding of slices in pictures of a video stream using different maximum transform sizes
JP6337380B2 (ja) * 2013-07-31 2018-06-06 サン パテント トラスト 画像符号化方法および画像符号化装置
JP6187826B2 (ja) 2014-02-04 2017-08-30 パナソニックＩｐマネジメント株式会社 動画像符号化装置及び動画像符号化方法
US9591313B2 (en) * 2014-03-04 2017-03-07 Vixs Systems, Inc. Video encoder with transform size preprocessing and methods for use therewith
CN108307192A (zh) * 2014-10-11 2018-07-20 华为技术有限公司 预测块的划分方法、编码设备和解码设备
EP3264775B1 (en) * 2015-02-27 2023-05-03 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus and reception method
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US20170150156A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
JP6784767B2 (ja) 2016-02-09 2020-11-11 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 効率的削減または効率的ランダムアクセスを可能にする画像／ビデオデータストリームについての概念
US10390048B2 (en) * 2016-02-15 2019-08-20 Qualcomm Incorporated Efficient transform coding using optimized compact multi-pass transforms
ES2710807B1 (es) 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
FR3057131A1 (fr) 2016-10-04 2018-04-06 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
FR3064870A1 (fr) * 2017-03-31 2018-10-05 B<>Com Procede de decodage d'au moins une image numerique, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
CN112601085A (zh) * 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
FR3068556A1 (fr) 2017-06-29 2019-01-04 B<>Com Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
WO2019151268A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
TWI731322B (zh) * 2018-03-29 2021-06-21 弗勞恩霍夫爾協會 變換組
TWI783390B (zh) * 2021-02-26 2022-11-11 圓展科技股份有限公司 影像處理系統及產生動態影像分割畫面的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
US20010038347A1 (en) * 2000-01-03 2001-11-08 N. Caleb Avery Efficient and lossless conversion for transmission or storage of data
US20050249291A1 (en) * 2004-05-07 2005-11-10 Stephen Gordon Method and system for generating a transform size syntax element for video decoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0945001B1 (en) * 1996-12-18 2003-04-23 Thomson Consumer Electronics, Inc. A multiple format video signal processor
US6529634B1 (en) * 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
DE10022331A1 (de) * 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur Transformationscodierung von Bewegtbildsequenzen
JP3679083B2 (ja) * 2002-10-08 2005-08-03 株式会社エヌ・ティ・ティ・ドコモ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
CN100387059C (zh) * 2003-02-21 2008-05-07 松下电器产业株式会社 图像解码方法
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种基于上下文的多码表变长编解码方法及编解码装置
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4889231B2 (ja) 2005-03-31 2012-03-07 三洋電機株式会社 画像符号化方法および装置、画像復号方法
JP2008219205A (ja) * 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法
JP4922101B2 (ja) * 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
JP4937224B2 (ja) * 2008-09-30 2012-05-23 株式会社東芝 画像符号化装置
KR101247923B1 (ko) * 2008-10-03 2013-03-26 퀄컴 인코포레이티드 4×4 및 8×8 보다 큰 변환을 이용한 비디오 코딩

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
US20010038347A1 (en) * 2000-01-03 2001-11-08 N. Caleb Avery Efficient and lossless conversion for transmission or storage of data
US20050249291A1 (en) * 2004-05-07 2005-11-10 Stephen Gordon Method and system for generating a transform size syntax element for video decoding

Also Published As

Publication number Publication date
CN104717504A (zh) 2015-06-17
CN104717505A (zh) 2015-06-17
CN102388614A (zh) 2012-03-21
JP2017028726A (ja) 2017-02-02
EA201690324A1 (ru) 2016-10-31
CN104717504B (zh) 2018-04-06
EP2418855B1 (en) 2017-12-27
EA201690320A3 (ru) 2016-10-31
CN102388614B (zh) 2015-04-29
US20120033731A1 (en) 2012-02-09
JP2015173505A (ja) 2015-10-01
JPWO2010116869A1 (ja) 2012-10-18
MY157572A (en) 2016-06-30
EP2418855A1 (en) 2012-02-15
EA029773B1 (ru) 2018-05-31
HK1211401A1 (en) 2016-05-20
EA201690326A1 (ru) 2016-10-31
CN104717503B (zh) 2018-12-04
EP2418855A4 (en) 2013-07-24
CN104717503A (zh) 2015-06-17
HK1211398A1 (en) 2016-05-20
BRPI1014257B1 (pt) 2021-03-09
BRPI1014257A2 (pt) 2016-04-12
EA201101473A1 (ru) 2012-04-30
WO2010116869A1 (ja) 2010-10-14
EA201690329A1 (ru) 2016-11-30
JP6012816B2 (ja) 2016-10-25
EA024522B1 (ru) 2016-09-30
EA201690320A2 (ru) 2016-09-30
HK1211399A1 (en) 2016-05-20
US8855203B2 (en) 2014-10-07
CN104717502B (zh) 2018-06-22
HK1211400A1 (en) 2016-05-20
EA029414B1 (ru) 2018-03-30
JP6239713B2 (ja) 2017-11-29
MX2011010550A (es) 2011-10-19
CN104717505B (zh) 2019-01-11
CN104717502A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
EA029351B1 (ru) Устройство кодирования видеокадров и устройство декодирования видеокадров
US11070802B2 (en) Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
JP6169554B2 (ja) ビデオ符号化のための簡素化されたイントラ予測
JP5474546B2 (ja) 低減された解像度の分割の方法及び装置
KR101538837B1 (ko) 변환 유닛 내의 다수 부호 비트 은폐
ES2664270T3 (es) Codificación por omisión de macrobloques
KR101479141B1 (ko) 트리 구조를 이용한 부호화/복호화 방법 및 장치
US10645410B2 (en) Video decoding apparatus
JP6282646B2 (ja) 現在ブロックの分割を予測することによるビデオ符号化方法、復号化方法、対応する符号化及び復号化装置、並びにコンピュータプログラム
KR20110027480A (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN103765891A (zh) 用于解码合并模式下的运动信息的装置
CN103081475A (zh) 编码和解码图像的方法及使用该方法的设备
KR20130110129A (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
KR20160114166A (ko) 인코딩 및 디코딩 방법과 장치
GB2496209A (en) Entropy encoder with first and second, bypass encoding systems
JP6961115B2 (ja) 画像復号装置、画像復号方法及びプログラム
CN111684810A (zh) 数据编码和解码
CN105027560A (zh) 确定用于变换系数的二进制码字的方法
MX2012013263A (es) Metodos y aparatos para intracodificar un bloque que tiene pixeles asignados a grupos.
TWI738167B (zh) 圖像編碼及解碼技術
CN107071406B (zh) 运动图像解码方法和编码方法
JP7034363B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP6835337B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP2022087335A (ja) 画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
MM4A Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s)

Designated state(s): AM AZ BY KZ KG MD TJ TM