EA027182B1 - Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, система кодирования/декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений - Google Patents

Abstract

Блок определения частотного преобразования определяет, объединяют или нет множество смежных целевых областей преобразования с границей раздела, расположенной между ними. Блок генерации коэффициентов преобразования генерирует посредством применения одного частотного преобразования коэффициент преобразования для целевых областей преобразования, для которых блок определения частотного преобразования определил, что их нужно объединять.

Description

Область техники

Данный вариант осуществления настоящего изобретения относится к устройствам кодирования движущихся изображений, устройствам декодирования движущихся изображений, системам кодирования/декодирования движущихся изображений, способу кодирования движущихся изображений и способу декодирования движущихся изображений.

Данная заявка запрашивает приоритет японских патентных заявок № 2009-241904 и 2009-259856, соответственно поданных 20 октября 2009 и 13 ноября 2009 в патентное бюро Японии (ΣΡΘ), все содержимое которых включено в данный документ посредством ссылки.

Предшествующий уровень техники

В основанной на блоках схеме кодирования движущихся изображений, такой как схема кодирования движущихся изображений (см. непатентный документ 1), определенная в Н.264/АУС (расширенное кодирование видеосигнала), устройство кодирования движущихся изображений делит вводимое движущееся изображение, которое является целью кодирования, на предопределенные блоки обработки, называемые макроблоками (МБ), и выполняет процесс кодирования каждого макроблока для генерации закодированных данных. Когда движущееся изображение воспроизводят, устройство декодирования движущихся изображений обрабатывает и декодирует закодированные данные, которые являются целью декодирования, в единицы макроблоков, для генерации декодированного изображения.

В схеме кодирования движущихся изображений, определенной в Н.264/АУС, устройство кодирования движущихся изображений генерирует предсказанное изображение, которое аппроксимирует вводимое движущееся изображение, разделенное на единицы макроблоков, и вычисляет остаток предсказания, который является разницей между вводимым движущимся изображением и предсказанным изображением. Дополнительно, устройство кодирования движущихся изображений применяет частотное преобразование, типичным примером которого является дискретное косинусное преобразование (ОСТ), к вычисленному остатку предсказания для генерации коэффициента преобразования. Устройство кодирования движущихся изображений выполняет кодирование с переменной длиной слова сгенерированного коэффициента преобразования, используя способ, называемый САВАС (контекстно-зависимое адаптивное бинарное арифметическое кодирование) или САУЪС (контекстно-зависимое адаптивное кодирование с переменной длиной слова).

В данном случае предсказанное изображение генерируют посредством внутреннего предсказания, используя пространственную корреляцию между движущимися изображениями, или внешнего предсказания, используя временную корреляцию между движущимися изображениями (предсказание с компенсацией движения).

При внешнем предсказании Н.264/АУС устройство кодирования движущихся изображений генерирует изображение, которое аппроксимирует вводимое движущееся изображение для каждого из разделов, которые являются областями, на которые делят макроблок, и соединяет сгенерированные изображения для генерации предсказанного изображения, которое аппроксимирует вводимое движущееся изображение макроблока, который является целью кодирования. В частности, устройство кодирования движущихся изображений сначала делит каждый макроблок вводимого движущегося изображения на разделы. Устройство кодирования движущихся изображений выбирает одно изображение для каждого раздела из числа изображений, называемых локальными декодированными изображениями, записанных в запоминающем устройстве кадра, и определяет область, которая аппроксимирует раздел в выбранном изображении. Это изображение, выбранное из локальных декодированных изображений, называют опорным изображением. Дополнительно, область, которая аппроксимирует раздел, является областью, имеющей тот же самый размер, как исходный раздел. Дополнительно, устройство кодирования движущихся изображений генерирует один или два вектора движения, каждый указывает сдвиг между позицией раздела в макроблоке вводимого движущегося изображения и позицией области, которая аппроксимирует раздел в опорном изображении, для каждого раздела. Дополнительно, устройство кодирования движущихся изображений соединяет изображения, которые аппроксимируют соответствующие разделы, для генерации предсказанного изображения.

В Н.264/АУС определены такие размеры раздела, как 16 пикселей по горизонтали х16 пикселей по вертикали, 16 пикселей по горизонтали х8 пикселей по вертикали, 8 пикселей по горизонтали х16 пикселей по вертикали, 8 пикселей по горизонтали х8 пикселей по вертикали, 8 пикселей по горизонтали х4 пикселя по вертикали, 4 пикселя по горизонтали х 8 пикселей по вертикали и 4 пикселя по горизонтали х4 пикселя по вертикали. Если используются разделы небольшого размера, то вектор движения можно определять точно для генерации предсказанного изображения. Соответственно даже когда пространственная корреляция движения является небольшой, можно генерировать предсказанное изображение, которое является близким к вводимому движущемуся изображению. С другой стороны, если используются разделы большого размера, то размер кода, необходимого для кодирования вектора движения, можно уменьшать, когда пространственная корреляция движения большая.

В Н.264/АУС устройство кодирования движущихся изображений генерирует остаток предсказания, который является разницей между вводимым движущимся изображением и предсказанным изображени- 1 027182 ем, таким образом уменьшая пространственную или временную избыточность пиксельных значений вводимого движущегося изображения и уменьшая размер кода. Дополнительно, устройство кодирования движущихся изображений применяет дискретное косинусное преобразование к остатку предсказания, таким образом концентрируя энергию на низкочастотном компоненте. Такое смещение энергии используется для кодирования низкочастотного компонента, который легко считывается человеческими глазами, с высокой степенью детализации, и для кодирования высокочастотного компонента, который тяжело считывается человеческими глазами, с грубой степенью детализации, таким образом уменьшая размер кода закодированных данных.

Когда выполняют дискретное косинусное преобразование, в Н.264/АУС используют схему выбора дискретного косинусного преобразования, подходящего для локальной характеристики движущееся изображения, из дискретных косинусных преобразований множества размеров преобразования (блочный адаптивный выбор преобразования). Например, когда предсказанное изображение генерируют посредством внешнего предсказания, дискретное косинусное преобразование, которое должно быть применено к преобразованию остатка предсказания, выбирают из двух типов дискретных косинусных преобразований, т.е. 8x8 ОСТ и 4x4 ОСТ. 8x8 ОСТ является преобразованием, при котором выполняют дискретное косинусное преобразование по области 8 пикселей по горизонтали х8 пикселей по вертикали, а 4x4 ОСТ является преобразованием, при котором выполняют дискретное косинусное преобразование по области 4 пикселя по горизонтали х4 пикселя по вертикали. 8x8 ОСТ эффективно для однородной области, в которой количество высокочастотных компонентов относительно меньше, поскольку пространственная корреляция пиксельных значений может использоваться в широком диапазоне. С другой стороны, 4x4 ОСТ эффективно в области, в которой существует больше высокочастотных компонентов, которые содержат контуры объектов. Дополнительно, в Н.264/ЛУС, когда площадь раздела равна или больше 8x8 пикселей, можно выбирать или 8x8 ОСТ, или 4x4 ОСТ. Когда размер раздела меньше 8 пикселей по горизонтали x8 пикселей по вертикали, выбирают 4x4 ОСТ.

Таким образом, в Н.264/АУС соответствующий раздел или размер преобразования выбирают согласно степени пространственной корреляции пиксельных значений или пространственной корреляции векторов движения, которые являются локальной характеристикой движущегося изображения, таким образом уменьшая размер кода закодированных данных.

Документ предшествующего уровня техники

Непатентный документ

Непатентный документ 1. 1ТИ-Т Кесоттепбайои Н.264, 18О/1ЕС 14496-10.

Раскрытие изобретения

Проблема, которая должна быть решена в соответствии с изобретением

В Н.264/АУС, частотное преобразование можно адаптивно выбирать и использовать для каждого раздела между двумя размерами 8x8 ОСТ и 4x4 ОСТ, как описано выше. Соответственно можно улучшать эффективность кодирования, используя пространственную корреляцию в разделе. Однако в обычной технологии кодирования движущихся изображений, такой как Н.264/АУС, пространственная корреляция между областями, определенными в качестве цели частотного преобразования, в частности, пространственная корреляция между разделами, не отражается на эффективности кодирования. Соответственно даже когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию, можно улучшать эффективность кодирования. Дополнительно, даже в пределах одного раздела, когда области, между которыми пространственная корреляция является высокой, являются смежными друг другу, можно дополнительно улучшать эффективность кодирования посредством объединения этих областей и выполнения частотного преобразования. Однако, в Н.264/АУС размер частотного преобразования ограничен двумя размерами 8x8 ОСТ и 4x4 ОСТ.

Дополнительно, определение того, какой размер частотного преобразования применяют из размеров 8x8 ОСТ и 4x4 ОСТ, выполняют посредством оценки показателя искажения в зависимости от скорости, как результат фактического выполнения частотного преобразования, что увеличивает количество вычислений при кодировании.

Данный вариант осуществления настоящего изобретения сделан ввиду описанных выше обстоятельств, и задачей данного варианта осуществления настоящего изобретения является обеспечение устройства кодирования движущихся изображений, устройства декодирования движущихся изображений, системы кодирования/декодирования движущихся изображений, способа кодирования движущихся изображений и способа декодирования движущихся изображений, которые могут улучшать эффективность кодирования, когда множество смежных областей имеют высокую пространственную корреляцию.

Техническое решение

Данный вариант осуществления настоящего изобретения сделан для решения вышеописанной проблемы, первым аспектом настоящего изобретения является устройство кодирования движущихся изображений, которое включает в себя: блок ввода изображения, который делит кадр вводимого движущегося изображения на единицы макроблоков; блок определения структуры разделов, который дополнительно делит макроблок на разделы; блок деления области частотного преобразования, который делит макроблок на целевые области преобразования, по меньшей мере одна целевая область

- 2 027182 роблок на целевые области преобразования, по меньшей мере одна целевая область преобразования включает в себя области поверх разделов; блок генерации коэффициентов преобразования, который применяет частотное преобразование к каждой из целевых областей преобразования, полученных делением посредством блока деления области частотного преобразования, для генерации коэффициента преобразования; и блок вывода закодированных данных, который выводит закодированные данные, полученные посредством кодирования без потерь коэффициента преобразования.

Так как данное устройство кодирования движущихся изображений применяет частотное преобразование к целевым областям преобразования поверх разделов, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию.

В первом аспекте настоящего изобретения устройство кодирования движущихся изображений может включать в себя: блок хранения локальных декодированных изображений, который хранит локальное декодированное изображение, которое является декодированным изображением макроблока, для которого сгенерирован коэффициент преобразования; блок генерации предсказанного изображения, который выбирает опорное изображение для каждого раздела из числа локальных декодированных изображений, хранящихся в блоке хранения локальных декодированных изображений, и генерирует предсказанное изображение, основываясь на выбранном опорном изображении; и блок генерации остатка предсказания, который генерирует остаток предсказания, который является разницей между пиксельными значениями предсказанного изображения и макроблока.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может делить макроблок на целевые области преобразования согласно частотному преобразованию, применяющемуся к каждому разделу, и устанавливать область, полученную посредством объединения целевых областей преобразования, которые являются смежными друг другу и включенными в различные разделы, в качестве одной из целевых областей преобразования поверх разделов, когда определяют, что пространственная корреляция между остатками предсказания в объединенной области является высокой.

Так как данное устройство кодирования движущихся изображений использует область, полученную посредством объединения целевых областей преобразования, включенных в различные разделы, в качестве одной из вышеописанных целевых областей преобразования поверх разделов, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может генерировать информацию объединения преобразования, указывающую целевую область преобразования поверх разделов, и блок вывода закодированных данных может содержать в закодированных данных информацию объединения преобразования и затем выводить упомянутую информацию объединения преобразования.

Так как данное устройство кодирования движущихся изображений выводит информацию объединения преобразования, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, основываясь на выводимой информации объединения преобразования.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может определять, является ли высокой пространственная корреляция между остатками предсказания в целевых областях преобразования поверх разделов, основываясь на количествах особенностей изображений областей, соответствующих целевым областям преобразования, на предсказанном изображении.

Так как данное устройство кодирования движущихся изображений определяет, является ли высокой пространственная корреляция между остатками предсказания в целевых областях преобразования поверх разделов, основываясь на количествах особенностей изображения области, соответствующей целевой области преобразования, на предсказанном изображении, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию, применяя одно частотное преобразование к целевым областям преобразования, между которыми, как определено, пространственная корреляция является высокой.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может определять, является ли высокой пространственная корреляция между остатками предсказания в целевых областях преобразования поверх разделов, основываясь на разнице между пиксельными значениями пикселей, которые являются смежными друг другу и принадлежат различным разделам, из числа пикселей в области, соответствующей целевой области преобразования на предсказанном изображении.

Так как данное устройство кодирования движущихся изображений определяет, является ли высокой пространственная корреляция между остатками предсказания в целевых областях преобразования поверх разделов, основываясь на пиксельных значениях предсказанного изображения, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию, применяя одно частотное преобразование к целевым областям преобразования, между которыми, как определено, пространственная корреляция является высокой.

- 3 027182

Дополнительно, так как определение относительно того, является ли высокой пространственная корреляция, выполняют, используя предсказанное изображение, подобное определение может быть сделано даже в устройстве декодирования движущихся изображений, и данные объединенной целевой области преобразования, передающиеся от устройства кодирования движущихся изображений к устройству декодирования движущихся изображений, могут быть опущены. Соответственно можно уменьшать размер кода передаваемых данных.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может определять, является ли высокой пространственная корреляция между остатками предсказания в целевых областях преобразования поверх разделов, основываясь на одном или больше из того, являются ли одинаковыми режимы предсказания в областях, соответствующих целевым областям преобразования на предсказанном изображении, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования.

Так как данное устройство кодирования движущихся изображений определяет, является ли высокой пространственная корреляция между остатками предсказания в целевых областях преобразования поверх разделов, основываясь на одном или больше из того, являются ли одинаковыми режимы предсказания, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию, применяя одно частотное преобразование к целевым областям преобразования, между которыми, как определено, пространственная корреляция является высокой.

Дополнительно, так как определение относительно того, является ли высокой пространственная корреляция, выполняют, используя режим предсказания, подобное определение может быть сделано даже в устройстве декодирования движущихся изображений, и данные объединенных целевых областей преобразования, передающиеся от устройства кодирования движущихся изображений к устройству декодирования движущихся изображений, могут быть опущены. Таким образом можно уменьшать размер кода передаваемых данных.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может определять, является ли высокой пространственная корреляция между остатками предсказания в области, полученной посредством объединения целевых областей преобразования, которые являются смежными друг другу и включенными в различные разделы, основываясь на одном или больше из того, являются ли одинаковыми выбранные опорные изображения для двух разделов, в которые включена объединенная область, разницы между размерами векторов движения двух разделов, в которые включена объединенная область, и соотношения размеров векторов движения.

Так как данное устройство кодирования движущихся изображений определяет, является ли высокой пространственная корреляция между остатками предсказания в области, полученной посредством объединения целевых областей преобразования, включенных в различные разделы, используя сходство опорных изображений или векторов движения, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию, применяя одно частотное преобразование к целевым областям преобразования, между которыми, как определено, пространственная корреляция является высокой.

Кроме того, так как определение относительно того, является ли высокой пространственная корреляция, выполняют, используя сходство опорных изображений или векторов движения, подобное определение может быть выполнено даже в устройстве декодирования движущихся изображений, принимающем информацию опорных изображений или выводимых векторов движения, и данные объединенных целевых областей преобразования, передающиеся от устройства кодирования движущихся изображений к устройству декодирования движущихся изображений, могут быть опущены. Соответственно можно уменьшать размер кода передаваемых данных.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может определять, является ли высокой пространственная корреляция между остатками предсказания в области, полученной посредством объединения целевых областей преобразования, которые являются смежными друг другу и включенными в различные разделы, основываясь на коэффициентах преобразования, полученных посредством применения частотных преобразований к целевым областям преобразования, которые являются смежными друг другу и включенными в различные разделы, или основываясь на результате сравнения одного или обоих из размера кода и показателя искажения в зависимости от скорости, когда целевые области преобразования объединены и когда целевые области преобразования не объединены.

Так как данное устройство кодирования движущихся изображений определяет, является ли высокой пространственная корреляция между остатками предсказания в области, полученной посредством объе- 4 027182 динения целевых областей преобразования, включенных в различные разделы, основываясь на коэффициентах преобразования областей, для которых выполняют определение относительно того, должно ли выполняться объединение, или на результате сравнения одного или обоих из размеров кода и показателей искажения в зависимости от скорости, когда области объединены и когда области не объединены, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию, применяя одно частотное преобразование к целевым областям преобразования, между которыми, как определено, пространственная корреляция является высокой.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может генерировать объединенную информацию выбора преобразования, которая указывает конфигурацию целевых областей преобразования в макроблоке и частотное преобразование, применяющееся к каждой целевой области преобразования, и блок вывода закодированных данных может содержать объединенную информацию выбора преобразования в закодированных данных и затем выводить объединенную информацию выбора преобразования.

Данное устройство кодирования движущихся изображений генерирует объединенную информацию выбора преобразования. Данное устройство кодирования движущихся изображений выводит объединенную информацию выбора преобразования таким образом, что устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, основываясь на выводимой объединенной информации выбора преобразования.

В первом аспекте настоящего изобретения блок деления области частотного преобразования может выбирать образец деления, применяющийся к макроблоку, из набора образцов деления, для деления макроблока на области, к которым применяют частотные преобразования, любая из областей, к которым применяют частотные преобразования, включает в себя образцы деления по разделам, чтобы таким образом делить макроблок на области, которые включают в себя области поверх разделов.

Данное устройство кодирования движущихся изображений делит макроблок на области, которые включают в себя области по разделам, используя образец деления. Соответственно когда частотное преобразование применяют к полученной в результате деления области, одно частотное преобразование может быть применено к областям поверх разделов, и можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию.

В первом аспекте настоящего изобретения блок вывода закодированных данных может содержать в закодированных данных информацию, указывающую образец деления, выбранный блоком деления области частотного преобразования, и затем выводить упомянутую информацию.

Так как данное устройство кодирования движущихся изображений выводит информацию, указывающую образец деления, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, основываясь на выводимом образце деления.

Вторым аспектом настоящего изобретения является устройство кодирования движущихся изображений, включающее в себя: блок ввода изображения, который делит кадр вводимого движущегося изображения на единицы макроблоков; блок определения структуры разделов, который дополнительно делит макроблок на разделы; блок деления области частотного преобразования, который делит макроблок на целевые области преобразования, которые являются областями, к которым применяют частотные преобразования, и объединяет по меньшей мере одну из целевых областей преобразования, которые являются смежными друг другу, основываясь на индексе, указывающем пространственную корреляцию, для генерации новой целевой области преобразования; блок генерации коэффициентов преобразования, который применяет частотное преобразование к каждой из целевых областей преобразования, полученных делением посредством блока деления области частотного преобразования, для генерации коэффициента преобразования; и блок вывода закодированных данных, который выводит закодированные данные, полученные посредством кодирования без потерь коэффициента преобразования.

Так как данное устройство кодирования движущихся изображений устанавливает область, полученную посредством объединения смежных целевых областей преобразования, в качестве одной целевой области преобразования, основываясь на индексе, указывающем пространственную корреляцию, можно улучшать эффективность кодирования.

Во втором аспекте настоящего изобретения устройство кодирования движущихся изображений может включать в себя: блок хранения локальных декодированных изображений, который хранит локальное декодированное изображение, которое является декодированным изображением макроблока, для которого сгенерирован коэффициент преобразования; блок генерации предсказанного изображения, который выбирает опорное изображение для каждого раздела из числа локальных декодированных изображений, хранящихся в блоке хранения локальных декодированных изображений, и генерирует предсказанное изображение, основываясь на выбранном опорном изображении; и блок генерации остатка предсказания, который генерирует остаток предсказания, который является разницей между пиксельными значениями предсказанного изображения и макроблока.

Во втором аспекте настоящего изобретения индекс, указывающий пространственную корреляцию,

- 5 027182 может быть определен, основываясь на разнице между пиксельными значениями смежных пикселей из числа пикселей в области, соответствующей целевой области преобразования на предсказанном изображении.

Так как данное устройство кодирования движущихся изображений объединяет смежные целевые области преобразования, основываясь на разнице между пиксельными значениями смежных пикселей из числа пикселей в пределах областей, соответствующих смежным целевым областям преобразования на предсказанном изображении, можно улучшать эффективность кодирования посредством объединения областей, для которых определили, что они имеют высокую пространственную корреляцию, и применения одного частотного преобразования к объединенной области.

Во втором аспекте настоящего изобретения индекс, указывающий пространственную корреляцию, может быть определен, основываясь на одном или больше из того: являются ли одинаковыми режимы предсказания в областях, соответствующих целевым областям преобразования на предсказанном изображении, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования.

Так как данное устройство кодирования движущихся изображений объединяет целевые области преобразования, основываясь на одном или больше из того, являются ли одинаковыми режимы предсказания в областях, соответствующих смежным целевым областям преобразования на предсказанном изображении, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования, можно улучшать эффективность кодирования посредством объединения областей, для которых определили, что они имеют высокую пространственную корреляцию, и посредством применения одного частотного преобразования к объединенной области.

Во втором аспекте настоящего изобретения блок деления области частотного преобразования может генерировать информацию объединения преобразования, указывающую новую целевую область преобразования, сгенерированную посредством объединения смежных целевых областей преобразования, основываясь на индексе, указывающем пространственную корреляцию, и блок вывода закодированных данных может содержать информацию объединения преобразования в закодированных данных, и выводить информацию объединения преобразования.

Так как данное устройство кодирования движущихся изображений выводит информацию объединения преобразования, устройство декодирования движущихся изображений может выполнять обратное частотное преобразование, основываясь на информации объединения преобразования.

Третьим аспектом настоящего изобретения является устройство декодирования движущихся изображений, которое включает в себя: блок декодирования кода без потерь, который выполняет декодирование кода без потерь, деление на макроблоки в отношении закодированных данных, полученных посредством кодирования движущегося изображения; блок генерации локального декодированного изображения, который применяет к каждой из целевых областей преобразования, на которые разделен макроблок, причем по меньшей мере одна из целевых областей преобразования включает в себя целевую область преобразования поверх разделов, обратное частотное преобразование, соответствующее целевой области преобразования, для генерации локального декодированного изображения; и блок вывода движущегося изображения, который соединяет локальные декодированные изображения для генерации движущегося изображения и выводит это движущееся изображение.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование к целевым областям преобразования поверх разделов для генерации локального декодированного изображения, можно генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения устройство декодирования движущихся изображений может включать в себя: блок хранения локальных декодированных изображений, который хранит локальное декодированное изображение, которое является изображением, полученным посредством декодирования закодированных данных в единицы макроблоков; блок генерации предсказанного изображения, который выбирает опорное изображение из локальных декодированных изображений, хранящихся в блоке хранения локальных декодированных изображений для каждого из разделов, на которые дополнительно разделен макроблок, и генерирует предсказанное изображение, основываясь на выбранном опорном изображении; и блок восстановления остатка предсказания, который применяет к каждой целевой области преобразования обратное частотное преобразование, соответствующее целевой области преобразования, для генерации остатка предсказания, причем блок генерации локального декодированного изображения суммирует предсказанное изображение и остаток предсказания для каждого пикселя для генерации локального декодированного изображения.

В третьем аспекте настоящего изобретения информация объединения преобразования, указываю- 6 027182 щая целевые области преобразования поверх разделов могут содержаться в закодированных данных, устройство декодирования движущихся изображений может дополнительно включать в себя блок определения целевой области преобразования, который определяет целевые области преобразования, основываясь на информации объединения преобразования, и блок восстановления остатка предсказания может применять обратное частотное преобразование к каждой целевой области преобразования, определенной посредством блока определения целевой области преобразования, для генерации остатка предсказания.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на информации объединения преобразования, содержащейся в закодированных данных, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения устройство декодирования движущихся изображений может дополнительно включать в себя: блок определения целевой области преобразования, который определяет целевые области преобразования поверх разделов, основываясь на индексе, указывающем пространственную корреляцию между областями, причем блок восстановления остатка предсказания может применять обратное частотное преобразование к каждой целевой области преобразования, определенной посредством блока определения целевой области преобразования, для генерации остатка предсказания.

Так как блок определения целевой области преобразования определяет целевые области преобразования поверх разделов, основываясь на индексе, указывающем пространственную корреляцию области, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения блок определения целевой области преобразования может использовать в качестве индекса, указывающего пространственную корреляцию, разницу между пиксельными значениями в предсказанном изображении, которые соответствуют соответствующим пикселям, которые являются смежными друг другу и принадлежат различным разделам в целевой области.

В данном устройстве декодирования движущихся изображений блок определения целевой области преобразования использует разницу между пиксельными значениями на предсказанном изображении, соответствующем соответствующим пикселям, которые являются смежными друг другу и принадлежат различным разделам в целевой области в качестве индекса, указывающего пространственную корреляцию этой целевой области. Определение целевых областей преобразования поверх разделов, основываясь на этом индексе, предоставляет возможность генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения блок определения целевой области преобразования может использовать в качестве индекса, указывающего пространственную корреляцию, одно или большее количество из того, являются ли одинаковыми режимы предсказания в целевых областях преобразования на предсказанных изображениях, соответствующих целевым областям преобразования, которые являются смежными друг другу и принадлежат различным разделам из числа целевых областей, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования.

В данном устройстве декодирования движущихся изображений блок определения целевой области преобразования использует одно или большее из того: являются ли одинаковыми режимы предсказания в целевых областях преобразования на предсказанном изображении, соответствующем соответствующим пикселям, которые являются смежными друг другу и принадлежат различным разделам в целевой области, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования, в качестве индекса, указывающего пространственную корреляцию этой целевой области. Определение целевых областей преобразования поверх разделов, основываясь на этом индексе, предоставляет возможность генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения блок определения целевой области преобразования может использовать в качестве индекса, указывающего пространственную корреляцию, одно или большее из того, являются ли одинаковыми опорные изображения, выбранные для двух разделов, в которые включена целевая область, разницы между размерами векторов движения двух разделов, в которые включена целевая область, и соотношения размеров векторов движения.

В данном устройстве декодирования движущихся изображений блок определения целевой области

- 7 027182 преобразования использует в качестве индекса, указывающего пространственную корреляцию целевой области, любое из следующего: являются ли одинаковыми опорные изображения, выбранные для каждого из двух разделов, в которые включена целевая область, разницы между размерами векторов движения двух разделов, в которые включена целевая область, и соотношения размеров векторов движения. Определение целевых областей преобразования поверх разделов, основываясь на этом индексе, предоставляет возможность генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения объединенная информация выбора преобразования, указывающая конфигурацию в макроблоке целевых областей преобразования, к которым устройство кодирования движущихся изображений, которое сгенерировало закодированные данные, возможно применило частотное преобразование, содержится в закодированных данных, и блок восстановления остатка предсказания может применять обратное частотное преобразование к каждой целевой области преобразования, указанной посредством объединенной информации выбора преобразования, для генерации остатка предсказания.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на объединенной информации выбора преобразования, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения блок восстановления остатка предсказания может выбирать образец деления, применяющийся к макроблоку, из набора образцов деления, для деления макроблока на области, к которым применяют частотные преобразования, любая из областей, к которым применяют частотные преобразования, включает в себя образцы деления поверх разделов, основываясь на том же критерии, что и устройство кодирования движущихся изображений, сгенерировавшее закодированные данные, и применяет обратное частотное преобразование к макроблоку, основываясь на выбранном образце деления.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на образце деления, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

Третьим аспектом настоящего изобретения является информация, указывающая образец деления, применяемый к макроблоку посредством устройства кодирования движущихся изображений, которое сгенерировало закодированные данные, которая содержится в закодированных данных, и блок восстановления остатка предсказания устанавливает образец деления, указанный посредством информации, содержащейся в закодированных данных, в качестве образца деления, который применяют к макроблоку, который является целью обработки.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на образце деления, содержащемся во вводимых данных, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

В третьем аспекте настоящего изобретения блок восстановления предсказанного изображения может выбирать образец деления, который должен быть применен к макроблоку, из набора образцов деления, основываясь на конфигурации макроблока и разделов в макроблоке.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на образце деления, выбранном блоком восстановления предсказанного изображения, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

Четвертым аспектом настоящего изобретения является устройство декодирования движущихся изображений, которое включает в себя: блок декодирования кода без потерь, который выполняет декодирование кода без потерь и деление на макроблоки в отношении закодированных данных, полученных посредством кодирования движущегося изображения; блок генерации локального декодированного изображения, который применяет к каждой из целевых областей преобразования, на которые разделен макроблок, причем целевая область преобразования включает в себя по меньшей мере одну целевую область преобразования, объеденную, основываясь на индексе, указывающем пространственную корреляцию, обратное частотное преобразование, соответствующее целевой области преобразования, для генерации локального декодированного изображения; и блок вывода движущегося изображения, который соединяет локальные декодированные изображения для генерации движущегося изображения и выводит движущееся изображение.

Так как данное устройство декодирования движущихся изображений применяет обратное частотное преобразование к объединенной целевой области преобразования для генерации локального декодиро- 8 027182 ванного изображения, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области.

В четвертом аспекте настоящего изобретения устройство декодирования движущихся изображений может включать в себя: блок хранения локальных декодированных изображений, который хранит локальное декодированное изображение, которое является изображением, полученным посредством декодирования закодированных данных в блоках макроблоков; блок генерации предсказанного изображения, который выбирает опорное изображение для каждого из разделов, на которые макроблок дополнительно разделен, из локальных декодированных изображений, хранящихся в блоке хранения локальных декодированных изображений, и генерирует предсказанное изображение, основываясь на выбранном опорном изображении; и блок восстановления остатка предсказания, который применяет к каждой целевой области преобразования обратное частотное преобразование, соответствующее целевой области преобразования, для генерации остатка предсказания, причем блок генерации локального декодированного изображения может суммировать предсказанное изображение и остаток предсказания для каждого пикселя для генерации локального декодированного изображения.

В четвертом аспекте настоящего изобретения информация объединения преобразования, указывающая целевую область преобразования, объединенную, основываясь на индексе, указывающем пространственную корреляцию, может содержаться в закодированных данных, устройство декодирования движущихся изображений может дополнительно включать в себя блок определения целевой области преобразования, который определяет целевые области преобразования, основываясь на информации объединения преобразования, и блок восстановления остатка предсказания может применять обратное частотное преобразование к каждой из целевых областей преобразования, определенных посредством блока определения целевой области преобразования, для генерации остатка предсказания.

Данное устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области посредством блока определения целевой области преобразования, который определяет целевые области преобразования, основываясь на информации объединения преобразования.

В четвертом аспекте настоящего изобретения устройство декодирования движущихся изображений может дополнительно включать в себя: блок определения целевой области преобразования, который определяет целевую область преобразования, объединенную, основываясь на индексе, указывающем пространственную корреляцию области, причем блок восстановления остатка предсказания может применять обратное частотное преобразование к каждой целевой области преобразования, определенной посредством блока определения целевой области преобразования, для генерации остатка предсказания.

Так как блок определения целевой области преобразования определяет целевые области преобразования, основываясь на индексе, указывающем пространственную корреляцию, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области и не выводит информацию объединения преобразования.

В четвертом аспекте настоящего изобретения блок определения целевой области преобразования может использовать разницу между пиксельными значениями на предсказанном изображении, соответствующем соответствующим смежным пикселям в целевой области, в качестве индекса, указывающего пространственную корреляцию.

Данное устройство декодирования движущихся изображений использует разницу между пиксельными значениями на предсказанном изображении, соответствующем соответствующим смежным пикселям в смежной целевой области преобразования, в качестве индекса, указывающего пространственную корреляцию, и таким образом, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области и не выводит информацию объединения преобразования.

В четвертом аспекте настоящего изобретения блок определения целевой области преобразования может использовать одно или большее из того, являются ли одинаковыми режимы предсказания в целевых областях преобразования на предсказанном изображении, соответствующих смежным целевым областям преобразования в целевой области, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования, в качестве индекса, указывающего пространственную корреляцию.

Поскольку данное устройство декодирования движущихся изображений использует одно или большее из того, являются ли одинаковыми режимы предсказания в целевых областях преобразования на предсказанном изображении, соответствующих смежным целевым областям преобразования в целевой области, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными посредством режимов предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствую- 9 027182 щую другой целевой области преобразования, в качестве индекса, указывающего пространственную корреляцию, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области и не выводит информацию объединения преобразования.

Пятым аспектом настоящего изобретения является система кодирования/декодирования движущихся изображений, которая включает в себя устройство кодирования движущихся изображений, которое принимает ввод движущегося изображения и выводит закодированные данные, и устройство декодирования движущихся изображений, которое декодирует закодированные данные, выводимые устройством кодирования движущихся изображений, для генерации движущегося изображения, причем устройство кодирования движущихся изображений включает в себя: блок ввода изображения, который делит кадр вводимого движущегося изображения на единицы макроблоков; блок определения структуры разделов, который дополнительно делит макроблок на разделы; блок деления области частотного преобразования, который делит макроблок на целевые области преобразования, по меньшей мере одна целевая область преобразования включает в себя области по разделам; блок генерации коэффициентов преобразования, который применяет частотное преобразование к каждой из целевых областей преобразования, полученных делением посредством блока деления области частотного преобразования, для генерации коэффициента преобразования; и блок вывода закодированных данных, который выводит закодированные данные, полученные посредством кодирования без потерь коэффициента преобразования, и устройство декодирования движущихся изображений включает в себя: блок декодирования кода без потерь, который выполняет декодирование кода без потерь и деление на макроблоки по закодированным данным; блок генерации локального декодированного изображения, который применяет к каждой из целевых областей преобразования, на которые разделен макроблок, причем по меньшей мере одна из целевых областей преобразования включает в себя целевую область преобразования по разделам, обратное частотное преобразование, соответствующее целевой области преобразования, для генерации локального декодированного изображения; и блок вывода движущегося изображения, который соединяет локальные декодированные изображения для генерации движущегося изображения и выводит движущееся изображение.

В этой системе кодирования/декодирования движущихся изображений, так как устройство кодирования движущихся изображений применяет частотное преобразование к областям по разделам, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию. Дополнительно, так как устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на информации, указывающей области по разделам, к которым устройство кодирования движущихся изображений применило частотное преобразование, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы. [36] Шестым аспектом настоящего изобретения является система кодирования/декодирования движущихся изображений, включающая в себя устройство кодирования движущихся изображений, которое принимает вводимое движущееся изображение и выводит закодированные данные, и устройство декодирования движущихся изображений, которое декодирует закодированные данные, выводимые устройством кодирования движущихся изображений, для генерации движущегося изображения, причем устройство кодирования движущихся изображений включает в себя: блок ввода изображения, который делит кадр вводимого движущегося изображения на единицы макроблоков; блок определения структуры разделов, который дополнительно делит макроблок на разделы; блок деления области частотного преобразования, который делит макроблок на целевые области преобразования, которые являются областями, к которым применяют частотные преобразования, и объединяет по меньшей мере одну из целевых областей преобразования, которые являются смежными друг другу, основываясь на индексе, указывающем пространственную корреляцию, для генерации новой целевой области преобразования; блок генерации коэффициентов преобразования, который применяет частотное преобразование к каждой из целевых областей преобразования, полученных делением посредством блока деления области частотного преобразования, для генерации коэффициента преобразования; и блок вывода закодированных данных, который выводит закодированные данные, полученные посредством кодирования без потерь коэффициента преобразования, и устройство декодирования движущихся изображений включает в себя блок декодирования кода без потерь, который выполняет декодирование кода без потерь и деление на макроблоки в отношении закодированных данных, полученных посредством кодирования движущегося изображения; блок генерации локального декодированного изображения, который применяет к каждой из целевых областей преобразования, на которые разделен макроблок, причем целевая область преобразования включает в себя по меньшей мере одну целевую область преобразования, объединенную, основываясь на индексе, указывающем пространственную корреляцию, обратное частотное преобразование, соответствующее целевой области преобразования, для генерации локального декодированного изображения; и блок вывода движущегося изображения, который соединяет локальные декодированные изображения для генерации движущегося изображения и выводит движущееся изображение.

В этой системе кодирования/декодирования движущихся изображений, так как устройство кодиро- 10 027182 вания движущихся изображений применяет частотное преобразование к смежным областям, можно улучшать эффективность кодирования, когда множество смежных областей имеют высокую пространственную корреляцию. Дополнительно, так как устройство декодирования движущихся изображений применяет обратное частотное преобразование, основываясь на информации, указывающей смежные области, в которых устройство кодирования движущихся изображений применило частотное преобразование, устройство декодирования движущихся изображений может генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет смежные области.

Седьмым аспектом настоящего изобретения является способ кодирования движущихся изображений, который включает в себя: деление посредством устройства кодирования движущихся изображений кадра вводимого движущегося изображения на единицы макроблоков; дополнительное деление посредством устройства кодирования движущихся изображений макроблока на разделы; деление посредством устройства кодирования движущихся изображений макроблока на целевые области преобразования, по меньшей мере одна целевая область преобразования включает в себя области по разделам; применение посредством устройства кодирования движущихся изображений частотного преобразования к каждой из целевых областей преобразования, полученных во время деления на области частотного преобразования, для генерации коэффициента преобразования; и вывод посредством устройства кодирования движущихся изображений закодированных данных, полученных посредством кодирования без потерь коэффициента преобразования.

Восьмым аспектом настоящего изобретения является способ кодирования движущихся изображений, который включает в себя деление посредством устройства кодирования движущихся изображений кадра вводимого движущегося изображения на единицы макроблоков; дополнительное деление посредством устройства кодирования движущихся изображений макроблока на разделы; деление посредством устройства кодирования движущихся изображений макроблока на целевые области преобразования, которые являются областями, к которым применяют частотные преобразования, и объединение по меньшей мере одной из целевых областей преобразования, которые являются смежными друг другу, основываясь на индексе, указывающем пространственную корреляцию, для генерации новой целевой области преобразования; применение посредством устройства кодирования движущихся изображений частотного преобразования к каждой из целевых областей преобразования, полученных посредством деления на области частотного преобразования, для генерации коэффициента преобразования; и вывод посредством устройства кодирования движущихся изображений закодированных данных, полученных посредством кодирования без потерь коэффициента преобразования. В данном способе кодирования движущихся изображений, так как устройство кодирования движущихся изображений объединяет смежные целевые области преобразования и применяет частотное преобразование, можно улучшать эффективность кодирования, когда множество смежных областей имеют высокую пространственную корреляцию.

Девятым аспектом настоящего изобретения является способ декодирования движущихся изображений, включающий в себя: выполнение посредством устройства декодирования движущихся изображений декодирования кода без потерь и деления на макроблоки в отношении закодированных данных, полученных посредством кодирования движущегося изображения; применение посредством устройства декодирования движущихся изображений к каждой из целевых областей преобразования, на которые разделен макроблок, причем по меньшей мере одна из целевых областей преобразования включает в себя целевую область преобразования по разделам, обратного частотного преобразования, соответствующего целевой области преобразования, для генерации локального декодированного изображения; и соединение посредством устройства декодирования движущихся изображений локальных декодированных изображений для генерации движущегося изображения и вывод движущегося изображения.

В данном способе декодирования движущихся изображений, так как устройство декодирования движущихся изображений применяет обратное частотное преобразование к целевым областям преобразования по разделам для генерации локального декодированного изображения, можно генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет области, включенные в различные разделы.

Десятым аспектом настоящего изобретения является способ декодирования движущихся изображений, включающий в себя: выполнение посредством устройства декодирования движущихся изображений декодирования кода без потерь и деления на макроблоки в отношении закодированных данных, полученных посредством кодирования движущегося изображения; применение посредством устройства декодирования движущихся изображений к каждой из целевых областей преобразования, на которые разделен макроблок, причем целевая область преобразования включает в себя по меньшей мере одну целевую область преобразования, объединенную, основываясь на индексе, указывающем пространственную корреляцию, обратного частотного преобразования, соответствующего целевой области преобразования, для генерации локального декодированного изображения; и соединение посредством устройства декодирования движущихся изображений локальных декодированных изображений для генерации движущегося изображения и вывод движущегося изображения.

В данном способе декодирования движущихся изображений, так как устройство декодирования

- 11 027182 движущихся изображений применяет обратное частотное преобразование к смежным целевым областям преобразования для генерации локального декодированного изображения, можно генерировать декодированное движущееся изображение, даже когда устройство кодирования движущихся изображений объединяет смежные области.

Эффект от изобретения

Согласно данному варианту осуществления настоящего изобретения можно улучшать эффективность кодирования при кодировании движущихся изображений.

Краткое описание чертежей

Фиг. 1 - схема конфигурации, на которой показывают схематическую конфигурацию системы 1 кодирования/декодирования движущихся изображений в первом варианте осуществления настоящего изобретения.

Фиг. 2 - функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 10 кодирования движущихся изображений в первом варианте осуществления.

Фиг. 3 - последовательность операций, которая показывает процедуру процесса, в котором устройство 10 кодирования движущихся изображений генерирует закодированные данные в первом варианте осуществления.

Фиг. 4 - схема, на которой показывают порядок деления посредством блока 61 ввода изображения кадра вводимого движущегося изображения на единицы макроблоков и вывода полученных в результате деления изображений в первом варианте осуществления.

Фиг. 5 - схема, на которой показывают конфигурации разделов, на которые блок 102 определения параметра предсказания делит данные изображения единицы из макроблока в первом варианте осуществления.

Фиг. 6 - схема структуры данных, на которой показывают структуру данных параметра предсказания, сгенерированного блоком 102 определения параметра предсказания в первом варианте осуществления.

Фиг. 7 - последовательность операций, которая показывает процедуру процесса, в котором блок 103 генерации предсказанного изображения генерирует предсказанное изображение, используемое для макроблока, который является целью обработки в первом варианте осуществления.

Фиг. 8 - схема, на которой показывают пример конфигурации целевой области преобразования, определенной частотным преобразованием, выбранным посредством блока 105 определения частотного преобразования в первом варианте осуществления.

Фиг. 9 - схема структуры данных, на которой показывают структуру данных информации выбора преобразования, сгенерированной блоком 105 определения частотного преобразования в первом варианте осуществления.

Фиг. 10 - последовательность операций, которая показывает процедуру, в который блок 105 определения частотного преобразования выбирает частотное преобразование для каждого раздела в макроблоке в первом варианте осуществления.

Фиг. 11 - схема, на которой показывают пример объединенной целевой области преобразования в первом варианте осуществления.

Фиг. 12 - схема структуры данных, на которой показывают структуру данных информации объединения преобразования в первом варианте осуществления.

Фиг. 13 - последовательность операций, которая показывает процедуру процесса, в котором блок 105 определения частотного преобразования определяет, должны ли целевые области преобразования в макроблоке объединяться в первом варианте осуществления.

Фиг. 14 - схема, на которой показывают пример пикселей предсказанного изображения, используемого в качестве цели определения в блоке 105 определения частотного преобразования в первом варианте осуществления.

Фиг. 15 - псевдокод, который показывает процесс, в котором блок 107 генерации коэффициентов преобразования применяет частотное преобразование к целевой области преобразования при делении в первом варианте осуществления.

Фиг. 16 - последовательность операций, которая показывает процедуру процесса, в котором блок 108 кодирования с переменной длиной слова кодирует информацию выбора преобразования и информацию объединения преобразования каждого из разделов, которые включает в себя макроблок, который является целью обработки в первом варианте осуществления.

Фиг. 17 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 20 декодирования движущихся изображений в первом варианте осуществления.

Фиг. 18 - схема структуры данных, на которой показывают структуру данных объединенной информации выбора преобразования, сгенерированной блоком 111 получения частотного преобразования в первом варианте осуществления.

Фиг. 19 - последовательность операций, которая показывает процедуру процесса, в котором устрой- 12 027182 ство 20 декодирования движущихся изображений генерирует декодированное движущееся изображение в первом варианте осуществления.

Фиг. 20 - последовательность операций, которая показывает процедуру процесса, в котором устройство 20 декодирования движущихся изображений генерирует объединенную информацию выбора преобразования, когда устройство 10 кодирования движущихся изображений определяет обоснованность объединения, основываясь на изменении пиксельных значений около границы целевой области преобразования, и не выводит информацию объединения преобразования в первом варианте осуществления.

Фиг. 21 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 11 кодирования движущихся изображений во втором варианте осуществления настоящего изобретения.

Фиг. 22 - схема, на которой показывают пример образца деления, используемого блоком 112 определения частотного преобразования во втором варианте осуществления.

Фиг. 23 - последовательность операций, которая показывает процедуру процесса, в котором блок 112 определения частотного преобразования определяет образец деления и частотное преобразование, применяющееся к макроблоку, который является целью обработки во втором варианте осуществления.

Фиг. 24 - последовательность операций, которая показывает процедуру процесса, в котором устройство кодирования движущихся изображений генерирует закодированные данные во втором варианте осуществления.

Фиг. 25 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 21 декодирования движущихся изображений во втором варианте осуществления.

Фиг. 26 - последовательность операций, которая показывает процедуру процесса, в котором устройство 21 декодирования движущихся изображений генерирует декодированное движущееся изображение во втором варианте осуществления.

Фиг. 27 - схема конфигурации, на которой показывают конфигурацию устройства 22 декодирования движущихся изображений, который выбирает образец деления во втором варианте осуществления.

Фиг. 28 - схема конфигурации, на которой показывают конфигурацию устройства 16 кодирования движущихся изображений в третьем варианте осуществления настоящего изобретения.

Фиг. 29 - схема, на которой показывают режим предсказания, определенный блоком 152 определения параметра предсказания в третьем варианте осуществления.

Фиг. 30 - последовательность операций, которая показывает процедуру процесса, в котором устройство 16 кодирования движущихся изображений генерирует закодированные данные в третьем варианте осуществления.

Фиг. 31 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 26 декодирования движущихся изображений в третьем варианте осуществления.

Фиг. 32 - последовательность операций, которая показывает процедуру процесса, в котором устройство 26 декодирования движущихся изображений генерирует декодированное движущееся изображение в третьем варианте осуществления.

Наилучшие варианты осуществления изобретения

Первый вариант осуществления

Далее варианты осуществления настоящего изобретения будут описаны в отношении сопроводительных чертежей.

В дальнейшем, хотя различия между процессами, выполняемыми устройством кодирования движущихся изображений и устройством декодирования движущихся изображений в вариантах осуществления настоящего изобретения и процесса, определенного в Н.264/АУС, будут соответственно показаны, данный вариант настоящего изобретения не ограничен Н.264/АУС и его можно применять к устройству кодирования движущихся изображений и к устройству декодирования движущихся изображений, которые используют различные схемы кодирования/декодирования движущихся изображений, в которых изображение обрабатывают в единицах макроблоков и выполняют предсказание с компенсацией движения и частотное преобразование, такие как УС-1, МРЕС-2 (2-й этап стандарта экспертной группы по вопросам движущихся изображений) или АУ§ (стандарт кодирования аудио и видеосигнала). В данном случае частотное преобразование относится к преобразованию, в котором двумерная матрица является дискретными данными, и ее преобразовывают в данные того же самого типа в двумерной матрице, например, посредством дискретного косинусного преобразования. Частотное преобразование выполняют для уменьшения размера кода посредством преобразования пиксельного значения в данные в частотной области для удаления избыточности данных, основываясь на пространственной корреляции пиксельных значений.

Фиг. 1 - схема конфигурации, на которой показывают схематическую конфигурацию системы 1 кодирования/декодирования движущихся изображений в первом варианте осуществления настоящего изобретения.

На фиг. 1 система 1 кодирования/декодирования движущегося изображения включает в себя уст- 13 027182 ройство 10 кодирования движущихся изображений и устройство 20 декодирования движущихся изображений. Устройство 10 кодирования движущихся изображений включает в себя блок 61 ввода изображения, центральный процессор (ЦП) 62, запоминающее устройство 63, блок 64 вывода закодированных данных и шину 65. Устройство 20 декодирования движущихся изображений включает в себя блок 71 ввода закодированных данных, центральный процессор 72, запоминающее устройство 73, блок 74 вывода изображения и шину 75.

Устройство 10 кодирования движущихся изображений кодирует вводимое движущееся изображение в единицах кадров и выводит закодированные данные. В устройстве 10 кодирования движущихся изображений, когда вводят движущееся изображение, блок 61 ввода изображения делит вводимое движущееся изображение на единицы макроблоков, и выводит результирующее движущееся изображение к центральному процессору 62 через шину 65. Центральный процессор 62 кодирует каждое вводимое движущееся изображение единицы макроблоков, выводимое из блока 61 ввода изображения, и выводит закодированные данные к блоку 64 вывода закодированных данных через шину 65. Запоминающее устройство 63 хранит локальное декодированное изображение, которое является изображением, используемым центральным процессором 62 для генерации закодированных данных, и которое также является декодированным изображением макроблока, коэффициент преобразования которого был сгенерирован, как будет описано позже. Запоминающее устройство 63 также хранит программу, выполняемую центральным процессором 62. Дополнительно, запоминающее устройство 63 является рабочим запоминающим устройством, когда центральный процессор 62 работает, и временно хранит результаты операции, сгенерированные центральным процессором 62. Блок 64 вывода закодированных данных выводит закодированные данные, выводимые из центрального процессора 62, за пределы устройства 10 кодирования движущихся изображений.

Устройство 20 декодирования движущихся изображений декодирует закодированные данные, выводимые устройством 10 кодирования движущихся изображений, и выводит декодированное движущееся изображение. В устройстве 20 декодирования движущихся изображений, когда вводят закодированные данные, блок 71 ввода закодированных данных выводит введенные закодированные данные к центральному процессору 72 через шину 75. Центральный процессор 72 декодирует закодированные данные, выводимые из блока 71 ввода закодированных данных, для генерации локального декодированного изображения, которое является декодированным изображением единицы макроблоков, и выводит сгенерированное локальное декодированное изображение на блок 74 вывода изображения через шину 75. Запоминающее устройство 73 хранит локальное декодированное изображение макроблока, используемого для центрального процессора 72, для генерации декодированного изображения. Запоминающее устройство 7 3 также хранит программу, выполняемую центральным процессором 72. Дополнительно, запоминающее устройство 73 является рабочим запоминающим устройством, когда центральный процессор 72 работает, и временно хранит результаты операции, сгенерированные центральным процессором 72. Блок 74 вывода изображения соединяет декодированные изображения единицы макроблоков, выводимые центральным процессором 72, для генерации декодированного изображения единицы кадров, и выводит декодированное изображение за пределы устройства 20 декодирования движущихся изображений.

Дополнительно, способ ввода закодированных данных, выводимых посредством блока 64 вывода закодированных данных устройства 10 кодирования движущихся изображений к блоку 71 ввода закодированных данных устройства 20 декодирования движущихся изображений, может быть любым способом, пока данный способ предоставляет возможность блоку 71 ввода закодированных данных считывать закодированные данные. Например, блок 64 вывода закодированных данных может передавать закодированные данные к блоку 71 ввода закодированных данных, используя проводной или беспроводной канал связи. Альтернативно, блок 64 вывода закодированных данных может записывать закодированные данные на носитель данных, такой как полупроводниковое запоминающее устройство, и блок 71 ввода закодированных данных может считывать закодированные данные с носителя данных.

Фиг. 2 - функциональная блочная схема конфигурации, которая показывает функциональную блочную конфигурацию устройства 10 кодирования движущихся изображений.

На фиг. 2 устройство 10 кодирования движущихся изображений включает в себя блок 61 ввода изображения, блок 32 кодирования, блок 33 хранения локальных декодированных изображений и блок 64 вывода закодированных данных. Блок 32 кодирования включает в себя блок 102 определения параметра предсказания (блок определения структуры разделов), блок 103 генерации предсказанного изображения, блок 106 генерации остатка предсказания, блок 105 определения частотного преобразования (блок деления области частотного преобразования), блок 107 генерации коэффициентов преобразования, блок 108 кодирования с переменной длиной слова, блок 109 восстановления остатка предсказания и блок 110 генерации локального декодированного изображения.

На фиг. 2 те же самые ссылочные номера (61 и 64) присвоены частям, которые соответствуют соответствующим блокам на фиг. 1.

Когда вводят движущееся изображение, блок 61 ввода изображения делит вводимое движущееся изображение на единицы макроблоков, как описано в отношении фиг. 1. Блок 61 ввода изображения выводит полученное в результате деления изображение каждого макроблока к блоку 102 определения па- 14 027182 раметра предсказания и к блоку 106 генерации остатка предсказания блока 32 кодирования.

Блок 32 кодирования реализуют посредством центрального процессора 62 на фиг. 1, выполняющего программу. Для простоты фиг. 2 центральный процессор 62 из фиг. 1 не показан на фиг. 2. Блок 32 кодирования генерирует закодированные данные для каждого макроблока из изображения, которое делят на единицы макроблоков и выводят посредством блока 61 ввода изображения.

В блоке 32 кодирования блок 102 определения параметра предсказания, блок 103 генерации предсказанного изображения и блок 106 генерации остатка предсказания выполняет внешнее кадровое предсказание, как в Н.264/ЛУС.

Блок 102 определения параметра предсказания выбирает опорное изображение из локальных декодированных изображений, хранящихся в блоке 33 хранения локальных декодированных изображений, основываясь на пиксельных значениях изображения единицы макроблоков, выводимой из блока 61 ввода изображения, и генерирует параметр предсказания, который является параметром генерации предсказанного изображения, из опорного изображения. Параметр предсказания будет описан позже. Поскольку устройство 10 кодирования движущихся изображений хранит те же локальные декодированные изображения, что и устройство 20 декодирования движущихся изображений, устройство 10 кодирования движущихся изображений выполняет частотное преобразование остатка предсказания, который является разностью между изображением макроблока, который является целью обработки, и предсказанным изображением, выполняет обратное частотное преобразование для восстановления остатка предсказания, суммирует восстановленный остаток предсказания и предсказанное изображение для генерации локального декодированного изображения, и сохраняет локальное декодированное изображение в блоке 33 хранения локальных декодированных изображений. Блок 102 определения параметра предсказания выводит сгенерированный параметр предсказания к блоку 105 определения частотного преобразования, блоку 103 генерации предсказанного изображения и блоку 108 кодирования с переменной длиной слова.

Блок 103 генерации предсказанного изображения генерирует предсказанное изображение из опорного изображения, выбранного блоком 102 определения параметра предсказания, основываясь на параметре предсказания, выведенном блоком 102 определения параметра предсказания. Предсказанное изображение является изображением, которое аппроксимирует значение каждого пикселя макроблока, который является целью обработки во вводимом движущемся изображении. Так как блок 106 генерации остатка предсказания получает для каждого пикселя разницу между пиксельным значением макроблока, который является целью обработки во вводимом движущемся изображении, и пиксельном значении предсказанного изображения, чтобы таким образом сгенерировать остаток предсказания, избыточность пиксельных значений вводимого движущегося изображения для этого остатка предсказания может быть уменьшена, и размер кода закодированных данных, сгенерированных устройством 10 кодирования движущихся изображений, может быть сдержан.

Блок 103 генерации предсказанного изображения выводит сгенерированное предсказанное изображение к блоку 106 генерации остатка предсказания и блоку 110 генерации локального декодированного изображения.

Блок 106 генерации остатка предсказания получает разницу в каждом пиксельном значении между изображением единицы макроблоков, выводимой из блока 61 ввода изображения, и предсказанным изображением, выводимым из блока 103 генерации предсказанного изображения, для генерации остатка предсказания, и выводит сгенерированный остаток предсказания к блоку 105 определения частотного преобразования и к блоку 107 генерации коэффициентов преобразования.

Блок 105 определения частотного преобразования определяет способ частотного преобразования остатка предсказания, выводимой из блока 106 генерации остатка предсказания, основываясь на параметре предсказания, выводимом из блока 102 определения параметра предсказания, и выводит информацию выбора преобразования и информацию объединения преобразования, указывающую определенный способ частотного преобразования, к блоку 107 генерации коэффициентов преобразования, блоку 109 восстановления остатка предсказания и блоку 108 кодирования с переменной длиной слова.

Блок 107 генерации коэффициентов преобразования выполняет частотное преобразование остатка предсказания, выводимого блоком 106 генерации остатка предсказания, основываясь на способе частотного преобразования, выводимом блоком 105 определения частотного преобразования, для генерации коэффициента преобразования. Блок 107 генерации коэффициентов преобразования выводит сгенерированный коэффициент преобразования к блоку 108 кодирования с переменной длиной слова и к блоку 109 восстановления остатка предсказания.

Блок 108 кодирования с переменной длиной слова (блок кодирования без потерь) выполняет кодирование с переменной длиной слова параметра предсказания, выводимого из блока 102 определения параметра предсказания, информации выбора преобразования и информации объединения преобразования, выводимой из блока 105 определения частотного преобразования, и коэффициента преобразования, выводимого из блока 107 генерации коэффициентов преобразования, для генерации закодированных данных. Дополнительно, как будет описано позже, кодирование, выполняемое блоком 108 кодирования с переменной длиной слова, не ограничено кодированием с переменной длиной слова и может быть кодированием без потерь. В данном случае кодирование без потерь является кодированием, которое предос- 15 027182 тавляет возможность выполнять декодирование без потери информации.

Блок 108 кодирования с переменной длиной слова выводит сгенерированные закодированные данные к блоку 64 вывода закодированных данных.

Блок 109 восстановления остатка предсказания выполняет обратное частотное преобразование коэффициента преобразования, выводимого из блока 107 генерации коэффициентов преобразования, основываясь на информации выбора преобразования и информации объединения преобразования, вводимой из блока 105 определения частотного преобразования, для восстановления остатка предсказания. Блок 109 восстановления остатка предсказания выводит восстановленный остаток предсказания к блоку 110 генерации локального декодированного изображения.

Блок 110 генерации локального декодированного изображения получает сумму пиксельных значений предсказанного изображения, выводимого из блока 103 генерации предсказанного изображения, и восстановленного остатка предсказания, выводимого посредством блока 109 восстановления остатка предсказания, для генерации локального декодированного изображения. Блок 110 генерации локального декодированного изображения записывает сгенерированное локальное декодированное изображение в блок 33 хранения локальных декодированных изображений.

Блок 33 хранения локальных декодированных изображений реализуют, используя запоминающее устройство 63 на фиг. 1, и он хранит локальные декодированные изображения, выводимые из блока 110 генерации локального декодированного изображения. В то время, когда устройство 10 кодирования движущихся изображений обрабатывает определенный макроблок определенного кадра вводимого движущегося изображения, локальное декодированное изображение более раннего закодированного кадра, чем кадр, который является целью обработки, и локальное декодированное изображением более раннего закодированного макроблока в том же самом кадре, как кадр макроблока, который является целью обработки, хранится в блоке 33 хранения локальных декодированных изображений.

Блок 64 вывода закодированных данных выводит закодированные данные, выводимые из блока 108 кодирования с переменной длиной слова, за пределы устройства 10 кодирования движущихся изображений, как описано в отношении фиг. 1.

Далее будет описана работа устройства 10 кодирования движущихся изображений.

Фиг. 3 - последовательность операций, которая показывает процедуру процесса, в котором устройство 10 кодирования движущихся изображений генерирует закодированные данные. Когда движущееся изображение вводят в блок 61 ввода изображения, устройство 10 кодирования движущихся изображений начинает процесс генерации закодированных данных.

На этапе 8101 блок 61 ввода изображения делит вводимое движущееся изображение на единицы макроблоков. Устройство 10 кодирования движущихся изображений делит кадр вводимого движущегося изображения на единицы макроблоков и создает закодированные данные для каждого макроблока. Соответственно блок 61 ввода изображения делит кадр вводимого движущегося изображения на макроблоки 16 пикселей по горизонтали х16 пикселей по вертикали.

Фиг. 4 - схема, на которой показывают порядок деления блоком 61 ввода изображения кадра вводимого движущегося изображения на единицы макроблоков и вывода разделенных изображений. Фиг. 4 показывает один кадр движущегося изображения. На фиг. 4 ось X используют как горизонтальную ось, и направление вправо является положительным направлением оси X. Дополнительно, ось Υ используют как вертикальную ось, и направление вверх является положительным направлением оси Υ. Блок 61 ввода изображения делит один кадр на строки, каждая имеет 16 пикселей, и столбцы, каждый имеет 16 пикселей, и каждая область 16 пикселей по горизонтали х16 пикселей по вертикали, разделенная на строки и столбцы, соответствуют макроблоку. Как указано посредством стрелки, блок 61 ввода изображения выводит данные изображения в единицах макроблоков слева направо в той же самой строке и выполняет подобное для каждой строки сверху вниз. Блок 61 ввода изображения выполняет этот процесс для каждого кадра вводимого движущегося изображения по порядку ввода кадров.

Блок 61 ввода изображения выводит полученные в результате деления данные в блок 102 определения параметра предсказания и блок 106 генерации остатка предсказания.

Альтернативно, блок 61 ввода изображения может делить данные изображения на единицы макроблоков, каждая из которых имеет размер, отличный от 16 пикселей по горизонтали х16 пикселей по вертикали. Например, другой размер может быть 12 пикселей по горизонтали х12 пикселей по вертикали, или количество пикселей по горизонтали может отличаться от количества пикселей по вертикали, например, 16 пикселей по горизонтали х 12 пикселей по вертикали. Альтернативно, блок 61 ввода изображения может выводить данные изображения единицы макроблока в порядке, отличном от порядка, показанного на фиг. 4. Например, блок 61 ввода изображения может выводить данные изображения по порядку сверху вниз в той же самой строке и выполнять это для каждого столбца слева направо.

Возвращаясь к фиг. 3, на этапе 8102 устройство 10 кодирования движущихся изображений начинает цикл генерации закодированных данных для каждого макроблока вводимого изображения, разделенного посредством блока 61 ввода изображения.

На этапах 8103-8105 блок 102 определения параметра предсказания, блок 103 генерации предска- 16 027182 занного изображения и блок 106 генерации остатка предсказания выполняют то же внешнее предсказание, что и внешнее предсказание (предсказание с компенсацией движения или внешнее предсказание), определенное в Н.264/АУС.

На этапе 8103 блок 102 определения параметра предсказания определяет структуру разделов для дополнительного деления данных изображения, основываясь на пиксельном значении данных изображения, выводимых из блока 61 ввода изображения, выбирает опорное изображение для каждого раздела и генерирует параметр предсказания для генерации предсказанного изображения из опорного изображения. В данном случае раздел является единичной областью, когда генерируют предсказанное изображение. Как будет описано позже, блок 103 генерации предсказанного изображения генерирует предсказанное изображение для каждого раздела, и соединяет сгенерированные предсказанные изображения для генерации предсказанного изображения макроблока. Дополнительно, опорное изображение является изображением, из которого генерируют предсказанное изображение, и блок 102 определения параметра предсказания выбирает опорное изображение из локальных декодированных изображений, хранящихся в блоке 33 хранения локальных декодированных изображений. Как описано выше, локальное декодированное изображение является декодированным изображением обработанного макроблока.

Фиг. 5 - схема, на которой показывают конфигурацию разделов, на которые блок 102 определения параметра предсказания делит данные изображения единицы макроблоков. На фиг. 5 структуры разделов являются структурами разделов, определенными в Н.264/АУС, и блок 102 определения параметра предсказания выбирает любую из структур разделов, определенных в Н.264/ЛУС.

На фиг. 5 конфигурация МВ1 раздела является конфигурацией разделов при делении на 1 часть, при котором макроблок не делят. В этом случае макроблок включает в себя один раздел 16 пикселей по горизонтали х16 пикселей по вертикали, и индекс р0 раздела задают этому разделу. В данном случае индекс раздела является индексом для идентификации раздела в макроблоке.

Дополнительно, конфигурация МВ2 раздела является конфигурацией разделов при горизонтальном делении на 2 части, при котором макроблок делят на два в горизонтальном направлении. В этой структуре разделов макроблок включает в себя два раздела 16 пикселей по горизонтали х8 пикселей по вертикали. Индекс р0 раздела задают верхнему разделу, а индекс р1 раздела задают нижнему разделу.

Конфигурация МВ3 раздела является структурой разделов при вертикальном делении на 2 части, при котором макроблок делят на два в вертикальном направлении. В этой структуре разделов макроблок включает в себя два раздела, каждый имеет 8 пикселей по горизонтали х16 пикселей по вертикали. Индекс р0 раздела задают левому разделу, а индекс р1 раздела задают правому разделу.

Структура МВ4 разделов является структурой разделов при делении на 4 части, при котором макроблок делят на два в горизонтальном направлении и на два в вертикальном направлении. В этой структуре разделов макроблок включает в себя четыре раздела, каждый имеет 8 пикселей по горизонтали х 8 пикселей по вертикали. Индекс р0 раздела задают верхнему левому разделу, индекс р1 раздела задают верхнему правому разделу, индекс р2 раздела задают нижнему левому разделу, а индекс р3 раздела задают нижнему правому разделу.

Дополнительно, каждый из разделов в структуре МВ4 разделов также упоминается как субмакроблок. Блок 102 определения параметра предсказания дополнительно делит этот субмакроблок на разделы. В дальнейшем, каждый из разделов, составляющих субмакроблок, также упоминается как субраздел.

Структура разделов 8ВМ1 является структурой разделов при делении на 1 часть, при котором субмакроблок не делят. В этой структуре разделов субмакроблок включает в себя единственный субраздел 8 пикселей по горизонтали х8 пикселей по вертикали, и индекс р0 субраздела задают этому субразделу. В данном случае номер субраздела является индексом для идентификации субраздела в разделе.

Дополнительно, структура 8МВ2 разделов является структурой разделов при горизонтальном делении на 2 части, при котором субмакроблок делят на два в горизонтальном направлении. В этой структуре разделов субмакроблок включает в себя два раздела, каждый имеет 8 пикселей по горизонтали х4 пикселя по вертикали. Индекс р0 субраздела задают верхнему субразделу, а индекс р1 субраздела задают нижнему субразделу.

Структура 8МВ3 разделов является структурой разделов при вертикальном делении на 2 части, при котором субмакроблок делят на два в вертикальном направлении. В этой структуре разделов субмакроблок включает в себя два субраздела, каждый имеет 4 пикселя по горизонтали х 8 пикселей по вертикали. Индекс р0 субраздела задают левому субразделу, а индекс р1 субраздела задают правому субразделу.

Структура 8МВ4 разделов является структурой разделов при делении на 4 части, при котором субмакроблок делят на два в горизонтальном направлении и на два в вертикальном направлении. В этой структуре разделов субмакроблок включает в себя четыре субраздела, каждый имеет 4 пикселя по горизонтали х4 пикселя по вертикали. Индекс р0 субраздела задают верхнему левому субразделу, индекс р1 субраздела задают верхнему правому -субразделу, индекс р2 субраздела задают нижнему левому субразделу, а индекс р3 субраздела задают нижнему правому субразделу.

Когда каждый блок устройства 10 кодирования движущихся изображений и устройства 20 декодирования движущихся изображений выполняет процесс с каждым разделом в макроблоке, блок выполняет

- 17 027182 процесс по порядку индексов разделов структур от МВ1 до МВ4 разделов на фиг. 5. Таким образом, блок выполняет процесс с левого раздела к правому разделу и повторяет подобное сверху вниз. Дополнительно, когда макроблок разделен на четверки, блок обрабатывает субразделы в субмакроблоке по порядку индексов субразделов структур от МВ1 до МВ4 разделов на фиг. 5 и повторяет подобное для каждого субмакроблока по порядку индексов разделов структуры МВ4 разделов на фиг. 5.

Фиг. 6 - схема структуры данных, на которой показывают структуру данных параметра предсказания, сгенерированного блоком 102 определения параметра предсказания. Как показано на фиг. 6, параметр предсказания включает в себя информацию о структуре разделов, индекс опорного изображения в качестве информации движения каждого раздела и информацию вектора движения.

Информация о структуре разделов является информацией, которая указывает структуру разделов, выбранную блоком определения параметра предсказания. Например, на фиг. 6, 16x8 в Р_Ь0_Ь0_16х8 указывают, что макроблок делят на два раздела, каждый имеет размер 16 пикселей по горизонтали х8 пикселей по вертикали. Таким образом, макроблок делят на соответствующие разделы, указанные посредством структуры МВ2 разделов на фиг. 5. Ь0_Ь0 указывает, что оба из двух разделов используют список 0 опорных изображений. Дополнительно, Р указывает блок, который закодирован, используя только прямое предсказание.

Индекс опорного изображения является индексом локального декодированного изображения, которое используется в качестве опорного изображения для каждого раздела. Например, на фиг. 6, 2 в 2, 0 указывает, что локальное декодированное изображение, имеющее индекс 2 в списке опорных изображений (который в данной работе является списком 0 опорных изображений, как описано выше), используется в качестве опорного изображения первого раздела (раздела, имеющего индекс р0 раздела в структуре МВ2 разделов на фиг. 5). Точно так же 0 указывает, что локальное декодированное изображение, имеющее индекс 0 в списке 0 опорных изображений, используется в качестве опорного изображения второго раздела (раздела, имеющего индекс р1 раздела в структуре МВ2 разделов на фиг. 5).

Вектор движения указывает величину сдвига пикселя опорного изображения при компенсации движения. Например, на фиг. 6 (0,25, -1,25) в (0,25, -1,25), (0,0, 0,75) указывает, что первая часть раздела в предсказанном изображении сгенерирована, сдвигая опорное изображение на 0,25 пикселя направо и на 1,25 пикселя вниз. Дополнительно, (0,0, 0,75) указывает, что вторая часть раздела в предсказанном изображении сгенерирована, сдвигая опорное изображение на 0,75 пикселя вверх, не сдвигая опорное изображение влево или вправо.

Дополнительно, для макроблока, подвергнутого обратному предсказанию, а так же прямому предсказанию, блок 102 определения параметра предсказания генерирует параметр предсказания, содержащий два номера опорных изображений и два вектора движения для каждого раздела.

Если определяют, что внутреннее предсказание должно быть выполнено, то блок 102 определения параметра предсказания генерирует параметр предсказания, указывающий способ генерации предсказанного изображения посредством внутреннего предсказания. Однако его описание будет опущено в данной работе. В данном случае внутреннее предсказание относится к способу генерации предсказанного изображения для макроблока, для которого внешнее предсказание не используется, через интерполяцию пикселей в пределах одного кадра вводимого движущегося изображения, которые являются смежными с данным макроблоком, и подвергаются кодированию и декодированию.

Блок 102 определения параметра предсказания генерирует параметр предсказания, используя определение искажения в зависимости от скорости. В частности, блок 102 определения параметра предсказания генерирует параметры-кандидаты предсказания, которые могут быть получены всеми возможными комбинациями структуры разделов, опорного изображения и вектора движения. Блок 102 определения параметра предсказания вычисляет показатель С искажения в зависимости от скорости для каждого из сгенерированных параметров-кандидатов предсказания, основываясь на уравнении (1), и выбирает параметр-кандидат предсказания, в котором показатель С искажения в зависимости от скорости минимален, в качестве параметра предсказания

Ο=ϋ+λΚ ...(1)

В данном случае К обозначает размер кода, когда кодирование выполняют, основываясь на параметре-кандидате предсказания. Дополнительно, Ό обозначает среднеквадратическую ошибку между пиксельным значением вводимого изображения единицы макроблока и пиксельным значением локального декодированного изображения, которое может быть получено, когда кодирование и декодирование выполняют, основываясь на параметре-кандидате предсказания. Дополнительно, λ имеет предопределенное значение и указывает весовой коэффициент между размером кода К и ошибкой Ό. Блок определения параметра предсказания, например, вычисляет размер кода К и ошибку Ό, фактически выполняя кодирование и декодирование, основываясь на параметре-кандидате предсказания.

Дополнительно, если существует множество частотных преобразований, которые можно применять, когда блок 102 определения параметра предсказания вычисляет показатель С искажения в зависимости от скорости, то показатель искажения в зависимости от скорости вычисляют для всех частотных преобразований, которые могут применяться, и минимальный показатель искажения в зависимости от

- 18 027182 скорости выбирают в качестве показателя искажения в зависимости от скорости параметра-кандидата предсказания. Альтернативно, показатель искажения в зависимости от скорости, который может быть получен, применяя заданное определенное частотное преобразование, может быть выбран в качестве показателя искажения в зависимости от скорости параметра-кандидата предсказания.

Блок 102 определения параметра предсказания выводит сгенерированный параметр предсказания к блоку 105 определения частотного преобразования, к блоку 103 генерации предсказанного изображения и к блоку 108 кодирования с переменной длиной слова.

Возвращаясь к фиг. 3, на этапе 8104 блок 103 генерации предсказанного изображения генерирует предсказанное изображение, основываясь на параметре предсказания, выводимом из блока 102 определения параметра предсказания. Как описано выше, предсказанное изображение является изображением, которое аппроксимирует изображение макроблока, который является целью обработки.

Фиг. 7 - последовательность операций, которая показывает процедуру процесса, в котором блок 103 генерации предсказанного изображения генерирует предсказанное изображение, используемое для макроблока, который является целью обработки на этапе 8104 на фиг. 3.

На этапе 8121 блок 103 генерации предсказанного изображения считывает информацию о структуре разделов из параметра предсказания.

На этапе 8122 блок 103 генерации предсказанного изображения начинает для каждого раздела цикл процесса из этапов 8123 и 8124. Блок 103 генерации предсказанного изображения обрабатывает каждый раздел в порядке, описанном в отношении фиг. 6 (то же самое относится к последующей последовательности операций).

На этапе 8123 блок 103 генерации предсказанного изображения считывает индекс опорного изображения раздела, который является целью обработки, из параметра предсказания, и считывает опорное изображение из блока 33 хранения локальных декодированных изображений, основываясь на считанном индексе опорного изображения.

На этапе 8124 блок 103 генерации предсказанного изображения считывает вектор движения раздела, который является целью обработки, из параметра предсказания, и выполняет компенсацию движения опорного изображения, основываясь на считанном векторе движения. В частности, блок 103 генерации предсказанного изображения сдвигает опорное изображение на количество пикселей, указанное вектором движения.

На этапе 8125, если существует ожидающий обработки раздел, то повторяют цикл с этапа 8122, а если нет никакого ожидающего обработки раздела, то процесс переходит на этап 8126.

На этапе 8126 блок 103 генерации предсказанного изображения присоединяет соответствующие части раздела соответствующих опорных изображений, подвергнутых компенсации движения, для генерации предсказанного изображения, и выводит сгенерированное предсказанное изображение к блоку 106 генерации остатка предсказания и к блоку 110 генерации локального декодированного изображения.

Затем процесс генерации предсказанного изображения, используемого для макроблока, заканчивается.

Возвращаясь к фиг. 3, на этапе 8105 блок 106 генерации остатка предсказания вычитает пиксельное значение каждого пикселя предсказанного изображения, выводимого из блока 103 генерации предсказанного изображения, из пиксельного значения каждого соответствующего пикселя вводимого изображения единицы макроблоков, выводимого из блока 61 ввода изображения, для генерации остатка предсказания. Остаток предсказания является двумерными данными того же размера, что и макроблок. Как описано выше, разницу между пиксельным значением макроблока, который является целью обработки во вводимом изображении, и пиксельным значением предсказанного изображения, получают для каждого пикселя для генерации остатка предсказания, таким образом уменьшая избыточность пиксельных значений вводимого изображения и сдерживая размер кода закодированных данных, сгенерированных устройством 10 кодирования движущихся изображений.

Блок 106 генерации остатка предсказания выводит сгенерированный остаток предсказания к блоку 105 определения частотного преобразования и к блоку 107 генерации коэффициентов преобразования.

На этапе 8106 блок 105 определения частотного преобразования выбирает частотное преобразование для применения к остатку предсказания, выводимому из блока 106 генерации остатка предсказания, для каждого полученного в результате деления раздела, в структуре разделов, определенной блоком 102 определения параметра предсказания, и генерирует информацию выбора преобразования, указывающую выбранное частотное преобразование.

Фиг. 8 - схема, на которой показывают пример конфигурации целевой области преобразования, определенной посредством частотного преобразования, выбранным блоком 105 определения частотного преобразования. В данном случае целевая область преобразования является областью в макроблоке, которую преобразовывают в коэффициент преобразования посредством одного частотного преобразования. Фиг. 8 показывает пример, в котором блок 105 определения частотного преобразования определяет, что из числа четырех разделов в макроблоке от р0 до р3, каждый имеет 8 пикселей по горизонтали х8 пикселей по вертикали, 4x4 ΌΟΤ применяют к разделам р0 и р1, и 8x8 ΌΟΤ применяют к разделам р2 и р3.

- 19 027182

Когда размер частотного преобразования меньше размера раздела, как в разделах р0 или р1 на фиг. 8, блок 105 определения частотного преобразования делит раздел остатка предсказания на соответствующие области размера частотного преобразования. Каждая полученная в результате деления область является целевой областью преобразования. Например, на фиг. 8, раздел р0 делят на четыре целевых области г0-г3 преобразования. С другой стороны, когда размер раздела является таким же, как размер частотного преобразования, как в разделе р2 или р3 на фиг. 8, вся область, разделенная в соответствии с данным разделом, становится одной целевой областью преобразования. Каждый блок устройства 10 кодирования движущихся изображений и устройства 20 декодирования движущихся изображений обрабатывает целевые области преобразования в том же самом разделе по порядку с левой целевой области преобразования к правой целевой области преобразования, и повторяет этот процесс по порядку сверху вниз. Дополнительно, когда целевые области преобразования обрабатывают по множеству разделов, процесс выполняют по порядку с левого раздела к правому разделу и повторяют по порядку с верхнего раздела к нижнему разделу.

Подобное применяется к устройству кодирования движущихся изображений и устройству декодирования движущихся изображений, которое будет описано в дальнейшем.

Фиг. 9 - схема структуры данных, на которой показывают структуру данных информации выбора преобразования, сгенерированной блоком 105 определения частотного преобразования. Информация выбора преобразования указывает частотное преобразование, применяющееся к каждому разделу в макроблоке.

Как показано на фиг. 9, информация выбора преобразования содержит информацию, указывающую частотные преобразования, применяющиеся к соответствующим разделам, которые упорядочены по порядку разделов. На фиг. 9 показан пример информации выбора преобразования, когда блок 105 определения частотного преобразования выбирает частотное преобразование, описанное в отношении фиг. 8, как частотное преобразование, применяющееся к каждому разделу. 4х4 в столбцах разделов р0 и р1 указывает, что 4x4 ОСТ применяют к разделам р0 и р1, и 8х8 в столбцах разделов р2 и р3 указывает, что 8х8 ОСТ применяют к разделам р2 и р3.

Фиг. 10 - последовательность операций, которая показывает процедуру, в который блок 105 определения частотного преобразования выбирает частотное преобразование для каждого раздела в макроблоке.

На этапе 8141 блок 105 определения частотного преобразования начинает цикл процесса для каждого раздела.

Таким образом, сначала на этапах 8142-8145 блок 105 определения частотного преобразования выбирает частотные преобразования-кандидаты, которые применяют к разделу.

На этапе 8142 блок 105 определения частотного преобразования начинает цикл процесса для каждого элемента предварительно установленного набора преобразований. В данном случае предварительно установленный набор преобразований относится к набору всех частотных преобразований, которые можно применять к макроблоку посредством устройства 10 кодирования движущихся изображений. Устройство 10 кодирования движущихся изображений включает в себя в качестве элементов предварительно установленного набора преобразований семь типов частотных преобразований: 4х8 ОСТ, 8х4 ОСТ, 16х 16 ΌΓΓ, 16х8 ΌΓΓ и 8х 16 ОСТ, а так же 4х4 ΌΓΓ и 8х8 ΌΓΓ в Н.264/АУС. В данном случае т хп ОСТ относится к дискретному косинусному преобразованию, в котором размер частотного преобразования (количество пикселей по горизонтали и по вертикали целевой области частотного преобразования; также упоминается в дальнейшем, как размер преобразования) равен т пикселей по горизонтали хп пикселей по вертикали.

Дополнительно, предварительно установленный набор преобразований устройства 10 кодирования движущихся изображений не ограничен указанным выше набором и может быть поднабором данного набора. Альтернативно, частотные преобразования, включающие в себя дискретные косинусные преобразования других размеров преобразования, например, 4х16 ОСТ или 16х4 ОСТ, могут быть включены в предварительно установленный набор преобразований, и другие частотные преобразования, отличные от дискретного косинусного преобразования, например, частотные преобразования, включающие в себя преобразования Адамара, синусные преобразования, вейвлет-преобразования и аналогичные преобразования, могут быть включены в предварительно установленный набор преобразований.

На этапе 8143 блок 105 определения частотного преобразования определяет, выполняется ли условие, что вертикальные и горизонтальные размеры частотного преобразования, которое является целью обработки в цикле с этапа 8142, равны или меньше размера раздела. Если размеры равны или меньше размера раздела (этап 8143 да), то процесс переходит на этап 8144, а иначе (этап 8143 нет) процесс переходит на этап 8145.

На этапе 8144 блок 105 определения частотного преобразования добавляет частотное преобразование, которое является целью обработки, в цикле с этапа 8142 в качестве кандидата частотного преобразования, который должен быть применен к разделу (в дальнейшем называют преобразованиекандидат). Например, для раздела 16 пикселей по горизонтали х 8 пикселей по вертикали блок 105 опре- 20 027182 деления частотного преобразования выбирает 4x4 ЭСТ. 8x8 ЭСТ. 4x8 ЭСТ. 8x4 ЭСТ и 16x8 ЭСТ. которые равны или меньше 16 пикселей по горизонтали x8 пикселей по вертикали, в предварительно установленном наборе преобразований в качестве преобразования-кандидата.

Дополнительно, количество преобразований-кандидатов, выбранных блоком 105 определения частотного преобразования, можно сокращать. Например, для раздела 16 пикселей по горизонтали x8 пикселей по вертикали, только 4x4 ОСТ и 8x8 ОСТ можно выбирать в качестве преобразований-кандидатов. Например, количество преобразований-кандидатов можно сокращать, уменьшая количество элементов предварительно установленного набора преобразований. Величину последующей обработки можно уменьшать, сокращая количество преобразований-кандидатов. Дополнительно, длину кода индекса, указывающего частотное преобразование, можно уменьшать посредством уменьшения количества элементов предварительно установленного набора преобразований, и можно сдерживать увеличение размера кода.

На этапе 8145, если существует ожидающее обработки частотное преобразование из числа элементов предварительно установленного набора преобразований, то повторяют цикл с этапа 8142, а если нет никакого ожидающего обработки частотного преобразования, то процесс переходит на этап 8146.

На этапах 8146-8149 блок 105 определения частотного преобразования вычисляет показатель искажения в зависимости от скорости каждого из преобразований-кандидатов, и выбирает частотное преобразование, при котором показатель искажения в зависимости от скорости минимален, в качестве частотного преобразования, которое должно быть применено к разделу.

Таким образом, сначала на этапе 8146 блок 105 определения частотного преобразования начинает цикл процесса для каждого преобразования-кандидата, выбранного в цикле этапов 8142-8145.

На этапе 8147 блок 105 определения частотного преобразования вычисляет показатель искажения в зависимости от скорости частотного преобразования, которое является целью обработки в цикле с этапа 8146, основываясь на описанном выше уравнении (1).

На этапе 8148, если существует ожидающее обработки частотное преобразование из числа элементов преобразований-кандидатов, то повторяют цикл с этапа 8146, а если нет никакого ожидающего обработки частотного преобразования, то процесс переходит на этап 8149.

На этапе 8149 блок 105 определения частотного преобразования выбирает частотное преобразование, при котором показатель искажения в зависимости от скорости минимален, в качестве частотного преобразования, которое должно быть применено к разделу.

На этапе 8150, если существует ожидающий обработки раздел, то повторяют цикл с этапа 8141, а если нет никакого ожидающего обработки раздела, то процесс выбора частотного преобразования для каждого раздела в макроблоке заканчивается.

Возвращаясь к фиг. 3, на этапе 8107 блок 105 определения частотного преобразования генерирует информацию объединения преобразования, указывающую область, полученную посредством объединения целевых областей преобразования, включенных в различные разделы, т.е. целевые области преобразования по разделам. В частности, блок 105 определения частотного преобразования определяет, должны ли целевые области преобразования, определенные посредством выбора частотного преобразования на этапе 8106, быть объединены для каждой комбинации двух смежных целевых областей преобразования в макроблоке, и генерирует информацию объединения преобразования, указывающую целевые области преобразования, которые должны быть объединены.

Поскольку блок 105 определения частотного преобразования определяет, что множество смежных областей с границей раздела, расположенной между ними, должны быть объединены, и блок 107 генерации коэффициентов преобразования выполняет частотное преобразование по остатку предсказания согласно определению блока 105 определения частотного преобразования, устройство 10 кодирования движущихся изображений выполняет частотное преобразование по области, полученной посредством объединения множества смежных областей с границей раздела, расположенной между ними, таким образом улучшая эффективность кодирования.

Фиг. 11 - схема, на которой показывают пример объединенных целевых областей преобразования. На фиг. 11(а) макроблок делят на четыре раздела (субмакроблока) р0-р3. Блок 105 определения частотного преобразования определяет, что 4x4 ОСТ применяют к разделам р0 и р1 и, соответственно каждый из разделов р0 и р1, делят на четыре целевых области г0-г3 преобразования, каждая имеет 4 пикселя по горизонтали x4 пикселя по вертикали. Дополнительно, блок 105 определения частотного преобразования определяет, что 8x4 ОСТ применяют к разделу р2, и раздел р2 делят на две целевых области преобразования, каждая имеет 8 пикселей по горизонтали x4 пикселя по вертикали. Дополнительно, блок 105 определения частотного преобразования определяет, что 4x8 ОСТ применяют к разделу р3, и раздел р3 делят на две целевых области преобразования, каждая имеет 4 пикселя по горизонтали x8 пикселей по вертикали.

Фиг. 11(Ь) показывает пример, в котором блок 105 определения частотного преобразования определяет, что целевая область г1 преобразования раздела р0 и целевая область г0 преобразования раздела р1 из числа целевых областей преобразования, показанных на фиг. 11 (а), должны быть объединены.

- 21 027182

Фиг. 11(с)-(Г) показывают другие примеры объединенных целевых областей преобразования. На фиг. 11 (с), каждый раздел р2 и раздел р3 делят на две целевые области г0 и г1 преобразования, каждая имеет 8 пикселей по горизонтали х4 пикселя по вертикали, и целевую область г0 преобразования раздела р2 и целевую область г1 преобразования раздела р3 объединяют. На фиг. 11 (ά) каждый раздел р0 и раздел р1 делят на четыре целевых области г0, г1, г2 и г3 преобразования, каждая имеет 8 пикселей по горизонтали х4 пикселя по вертикали, и целевую область г2 преобразования раздела р0 и целевую область г0 преобразования раздела р1 объединяют. На фиг. 11(е) каждый из разделов р1-р3 составляет целевую область преобразования, и раздел р1 и раздел р3 объединяют. На фиг. 11(Г) каждый из разделов р0-р3 делят на четыре целевые области г0, г1, г2 и г3 преобразования, каждая имеет 4 пикселя по горизонтали х4 пикселя по вертикали, и целевую область г3 преобразования раздела р0, целевую область г2 преобразования раздела р1, целевую область г1 преобразования раздела р2 и целевую область г0 преобразования раздела р3 объединяют. Дополнительно, объединение целевых областей преобразования, показанное на фиг. 11, является одним из примеров, и объединение целевых областей преобразования, определенных блоком 105 определения частотного преобразования, им не ограничена.

Фиг. 12 - схема структуры данных, на которой показывают структуру данных информации объединения преобразования. Информация объединения преобразования является информацией, указывающей области которые должны быть объединены посредством блока 105 определения частотного преобразования, и к упомянутым областям должны быть применены частотные преобразования.

Как показано на фиг. 12, информация объединения преобразования включает в себя индекс раздела, индекс целевой области объединения, индекс направления объединения и информацию о частотном преобразовании. Блок 105 определения частотного преобразования генерирует информацию объединения преобразования для каждого объединения целевых областей преобразования.

Индекс раздела является индексом, указывающим раздел, содержащий область, имеющую более раннюю очередность обработки из числа областей, которые должны быть объединены. Индексом целевой области объединения является индекс, указывающий позицию в разделе области, имеющей более раннюю очередность обработки из числа областей, которые должны быть объединены. Позицию в макроблоке области, имеющей более раннюю очередность обработки из числа областей, которые должны быть объединены, указывают посредством индекса раздела и индекса целевой области объединения. Индексом направления объединения является индекс, указывающий направление области, имеющей более позднюю очередность обработки из числа областей, которые должны быть объединены, если смотреть с области, имеющей более раннюю очередность обработки из числа областей, которые должны быть объединены.

Например, информация объединения преобразования на фиг. 12 указывает, что раздел р0 содержит область г1, которая должна быть объединена, и область г1 раздела р0 и смежную правую область объединяют в случае на фиг. 11(Ь).

Информацией частотного преобразования является информация, указывающая частотное преобразование, применяющееся к областям, которые должны быть объединены. В примере на фиг. 12 8х4 ИСТ применяют к областям, которые должны быть объединены.

Дополнительно, информация объединения преобразования, сгенерированная блоком 105 определения частотного преобразования, не ограничена информацией объединения преобразования, имеющей структуру на фиг. 12, и может быть любой информацией объединения преобразования, указывающей области, которые должны быть объединены. Например, информация объединения преобразования может содержать множество индексов разделов всех областей, которые должны быть объединены, и индекс целевой области объединения и информацию о частотном преобразовании, применяющемся к областям, которые должны быть объединены.

Фиг. 13 - последовательность операций, которая показывает процедуру, в которой блок 105 определения частотного преобразования определяет области, которые должны быть объединены, из числа целевых областей преобразования в пределах макроблока. Блок 105 определения частотного преобразования определяет области, которые должны быть объединены, из числа целевых областей преобразования остатка предсказания единицы макроблоков, основываясь на пиксельных значениях предсказанного изображения единицы макроблоков, выводимой из блока 103 генерации предсказанного изображения. Используются пиксельные значения предсказанного изображения, а не пиксельные значения остатка предсказания, так что устройство 20 декодирования движущихся изображений выполняет подобное определение.

На этапе 8161 блок 105 определения частотного преобразования начинает цикл выполнения процесса в целевой области ί преобразования (ί - целое число от 0 до (N-2), и N является номером целевой области преобразования в пределах макроблока). В данном случае номером, заданным целевой области преобразования, является номер по порядку обработки целевой области преобразования, описанной в отношении фиг. 8.

На этапе 8162 блок 105 определения частотного преобразования начинает цикл выполнения процесса в целевой области _) преобразования (] - целое число от (ί + 1) до Ν).

- 22 027182

На этапе 8163 блок 105 определения частотного преобразования определяет, выполняется ли следующее условие С131.

Условие С131: целевая область ί преобразования и целевая область ) преобразования являются смежными друг другу. Дополнительно, целевую область ί преобразования и целевую область ) преобразования включают в различные разделы. Дополнительно, область, полученная посредством соединения целевой области ί преобразования и целевой области _) преобразования, является прямоугольником.

Основываясь на этом определении, блок 105 определения частотного преобразования устанавливает только области по разделам в качестве целей обработки для следующих этапов 8165 и 8167.

Если определяют, что условие С131 выполняется (этап 8163 да), то процесс переходит на этап 8164, а если определяют, что условие С131 не выполняется (этап 8163 нет), то процесс переходит на этап 8167.

На этапе 8164 блок 105 определения частотного преобразования определяет, имеет ли целевая область ί преобразования и целевая область ) преобразования характеристику, подходящую для объединения. Блок 105 определения частотного преобразования определяет, является ли высокой пространственная корреляция остатка предсказания между целевой областью ί преобразования и целевой областью ι преобразования, основываясь на подобии между пиксельными значениями областей предсказанного изображения, соответствующих целевой области ί преобразования и целевой области ) преобразования. В частности, предсказанное изображение единицы макроблоков, вводимое из блока 103 генерации предсказанного изображения, делят на те же разделы и целевые области преобразования, что и остаток предсказания. Блок 105 определения частотного преобразования определяет, выполняется ли уравнение (2), в котором длина пиксельного блока границы Ь между целевой областью г1 преобразования и целевой областью г2 преобразования предсказанного изображения равна М, пиксельное значение пикселя, который контактирует с границей Ь, которая принадлежит целевой области г1 преобразования, равно Ьгу1 [ί] (ί положительное целое число от 1 до М), пиксельное значение пикселя, который контактирует с границей Ь, которая принадлежит целевой области г2 преобразования, равно Ьгу2[1], и пороговое значение для определения равно ТЕ

N х I 0Λ·νΐ[/]-0Γν2[/]| <7% /=1

- (2)

В уравнении (2), поскольку абсолютное значение |Ьгу1[|]-Ьгу2[|]| разницы между пиксельными значениями смежных пикселей является небольшим, пространственная корреляция между целевой областью ί преобразования и целевой областью ι преобразования, как ожидают, должна быть высокой. Блок 105 определения частотного преобразования определяет, является ли высокой пространственная корреляция в области, которая является целью, используя уравнение (2) в качестве индекса, указывающего пространственную корреляцию. Если определяют, что уравнение (2) выполняется, то блок 105 определения частотного преобразования определяет, что целевая область ί преобразования и целевая область ) преобразования имеют высокую пространственную корреляцию и являются областями, подходящими для объединения, и определяет, что целевая область ί преобразования и целевая область _) преобразования должны быть объединены.

Фиг. 14 - схема, на которой показывают пример пикселей предсказанного изображения, которое является целью определения в блоке 105 определения частотного преобразования.

Фиг. 14 показывает пример, в котором определяют, имеет ли целевая область г3 преобразования раздела р0 и целевая область г2 преобразования раздела р1 характеристику, подходящую для объединения. Дополнительно, граница между этими двумя целевыми областями преобразования является границей Ь, и длина пиксельного блока границы Ь составляет 4 пикселя. Целевая область г3 преобразования раздела р0 включает в себя пиксели Ьг1[1]-Ьг1[4], которые контактируют с границей Ь, и целевая область г2 преобразования раздела р1 включает в себя пиксели Ьг2[1]-Ьг2[4], которые контактируют с границей Ь. Блок 105 определения частотного преобразования вычисляет сумму абсолютного значения |Ьгу1[к]Ьгу2[к]| разницы между пиксельными значениями пикселей Ьг1[к] (к целое число от 0 до 3) и Ьг2[к], которые являются смежными друг другу, используя уравнение (2), и определяет, меньше ли расчетная сумма, чем пороговое значение ТЕ

Возвращаясь к фиг. 13, если на этапе 8164 определяют, что уравнение (2) выполняется (этап 8164: да), то процесс переходит на этап 8165, а если определяют, что уравнение (2) не выполняется (этап 8164: нет), то процесс переходит на этап 8167.

На этапе 8165 блок 105 определения частотного преобразования выбирает новое частотное преобразование 1' для применения к целевой области ί преобразования и целевой области ) преобразования остатка предсказания. Блок 105 определения частотного преобразования выбирает дискретное косинусное преобразование, имеющее тот же самый размер преобразования, как размер целевой области преобразования после объединения, в качестве нового частотного преобразования 1'. Например, когда две исходных целевые области преобразования имеют А пикселей по горизонтали хН пикселей по вертикали и расположены сверху и снизу, блок 105 определения частотного преобразования выбирает частотное пре- 23 027182 образование У пикселей по горизонтали x2Н пикселей по вертикали. С другой стороны, когда целевые области преобразования расположены слева и справа, блок 105 определения частотного преобразования выбирает частотное преобразование 2У пикселей по горизонтали xН пикселей по вертикали. Соответственно во вновь выбранном частотном преобразовании ΐ' область, полученную посредством соединения двух исходных целевых областей преобразования, устанавливают в качестве целевой области преобразования.

Блок 105 определения частотного преобразования не выполняет объединение, если частотное преобразование ΐ' не включено в предварительно установленный набор преобразований. Например, на фиг. 11(с), частотными преобразованиями, применяющимися к разделу р0 и к разделу р1, являются 8x4 ОСТ, и частотным преобразованием 2У пикселей по горизонтали xН пикселей по вертикали является 16x4 ОСТ, которое, однако, не включено в предварительно установленный набор преобразований. Соответственно блок 105 определения частотного преобразования не выполняет объединение. Это может сдерживать увеличение длины кода индекса, указывающего частотное преобразование, из-за увеличения количества типов частотных преобразований.

Альтернативно, даже когда частотное преобразование ΐ' не включено в предварительно установленный набор преобразований, блок 105 определения частотного преобразования может выполнять объединение. В этом случае, например, блок 105 определения частотного преобразования добавляет новое частотное преобразование в предварительно установленный набор преобразований и устройство 10 кодирования движущихся изображений выводит предварительно установленный набор частотных преобразований, который включает в себя добавленное к нему новое частотное преобразование, к устройству 20 декодирования движущихся изображений. Таким образом, даже когда частотное преобразование ΐ' не включено в предварительно установленный набор преобразований, объединение выполняют. Это позволяет сокращать длину кода коэффициента преобразования, используя пространственную корреляцию между смежными целевыми областями преобразования.

На этапе 8166 блок 105 определения частотного преобразования генерирует информацию объединения преобразования.

На этапе 8167, если существует ожидающая обработки целевая область преобразования из числа целевых областей преобразования (ί + 1) - Ν, то повторяют цикл с этапа 8162, а если нет никакой ожидающей обработки целевой области преобразования, то процесс переходит на этап 8168.

На этапе 8168, если существует ожидающая обработки целевая область преобразования из числа целевых областей преобразования 0 - (п-2), то повторяют цикл с этапа 8161, а если нет никакой ожидающей обработки целевой области преобразования, то процесс определения, должны ли целевые области преобразования в пределах раздела быть объединены, заканчивается.

Блок 105 определения частотного преобразования выводит сгенерированную информацию выбора преобразования и информацию объединения преобразования к блоку 107 генерации коэффициентов преобразования, блоку 108 кодирования с переменной длиной слова и блоку 109 восстановления остатка предсказания.

Как описано выше, блок 105 определения частотного преобразования делит макроблок, который является целью обработки, на целевые области преобразования и объединяет целевые области преобразования, чтобы таким образом разделить макроблок, который является целью обработки, на целевые области преобразования, включающие в себя области по разделам (целевые области преобразования, объединенные на этапе 8165).

Дополнительно, на этапе 8164 пиксели, расположенные далеко от границы, а так же пиксели, контактирующие с границей, можно добавлять к целям для определения. Например, блок 105 определения частотного преобразования побуждает, чтобы пиксель, который расположен на расстоянии в один пиксель от границы, был включен в уравнение (2), и затем выполняет определение. Соответственно точность определения может быть улучшена.

Дополнительно, в последовательности операций на фиг. 13 определение этапа 8163 выполняют для всех комбинаций целевых областей преобразования, а на этапе 8163 сначала определяют, является ли данная комбинация комбинацией, для которой явно не выполняется условие С131, а затем определяют, выполняется ли условие С131. Например, когда целевая область преобразования, которая не контактирует с другими разделами в пределах макроблока, как целевая область г0 преобразования раздела р0 на фиг. 11(Ь), является целью определения, то условие С131 явно не выполняется. Частотный домен 105 заранее сохраняет целевые области преобразования, которые не контактируют с другими разделами в пределах макроблока, и когда эта целевая область преобразования становится целью определения, процесс переходит на этап 8167, не выполняя определение относительно того, выполняется ли условие С131 на этапе 8163. Соответственно величину обработки можно уменьшать.

Альтернативно, можно сделать условие С131 более трудным для выполнения, таким образом уменьшая величину обработки.

Например, добавляют условие, что частотное преобразование целевой области г1 преобразования и частотное преобразование целевой области г2 преобразования являются одним частотным преобразова- 24 027182 нием ΐ. Таким образом, когда делают, что условие С131 труднее выполнять, можно уменьшать количество выполнений процесса на этапах 8164 и 8165, и величину обработки можно уменьшать.

Дополнительно, блок 105 определения частотного преобразования может переназначать целевые области преобразования, определенные для объединения, и дополнительно объединять целевые области преобразования. Это объединение дает возможность большей области стать целевой областью преобразования, таким образом улучшая скорость кодирования закодированных данных, выводимых устройством 10 кодирования движущихся изображений. Например, в области (ί) на фиг. 11, если определяют, что область г3 раздела р0 и область г2 раздела р1 должны быть объединены, и область г1 раздела р2 и область г0 раздела р3 должны быть объединены, то блок 105 определения частотного преобразования объединяет область, полученную посредством объединения области г3 раздела р0 и области г2 раздела р1, и область, полученную посредством объединения области г1 раздела р2 и области г0 раздела р3, для генерации целевой области преобразования, имеющей 8 пикселей по горизонтали х8 пикселей по вертикали.

Тем временем, если блок 105 определения частотного преобразования выполняет объединение только на одном этапе, то увеличение размера кода, необходимого для указания объединения, или величину обработки для определения объединения можно уменьшать.

Дополнительно, определение обоснованности объединения, выполняемое на этапе 8164, не ограничено определением с использованием описанного выше уравнения (2). Например, блок 105 определения частотного преобразования может сравнивать вектор ту1 движения раздела, к которому принадлежит целевая область г1 преобразования, с вектором ту2 движения раздела, к которому принадлежит целевая область г2 преобразования, и определять, что пространственная корреляция является высокой, и области являются подходящими для объединения, если выполняется предопределенное условие. Например, условие состоит в том, что опорные изображения г1 и г2 являются одинаковыми, и разница или соотношение между размерами векторов ту1 и ту2 равно или меньше порогового значения. Если условие выполняется, то целевая область г1 преобразования и целевая область г2 преобразования относятся к достаточно близким областям в том же самом опорном изображении, и соответственно пространственная корреляция в данной области, очень вероятно, будет высокой. Поэтому, скорость кодирования, как ожидают, будет улучшена из-за объединения. Блок 105 определения частотного преобразования определяет, является ли высокой пространственная корреляция в области, которая является целью, используя указанное выше условие в качестве индекса, указывающего пространственную корреляцию.

Дополнительно, способ, которым блок 105 определения частотного преобразования определяет обоснованность объединения целевых областей г1 и г2 преобразования, не ограничен способом оценки подобия между пиксельными значениями предсказанного изображения около границы раздела или способом оценки подобия между векторами движения, который был описан выше. Например, блок 105 определения частотного преобразования может определять обоснованность объединения, основываясь на способе, использующем другое количество особенностей, чем указанное выше количество особенностей, полученное из целевых областей г1 и г2 преобразования, например, способ оценки подобия между распределениями коэффициентов, полученных посредством частотного преобразования остатка предсказания соответствующих целевых областей г1 и г2 преобразования, или способ оценки, являются ли небольшими размер кода или показатель искажения в зависимости от скорости через фактическое преобразование без определения подобия.

Альтернативно, блок 105 определения частотного преобразования может применять частотное преобразование к каждой из целевых областей г1 и г2 преобразования и определять обоснованность объединения г1 и г2, основываясь на коэффициентах преобразования, полученных в результате частотного преобразования. Например, когда и коэффициент преобразования, полученный из г1, и коэффициент преобразования, полученный из г2, равны или меньше ранее установленного порогового значения, определяют, что пространственная корреляция между г1 и г2 является высокой и г1 и г2 являются подходящими для объединения. Альтернативно, определение относительно того, подходят ли г1 и г2 для объединения, можно выполнять, сравнивая размер кода или показатель искажения в зависимости от скорости, когда целевые области г1 и г2 преобразования объединены, с размером кода или показателем искажения в зависимости от скорости, когда целевые области г1 и г2 преобразования не объединены.

Дополнительно, когда раздел р в пределах макроблока, который является целью обработки, имеет субразделы, целевые области преобразования в субразделе могут не быть объединены. Альтернативно, макроблок может быть заменен субмакроблоком, раздел может быть заменен субразделом, и блок 105 определения частотного преобразования может рекурсивно применять процесс на фиг. 13. Дополнительно, данный вариант осуществления настоящего изобретения не ограничен случаем, когда раздел р имеет субразделы, и блок 105 определения частотного преобразования может определять обоснованность объединения, выполняя процесс на фиг. 13, даже когда единицей обработки является другой блок, чем 16 пикселей х16 пикселей, например, блок 32 пикселя х32 пикселя.

На этапе 8108 на фиг. 3 блок 107 генерации коэффициентов преобразования выполняет частотное преобразование остатка предсказания для генерации коэффициента преобразования, основываясь на остатке предсказания, выводимом из блока 106 генерации остатка предсказания, и информации выбора

- 25 027182 преобразования и информации объединения преобразования, вводимой из блока 105 определения частотного преобразования.

В частности, блок 107 генерации коэффициентов преобразования выбирает частотное преобразование, которое должно быть применено к каждой целевой области преобразования, основываясь на информации выбора преобразования и информации объединения преобразования, и применяет выбранное частотное преобразование к каждой целевой области преобразования остатка предсказания. Частотное преобразование, указанное посредством информации выбора преобразования, является любым из частотных преобразований, которые включены в предварительно установленный набор преобразований.

Фиг. 15 - псевдокод, который показывает процесс, в котором блок 107 генерации коэффициентов преобразования применяет частотное преобразование к целевым областям преобразования в пределах раздела. В данном случае область К (х, у, Н) указывает целевую область преобразования пикселей по горизонтали хН пикселей по вертикали, в которых позиция, смещенная на х пикселей в направлении вправо и на у пикселей в направлении вниз от верхнего левого угла в пределах раздела, является верхним левым углом.

Для целевых областей преобразования М пикселей по горизонтали χΝ пикселей по вертикали, которые включает в себя раздел, блок 107 генерации коэффициентов преобразования применяет к каждой целевой области преобразования частотное преобразование, имеющее размер преобразования пикселей по горизонтали х Н пикселей по вертикали по порядку с левой целевой области преобразования к правой целевой области преобразования, как показано в псевдокоде на фиг. 15. Это последовательно повторяют сверху вниз.

Дополнительно, процесс квантования может включать в себя процесс, в котором блок 107 генерации коэффициентов преобразования генерирует коэффициент преобразования из остатка предсказания. Например, коэффициент преобразования, сгенерированный блоком 107 генерации коэффициентов преобразования, можно квантовать.

На этапе 8109 на фиг. 3 блок 109 восстановления остатка предсказания выполняет обратное частотное преобразование коэффициента преобразования, основываясь на коэффициенте преобразования, выводимом из блока 107 генерации коэффициентов преобразования, и информации выбора преобразования и информации объединения преобразования, выводимой из блока 105 определения частотного преобразования, для восстановления остатка предсказания. Дополнительно, на этапе 8109, когда блок 107 генерации коэффициентов преобразования выполняет квантование, блок 109 восстановления остатка предсказания выполняет обратное квантование, соответствующее квантованию. Например, когда блок 107 генерации коэффициентов преобразования выполняет квантование сгенерированного коэффициента преобразования, блок 109 восстановления остатка предсказания выполняет обратное частотное преобразование коэффициента преобразования после выполнения обратного квантования коэффициента преобразования.

Блок 109 восстановления остатка предсказания выводит восстановленный остаток предсказания к блоку 110 генерации локального декодированного изображения.

На этапе 8110 блок 110 генерации локального декодированного изображения генерирует локальное декодированное изображение, основываясь на предсказанном изображении, выводимом из блока 103 генерации предсказанного изображения, и на остатке предсказания, выводимом из блока 109 восстановления остатка предсказания. Блок 110 генерации локального декодированного изображения суммирует для каждого пикселя пиксельное значение предсказанного изображения и пиксельное значение остатка предсказания, в качестве значения каждого пикселя локального декодированного изображения, для генерации локального декодированного изображения.

Дополнительно, блок 110 генерации локального декодированного изображения может применять фильтр к сгенерированному локальному декодированному изображению для уменьшения блочного искажения или ошибки квантования, которые происходят на границе блоков. В этом случае устройство 20 декодирования движущихся изображений также применяет подобный фильтр к сгенерированному локальному декодированному изображению таким образом, что устройство 10 кодирования движущихся изображений и устройство 20 декодирования движущихся изображений генерирует подобное локальное декодированное изображение.

Блок 110 генерации локального декодированного изображения записывает сгенерированное локальное декодированное изображение в блок 33 хранения локальных декодированных изображений.

На этапе 8111 блок 108 кодирования с переменной длиной слова кодирует коэффициент преобразования, выводимый из блока 107 генерации коэффициентов преобразования, параметр предсказания, выводимый из блока 102 определения параметра предсказания, и информацию выбора преобразования и информацию объединения преобразования, выводимые из блока 105 определения частотного преобразования, для генерации закодированных данных, и выводит сгенерированные закодированные данные к блоку 64 вывода закодированных данных. Блок 64 вывода закодированных данных выводит закодированные данные, выводимые из блока 108 кодирования с переменной длиной слова, за пределы устройства 10 кодирования движущихся изображений.

- 26 027182

Блок 108 кодирования с переменной длиной слова сначала выполняет кодирование с переменной длиной слова коэффициента преобразования и параметра предсказания, используя способ, определенный в Н.264/ЛУС. В этом случае блок 108 кодирования с переменной длиной слова делит коэффициент преобразования, сгенерированный частотным преобразованием областей по разделам, основываясь на границе раздела, для выполнения кодирования с переменной длиной слова каждого раздела, аналогично способу, определенному в Н.264/ЛУС.

Затем блок 108 кодирования с переменной длиной слова выполняет кодирование с переменной длиной слова информации выбора преобразования и информации объединения преобразования.

Сначала блок 108 кодирования с переменной длиной слова выполняет кодирование с переменной длиной слова индекса, указывающего частотное преобразование, применяющееся к каждому разделу, который содержится в информации выбора преобразования, например, используя код Хаффмана. Дополнительно, кодирование, выполняемое блоком 108 кодирования с переменной длиной слова, не ограничено кодированием с переменной длиной слова и может быть любым кодированием, пока кодирование дает возможность устройству 20 декодирования движущихся изображений выполнять декодирование без потери информации, т.е. кодирование, которое является кодированием без потерь. Например, блок 108 кодирования с переменной длиной слова получает небольшую последовательность, полученную посредством преобразования в двоичную форму индекса в ΐ битов, как закодированные данные, используя минимальное положительное целое число ΐ, при котором 2 в степени ΐ равно или больше 8, когда множество элементов предварительно установленного набора преобразований равно 8. Точно так же для других данных, чем информация выбора преобразования, таких как коэффициент преобразования или параметр предсказания, кодирование, выполняемое блоком 108 кодирования с переменной длиной слова, может быть любым кодированием, пока данное кодирование является кодированием без потерь.

Затем блок 108 кодирования с переменной длиной слова кодирует для каждой информации объединения преобразования индекс раздела, указывающий позицию объединенной области, индекс целевой области объединения, индекс направления объединения и индекс, указывающий частотное преобразование, применяющееся к объединенной зоне. Например, индекса раздела имеет любое значение р0-р3, и блок 108 кодирования с переменной длиной слова получает этот индекс раздела в качестве закодированных данных с переменной длиной слова, например, используя код Хаффмана. Дополнительно, индекс целевой области объединения имеет любое значение г0-г7, и блок 108 кодирования с переменной длиной слова получает этот индекс целевой области объединения в качестве закодированных данных с переменной длиной слова, например, используя код Хаффмана. Дополнительно, индекс направления объединения имеет любое значение из вправо и вниз, и блок 108 кодирования с переменной длиной слова получает этот индекс направления объединения как, например, 1-битовые закодированные данные.

Дополнительно, устройство 10 кодирования движущихся изображений может не выводить информацию объединения преобразования. Как описано выше, блок 105 определения частотного преобразования определяет, должны ли целевые области преобразования быть объединены, основываясь на пиксельных значениях предсказанного изображения. Соответственно как будет описано позже, устройство 20 декодирования движущихся изображений может выполнять то же определение, что и определение относительно того, должны ли целевые области преобразования быть объединены, которое выполняют посредством блока 105 определения частотного преобразования устройства 10 кодирования движущихся изображений, чтобы таким образом оценить объединенную область. Дополнительно, устройство 20 декодирования движущихся изображений может оценивать частотное преобразование, которое относится к объединенной области, применяя частотное преобразование, имеющее тот же размер преобразования, что и размер объединенной области, как описано выше. Таким образом, даже когда устройство 10 кодирования движущихся изображений не выводит информацию объединения преобразования, устройство 20 декодирования движущихся изображений может декодировать движущееся изображение.

С другой стороны, если устройство 10 кодирования движущихся изображений выводит информацию объединения преобразования, то не требуется, чтобы устройство 20 декодирования движущихся изображений выполняло оценку объединенной области, таким образом уменьшая количество вычислений.

Дополнительно, когда устройство 10 кодирования движущихся изображений выводит информацию объединения преобразования, кодирование и вывод части информации объединения преобразования могут быть опущены.

Во-первых, когда существует только одна целевая область преобразования, которая может быть целью объединения в пределах раздела, индекс целевой области объединения можно не использовать. Например, поскольку существует только одна целевая область преобразования в разделе р1 на фиг. 11(е), индекс целевой объединенной группы может быть опущен.

Дополнительно, когда существует только одно направление, в котором можно объединять области, индекс направления объединения можно не использовать. Например, поскольку область г1 раздела р0 на фиг. 11 (Ь) контактирует с другим разделом в макроблоке только в правом направлении, индекс направления объединения может быть опущен.

Дополнительно, так как частотное преобразование может быть определено из размера объединен- 27 027182 ной области, как описано выше, информация о частотном преобразовании может быть опущена. Наоборот, когда целевую область преобразования можно определять из информации о частотном преобразовании, информация о целевых областях преобразования, такую как любой один или все индексы раздела, индекс целевой области объединения и индекс направления объединения может быть опущена.

Фиг. 16 - последовательность операций, которая показывает процедуру процесса, в котором блок 108 кодирования с переменной длиной слова кодирует информацию выбора преобразования и информацию объединения преобразования каждого раздела, которые включены в макроблок, который является целью обработки.

На этапе 8201 блок 108 кодирования с переменной длиной слова определяет, является ли структура разделов, определенная для макроблока, который является целью обработки, посредством блока 105 определения частотного преобразования, делением на 4 части. Если определяют, что структура разделов является делением на 4 части (этап 8201 да), то процесс переходит на этап 8203, а если определяют, что структура разделов не является делением на 4 части (этап 8201 нет), то процесс переходит на этап 8202.

На этапе 8202 блок 108 кодирования с переменной длиной слова кодирует информацию выбора преобразования и информацию объединения преобразования, применяющуюся к каждому разделу в пределах макроблока, который является целью обработки. Затем процесс кодирования информации выбора преобразования и информации объединения преобразования заканчивается.

На этапе 8203 блок 108 кодирования с переменной длиной слова начинает цикл процесса для каждого из субмакроблоков с 0 до 3, каждый имеет 8 пикселей по горизонтали х8 пикселей по вертикали, которые были получены, посредством деления макроблока на четверки.

На этапе 8204 блок 108 кодирования с переменной длиной слова кодирует информацию выбора преобразования, применяющуюся к каждому субразделу в субмакроблоке, который является целью обработки.

На этапе 8205, если остается ожидающий обработки субмакроблок, то цикл повторяют с этапа 8203, а если ожидающих обработки субмакроблоков не остается, то процесс переходит на этап 8206.

На этапе 8206 блок 108 кодирования с переменной длиной слова начинает цикл процесса для каждого из субмакроблоков с 0 до 3, каждый имеет 8 пикселей по горизонтали х8 пикселей по вертикали, которые были получены, посредством деления макроблока на четверки.

На этапе 8207 блок 108 кодирования с переменной длиной слова кодирует информацию объединения преобразования, применяемую к каждому субразделу в пределах субмакроблока, который является целью обработки.

На этапе 8208, если остается ожидающий обработки субмакроблок, то повторяют цикл с этапа 8206, а если ожидающих обработки субмакроблоков не остается, то процесс кодирования информации выбора преобразования и информации объединения преобразования заканчивается.

На этапе 8112 на фиг. 3, если существует ожидающая обработки часть в движущемся изображении, вводимом в устройство 10 кодирования движущихся изображений, то повторяют цикл с этапа 8101, а если обработка движущегося изображения, вводимого в устройство 10 кодирования движущихся изображений, закончена, то процесс, в котором устройство 10 кодирования движущихся изображений генерирует закодированные данные, заканчивается.

Таким образом, устройство 10 кодирования движущихся изображений объединяет смежные целевые области преобразования с границей раздела, расположенной между ними, и применяет одно частотное преобразование.

Далее будет описано устройство 20 декодирования движущихся изображений, которое декодирует закодированные данные из устройства 10 кодирования движущихся изображений для генерации декодированного движущегося изображения.

Фиг. 17 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 2 0 декодирования движущихся изображений.

На фиг. 17 устройство 20 декодирования движущихся изображений включает в себя блок 71 ввода закодированных данных, блок 42 декодирования, блок 43 хранения локальных декодированных изображений и блок 74 вывода изображения. Блок 42 декодирования включает в себя блок 201 декодирования кода с переменной длиной слова (блок декодирования кода без потерь), блок 103 генерации предсказанного изображения, блок 111 получения частотного преобразования (блок определения целевой области преобразования), блок 109 восстановления остатка предсказания и блок 110 генерации локального декодированного изображения.

На фиг. 17 части, которые соответствуют соответствующим блокам на фиг. 1, и части, которые соответствуют соответствующим блокам на фиг. 2, указывают теми же самыми ссылочными номерами (71, 74, 103, 109 и 110), и их описание будет опущено.

Когда закодированные данные для каждого макроблока выводят посредством блока 64 вывода закодированных данных устройства 10 кодирования движущихся изображений (фиг. 2), блок 71 ввода закодированных данных выводит вводимые закодированные данные к блоку 201 декодирования кода с

- 28 027182 переменной длиной слова блока 42 декодирования.

Блок 42 декодирования реализуют посредством центрального процессора 72 на фиг. 1, который выполняет программу. Блок 42 декодирования генерирует локальное декодированное изображение, которое является декодированным изображением, полученным в результате деления для каждого макроблока, из закодированных данных для каждого макроблока, вводимого из блока 71 ввода закодированных данных.

В блоке 42 декодирования блок 201 декодирования кода с переменной длиной слова декодирует параметр предсказания, информацию выбора преобразования и информацию объединения преобразования из закодированных данных, выводимых из блока 71 ввода закодированных данных. Блок 201 декодирования кода с переменной длиной слова выводит декодированный параметр предсказания к блоку 103 генерации предсказанного изображения и блоку 111 получения частотного преобразования и выводит информацию выбора преобразования и информацию объединения преобразования, которые были декодированы, к блоку 111 получения частотного преобразования. Дополнительно, блок 201 декодирования кода с переменной длиной слова декодирует коэффициент преобразования из закодированных данных, выводимых из блока 71 ввода закодированных данных. Блок 201 декодирования кода с переменной длиной слова выводит декодированный коэффициент преобразования к блоку 109 восстановления остатка предсказания.

Блок 111 получения частотного преобразования генерирует объединенную информацию выбора преобразования, указывающую конфигурацию целевых областей преобразования в пределах макроблока, который является целью обработки, после объединения, и частотное преобразование, применяющееся к каждой целевой области преобразования, основываясь на информации выбора преобразования и информации объединения преобразования, вводимой из блока 201 декодирования кода с переменной длиной слова. Таким образом, блок 111 получения частотного преобразования определяет целевую область преобразования, основываясь на информации выбора преобразования и информации объединения преобразования. Блок 111 получения частотного преобразования вводит сгенерированную объединенную информацию выбора преобразования к блоку 109 восстановления остатка предсказания.

Блок 43 хранения локальных декодированных изображений реализуют, используя запоминающее устройство 73 на фиг. 1. Блок 43 хранения локальных декодированных изображений хранит локальное декодированное изображение, сгенерированное блоком 110 генерации локального декодированного изображения, т.е. локальное декодированное изображение, которое является изображением, полученным посредством соединения полученных в результате деления макроблоков, на которые устройство 10 кодирования движущихся изображений делит движущееся изображение, из закодированных данных.

Блок 74 вывода изображения соединяет локальные декодированные изображения, выводимые из блока 110 генерации локального декодированного изображения, для генерации декодированного изображения единицы кадров, и выводит декодированное изображение за пределы устройства 20 декодирования движущихся изображений.

Фиг. 18 - схема структуры данных, на которой показывают структуру данных объединенной информации выбора преобразования, сгенерированной посредством блока 111 получения частотного преобразования. Фиг. 18 показывает пример объединенной информации выбора преобразования, когда выполнено показанное на фиг. 11(Ь) объединение.

Как показано на фиг. 18, размеры соответствующих целевых областей преобразования в пределах макроблока указывают в объединенной информации выбора преобразования. В объединенной информации выбора преобразования, когда позиция пикселя в левом верхнем углу каждой целевой области преобразования используется в качестве критерия, размеры целевых областей преобразования указывают по порядку от верхней целевой области преобразования. Если верхние и нижние части находятся в той же зависимости, что и размеры целевых областей преобразования указывают по порядку от левой целевой области преобразования.

Блок 111 получения частотного преобразования считывает структуру разделов из параметра предсказания и считывает частотное преобразование, применяющееся к каждому разделу, из информации выбора преобразования для получения конфигурации целевых областей преобразования перед объединением. Блок 111 получения частотного преобразования также получает конфигурацию целевой области преобразования после объединения, основываясь на информации объединения преобразования, и генерирует объединенную информацию выбора преобразования.

Далее будет описана работа устройства 20 декодирования движущихся изображений.

Фиг. 19 - последовательность операций, которая показывает процедуру процесса, в котором устройство 20 декодирования движущихся изображений генерирует декодированное движущееся изображение. Когда закодированные данные единицы макроблока последовательно вводят извне, устройство 20 декодирования движущихся изображений начинает показанный на фиг. 19 процесс обработки ввода закодированных данные для каждого макроблока.

На этапе 8221 устройство 20 декодирования движущихся изображений начинает цикл обработки закодированных данных для каждого макроблока.

На этапе 8222 блок 71 ввода закодированных данных принимает извне закодированные данные для одного макроблока и выводит закодированные данные к блоку 201 декодирования кода с переменной

- 29 027182 длиной слова. Блок 201 декодирования кода с переменной длиной слова декодирует параметр предсказания для макроблока, который является целью обработки, из закодированных данных, выводимых из блока 71 ввода закодированных данных. Блок 201 декодирования кода с переменной длиной слова выводит декодированный параметр предсказания к блоку 103 генерации предсказанного изображения и к блоку

111 получения частотного преобразования.

На этапе 8223 блок 201 декодирования кода с переменной длиной слова декодирует информацию выбора преобразования и информацию объединения преобразования макроблока, который является целью обработки, из закодированных данных, выводимых из блока 71 ввода закодированных данных. Блок 201 декодирования кода с переменной длиной слова выводит информацию выбора преобразования и информация объединения преобразования, которые были декодированы, к блоку 111 получения частотного преобразования.

На этапе 8224 блок 111 получения частотного преобразования генерирует объединенную информацию выбора преобразования, основываясь на параметре предсказания, информации выбора преобразования и информации объединения преобразования, которые выводят из блока 201 декодирования кода с переменной длиной слова. Блок 111 получения частотного преобразования выводит сгенерированную объединенную информацию выбора преобразования к блоку 109 восстановления остатка предсказания.

На этапе 8225 блок 201 декодирования кода с переменной длиной слова декодирует коэффициент преобразования из закодированных данных, выводимых из блока 71 ввода закодированных данных. Блок 201 декодирования кода с переменной длиной слова выводит декодированный коэффициент преобразования к блоку 109 восстановления остатка предсказания.

На этапе 8226 блок 103 генерации предсказанного изображения генерирует предсказанное изображение, соответствующее макроблоку, который является целью обработки, основываясь на параметре предсказания, выводимом из блока 201 декодирования кода с переменной длиной слова, и на локальном декодированном изображении, записанном в запоминающем устройстве 101 кадра. Блок 103 генерации предсказанного изображения выводит сгенерированное предсказанное изображение к блоку 110 генерации локального декодированного изображения.

На этапе 8227 блок 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определенному посредством объединенной информации выбора преобразования, выводимой из блока 111 получения частотного преобразования, к коэффициенту преобразования, выводимому из блока 201 декодирования кода с переменной длиной слова, и генерирует остаток предсказания, соответствующую макроблоку, который является целью обработки. Соответственно когда коэффициент преобразования, который сгенерирован устройством 10 кодирования движущихся изображений, посредством выполнения частотного преобразования остатка предсказания, в котором область, полученная посредством объединения областей, включенных в различные разделы, является целью, содержится в коэффициенте преобразования, выводимом из блока 201 декодирования кода с переменной длиной слова, блок 109 восстановления остатка предсказания применяет обратное частотное преобразование к каждой целевой области преобразования, указанной посредством объединенной информации выбора преобразования, в которой блок 111 получения частотного преобразования определил объединенную целевую область преобразования, для генерации остатка предсказания, основываясь на информации объединения преобразования, которая является информацией, указывающей область, полученную посредством объединения областей, включенных в различные разделы.

Блок 109 восстановления остатка предсказания выводит сгенерированный остаток предсказания к блоку 110 генерации локального декодированного изображения.

На этапе 8228 блок 110 генерации локального декодированного изображения генерирует локальное декодированное изображение, основываясь на остатке предсказания, выводимом из блока 109 восстановления остатка предсказания, и на предсказанном изображении, выводимом из блока 103 генерации предсказанного изображения. Блок 110 генерации локального декодированного изображения записывает сгенерированное локальное декодированное изображение в блок 43 хранения локальных декодированных изображений. Дополнительно, блок 110 генерации локального декодированного изображения выводит сгенерированное локальное декодированное изображение на блок 74 вывода изображения. Блок 74 вывода изображения соединяет локальные декодированные изображения, выводимые из блока 110 генерации локального декодированного изображения, для генерации декодированного изображения единицы кадров, и выводит декодированное изображение за пределы устройства 20 декодирования движущихся изображений.

На этапе 8229, когда все введенные закодированные данные обработаны, процесс генерации декодированного движущееся изображения заканчивается, а когда остаются закодированные данные, повторяют цикл с этапа 8221. Определение относительно того, обработаны ли все введенные закодированные данные, можно выполнять, например, посредством устройства 10 кодирования движущихся изображений, которое выводит сигнал, указывающего окончание закодированных данных, и блок 71 ввода закодированных данных обнаруживает эти данные.

Как описано выше, в соответствии с устройством 20 декодирования движущихся изображений, можно генерировать декодированное движущееся изображение из закодированных данных, сгенериро- 30 027182 ванных устройством 10 кодирования движущихся изображений.

Дополнительно, даже когда устройство 10 кодирования движущихся изображений не выводит информацию объединения преобразования, устройство 20 декодирования движущихся изображений может генерировать декодированное движущееся изображение, как заявлено в описании блока 105 определения частотного преобразования. В этом случае блок 111 получения частотного преобразования генерирует информацию объединения преобразования, используя параметр предсказания, декодированный блоком 201 декодирования кода с переменной длиной слова или локальное декодированное изображение, хранящееся в блоке 43 хранения локальных декодированных изображений, и генерирует объединенную информацию выбора преобразования, основываясь на сгенерированной информации объединения преобразования и информации выбора преобразования, декодированной блоком 201 декодирования кода с переменной длиной слова.

Фиг. 20 - последовательность операций, которая показывает процедуру процесса, в котором устройство 20 декодирования движущихся изображений генерирует объединенную информацию выбора преобразования, когда устройство 10 кодирования движущихся изображений определяет обоснованность объединения, основываясь на изменении пиксельного значения около границы целевых областей преобразования, и не выводит информацию объединения преобразования. Процесс на фиг. 20 соответствует процессу этапа 8223 на фиг. 19.

На этапе 8241 блок 201 декодирования кода с переменной длиной слова декодирует информацию выбора преобразования. Блок 201 декодирования кода с переменной длиной слова выводит декодированную информацию выбора преобразования к блоку 111 получения частотного преобразования. На этапе 8242 блок 111 получения частотного преобразования генерирует информацию объединения преобразования, выполняя тот же процесс что и процесс, в котором блок 105 определения частотного преобразования генерирует информацию объединения преобразования, которая была описана в отношении фиг. 13. На этапе 8243 блок 111 получения частотного преобразования генерирует объединенную информацию выбора преобразования, основываясь на сгенерированной информации объединения преобразования и на информации выбора преобразования, выводимой из блока 201 декодирования кода с переменной длиной слова. Затем процесс генерации объединенной информации выбора преобразования заканчивается.

Дополнительно, даже когда блок 105 определения частотного преобразования определяет обоснованность объединения через другой процесс, чем процесс, описанный в отношении фиг. 13, на этапе 8242 блок 111 получения частотного преобразования выполняет тот же процесс, что и блок 105 определения частотного преобразования. Например, когда блок 105 определения частотного преобразования использует условие, что опорное изображение целевой области г1 преобразования и опорное изображение целевой области г2 преобразования одинаковые и разница в размере между вектором ту1 движения целевой области г1 преобразования и вектором ту2 движения целевой области г2 преобразования равна или меньше порогового значения, блок 111 получения частотного преобразования также генерирует информацию объединения преобразования, используя подобное условие.

Как описано выше, даже когда устройство 10 кодирования движущихся изображений не выводит информацию объединения преобразования, устройство 20 декодирования движущихся изображений может генерировать информацию объединения преобразования и декодировать движущееся изображение. Это предоставляет возможность не использовать закодированные данные информации объединения преобразования, таким образом уменьшая размер кода, выводимого из устройства 10 кодирования движущихся изображений к устройству 20 декодирования движущихся изображений.

Дополнительно, устройство 10 кодирования движущихся изображений может генерировать, кодировать и выводить объединенную информацию выбора преобразования. Устройство 20 декодирования движущихся изображений может декодировать закодированные данные, используя объединенную информацию выбора преобразования, сгенерированную устройством 10 кодирования движущихся изображений.

В этом случае блок 105 определения частотного преобразования устройства 10 кодирования движущихся изображений генерируют объединенную информацию выбора преобразования, используя ту же процедуру, что и процедура, в которой блок 111 получения частотного преобразования генерирует объединенную информацию выбора преобразования, и выводит объединенную информацию выбора преобразования к блоку 108 кодирования с переменной длиной слова, вместо того, чтобы выводить информацию выбора преобразования и информацию объединения преобразования к блоку кодирования с переменной длиной слова. Блок 108 кодирования с переменной длиной слова кодирует объединенную информацию выбора преобразования, выводимую из блока 105 определения частотного преобразования, и выводит ее как закодированные данные. Посредством этого, поскольку не требуется, чтобы устройство 20 декодирования движущихся изображений генерировало объединенную информацию выбора преобразования, не требуется, чтобы оно включало в себя блок 111 получения частотного преобразования, таким образом упрощая конфигурацию устройства.

Как описано выше, так как устройство 10 кодирования движущихся изображений определяет, объединять ли смежные целевые области преобразования с границей раздела, расположенной между ними, и преобразовывает целевую область преобразования после объединения через одно частотное преобразо- 31 027182 вание, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию.

Дополнительно, так как устройство 20 декодирования движущихся изображений выполняет обратное частотное преобразование, основываясь на целевой области преобразования, объединенной устройством 10 кодирования движущихся изображений, устройство 20 декодирования движущихся изображений может декодировать закодированные данные, сгенерированные устройством 10 кодирования движущихся изображений, и генерировать декодированное движущееся изображение.

Кроме того, устройство 10 кодирования движущихся изображений может определять, является ли высокой пространственная корреляция между смежными целевыми областями преобразования, включенными в один раздел, и объединять целевые области преобразования, между которыми, как определено, пространственная корреляция является высокой. Процесс определения, является ли высокой пространственная корреляция между смежными целевыми областями преобразования, включенными в один раздел, и процесс объединения целевых областей преобразования, между которыми, как определено, пространственная корреляция является высокой, можно выполнять через тот же процесс, что и процесс для смежных целевых областей преобразования с границей раздела, расположенной между ними.

В частности, на этапе 8163 на фиг. 13 условие: целевая область ί преобразования и целевая область _) преобразования являются смежными друг другу. Дополнительно, область, полученная посредством соединения целевой области ί преобразования и целевой области _) преобразования, является прямоугольником, полученное посредством исключения условия, что целевые области преобразования включены в различные области раздела, из условия С131, применяют таким образом, что смежные целевые области преобразования могут быть целями независимо от того, включены ли области в один раздел или различные разделы. Эффективность кодирования можно дополнительно улучшать, выполняя определение и объединение целевых областей преобразования, включенных в один раздел.

Устройство 10 кодирования движущихся изображений определяет, является ли высокой пространственная корреляция между смежными целевыми областями преобразования, включенными в один раздел, независимо от того, должны ли смежные целевые области преобразования с границей раздела, расположенной между ними, быть объединены, и объединяет целевые области преобразования, между которыми, как определено, пространственная корреляция является высокой. Альтернативно, когда устройство 10 кодирования движущихся изображений объединяет смежные целевые области преобразования с границей раздела, расположенной между ними, устройство 10 кодирования движущихся изображений дополнительно определяет, является ли высокой пространственная корреляция между смежными целевыми областями преобразования, включенными в один раздел, и объединяет целевые области преобразования, между которыми, как определено, пространственная корреляция является высокой. Эффективность кодирования можно дополнительно улучшать, выполняя определение и объединение целевых областей преобразования, включенных в один раздел, независимо от того, должны ли быть объединены смежные целевые области преобразования с границей раздела, расположенной между ними. Тем временем, когда смежные целевые области преобразования с границей раздела, расположенной между ними, объединены, можно сдерживать увеличение величины обработки, выполняемой устройством 10 кодирования движущихся изображений, выполняя определение и объединение целевых областей преобразования, включенных в один раздел.

Второй вариант осуществления

Фиг. 21 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 11 кодирования движущихся изображений во втором варианте осуществления настоящего изобретения.

На фиг. 21 устройство 11 кодирования движущихся изображений включает в себя блок 61 ввода изображения, блок 52 кодирования, блок 33 хранения локальных декодированных изображений и блок 64 вывода закодированных данных. Блок 52 кодирования включает в себя блок 102 определения параметра предсказания (блок определения структуры параметра), блок 103 генерации предсказанного изображения, блок 106 генерации остатка предсказания, блок 112 определения частотного преобразования (блок деления области частотного преобразования), блок 107 генерации коэффициентов преобразования, блок 113 кодирования с переменной длиной слова, блок 109 восстановления остатка предсказания и блок 110 генерации локального декодированного изображения.

На фиг. 21 части, которые соответствуют соответствующим блокам устройства 10 кодирования движущихся изображений на фиг. 2, указывают теми же самыми ссылочными номерами (33, 61, 64, 102, 103, 106, 107, 109 и 110), и их описание будет опущено.

Устройство 11 кодирования движущихся изображений отличается от устройства 10 кодирования движущихся изображений на фиг. 2 тем, что блок 112 определения частотного преобразования выполняет определение частотного преобразования, используя образец деления поверх границы раздела предсказанного изображения, вместо того, чтобы выполнять процесс объединения после выбора частотного преобразования для каждого раздела предсказанного изображения.

Фиг. 22 - схема, на которой показывают пример образцов деления, используемых блоком 112 определения частотного преобразования.

- 32 027182

Как показано на фиг. 22, образцы деления являются образцами областей, на которые макроблок может быть разделен горизонтально или вертикально. Образец деления указывает области в пределах макроблока, к которому применяют то же самое частотное преобразование. Блок 112 определения частотного преобразования выбирает образец деления независимо от образцов, на которые делят макроблок для компенсации движения.

Блок 112 определения частотного преобразования использует образцы деления, показанные на фиг. 22(а)-(д).

Фиг. 22(а) показывает образец деления при делении на 1 часть, в котором макроблок не делят. Фиг. 22(Ь) показывает образец деления при делении на 2 части, в котором макроблок делят на две области, каждая имеет 16 пикселей по горизонтали х8 пикселей по вертикали. Фиг. 22(с) показывает образец деления при делении на 2 части, в котором макроблок делят на две области, каждая имеет 8 пикселей по горизонтали х16 пикселей по вертикали. Фиг. 22(ά) показывает образец деления при делении на 4 части, в котором макроблок делят на четыре области, каждая имеет 8 пикселей по горизонтали х8 пикселей по вертикали. Фиг. 22(е) показывает образец деления, в котором макроблок делят на шесть областей, посредством деления макроблока на две части по 8 пикселей сверху вниз, и на три части по порядку 4 пикселя, 8 пикселей и 4 пикселя слева направо. Фиг. 22(ί) показывает образец деления, в котором макроблок делят на шесть областей, посредством деления макроблока на три части по порядку 4 пикселя, 8 пикселей и 4 пикселя сверху вниз, и на две части по 8 пикселей слева направо. Фиг. 22(д) показывает образец деления, в котором макроблок делят на девять областей, посредством деления макроблока на три части по порядку 4 пикселя, 8 пикселей и 4 пикселя и сверху вниз, и слева направо.

Дополнительно, блок 112 определения частотного преобразования может использовать образцы деления, показанные на фиг. 22(Ь)-(]), образцы деления, полученные посредством вращения таких образцов деления на 90° влево и вправо, или образцы деления, полученные посредством вращения образцов деления на 180°.

Фиг. 22(Ь) показывает образец деления, когда макроблок делят на три области, посредством деления макроблока на 8 пикселей сверху вниз и дополнительно посредством деления нижней области на левые и правые 8 пикселей. Фиг. 22(ί) показывает образец деления, когда макроблок делят на четыре области, посредством деления макроблока на 8 пикселей сверху вниз и посредством деления нижней области на три части по порядку 4 пикселя, 8 пикселей и 4 пикселя слева направо. Фиг. 22(]) показывает образец деления, когда макроблок делят на пять областей, посредством деления макроблока на 8 пикселей сверху вниз и дополнительно посредством деления верхней области на левые и правые 8 пикселей и дополнительно посредством деления нижней области на три части по порядку 4 пикселя, 8 пикселей и 4 пикселя слева направо.

В Н.264/ЛУС выбирают или 4x4 ЭСТ, или 8x8 ЭСТ, когда макроблок делят на четыре раздела. В образцах деления, показанных на фиг. 22, образец деления на фиг. 22(ά) можно использовать для выбора разделов и применения частотного преобразования.

Дополнительно, образец деления не ограничен тем, что показано на фиг. 22, но желательно, чтобы количества пикселей по горизонтали и по вертикали каждой полученной в результате деления области были кратным любому из размеров частотного преобразования, которые включены в предварительно установленный набор преобразований (в дальнейшем также называют могут быть заполнены). Дополнительно, блок 112 определения частотного преобразования может динамически генерировать или изменять набор образцов деления, основываясь на структуре разделов, параметре предсказания или пиксельном значении. В этом случае устройство 10 кодирования движущихся изображений выводит информацию набора образцов деления к устройству 20 декодирования движущихся изображений.

Фиг. 23 - последовательность операций, которая показывает процедуру процесса, в котором блок 112 определения частотного преобразования определяет образец деления и частотное преобразование, которое применяют к макроблоку остатка предсказания, который является целью обработки.

На этапе 8261 блок 112 определения частотного преобразования начинает цикл выполнения процесса с каждым образцом деления в наборе заданных образцов деления.

На этапе 8262 блок 112 определения частотного преобразования начинает цикл выполнения процесса с каждой областью в образце деления Р, который является целью обработки, в цикле с этапа 8261.

На этапе 8263 блок 112 определения частотного преобразования выбирает частотное преобразование, применяющееся к области и, которая является целью обработки в цикле, из предварительно установленного набора преобразований. В частности, блок 112 определения частотного преобразования вычисляет показатель искажения в зависимости от скорости, когда применяют каждое частотное преобразование, которое может быть выполнено, основываясь на описанном выше уравнении (1), и выбирает частотное преобразование, при котором показатель искажения в зависимости от скорости минимален, в качестве частотного преобразования, применяющегося к области и.

На этапе 8264, если существует ожидающая обработки область в образце деления Р, то повторяют цикл процесса с этапа 8262. Если все области в образце деления Р обработаны, то процесс переходит на этап 8265.

- 33 027182

На этапе 8265, если существует ожидающий обработки образец деления, то повторяют цикл процесса с этапа 8261. Если нет никакого ожидающего обработки образца деления, то процесс переходит на этап 8266.

На этапе 8266 блок 112 определения частотного преобразования выбирает образец деления, который является самым подходящим для обрабатываемого макроблока. В частности, блок 112 определения частотного преобразования суммирует показатели искажения в зависимости от скорости, полученные на этапах 8261-8265 для соответствующих образцов деления, и выбирает образец деления, при котором сумма показателей искажения в зависимости от скорости в макроблоке минимальна.

На этапе 8267 блок 112 определения частотного преобразования выводит образец деления, выбранный на этапе 8266, и информацию о частотном преобразовании, выбранном в области в пределах образца деления, как информацию выбора преобразования, к блоку 107 генерации коэффициентов преобразования, блоку 109 восстановления остатка предсказания и блоку 113 кодирования с переменной длиной слова. Затем процесс определения частотного преобразования, который относится к макроблоку, который является целью обработки, заканчивается.

Как описано выше, блок 112 определения частотного преобразования определяет образец деления и частотное преобразование для каждой области, которые применяют в каждом макроблоке. Когда можно выбирать множество образцов деления, количество вычислений увеличивается. Однако, например, результат частотного преобразования, выполненного на этапе 8263, сохраняют и к нему затем обращаются, когда подобное частотное преобразование выполняют в той же самой области позже, таким образом уменьшая количество вычислений.

Блок 113 кодирования с переменной длиной слова выполняет кодирование с переменной длиной слова коэффициента преобразования и параметра предсказания в каждом разделе в пределах макроблока, аналогично блоку 108 кодирования с переменной длиной слова устройства 10 кодирования движущихся изображений. Дополнительно, блок 113 кодирования с переменной длиной слова кодирует индекс, указывающий образец деления, и индекс, указывающий частотное преобразование, которые относятся к каждой области остатка предсказания, полученной посредством деления посредством образца деления.

Блок 113 кодирования с переменной длиной слова выводит сгенерированные закодированные данные к блоку 64 вывода закодированных данных.

Далее будет описана работа устройства 11 кодирования движущихся изображений.

Фиг. 24 - последовательность операций, которая показывает процедуру процесса, в котором устройство кодирования движущихся изображений генерирует закодированные данные.

Этапы 8281-8285 являются теми же самыми, как этапы 8101-8105 на фиг. 3.

На этапе 8286 блок 112 определения частотного преобразования определяет образец деления, применяющийся к макроблоку, который является целью обработки, и частотное преобразование, применяющееся к каждой области в пределах образца деления, основываясь на параметре предсказания, выводимом из блока 102 определения параметра предсказания, и на остатке предсказания, выводимом из блока 106 генерации остатка предсказания, генерирует информацию выбора преобразования, указывающую образец деления, и частотное преобразование, применяющееся к каждой области, и выводит информацию выбора преобразования к блоку 107 генерации коэффициентов преобразования, блоку 113 кодирования с переменной длиной слова и блоку 109 восстановления остатка предсказания.

На этапе 8287 блок 107 генерации коэффициентов преобразования выполняет частотное преобразование остатка предсказания, выводимого из блока 106 генерации остатка предсказания, для генерации коэффициента преобразования, основываясь на образце деления и частотном преобразовании, определенном блоком 112 определения частотного преобразования, и выводит данный коэффициент преобразования к блоку 108 кодирования с переменной длиной слова и к блоку 109 восстановления остатка предсказания.

На этапе 8288 блок 109 восстановления остатка предсказания применяет обратное частотное преобразование по отношению к частотному преобразованию, выполняемому блоком 107 генерации коэффициентов преобразования, к коэффициенту преобразования, выводимому из блока 107 генерации коэффициентов преобразования, для восстановления остатка предсказания макроблока, который является целью обработки, основываясь на образце деления и частотном преобразовании, определенном блоком 112 определения частотного преобразования. Блок 109 восстановления остатка предсказания выводит восстановленный остаток предсказания к блоку 110 генерации локального декодированного изображения. Этап 8289 является тем же, что и этап 8110 на фиг. 3.

На этапе 8290 блок 113 кодирования с переменной длиной слова кодирует коэффициент преобразования, параметр предсказания, образец деления и информацию выбора преобразования для генерации закодированных данных. Блок 113 кодирования с переменной длиной слова кодирует коэффициент преобразования для каждого раздела, аналогично блоку 108 кодирования с переменной длиной слова на фиг. 2. Блок 113 кодирования с переменной длиной слова выводит сгенерированные закодированные данные к блоку 64 вывода закодированных данных. Блок 64 вывода закодированных данных выводит закодированные данные, выводимые из блока 113 кодирования с переменной длиной слова, за пределы устройства 11 кодирования движущихся изображений. Этап 8291 является тем же, что и этап 8112 на фиг. 3.

- 34 027182

Используя указанную выше процедуру, устройство 11 кодирования движущихся изображений кодирует вводимое движущееся изображение для генерации закодированных данных и выводит закодированные данные за пределы устройства.

Дополнительно, блок 112 определения частотного преобразования может определять образец деления или уменьшать их количество, используя другой способ, чем способ, использующий показатель искажения в зависимости от скорости. Например, блок 112 определения частотного преобразования определяет, по отношению к вертикальной границе, как показано на фиг. 22(с), подобие между левой и правой областями от границы или подобие между векторами движения, индекс опорного изображения и т.п. Если определяют, что подобие между левой и правой областями от границы является высоким, то блок 112 определения частотного преобразования исключает образцы деления на фиг. 22 (с), (ά) и (ί), в которых макроблок делят на два, левый и правый, кандидата. В данном случае блок 112 определения частотного преобразования выполняет указанное выше определение, применяя уравнение (2) к левым и правым пикселям образца деления, аналогично блоку 105 определения частотного преобразования устройства 10 кодирования движущихся изображений.

Далее будет описано устройство декодирования движущихся изображений в настоящем варианте осуществления.

Фиг. 25 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 21 декодирования движущихся изображений.

На фиг. 25 устройство 21 декодирования движущихся изображений включает в себя блок 71 ввода закодированных данных, блок 82 декодирования, блок 43 хранения локальных декодированных изображений и блок 74 вывода изображения. Блок 82 декодирования включает в себя блок 202 декодирования кода с переменной длиной слова, блок 103 генерации предсказанного изображения, блок 109 восстановления остатка предсказания и блок 110 генерации локального декодированного изображения.

На фиг. 25 части, которые соответствуют соответствующим блокам на фиг. 17, указывают теми же самыми ссылочными номерами (43, 71, 74, 103, 109 и 110), и их описание будет опущено.

Блок 202 декодирования кода с переменной длиной слова декодирует закодированные данные, выводимые из блока 71 ввода закодированных данных, для генерации параметра предсказания, образца деления, информации выбора преобразования и коэффициента преобразования. В частности, блок 202 декодирования кода с переменной длиной слова сначала декодирует параметр предсказания и образец деления из закодированных данных. Затем блок 202 декодирования кода с переменной длиной слова декодирует информацию выбора преобразования из закодированных данных, используя декодированный образец деления. Блок 202 декодирования кода с переменной длиной слова считывает структуру разделов из декодированного параметра предсказания и декодирует коэффициент преобразования из закодированных данных.

Блок 202 декодирования кода с переменной длиной слова выводит параметр предсказания, образец деления, информацию выбора преобразования и коэффициент преобразования, которые были сгенерированы, к блоку 109 восстановления остатка предсказания и к блоку 103 генерации предсказанного изображения.

Фиг. 26 - последовательность операций, которая показывает процедуру процесса, в котором устройство 21 декодирования движущихся изображений генерирует декодированное движущееся изображение.

Этапы 8301-8302 являются теми же, что и этапы 8221-8222 на фиг. 19.

На этапе 8303 блок 202 декодирования кода с переменной длиной слова декодирует образец деления и информацию выбора преобразования, соответствующую макроблоку, который является целью обработки, из вводимых закодированных данных. Блок 202 декодирования кода с переменной длиной слова выводит образец деления и информацию выбора преобразования, которые были декодированы, к блоку 109 восстановления остатка предсказания.

Этапы 8304-8305 являются теми же, что и этапы 8225-8226 на фиг. 19.

На этапе 8306 блок 109 восстановления остатка предсказания применяет обратное частотное преобразование, соответствующее частотному преобразованию, определенному образцом деления и информацией выбора преобразования, выводимыми из блока 202 декодирования кода с переменной длиной слова, к коэффициенту преобразования, выводимому из блока 202 декодирования кода с переменной длиной слова, для восстановления остатка предсказания макроблока, который является целью обработки. Блок 109 восстановления остатка предсказания выводит восстановленный остаток предсказания к блоку 110 генерации локального декодированного изображения.

Этапы 8307-8308 являются теми же, что и этапы 8228-8229 на фиг. 19.

Таким образом, в соответствии с устройством 21 декодирования движущихся изображений можно генерировать декодированное движущееся изображение из закодированных данных, сгенерированных устройством 11 кодирования движущихся изображений.

Дополнительно, даже в настоящем варианте осуществления устройство 11 кодирования движущихся изображений не выводит информацию, указывающую образец деления, но устройство декодирования движущихся изображений может выбирать образец деления, аналогично первому варианту осуществления, в котором устройство 10 кодирования движущихся изображений не выводит информацию объеди- 35 027182 нения преобразования, но устройство 20 декодирования движущихся изображений может генерировать информацию объединения преобразования.

Фиг. 27 - схема конфигурации, на которой показывают конфигурацию устройства 22 декодирования движущихся изображений, которое выбирает образец деления.

На фиг. 27 устройство 22 декодирования движущихся изображений включает в себя блок 71 ввода закодированных данных, блок 92 декодирования, блок 43 хранения локальных декодированных изображений и блок 74 вывода изображения. Блок 92 декодирования включает в себя блок 202 декодирования кода с переменной длиной слова, блок 103 генерации предсказанного изображения, блок 209 восстановления остатка предсказания и блок 110 генерации локального декодированного изображения. Блок 209 восстановления остатка предсказания включает в себя блок 203 получения образца деления.

На фиг. 27 части, которые соответствуют соответствующим блокам на фиг. 17, указывают теми же самыми ссылочными номерами (43, 71, 74, 103, 110 и 202), и их описание будет опущено.

Блок 203 получения образца деления выполняет тот же процесс, что и блок 112 определения частотного преобразования устройства 11 кодирования движущихся изображений, для выбора образца деления, основываясь на локальном декодированном изображении или параметре предсказания.

Блок 209 восстановления остатка предсказания восстанавливает остаток предсказания макроблока, который является целью обработки, используя образец деления, выбранный посредством блока 203 получения образца деления, аналогично блоку 109 восстановления остатка предсказания устройства 21 декодирования движущихся изображений. Блок 209 восстановления остатка предсказания выводит восстановленный остаток предсказания к блоку 110 генерации локального декодированного изображения.

Соответственно даже когда устройство 11 кодирования движущихся изображений не выводит информацию, указывающую образец деления, устройство 22 декодирования движущихся изображений может генерировать декодированное движущееся изображение.

Как описано выше, устройство 11 кодирования движущихся изображений из настоящего варианта осуществления выполняет кодирование, используя образец деления. Соответственно когда смежные области с границей раздела, расположенной между ними, включены в одну область образца деления, одно частотное преобразование может быть применено к данным областям. Соответственно когда пространственная корреляция области в пределах образца деления является высокой, эффективность кодирования можно улучшать по сравнению с частотным преобразованием, выполняемым для каждого раздела.

Кроме того, устройство 21 декодирования движущихся изображений или устройство 22 декодирования движущихся изображений могут генерировать декодированное движущееся изображение из закодированных данных, сгенерированных устройством 11 кодирования движущихся изображений.

Третий вариант осуществления

Фиг. 28 - схема конфигурации, на которой показывают конфигурацию устройства 16 кодирования движущихся изображений в третьем варианте осуществления настоящего изобретения.

На фиг. 28 устройство 16 кодирования движущихся изображений включает в себя блок 61 ввода изображения, блок 36 кодирования, блок 33 хранения локальных декодированных изображений и блок 64 вывода закодированных данных. Блок 36 кодирования включает в себя блок 152 определения параметра предсказания (блок определения структуры разделов или блок определения режима предсказания), блок 153 генерации предсказанного изображения, блок 106 генерации остатка предсказания, блок 155 определения частотного преобразования (блок деления области частотного преобразования), блок 107 генерации коэффициентов преобразования, блок 108 кодирования с переменной длиной слова, блок 109 восстановления остатка предсказания и блок 110 генерации локального декодированного изображения.

На фиг. 28 части, которые соответствуют соответствующим блокам на фиг. 2, указывают теми же самыми ссылочными номерами (61, 106-110, 33 и 64), и их описание будет опущено.

Устройство 16 кодирования движущихся изображений определяет, какое предсказание, внешнее или внутреннее, должно быть выполнено для каждого макроблока, и выполняет процесс согласно данному определению. Внешнее предсказание (предсказание с компенсацией движения) является способом улучшения эффективности кодирования, посредством генерирования предсказанного изображения, аналогичное макроблоку, который является целью обработки, используя локальное декодированное изображение макроблока, включенного в кадр, отличающийся от макроблока, который является целью обработки, как описано выше. Между тем, внутреннее предсказание является способом улучшения эффективности кодирования, когда генерируют предсказанное изображение, аналогичное макроблоку, который является целью обработки, используя пиксель, включенный в один кадр, как макроблок, который является целью обработки (пиксель сгенерированного предсказанного изображения в пределах макроблока, который является целью обработки, или пиксель в пределах локального декодированного изображения макроблока, смежного с макроблоком, который является целью обработки). Если определяют, что должно выполняться внешнее предсказание, то устройство 16 кодирования движущихся изображений выполняет тот же процесс, что и устройство 10 кодирования движущихся изображений, и блок 152 определения параметра предсказания, блок 153 генерации предсказанного изображения и блок 155 определения частотного преобразования работают так же, как блок 102 определения параметра предсказания, блок 153 генерации предсказанного изображения и блок 155 определения частотного преобразования на фиг.

- 36 027182

2. Процесс, когда устройство 16 кодирования движущихся изображений определяет, что должно выполняться внутреннее предсказание, будет описан в дальнейшем. Когда изображение единицы макроблока вводят из блока 61 ввода изображения, блок 152 определения параметра предсказания определяет, какое предсказание должно выполняться в каждом макроблоке, внешнее или внутреннее. Определение того, какое предсказание должно выполняться, внешнее или внутреннее, можно быть выполнено, используя известный способ. Например, блок 152 определения параметра предсказания вычисляет показатель искажения в зависимости от скорости, когда выполнено внешнее предсказание, и показатель искажения в зависимости от скорости, когда выполнено внутреннее предсказание, основываясь на уравнении (1), и выбирает предсказание, в котором показатель искажения в зависимости от скорости меньше. Альтернативно, внутреннее предсказание может быть выбрано только для предопределенного кадра или позиции без динамического определения того, какое предсказание должно быть выполнено, внешнее или внутреннее. Альтернативно, определение того, должно ли использоваться внутреннее предсказание, может быть выполнено в блоках кадров.

Если определяют, что должно выполняться внутреннее предсказание, то блок 152 определения параметра предсказания определяет размер раздела, или субраздела (в дальнейшем просто называют разделом, особенно когда не нужно отличать раздел от субраздела), который может быть любым из 16 пикселей по горизонтали х16 пикселей по вертикали (структура МВ1 разделов на фиг. 5), 8 пикселей по горизонтали х 8 пикселей по вертикали (структура МВ4 разделов) и 4 пикселя по горизонтали х 4 пикселя по вертикали (структура МВ4 разделов и структура 8МВ4 субразделов) из числа разделов, описанных в отношении фиг. 5, и определяет режим предсказания для каждого раздела, определенного согласно определенному размеру раздела. Режим предсказания будет описан позже. Блок 152 определения параметра предсказания генерирует параметр предсказания, указывающий выбранное внутреннее предсказание, определенный размер раздела и режим предсказания, применяющиеся к каждому разделу, и выводит данный параметр предсказания к блоку 153 генерации предсказанного изображения, блоку 155 определения частотного преобразования и блоку 108 кодирования с переменной длиной слова.

Блок 153 генерации предсказанного изображения генерирует предсказанное изображение, используя считываемое локальное декодированное изображение из блока 33 хранения локальных декодированных изображений, согласно режиму предсказания, определенному блоком 152 определения параметра предсказания. Блок 153 генерации предсказанного изображения выводит сгенерированное предсказанное изображение к блоку 106 генерации остатка предсказания и к блоку 110 генерации локального декодированного изображения.

Блок 155 определения частотного преобразования определяет целевую область преобразования для частотного преобразования, применяющегося к остатку предсказания, выводимому из блока 106 генерации остатка предсказания, основываясь на параметре предсказания, выводимом из блока 152 определения параметра предсказания, и также определяет, должны ли целевые области преобразования быть объединены. Блок 155 определения частотного преобразования генерирует информацию выбора преобразования, указывающую определенную целевую область преобразования (размер частотного преобразования), и информацию объединения преобразования, указывающую целевые области преобразования, которые должны быть объединены, и выводит информацию выбора преобразования и информацию объединения преобразования к блоку 107 генерации коэффициентов преобразования, блоку 109 восстановления остатка предсказания и блоку 108 кодирования с переменной длиной слова.

Фиг. 29 - схема, на которой показывают режимы предсказания, определенные блоком 152 определения параметра предсказания. Блок 152 определения параметра предсказания выбирает режим предсказания, который должен быть применен к разделу, из тех же режимов предсказания, которые определены в Н.264/АУС. Режим предсказания является информацией, указывающей способ генерации предсказанного изображения для раздела из пикселей, смежных с данным разделом.

Фиг. 29 показывает режимы предсказания, когда размер раздела - 4 пикселя по горизонтали х 4 пикселя по вертикали. В режиме 0, показанном на фиг. 29(а), интерполяцию выполняют в вертикальном направлении, основываясь на пикселях, смежных с вершиной раздела, для генерации предсказанного изображения раздела. В режиме 1, показанном на фиг. 29(Ь), интерполяцию выполняют в горизонтальном направлении, основываясь на пикселях, смежных с левой частью раздела, для генерации предсказанного изображения раздела. В режиме 2, показанном на фиг. 29(с), интерполяцию выполняют, используя среднее значение пикселей, смежных с левой и с верхней частями раздела, для генерации предсказанного изображения раздела. В режиме 3, показанном на фиг. 29(6), интерполяцию выполняют в направлении с верхнего правого угла к нижнему левому углу, основываясь на пикселях, смежных с верхней частью раздела, для генерации предсказанного изображения раздела. В дальнейшем, одинаково в режиме 4, показанном на фиг. 29(е), режиме 5, показанном на фиг. 29(ί), режиме 6, показанном на фиг. 26(§), режиме 7, показанном на фиг. 29(Н), и режиме 8, показанном на фиг. 29(ί), интерполяцию выполняют в наклонном направлении, как указано посредством стрелки, показанной на фиг. 29, для генерации предсказанного изображения раздела.

Даже когда размер раздела - 8 пикселей по горизонтали х8 пикселей по вертикали, блок 152 опре- 37 027182 деления параметра предсказания выбирает режим предсказания, который должен быть применен к разделу, из девяти режимов предсказания, как описано выше. Когда размер раздела - 16 пикселей по горизонтали x16 пикселей по вертикали, блок 152 определения параметра предсказания выбирает режим предсказания, который должен быть применен к разделу, из четырех режимов предсказания: режим, в котором интерполяцию выполняют в вертикальном направлении, основываясь на пикселях, смежных сверху раздела, аналогично фиг. 29(а); режим, в котором интерполяцию выполняют в горизонтальном направлении, основываясь на пикселях, смежных слева от раздела, аналогично фиг. 29(Ь); режим, в котором интерполяцию выполняют, используя среднее значение пикселей, смежных слева и сверху раздела, аналогично фиг. 29(с); и режим, в котором интерполяцию выполняют в наклонном направлении от верхнего правого угла к нижнему левому углу, основываясь на пикселях, смежных слева и сверху раздела.

Блок 152 определения параметра предсказания вычисляет показатель искажения в зависимости от скорости для каждого из режимов предсказания, который применяют к разделу, основываясь на уравнении (1), и выбирает режим предсказания, в котором показатель искажения в зависимости от скорости минимален.

Фиг. 30 - последовательность операций, которая показывает процедуру процесса, в котором устройство 16 кодирования движущихся изображений генерирует закодированные данные. Когда движущееся изображение вводят в блок 61 ввода изображения, устройство 16 кодирования движущихся изображений начинает процесс генерации закодированных данных.

Этапы 8321-8322 являются теми же, что и этапы 8101-8102 на фиг. 3.

На этапе 8323 блок 152 определения параметра предсказания определяет какое предсказание должно выполняться, внутреннее или внешнее. Если определяют, что должно выполняться внутреннее предсказание (этап 8323: да), то процесс переходит на этап 8324, а когда определяют, что должно выполняться внешнее предсказание (этап 8323: нет), то процесс переходит на этап 8341.

На этапе 8324 блок 152 определения параметра предсказания вычисляет показатель искажения в зависимости от скорости для каждого размера раздела, и выбирает размер раздела, в котором показатель искажения в зависимости от скорости минимален, аналогично блоку 102 определения параметра предсказания в первом варианте осуществления (фиг. 2).

Дополнительно, блок 152 определения параметра предсказания определяет режим предсказания для каждого раздела и генерирует параметр предсказания, указывающий выбранное внутреннее предсказание, определенный размер раздела и режим предсказания. Блок 152 определения параметра предсказания выводит сгенерированный параметр предсказания к блоку 155 определения частотного преобразования, блоку 153 генерации предсказанного изображения и блоку 108 кодирования с переменной длиной слова.

На этапе 8325 блок 153 генерации предсказанного изображения генерирует предсказанное изображение для каждого раздела в соответствии с размером раздела и режимом предсказания, определенным блоком 152 определения параметра предсказания. В частности, блок 153 генерации предсказанного изображения считывает для каждого раздела в пределах макроблока пиксельные значения пикселей, смежных с разделом, который является целью обработки, из локальных декодированных изображений, хранящихся в блоке 33 хранения локальных декодированных изображений (когда пиксель, который используют в качестве опорного, включен в другой макроблок), или из предсказанного изображения раздела, для которого было сгенерировано предсказанное изображение, которое хранится в блоке 153 генерации предсказанного изображения (когда пиксель, который используют в качестве опорного, включен в тот же самый макроблок), и выполняет интерполяцию согласно режиму предсказания, чтобы таким образом сгенерировать предсказанное изображение раздела. Блок 153 генерации предсказанного изображения соединяет предсказанные изображения соответствующих разделов в пределах макроблока для генерации предсказанного изображения макроблока. Блок 153 генерации предсказанного изображения выводит сгенерированное предсказанное изображение (предсказанное изображение макроблока) к блоку 106 генерации остатка предсказания и блоку 110 генерации локального декодированного изображения.

Этап 8326 является тем же, что и этап 8105 на фиг. 3.

На этапе 8327 блок 155 определения частотного преобразования выбирает частотное преобразование для каждого раздела, как на этапе 8106 на фиг. 3. В частности, блок 155 определения частотного преобразования выбирает частотное преобразование, при котором область, которая равна или меньше размера раздела, является целевой областью преобразования, из того же предварительно установленного набора преобразований, что и в случае первого варианта осуществления.

Дополнительно, частотное преобразование уникально определяют посредством размера раздела, как в Н.264/ЛУС, в котором 4x4 ЭСТ, 8x8 ЭСТ и 4x4 ЭСТ применяют к разделам соответственно, когда разделы имеют 4 пикселя по горизонтали x4 пикселя по вертикали, 8 пикселей по горизонтали x8 пикселей по вертикали и 16 пикселей по горизонтали x16 пикселей по вертикали. Блок 155 определения частотного преобразования может определять частотное преобразование, аналогично Н.264/ЛУС. В этом случае, когда на этапе 8324 блок 152 определения параметра предсказания выбирает раздел 16 пикселей по горизонтали x16 пикселей по вертикали, на этапе 8327 блок 155 определения частотного преобразования выбирает 4x4 ЭСТ в качестве частотного преобразования и на этапе 8328 выполняет объединение

- 38 027182 целевых областей преобразования, которое будет описано далее.

Дополнительно, частотное преобразование, используемое устройством 16 кодирования движущихся изображений, не ограничено частотными преобразованиями, используемыми в Н.264/АУС, аналогично случаю первого варианта осуществления. Дополнительно, размер макроблока не ограничен размером пикселей по горизонтали х 16 пикселей по вертикали.

Альтернативно, размер раздела может быть другим размером, чем 4 пикселя по горизонтали х4 пикселя по вертикали, 8 пикселей по горизонтали х8 пикселей по вертикали и 16 пикселей по горизонтали х 16 пикселей по вертикали, как описано выше.

На этапе 8328 блок 155 определения частотного преобразования генерирует информацию объединения преобразования, указывающую область, полученную посредством объединения смежных целевых областей преобразования, аналогично этапу 8107 на фиг. 3. Блок 155 определения частотного преобразования определяет, является ли высокой пространственная корреляция между целевыми областями преобразования, основываясь на подобии между пиксельными значениями смежных пикселей в пределах предсказанных изображений, чтобы таким образом определять, должны ли целевые области преобразования быть объединены, аналогично блоку 105 определения частотного преобразования в первом варианте осуществления.

В данном случае блок 155 определения частотного преобразования определяет, должны ли смежные целевые области преобразования быть объединены, независимо от того, включены ли смежные целевые области преобразования в один и тот же раздел или различные разделы. В частности, блок 155 определения частотного преобразования применяет условие целевая область ί преобразования и целевая область _) преобразования являются смежными друг другу. Дополнительно, область, полученная посредством соединения целевой области ί преобразования и целевой области _) преобразования, является прямоугольником, которое получают посредством исключения условия, что целевые области преобразования включены в различные области раздела, из вышеописанного условия С131, аналогично описанию в первом варианте осуществления.

Альтернативно, блок 155 определения частотного преобразования может определять, должны ли объединяться только целевые области преобразования, включенные в различные разделы, как цели, используя условие С131, аналогично случаю первого варианта осуществления.

Альтернативно, блок 155 определения частотного преобразования может определять, должны ли целевые области преобразования быть объединены, используя другой способ, чем указанный выше способ. Например, блок 155 определения частотного преобразования может определять области, которые должны быть объединены, основываясь на индексе, указывающем пространственную корреляцию, которым является: являются ли одинаковыми режимы предсказания смежных целевых областей преобразования, является ли режим предсказания тем же, что и конкретный режим предсказания, т.е. является ли любой из режимов предсказания, которые показаны на фиг. 29, тем же, что и конкретный режим предсказания, являются ли направления интерполяции, указанные режимами предсказания, теми же самыми или аналогичными, является ли опорным пиксель одной целевой области преобразования для другой целевой области преобразования, или комбинация таких критериев.

Этапы 8329-8333 являются теми же, что и этапы 8108-8112 на фиг. 3.

Этапы 8341-8349 являются процессом, в котором устройство 16 кодирования движущихся изображений выполняет внешнее предсказание. На этапе 8341 блок 152 определения параметра предсказания генерирует параметр предсказания, содержащий информацию, указывающую, что было выбрано внешнее предсказание. Иначе, этапы 8341-8349 являются теми же, что и этапы 8103-8111 на фиг. 3. После этапа 8349 процесс переходит на этап 8333.

Дополнительно, когда блок 155 определения частотного преобразования определяет, должны ли целевые области преобразования быть объединены, основываясь на пиксельных значениях смежных пикселей в пределах предсказанного изображения, устройство 16 кодирования движущихся изображений не может не использовать выводимую информацию объединения преобразования, в отличие от случая в первом варианте осуществления. Это происходит потому, что при внутреннем предсказании используется способ формирования предсказанного изображения, отличающийся от способа при внешнем предсказании, и необходим коэффициент преобразования, который уже подвергнут обратному частотному преобразованию, для того, чтобы устройство декодирования движущихся изображений сгенерировало предсказанное изображение, как будет описано позже и, соответственно предсказанное изображение еще не сгенерировано в то время, когда блок 155 определения частотного преобразования определяет частотное преобразование, которое должно быть применено к макроблоку, который является целью обработки, и объединение целевых областей преобразования, выполняемое устройством 16 кодирования движущихся изображений, не может быть оценено, основываясь на предсказанном изображении.

Тем временем, когда блок 155 определения частотного преобразования определяет, должны ли целевые области преобразования быть объединены, основываясь на режиме предсказания, устройство декодирования движущихся изображений может также выполнять то же определение, что и устройство 16 кодирования движущихся изображений, используя информацию, указывающую режим предсказания,

- 39 027182 выводимую из устройства 16 кодирования движущихся изображений, чтобы таким образом оценить объединенные целевые области преобразования. Соответственно устройству 16 кодирования движущихся изображений предоставляют возможность не выводить информацию объединения преобразования.

Дополнительно, в Н.264/АУС выполняют частотное преобразование и обратное частотное преобразование остатка предсказания для каждого раздела, а не для каждого макроблока, для генерации локального декодированного изображения для каждого раздела, таким образом компенсируя остаток предсказания. Соответственно когда генерируют предсказанное изображение другого раздела в пределах того же самого макроблока, локальное декодированное изображение, для которого компенсировали остаток предсказания, используют для улучшения эффективности кодирования. С другой стороны, в устройстве 16 кодирования движущихся изображений блок 155 определения частотного преобразования объединяет целевые области преобразования, и затем блок 107 генерации коэффициентов преобразования выполняет частотное преобразование каждого макроблока. Соответственно блок 153 генерации предсказанного изображения генерирует предсказанное изображение, используя изображение, в котором остаток предсказания не компенсировали, как описано на описанном выше этапе 8325. Однако в следующем случае менее вероятно, что остаток предсказания будет большой проблемой.

Например, когда пиксель, который используют в качестве опорного при внутреннем предсказании, принадлежит смежному макроблоку, например, когда предсказанное изображение раздела в левом верхнем углу макроблока сгенерировано, используя в качестве опорного локальное декодированное изображение, подвергнутое частотному преобразованию и обратному частотному преобразованию, которое хранится в блоке 33 хранения локальных декодированных изображений, и соответственно проблема остатка предсказания не появляется. Дополнительно, даже когда преобразование без потерь используется для частотного преобразования, выполняемого блоком 107 генерации коэффициентов преобразования, остаток предсказания не является проблемой. Дополнительно, даже когда используют режим предсказания компонента постоянного тока (режим предсказания ОС), в котором предсказанное изображение генерируют, основываясь на среднем значении опорных пикселей сверху и слева в разделе, как в режиме 2, показанном на фиг. 29(с), использование среднего значения уменьшает влияние остатка предсказания, и менее вероятно, что остаток предсказания будет проблемой. Дополнительно, когда блок 107 генерации коэффициентов преобразования квантует коэффициент преобразования, небольшая ширина квантования снижает увеличение остатка предсказания, вызванное квантованием, и менее вероятно, что остаток предсказания будет проблемой.

Дополнительно, для уменьшения остатка предсказания можно применять фильтр, когда блок 153 генерации предсказанного изображения использует внутренним образом сохраненное предсказанное изображение, не подвергнутое компенсации остатка предсказания. В этом случае устройство декодирования движущихся изображений применяет тот же самый фильтр, когда генерирует предсказанное изображение. Например, применяют фильтр сглаживания для уменьшения таким образом планируемого остатка предсказания. Дополнительно, в случае режима предсказания компонента ОС, менее вероятно, что остаток будет проблемой, как описано выше. Соответственно блок 106 генерации остатка предсказания может применять более слабый фильтр по сравнению с другими режимами или может не применять фильтр. Даже когда ширина квантования небольшая, блок 106 генерации остатка предсказания может применять слабый фильтр или может не применять фильтр.

Дополнительно, устройство 16 кодирования движущихся изображений может объединять только множество целевых областей преобразования, включенных в один и тот же раздел. В этом случае можно генерировать локальное декодированное изображение для каждого раздела, выполняя частотное преобразование и обратное частотное преобразование остатка предсказания для каждого раздела, аналогично внутреннему предсказанию, определенному в Н.264/ЛУС. Соответственно эффективность кодирования может быть улучшена, аналогично случаю Н.264/АУС.

Дополнительно, при внутреннем предсказании, определенном в Н.264/АУС, можно выполнять преобразование Адамара для удаления избыточности компонента постоянного тока (ОС) коэффициента преобразования после того, как выполнено частотное преобразование остатка предсказания. С другой стороны, в устройстве 16 кодирования движущихся изображений блок 107 генерации коэффициентов преобразования выполняет частотное преобразование объединенной целевой области преобразования таким образом, что пространственная корреляция между смежными областями влияет на коэффициент преобразования. Соответственно не нужно выполнять преобразование Адамара для коэффициента преобразования и нет увеличения величины обработки из-за преобразования Адамара.

Далее будет описано устройство 26 декодирования движущихся изображений, которое декодирует закодированные данные от устройства 16 кодирования движущихся изображений для генерации декодированного движущегося изображения.

Фиг. 31 - схематическая функциональная блочная схема конфигурации, на которой показывают функциональную блочную конфигурацию устройства 26 декодирования движущихся изображений.

На фиг. 31 устройство 26 декодирования движущихся изображений включает в себя блок 71 ввода закодированных данных, блок 46 декодирования, блок 43 хранения локальных декодированных изображений и блок 74 вывода изображения. Блок 46 декодирования включает в себя блок 201 декодирования

- 40 027182 кода с переменной длиной слова (блок декодирования кода без потерь), блок 163 генерации предсказанного изображения, блок 111 получения частотного преобразования (блок определения целевой области преобразования), блок 109 восстановления остатка предсказания и блок 170 генерации локального декодированного изображения.

На фиг. 31 части, которые соответствуют соответствующим блокам на фиг. 17, указывают теми же самыми ссылочными номерами (43, 71, 74, 201, 111 и 109), и их описание будет опущено.

Блок 163 генерации предсказанного изображения генерирует предсказанное изображение для каждого раздела, основываясь на пиксельном значении смежного макроблока, считанного из блока 43 хранения локальных декодированных изображений, используя информацию размера раздела и информацию режима предсказания из блока 201 декодирования кода с переменной длиной слова, и локальное декодированное изображение раздела, обработанное в том же самом макроблоке, который выводят из блока 170 генерации локального декодированного изображения, и выводит предсказанное изображение к блоку 170 генерации локального декодированного изображения.

Блок 170 генерации локального декодированного изображения генерирует локальное декодированное изображение раздела, основываясь на предсказанном изображении раздела, выводимом из блока 163 генерации предсказанного изображения, и на остатке предсказания, выводимом из блока 109 восстановления остатка предсказания. В частности, блок 170 генерации локального декодированного изображения складывает каждый пиксель предсказанного изображения раздела и соответствующий пиксель остатка предсказания, чтобы таким образом генерировать локальное декодированное изображение раздела. Блок 170 генерации локального декодированного изображения выводит сгенерированное локальное декодированное изображение раздела к блоку 163 генерации предсказанного изображения. Соответственно когда блок 163 генерации предсказанного изображения генерирует предсказанное изображение другого раздела в том же самом макроблоке, блок 163 генерации предсказанного изображения может использовать в качестве опорного изображение, выводимое из блока 170 генерации локального декодированного изображения.

Дополнительно, блок 170 генерации локального декодированного изображения соединяет локальные декодированные изображения разделов для генерации локального декодированного изображения (единицы макроблоков) и выводит сгенерированное локальное декодированное изображение к блоку 43 хранения локальных декодированных изображений и к блоку 74 вывода изображения.

Фиг. 32 - последовательность операций, которая показывает процедуру процесса, в котором устройство 26 декодирования движущихся изображений генерирует декодированное движущееся изображение. Если закодированные данные единицы макроблока последовательно вводят извне, то устройство 26 декодирования движущихся изображений начинает процесс на фиг. 32 для обработки вводимых закодированных данных для каждого макроблока.

Этапы 8381-8385 являются теми же, что и этапы 8221-8225 на фиг. 19. Этап 8386 является тем же, что и этап 8227 на фиг. 19. При внутреннем предсказании блок 170 генерации локального декодированного изображения генерирует локальное декодированное изображение для каждого раздела, используя остаток предсказания, сгенерированный блоком 109 восстановления остатка предсказания, и блок 163 генерации предсказанного изображения генерирует предсказанное изображение для каждого раздела, используя сгенерированное локальное декодированное изображение для каждого раздела. Соответственно на этапе 8386 устройство 26 декодирования движущихся изображений выполняет обратное частотное преобразование коэффициента преобразования перед генерацией предсказанного изображения, в отличие от случая на фиг. 19.

На этапе 8387 блок 163 генерации предсказанного изображения считывает информацию, указывающую, какое предсказание выполнило устройство 16 кодирования движущихся изображений, внутреннее или внешнее, из параметра предсказания, выводимого из блока 201 декодирования кода с переменной длиной слова. Если считанная информация указывает, что выполнено внутреннее предсказание (этап 8387 да), то процесс переходит на этап 8388, а если считанная информация указывает, что выполнено внешнее предсказание (этап 8387 нет), то процесс переходит на этап 8390.

На этапе 8388 блок 163 генерации предсказанного изображения генерирует предсказанное изображение. В частности, блок 163 генерации предсказанного изображения генерирует предсказанное изображение для каждого раздела и выводит предсказанное изображение к блоку 170 генерации локального декодированного изображения, как описано выше. Блок 170 генерации локального декодированного изображения генерирует локальное декодированное изображение раздела, основываясь на предсказанном изображении для каждого раздела, выводимого из блока 163 генерации предсказанного изображения, и на остатке предсказания, выводимом из блока генерации остатка предсказания 109, и выводит локальное декодированное изображение к блоку 163 генерации предсказанного изображения.

На этапе 8389 блок 170 генерации локального декодированного изображения объединяет локальные декодированные изображения разделов для генерации локального декодированного изображения (единицы макроблоков), как описано выше, и выводит локальное декодированное изображение к блоку 43 хранения локальных декодированных изображений и к блоку 74 вывода изображения. Затем процесс переходит на этап 8392.

- 41 027182

Этап 8390 является тем же, что и этап 8226 на фиг. 19. Этапы 8391-8392 являются теми же, что и этапы 8228-8229 на фиг. 19.

Дополнительно, как описано выше, когда устройство 16 кодирования движущихся изображений определяет, должны ли целевые области преобразования быть объединены, основываясь на режиме предсказания, и не выводит информацию объединения преобразования, блок 111 получения частотного преобразования устройства 26 декодирования движущихся изображений генерируют информацию объединения преобразования, выполняя тот же процесс, что и процесс, в котором блок определения частотного преобразования 165 устройства 16 кодирования движущихся изображений генерирует информацию объединения преобразования, как описано в отношении фиг. 20 в первом варианте осуществления. Соответственно даже когда информацию объединения преобразования не выводят из устройства 16 кодирования движущихся изображений, устройство 26 декодирования движущихся изображений может генерировать декодированное движущееся изображение.

Как описано выше, даже когда устройство 16 кодирования движущихся изображений выполняет внутреннее предсказание, устройство 16 кодирования движущихся изображений определяет, должны ли смежные целевые области преобразования быть объединены, и преобразовывает объединенную целевую область преобразования через одно частотное преобразование. Таким образом, можно улучшать эффективность кодирования, когда множество смежных областей с границей раздела, расположенной между ними, имеют высокую пространственную корреляцию.

Дополнительно, так как устройство 26 декодирования движущихся изображений выполняет обратное частотное преобразование, основываясь на целевых областях преобразования, объединенных посредством устройства 16 кодирования движущихся изображений, устройство 16 кодирования движущихся изображений может декодировать сгенерированные закодированные данные и генерировать декодированное движущееся изображение.

Кроме того, блок 155 определения частотного преобразования устройства 16 кодирования движущихся изображений может выполнять определение частотного преобразования, используя образец деления поверх границы раздела предсказанного изображения, не выполняя процесс объединения, после выбора частотного преобразования для каждого раздела предсказанного изображения, аналогично устройству 11 кодирования движущихся изображений во втором варианте осуществления. В частности, блок 155 определения частотного преобразования выбирает образец деления в соответствии с процедурой, показанной в последовательности операций на фиг. 23. Устройство 16 кодирования движущихся изображений кодирует и выводит индекс, указывающий образец деления, параметр предсказания (информацию, указывающую размер раздела и режим предсказания), информацию выбора преобразования и коэффициент преобразования, и устройство 26 декодирования движущихся изображений декодирует эти данные. Блок 109 восстановления остатка предсказания устройства 26 декодирования движущихся изображений выполняет обратное частотное преобразование коэффициента преобразования согласно декодированному образцу деления и информации выбора преобразования, чтобы таким образом восстановить остаток предсказания. Дополнительно, так как устройство 26 декодирования движущихся изображений принимает образец деления из устройства 16 кодирования движущихся изображений, устройство 26 декодирования движущихся изображений не генерирует объединенную информацию выбора преобразования. Соответственно не требуется, чтобы устройство 26 декодирования движущихся изображений включало в себя блок 111 получения частотного преобразования.

Даже в этом случае, когда пространственная корреляция между соответствующими целевыми областями преобразования, определенными согласно образцу деления, является высокой, устройство 16 кодирования движущихся изображений может улучшать эффективность кодирования по сравнению с выполнением частотного преобразования каждого раздела, аналогично второму варианту осуществления. Дополнительно, устройство 21 декодирования движущихся изображений или устройство 22 декодирования движущихся изображений могут генерировать декодированное движущееся изображение из закодированных данных, сгенерированных устройством 11 кодирования движущихся изображений.

Дополнительно, программа для реализации всех или некоторых из функциональных возможностей устройств 10, 11 и 16 кодирования движущихся изображений и устройств 20, 21, 22 и 26 декодирования движущихся изображений может быть записана на считываемом компьютером носителе записи, и компьютерная система может считывать и выполнять программу, записанную на этом носителе записи, для выполнения процесса каждого блока. Дополнительно, в данном случае компьютерная система включает в себя ОС (операционную систему) и аппаратные средства, такие как периферийные устройства.

Компьютерная система также включает в себя домашнюю страницу, которая обеспечивает внешнюю среду (или среду отображения), если используется система \ν\ν\ν.

Дополнительно, считываемый компьютером носитель записи относится к запоминающему устройству, такому как гибкий диск, магнитный оптический диск, ПЗУ (постоянное запоминающее устройство), переносной носитель, такой как СЭ-КОМ (компакт-диск), или жесткий диск, установленный в компьютерной системе. Считываемый компьютером носитель записи также включает в себя носитель записи, который динамически хранит программу в течение короткого времени, например, линию связи в случае, когда программу передают через такую сеть, как Интернет, или линию связи, такую как телефон- 42 027182 ная линия, или носитель записи, который хранит программу в течение определенного времени, например, энергозависимое запоминающее устройство в компьютерной системе, включающей в себя сервер и клиент в указанном выше случае. Дополнительно, программа может быть программой для реализации некоторых из вышеописанных функциональных возможностей или программой, способных реализовать вышеописанные функциональные возможности через комбинацию с программой, уже записанной в компьютерной системе.

Хотя варианты осуществления настоящего изобретения описаны выше в отношении чертежей, конкретная конфигурация не ограничена данными вариантами осуществления, и различные разновидности, которые не отступают от объема и сущности настоящего изобретения, находятся в пределах настоящего изобретения.

Промышленная применимость

Настоящее изобретение подходит для использования в устройстве кодирования движущихся изображений, устройстве декодирования движущихся изображений, системе кодирования/декодирования движущихся изображений, способе кодирования движущихся изображений и способе декодирования движущихся изображений. Например, настоящее изобретение можно применять в случае, когда выполняют передачу и прием движущихся изображений, или в случае, когда выполняют сохранение и воспроизведение движущихся изображений.

Ссылочные символы

1: Система кодирования/декодирования движущихся изображений

10, 11, 16: Устройство кодирования движущихся изображений

20, 21, 22, 26: Устройство декодирования движущихся изображений

61: Блок ввода изображения

32, 36, 52: Блок кодирования

33, 43: Блок хранения локальных декодированных изображений

64: Блок вывода закодированных данных

71: Блок ввода закодированных данных

42, 4 6, 82, 92: Блок декодирования

74: Блок вывода изображения

102, 152: Блок определения параметра предсказания

103, 153, 163: Блок генерации предсказанного изображения

105, 112, 155: Блок определения частотного преобразования

106: Блок генерации остатка предсказания

107: Блок генерации коэффициентов преобразования

108, 113: Блок кодирования с переменной длиной слова

109: Блок восстановления остатка предсказания

110, 170: Блок генерации локального декодированного изображения

111: Блок получения частотного преобразования

201, 202: Блок декодирования кода с переменной длиной слова

203: Блок получения образца деления

Claims (40)

1. ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Устройство кодирования движущихся изображений, содержащее процессор, выполненный с возможностью разделения кадра вводимого движущегося изображения на единицы макроблоков; дополнительного разделения макроблоков, полученных разделением, на разделы; разделения макроблоков, полученных разделением, на целевые области преобразования, по меньшей мере одна целевая область преобразования включает в себя области по разделам, полученным разделением;

   использования частотного преобразования в отношении каждой из целевых областей преобразования, полученных разделением, для генерирования коэффициента преобразования; и вывода кодированных данных, полученных кодированием без потерь сгенерированного коэффициента преобразования.
2. 2. Устройство кодирования движущихся изображений по п.1, в котором процессор выполнен с возможностью выбора опорного изображения для каждого раздела из числа сохраненных локальных декодированных изображений и генерирования предсказанного изображения на основе выбранного опорного изображения; и генерирования остатка предсказания, который является разницей между пиксельными значениями сгенерированного предсказанного изображения и макроблока.
3. 3. Устройство кодирования движущихся изображений по п.2, в котором процессор выполнен с возможностью

   - 43 027182 разделения макроблоков, полученных разделением, на целевые области преобразования согласно частотному преобразованию, используемому в отношении каждого раздела, и установки области, получаемой интеграцией целевых областей преобразования, которые являются смежными друг с другом и включенными в разные разделы, в качестве одной из целевых областей преобразования по разделам, когда определено, что пространственная корреляция между сгенерированными остатками предсказания в интегрированной области является высокой.
4. 4. Устройство кодирования движущихся изображений по п.3, в котором процессор выполнен с возможностью генерирования информации интеграции преобразования, указывающей целевую область преобразования по разделам, полученным разделением, и содержания информации интеграции преобразования, сгенерированной разделением на области частотного преобразования, в кодированных данных, которые должны быть выведены, и затем вывода упомянутой информации интеграции преобразования.
5. 5. Устройство кодирования движущихся изображений по п.2 или 4, в котором процессор выполнен с возможностью определения, является ли пространственная корреляция между сгенерированными остатками предсказания в целевых областях преобразования по разделам, полученным разделением, высокой на основе объемов особенностей изображений областей, соответствующих целевым областям преобразования на сгенерированном предсказанном изображении.
6. 6. Устройство кодирования движущихся изображений по п.5, в котором процессор выполнен с возможностью определения, является ли пространственная корреляция между сгенерированными остатками предсказания в целевых областях преобразования по разделам, полученным разделением, высокой на основе разницы между пиксельными значениями пикселей, которые являются смежными друг с другом и принадлежат разным разделам, из числа пикселей в области, соответствующей целевой области преобразования на сгенерированном предсказанном изображении.
7. 7. Устройство кодирования движущихся изображений по п.5, в котором процессор выполнен с возможностью определения, является ли пространственная корреляция между сгенерированными остатками предсказания в целевых областях преобразования по разделам, полученным разделением, высокой на основе одного или более из того, являются ли режимы предсказания в областях, соответствующих целевым областям преобразования на сгенерированном предсказанном изображении, одинаковыми, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными режимами предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования.
8. 8. Устройство кодирования движущихся изображений по п.5, в котором процессор выполнен с возможностью определения, является ли пространственная корреляция между сгенерированными остатками предсказания в области, получаемой интеграцией целевых областей преобразования, которые являются смежными друг с другом и включенными в разные разделы, высокой на основе одного или более из того, являются ли выбранные опорные изображения для двух разделов, в которые включена интегрированная область, одинаковыми, разницы между размерами векторов движения двух разделов, в которые включена интегрированная область, и соотношения размеров векторов движения.
9. 9. Устройство кодирования движущихся изображений по п.5, в котором процессор выполнен с возможностью определения, является ли пространственная корреляция между сгенерированными остатками предсказания в области, получаемой интеграцией целевых областей преобразования, которые являются смежными друг с другом и включенными в разные разделы, высокой на основе коэффициентов преобразования, получаемых использованием частотных преобразований в отношении целевых областей преобразования, которые являются смежными друг с другом и включенными в разные разделы, или на основе результата сравнения одного или обоих из объемов кода и показателей искажения в зависимости от скорости, когда целевые области преобразования интегрированы и когда целевые области преобразования не интегрированы.
10. 10. Устройство кодирования движущихся изображений по п.3, в котором процессор выполнен с возможностью генерирования информации выбора интегрированного преобразования, указывающей конфигурацию целевых областей преобразования в макроблоке и частотное преобразование, используемое в отношении каждой целевой области преобразования, и

    - 44 027182 содержания сгенерированной информации выбора интегрированного преобразования в кодированных данных, которые должны быть выведены, и затем вывода упомянутой информации выбора интегрированного преобразования.
11. 11. Устройство кодирования движущихся изображений по п.2, в котором процессор выполнен с возможностью выбора шаблона разделения, используемого в отношении макроблока, из набора шаблонов разделения для разделения макроблока на области, в отношении которых используются частотные преобразования, причем любая из областей, в отношении которых используются частотные преобразования, включает в себя шаблоны разделения по разделам, полученным разделением, чтобы, тем самым, разделить макроблоки, полученные разделением, на области, включающие в себя области по разделам.
12. 12. Устройство кодирования движущихся изображений по п.11, в котором процессор выполнен с возможностью содержания информации, указывающей выбранный шаблон разделения в кодированных данных, которые должны быть выведены, и затем вывода упомянутой информации.
13. 13. Устройство кодирования движущихся изображений, в котором процессор выполнен с возможностью разделения кадра вводимого движущегося изображения на единицы макроблоков; дополнительного разделения макроблоков, полученных разделением, на разделы; разделения макроблоков, полученных разделением, на целевые области преобразования, которые являются областями, в отношении которых используются частотные преобразования, и интеграции по меньшей мере одной из целевых областей преобразования, которые являются смежными друг с другом, на основе индекса, указывающего пространственную корреляцию, для генерирования новой целевой области преобразования;

    использования частотного преобразования в отношении каждой из целевых областей преобразования, полученных разделением, для генерирования коэффициента преобразования; и вывода кодированных данных, полученных кодированием без потерь сгенерированного коэффициента преобразования.
14. 14. Устройство кодирования движущихся изображений по п.13, в котором процессор выполнен с возможностью сохранения локальных декодированных изображений, которые являются декодированными изображениями макроблоков, для которых сгенерирован коэффициент преобразования;

    выбора опорного изображения для каждого раздела из числа сохраненных локальных декодированных изображений и генерирования предсказанного изображения на основе выбранного опорного изображения; и генерирования остатка предсказания, который является разницей между пиксельными значениями сгенерированного предсказанного изображения и макроблока.
15. 15. Устройство кодирования движущихся изображений по п.14, в котором индекс, указывающий пространственную корреляцию, определяется на основе разницы между пиксельными значениями смежных пикселей из числа пикселей в области, соответствующей целевой области преобразования на сгенерированном предсказанном изображении.
16. 16. Устройство кодирования движущихся изображений по п.14, в котором индекс, указывающий пространственную корреляцию, определяется на основе одного или более из того, являются ли режимы предсказания в областях, соответствующих целевым областям преобразования на сгенерированном предсказанном изображении, одинаковыми, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными режимами предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования.
17. 17. Устройство кодирования движущихся изображений по любому одному из пп.14-16, в котором процессор выполнен с возможностью генерирования информации интеграции преобразования, указывающей новую целевую область преобразования, сгенерированную интеграцией смежных целевых областей преобразования на основе индекса, указывающего пространственную корреляцию, и содержания сгенерированной информации интеграции преобразования в кодированных данных и вывода упомянутой информации интеграции преобразования.
18. 18. Устройство декодирования движущихся изображений, содержащее процессор, выполненный с возможностью выполнения декодирования с кодом без потерь кодированных данных, полученных кодированием движущегося изображения;

    использования в отношении каждой из целевых областей преобразования, на которые разделены

    - 45 027182 макроблоки, причем по меньшей мере одна из целевых областей преобразования включает в себя целевую область преобразования по разделам, обратного частотного преобразования согласно целевой области преобразования для генерирования локальных декодированных изображений; и объединения сгенерированных локальных декодированных изображений для генерирования движущегося изображения и вывода движущегося изображения.
19. 19. Устройство декодирования движущихся изображений по п.18, в котором процессор выполнен с возможностью выбора опорного изображения из числа сохраненных локальных декодированных изображений для каждого из разделов, на которые дополнительно разделен макроблок, и генерирования предсказанного изображения на основе выбранного опорного изображения; и использования в отношении каждой целевой области преобразования обратного частотного преобразования согласно целевой области преобразования для генерирования остатка предсказания, суммирования сгенерированного предсказанного изображения и сгенерированного остатка предсказания для каждого пикселя для генерирования локальных декодированных изображений.
20. 20. Устройство декодирования движущихся изображений по п.19, в котором информация интеграции преобразования, указывающая целевые области преобразования по разделам, содержится в кодированных данных, при этом процессор дополнительно выполнен с возможностью определения целевых областей преобразования на основе информации интеграции преобразования и использования обратного частотного преобразования в отношении каждой определенной целевой области преобразования для генерирования остатка предсказания.
21. 21. Устройство декодирования движущихся изображений по п.19, в котором процессор дополнительно выполнен с возможностью определения целевых областей преобразования по разделам на основе индекса, указывающего пространственную корреляцию между областями, использования обратного частотного преобразования в отношении каждой определенной целевой области преобразования для генерирования остатка предсказания.
22. 22. Устройство декодирования движущихся изображений по п.21, в котором процессор выполнен с возможностью использования в качестве индекса, указывающего пространственную корреляцию, разницу между пиксельными значениями на сгенерированном предсказанном изображении согласно соответствующим пикселям, которые являются смежными друг с другом и принадлежат разным разделам в целевой области.
23. 23. Устройство декодирования движущихся изображений по п.21, в котором процессор выполнен с возможностью использования в качестве индекса, указывающего пространственную корреляцию, одно или более из того, являются ли режимы предсказания в целевых областях преобразования одинаковыми на сгенерированных предсказанных изображениях, соответствующих целевым областям преобразования, которые являются смежными друг с другом и принадлежат разным разделам из числа целевых областей, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными режимами предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования.
24. 24. Устройство декодирования движущихся изображений по п.21, в котором процессор выполнен с возможностью использования в качестве индекса, указывающего пространственную корреляцию, одно или более из того, являются ли выбранные опорные изображения для двух разделов, в которые включена целевая область, одинаковыми, разницы между размерами векторов движения двух разделов, в которые включена целевая область, и соотношения размеров векторов движения.
25. 25. Устройство декодирования движущихся изображений по п.19, в котором информация выбора интегрированного преобразования, указывающая конфигурацию в макроблоке целевых областей преобразования, в отношении которых устройство кодирования движущихся изображений, сгенерировавшее кодированные данные, использовало частотное преобразование, содержится в кодированных данных, и процессор выполнен с возможностью использования обратного частотного преобразования в отношении каждой целевой области преобразования, указанной информацией выбора интегрированного преобразования, для генерирования остатка предсказания.
26. 26. Устройство декодирования движущихся изображений по п.19, в котором процессор выполнен с

    - 46 027182 возможностью выбора шаблона разделения, используемого в отношении макроблоков, полученных разделением, из набора шаблонов разделения для разделения макроблока на области, в отношении которых используются частотные преобразования, причем любая из областей, в отношении которых используются частотные преобразования, включает в себя шаблоны разделения по разделам, и использования обратного частотного преобразования в отношении макроблока на основе выбранного шаблона разделения.
27. 27. Устройство декодирования движущихся изображений по п.26, в котором информация, указывающая шаблон разделения, используемый в отношении макроблоков, полученных разделением, посредством устройства кодирования движущихся изображений, сгенерировавшего кодированные данные, содержится в кодированных данных, и процессор выполнен с возможностью установки шаблона разделения, указанного информацией, содержащейся в кодированных данных, в качестве шаблона разделения, который должен быть использован в отношении макроблока, который является целью обработки.
28. 28. Устройство декодирования движущихся изображений по п.26, в котором процессор выполнен с возможностью выбора шаблона разделения, который должен быть использован в отношении макроблоков, полученных разделением, из набора шаблонов разделения на основе конфигурации разделов в макроблоках и макроблоков.
29. 29. Устройство декодирования движущихся изображений, содержащее процессор, выполненный с возможностью выполнения декодирования с кодом без потерь и разделения на макроблоки над кодированными данными, полученными кодированием движущегося изображения;

    использования в отношении каждой из целевых областей преобразования, на которые разделены макроблоки, причем целевая область преобразования включает в себя по меньшей мере одну целевую область преобразования, интегрированную на основе индекса, указывающего пространственную корреляцию, обратного частотного преобразования согласно целевой области преобразования для генерирования локальных декодированных изображений; и объединения сгенерированных локальных декодированных изображений для генерирования движущегося изображения и вывода движущегося изображения.
30. 30. Устройство декодирования движущихся изображений по п.29, в котором процессор выполнен с возможностью хранения локальных декодированных изображений, полученных декодированием кодированных данных в единицах макроблоков;

    выбора опорного изображения для каждого из разделов, на которые дополнительно разделен макроблок, из числа сохраненных локальных декодированных изображений, и генерирования предсказанного изображения на основе выбранного спорного изображения; и использования в отношении каждой целевой области преобразования обратного частотного преобразования согласно целевой области преобразования для генерирования остатка предсказания, при этом процессор выполнен с возможностью суммирования сгенерированного предсказанного изображения и сгенерированного остатка предсказания для каждого пикселя для генерирования локальных декодированных изображений.
31. 31. Устройство декодирования движущихся изображений по п.30, в котором информация интеграции преобразования, указывающая целевую область преобразования, интегрированную на основе индекса, указывающего пространственную корреляцию, содержится в кодированных данных, при этом процессор дополнительно выполнен с возможностью определения целевых областей преобразования на основе информации интеграции преобразования и использования обратного частотного преобразования в отношении каждой из определенных целевых областей преобразования для генерирования остатка предсказания.
32. 32. Устройство декодирования движущихся изображений по п.30, в котором процессор дополнительно выполнен с возможностью определения целевой области преобразования, интегрированной на основе индекса, указывающего пространственную корреляцию области, использования обратного частотного преобразования в отношении каждой определенной целевой области преобразования для генерирования остатка предсказания.
33. 33. Устройство декодирования движущихся изображений по п.32, в котором процессор выполнен с возможностью использования разницы между пиксельными значениями на сгенерированном предсказанном изображении согласно соответствующим смежным пикселям в целевой области в качестве индекса, указывающего пространственную корреляцию.
34. 34. Устройство декодирования движущихся изображений по п.32, в котором процессор выполнен с

    - 47 027182 возможностью использования одного или более из того, являются ли режимы предсказания в целевых областях преобразования одинаковыми на сгенерированном предсказанном изображении, соответствующем смежным целевым областям преобразования в целевой области, является ли режим предсказания тем же, что и конкретный режим предсказания, подобия между направлениями предсказания, указанными режимами предсказания, и включен ли опорный пиксель в области, соответствующей одной целевой области преобразования, в область, соответствующую другой целевой области преобразования, в качестве индекса, указывающего пространственную корреляцию.
35. 35. Система кодирования/декодирования движущихся изображений, содержащая устройство кодирования движущихся изображений, которое выполнено с возможностью приема ввода движущегося изображения и вывода кодированных данных, и устройство декодирования движущихся изображений, которое выполнено с возможностью декодирования кодированных данных, выводимых устройством кодирования движущихся изображений, для генерирования движущегося изображения, в которой устройство кодирования движущихся изображений содержит процессор, выполненный с возможностью разделения кадра вводимого движущегося изображения на единицы макроблоков; дополнительного разделения макроблоков, полученных разделением, на разделы; разделения макроблоков, полученных разделением, на целевые области преобразования, по меньшей мере одна целевая область преобразования включает в себя области по разделам, полученным разделением;

    использования частотного преобразования в отношении каждой из целевых областей преобразования, полученных разделением, для генерирования коэффициента преобразования; и вывода кодированных данных, полученных кодированием без потерь сгенерированного коэффициента преобразования, и устройство декодирования движущихся изображений содержит процессор, выполненный с возможностью выполнения декодирования с кодом без потерь и разделения на макроблоки над кодированными данными;

    использования в отношении каждой из целевых областей преобразования, на которые разделены макроблоки, причем по меньшей мере одна из целевых областей преобразования включает в себя целевую область преобразования по разделам, обратного частотного преобразования согласно целевой области преобразования для генерирования локальных декодированных изображений; и объединения сгенерированных локальных декодированных изображений для генерирования движущегося изображения и вывода движущегося изображения.
36. 36. Система кодирования/декодирования движущихся изображений, содержащая устройство кодирования движущихся изображений, которое выполнено с возможностью приема ввода движущегося изображения и вывода кодированных данных, и устройство декодирования движущихся изображений, которое выполнено с возможностью декодирования кодированных данных, выводимых устройством кодирования движущихся изображений, для генерирования движущегося изображения, в которой устройство кодирования движущихся изображений содержит процессор, выполненный с возможностью разделения кадра вводимого движущегося изображения на единицы макроблоков; дополнительного разделения макроблоков, полученных разделением, на разделы; разделения макроблоков, полученных разделением, на целевые области преобразования, которые являются областями, в отношении которых используют частотные преобразования, и интеграции по меньшей мере одной из целевых областей преобразования, которые являются смежными друг с другом, на основе индекса, указывающего пространственную корреляцию для генерирования новой целевой области преобразования;

    использования частотного преобразования в отношении каждой из целевых областей преобразования, полученных разделением, для генерирования коэффициента преобразования; и вывода кодированных данных, полученных кодированием без потерь сгенерированного коэффициента преобразования, и устройство декодирования движущихся изображений содержит процессор, выполненный с возможностью выполнения декодирования с кодом без потерь и разделения на макроблоки над кодированными данными, полученными кодированием движущегося изображения;

    использования в отношении каждой из целевых областей преобразования, на которые разделены макроблоки, причем целевая область преобразования включает в себя по меньшей мере одну целевую область преобразования, интегрированную на основе индекса, указывающего пространственную корреляцию, обратного частотного преобразования согласно целевой области преобразования для генерирова- 48 027182 ния локальных декодированных изображений; и объединения сгенерированных локальных декодированных изображений для генерирования движущегося изображения и вывода движущегося изображения.
37. 37. Способ кодирования движущихся изображений, содержащий этапы, на которых разделяют устройством кодирования движущихся изображений кадр вводимого движущегося изображения на единицы макроблоков;

    дополнительно разделяют устройством кодирования движущихся изображений макроблоки на разделы;

    разделяют устройством кодирования движущихся изображений макроблоки на целевые области преобразования, по меньшей мере одна целевая область преобразования включает в себя области по разделам;

    используют устройством кодирования движущихся изображений частотное преобразование в отношении каждой из целевых областей преобразования, полученных разделением при разделении на области частотного преобразования, для генерирования коэффициента преобразования; и выводят устройством кодирования движущихся изображений кодированные данные, полученные кодированием без потерь коэффициента преобразования.
38. 38. Способ кодирования движущихся изображений, содержащий этапы, на которых разделяют устройством кодирования движущихся изображений кадр вводимого движущегося изображения на единицы макроблоков;

    дополнительно разделяют устройством кодирования движущихся изображений макроблоки на разделы;

    разделяют устройством кодирования движущихся изображений макроблок на целевые области преобразования, которые являются областями, в отношении которых используют частотные преобразования, и интегрируют по меньшей мере одну из целевых областей преобразования, которые являются смежными друг с другом, основываясь на индексе, указывающем пространственную корреляцию, для генерирования новой целевой области преобразования;

    используют устройством кодирования движущихся изображений частотное преобразование в отношении каждой из целевых областей преобразования, полученных разделением при разделении на области частотного преобразования, для генерирования коэффициента преобразования; и выводят устройством кодирования движущихся изображений кодированные данные, полученные кодированием без потерь коэффициента преобразования.
39. 39. Способ декодирования движущихся изображений, содержащий этапы, на которых выполняют устройством декодирования движущихся изображений декодирование с кодом без потерь кодированных данных, полученных кодированием движущегося изображения;

    используют устройством декодирования движущихся изображений в отношении каждой из целевых областей преобразования, на которые разделен макроблок, причем по меньшей мере одна из целевых областей преобразования включает в себя целевую область преобразования по разделу, обратное частотное преобразование согласно целевой области преобразования для генерирования локальных декодированных изображений; и объединяют устройством декодирования движущихся изображений локальные декодированные изображения для генерирования движущегося изображения и выводят движущееся изображение.
40. 40. Способ декодирования движущихся изображений, содержащий этапы, на которых выполняют устройством декодирования движущихся изображений декодирование с кодом без потерь и разделение на макроблоки над кодированными данными, полученными кодированием движущегося изображения;

    используют устройством декодирования движущихся изображений в отношении каждой из целевых областей преобразования, на которые разделен макроблок, причем целевая область преобразования включает в себя по меньшей мере одну целевую область преобразования, интегрированную на основе индекса, указывающего пространственную корреляцию, обратное частотное преобразование согласно целевой области преобразования для генерирования локальных декодированных изображений; и объединяют устройством декодирования движущихся изображений локальные декодированные изображения для генерирования движущегося изображения и выводят движущееся изображение.