EA002728B1 - Способ формирования фонограмм речевой информации - Google Patents

Abstract

Предложен способ формирования фонограммы речевой информации, при котором записывают на носитель одновременно речевые и контрольные маркировочные сигналы с возможностью определения целостности фонограммы по результатам ее визуализации с помощью сонофильма, причем маркировочные сигналы формируют синхронно с фонограммой речевой информации с использованием ряда параллельных блоков для формирования гармоник контрольных маркировочных сигналов в диапазоне звуковых частот. По результатам визуализации сонофильма определяют целостность оригинальной фонограммы.

Description

Изобретение относится к области передачи и записи аудио, видео и мультимедийной информации и, в частности, может быть использовано для контроля записи основного речевого (аудио) сигнала при его записи совместно с контрольным маркировочным сигналом, записываемым на том же носителе, что и основной сигнал. Речевые сигналы могут быть записаны на любых известных носителях информации, например магнитных, оптических, в ячейках памяти и т.п., для их дальнейшего использования, например, при доказательстве факта того или иного события, отраженного в зафиксированном сигнале. Подлинность и достоверность фонограммы после ее записи подтверждается наличием специально формируемых контрольных маркировочных сигналов, которыми она помечается (маркируется).

В настоящее время существует проблема, связанная с обнаружением и идентификацией контрольных маркировочных сигналов, нанесенных на тот же носитель, что и основной сигнал, для установления подлинности самой фонограммы.

Из уровня техники известны системы обнаружения признаков монтажа фонограмм, которые базируются на случайных или специальных добавленных частотно постоянных фоновых помехах, и не привязанных к оригинальной структуре контролируемого речевого сигнала.

Известен способ записи информации на носитель, при котором перед записью основных и управляющих данных в виде кадров на носителе записи формируют файл управляющих данных в виде Ν-идентичных групп в каждом пакете данных (патент РФ № 2073913, 20.02.97).

Способ направлен на перенос обработки записанных данных со специализированной материальной части на программную.

Известен также способ размещения на носителе проверочных символов кода для исправления ошибок в информационных данных, таким образом, что каждая компонента информации и проверочных символов записываются на интервалах каждого сектора, чтобы рассредоточить вышеуказанные проверочные символы в каждом секторе (патент РФ № 2154897,

20.08.00).

В данном патенте решается проблема помехозащищенного кодирования данных. Если при кодировании передачи или чтении этих данных происходят сбои, то они исправляются с помощью предложенного в данном патенте способа.

В патенте РФ № 2095857 (10.11.97) описан способ передачи звуковой и/или видеоинформации с использованием носителя данных, при котором форматируют данные с добавлением к основной информации цифровых субкодовых данных, которые перед форматированием разделяют на пакеты информации и производят их перемежение. После переформатирования выбранные пакеты выделяют из субкодовой информации.

Способ, согласно данному патенту, предусматривает использование дополнительных дорожек цифровых записей с разноязычными текстами. Эти дополнительные данные не смешиваются с полезным сигналом.

В публикации 8есиге 8ргеаб 8рее1гит \Уа1егтагктд £ог МиШтеФа, 1пдетаг 1. Сох, е! а1. (ΙΕΕΕ Тгапз. оп 1таде Ргосеззтд, 6,12, 16731697, (1997)) описан способ нанесения маркировочных (водяных) знаков на носители при записи аудио, видео и мультимедийной информации. В указанном способе используют водяные знаки для установления факта недобросовестного использования и распространения записи. Маркировочные (водяные) знаки, содержащие информацию об авторских правах оригинала, формируют на основе случайного гауссовского шума при передаче и записи в основной сигнал.

Факт недобросовестного использования записи устанавливают путем сравнения извлеченного из записи водяного знака с эталонным, хранящимся у автора оригинала. Указанная публикация, по мнению заявителя, является наиболее близким аналогом, известным из уровня техники.

Недостатком вышеописанных способов является то, что используемые в них маркировочные сигналы можно достаточно просто выявлять, удалять, заменять или добавлять при манипуляциях с монтируемой фонограммой с помощью цифровой или аналоговой техники звукозаписи. В случае с водяным знаком при контроле записи необходимо постоянно хранить эталонный маркировочный сигнал. Целью настоящего изобретения является устранение указанных недостатков.

Основная задача настоящего изобретения заключается в создании способа формирования фонограммы речевой информации с записью на носителе, который при изменении записи позволяет обнаружить внесенные корректировки, или монтаж фонограммы, а в случае их отсутствия подтвердить достоверность оригинальной записи.

Согласно настоящему изобретению поставленная задача решается и технический результат достигается за счет внесения в основной речевой сигнал контрольного маркировочного сигнала, модулированного спектральной мощностью кадров сонофильма по гармоникам со случайным распределением их фаз. В результате, сигнал фонограммы со следами речи помечается специальной дополнительной сигнальной структурой, располагающейся в том же частотном диапазоне, что и сам речевой сигнал, что не позволяет бесследно менять или удалять фрагменты фонограммы.

Способ формирования фонограммы речевой информации согласно изобретению заклю3 чается в том, что на носитель одновременно записывают речевые и контрольные маркировочные сигналы для определения целостности фонограммы по результатам ее частотновременной визуализации, для чего синхронно с фонограммой речевой информации формируют непрерывную последовательность кадров сонофильма, проводят в каждом его кадре спектральный анализ с использованием ряда параллельных блоков формирования гармоник контрольных маркировочных сигналов в диапазоне звуковых частот, определяют спектральную мощность каждого кадра, гармоники модулируют по амплитуде уровнем спектральной мощности каждого кадра сонофильма со случайным распределением их фаз таким образом, что мощность каждой гармоники контрольных маркировочных сигналов оказывается слабее самых мощных частотно-временных компонентов речевого сигнала, по крайней мере, на 10 дБ, и суммируют указанные гармоники контрольных маркировочных сигналов и речевой сигнал перед их записью на носитель.

При этом, диапазон звуковых частот составляет от 100 до 4000 Гц, а указанный ряд блоков формирования гармоник контрольных маркировочных сигналов включает от 5 до 20 блоков.

Сущность способа, согласно данному изобретению, заключается в том, что помимо полезного речевого сигнала в структуру сигнала вносится дополнительная структура контрольных маркировочных сигналов, синхронная речевому сигналу и незаметная на слух, но надежно выделяемая в шумах. С одной стороны, структура контрольных маркировочных сигналов, т. е. частотно модулированные гармоники с некратными частотами модуляций и случайно меняющимися фазами, достаточно регулярна для того, чтобы контрольные маркировочные сигналы можно было обнаружить спектральными методами. С другой стороны, фазовая структура контрольных маркировочных сигналов меняется случайным образом так, чтобы ее нельзя было точно вычислить для удаления или подмены. Контрольные маркировочные сигналы модулируются по амплитуде уровнем мощности речевого сигнала в соответствующих полосах частот таким образом, чтобы, во-первых, благодаря психоакустическому эффекту маскировки звуков быть незаметными, во-вторых, быть уникальными в привязке к меняющейся спектральной мощности речевого сигнала и, в-третьих, быть достаточно слабыми для возможности использования помеченного речевого сигнала в экспертно-криминалистической идентификации личности по речи.

По сравнению с известными способами маркировки записи отличительными особенностями предлагаемого способа формирования фонограммы речевой информации являются следующие:

- формирование синхронно с фонограммой речевой информации непрерывной последовательности кадров сонофильма;

- проведение в каждом кадре сонофильма спектрального анализа с использованием с использованием ряда параллельных блоков формирования гармоник контрольных маркировочных сигналов в диапазоне звуковых частот;

- определение спектральной мощности каждого кадра сонофильма;

- модулирование гармоник по амплитуде уровнем спектральной мощности каждого кадра сонофильма со случайным распределением фаз каждой из гармоник таким образом, что мощность каждой гармоники оказывается слабее самых мощных частотно-временных компонентов речевого сигнала, по крайней мере, на 10 дБ;

- суммирование указанных гармоник контрольных маркировочных сигналов и речевого сигнала перед их записью на носитель.

Указанные отличительные признаки предложенного способа формирования речевой информации являются существенными, поскольку каждый из них отдельно и совместно направлены на решение поставленной задачи и достижение нового технического результата.

Контроль речевого сигнала, представленного в любой известной форме, заключается в частотно-временном анализе запомненного речевого сигнала и добавлении к нему группы частотно модулированных гармоник, перекрывающих своими колебаниями по частоте весь частотный диапазон речевого сигнала, амплитуда которых, с одной стороны, никогда не опускается ниже допустимого максимального уровня помех в фиксируемом речевом сигнале, а, с другой стороны, на самых мощных частотновременных участках речевого сигнала амплитуда контрольных маркировочных сигналов должна быть меньше их на 10 - 40 дБ. На остальных частотно-временных участках контрольные маркировочные сигналы может существенно превышать по уровню спектральной мощности компоненты речевого сигнала, но лишь в том случае, если эти участки располагаются в непосредственной близости (по времени и частоте), из-за чего они, в силу эффекта психоакустической маскировки частотно-временных компонентов сигналов, оказываются практически незаметными на слух.

Для контроля фонограммы, представленной в любой известной, например, цифровой форме, она запоминается в полном объеме на носителе. Параллельно с этой фонограммой формируется контрольный маркировочный сигнал в подобной же форме, состоящий из набора частотно модулированных гармоник постоянной амплитуды, частотный диапазон которых перекрывает весь частотный диапазон контролируемого речевого сигнала, и которые сами с собой никогда не пересекаются по частоте. Структура частотной модуляции контрольных маркировочных сигналов выбирается такой, чтобы она никогда не повторялась и содержала информацию о времени, типе и номере устройства звукозаписи. Начальная амплитуда всех маркировочных частотно модулированных гармоник устанавливается равной максимально допустимой амплитуде помех, принятой в выбранной технологии цифровой звукозаписи фонограммы. Затем на разных частотно-временных участках контрольного маркировочного сигнала он модулируется по амплитуде синхронно контролируемому речевому сигналу следующим образом.

Весь речевой сигнал нарезается на отдельные кадры, составляющие сонофильм. Периодичность кадров составляет примерно Т_к = 7 мс. Каждый кадр сонофильма речевого сигнала имеет свою спектральную мощность. Синхронно с этими кадрами сонофильма речевого сигнала создаются кадры сонофильма контрольного маркировочного сигнала. Спектральная мощность кадров контрольного маркировочного сигнала устанавливается за два прохода анализа кадров речевого сигнала в прямом и обратном направлении времени смены кадров.

При прямом проходе по кадрам сонофильма амплитуда контрольного маркировочного сигнала Р(с,£) в полосе частот £ в кадре с устанавливается следующим образом:

Р(с,£) = шах{Ы(£); 8(с-1,£)-М(£)-Э(£); С(с,£)}, где Ν(£) - максимально допустимый уровень помех в полосе частот £ в фиксируемой фонограмме;

8(с,£) - спектральная плотность речевого сигнала в кадре с в полосе частот £;

М(£) - на сколько ниже должна быть спектральная плотность контрольного маркировочного сигнала относительно самого мощного по спектральной плотности частотно-временного участка речевого сигнала;

Ό(£) - на сколько ниже должна быть спектральная мощность контрольного маркировочного сигнала в следующем кадре, чтобы эффект психоакустической маскировки сигналов сработал в полной мере;

С(с,£) - начальная спектральная мощность контрольного маркировочного сигнала во всех кадрах с и каналах частот £.

При обратном проходе по кадрам фильма амплитуда контрольного маркировочного сигнала Р(с,£) в полосе частот £ в кадре с устанавливается следующим образом:

Р(с,£) = ™αχ{Ν(£); 8(с+1,£)-М(£)-Э(£); Р(с,£)}.

Контрольные маркировочные сигналы это ряд частотно модулированных гармоник с непересекающимися частотами и со случайно меняющейся начальной фазой (в среднем один раз в секунду). Динамика амплитуды каждого из контрольных маркировочных сигналов меняется в зависимости от изменения динамики уровня мощности речевого сигнала в полосе частот £. Причем, динамика амплитуды каждого кон трольного маркировочного сигнала на пиковых по мощности частотно-временных участках речевого сигнала в полосе частот £ ниже последнего на 10 - 40 дБ. А после пикового участка амплитуда контрольных маркировочных сигналов экспоненциально снижается (с рекомендуемой скоростью 6 дБ за 10 мс). Это свойство приводит к тому, что из-за эффекта маскировки контрольные маркировочные сигналы практически не слышны, но их уровень чаще всего оказывается выше текущего уровня регистрируемого речевого сигнала (на участках звуковых пауз в речевом сигнале в разных частотных диапазонах). Благодаря этому контрольную маркировочную структуру сигнала можно визуализировать с помощью динамических спектральных фильмов или сонофильмов.

Поскольку на самых мощных частотновременных участках речевого сигнала контрольные маркировочные сигналы всегда ниже по амплитуде на 10 - 40 дБ, то контролируемый речевой сигнал остается пригодным для проведения экспертно-криминалистических идентификации личности по следам речевого сигнала. По требованию официально применяемой в России методике идентификации личности по речевому сигналу «Диалект» уровень помех не должен превышать -15 дБ следов речевого сигнала во всех диапазонах частот.

Из-за малой мощности сигналов контрольной маркировочной структуры частота, амплитуда и фаза которых постоянно меняется, их практически невозможно вычислить с достаточной точностью и бесследно удалить.

Если в фонограмме, помеченной таким образом, попытаться бесследно выделить и удалить некоторый фрагмент речи, то вместе с этим фрагментом речевого сигнала удаляется и контрольная маркировочная структура, нарушение которой проявляется и обнаруживается на сонофильмах в силу высокой информационной избыточности, не повторяемости взаимного расположения элементов контрольной маркировочной структуры.

Если попытаться внести в помеченную фонограмму посторонний непомеченный речевой сигнал, то на участке монтажа маркировочная структура окажется не модулирована этим речевым сигналом, что тоже обнаруживается с помощью сонофильма.

Если попытаться переставить местами фрагменты помеченной фонограммы с наложением или без ее отдельных частей, то произойдет такая же перестановка и наложение и контрольной маркировочной структуры, что также обнаруживается с помощью сонофильма.

Далее приводится описание изобретения со ссылками на прилагаемые чертежи.

Фиг. 1 - общая схема устройства для формирования фонограмм речевой информации.

Фиг. 2 - схема блока формирования гармоники контрольного маркировочного сигнала.

Фиг. 3 - сонофильм оригинала фонограммы.

Фиг. 4 - сонофильм фонограммы после её монтажа.

Общая схема устройства для формирования фонограмм речевой информации, показанная на фиг. 1, содержит ряд однотипных блоков Н для формирования гармоник контрольных маркировочных сигналов и сумматор сигналов Σ. В устройство информационной маркировки поступает входной речевой сигнал и без искажений поступает на сумматор контрольных маркировочных сигналов. Формирование контрольных маркировочных сигналов управляется речевым сигналом. Входной речевой сигнал поступает на ряд параллельных блоков Н формирования гармоник контрольных маркировочных сигналов, перекрывающих диапазон частот от 100 до 4000 Гц. Указанный диапазон с запасом надежно перекрывает известный диапазон, применяемый в проводной телефонной связи.

Контрольные маркировочные сигналы формируется с помощью нескольких однотипных блоков следующим образом. Амплитуда выходного сигнала каждого из блоков уменьшается на 10 - 40 дБ и сравнивается с пороговым значением максимально допустимого для данного класса записывающего устройства амплитуды гармонической помехи. Большее значение этих амплитуд задает амплитуду генерируемой частотно модулированной гармоники, которая является составной частью контрольного маркировочного сигнала. Частота этой гармоники постоянно меняется в пределах полосы пропускания соответствующего блока, а ее начальная фаза случайно в среднем один раз в секунду сбрасывается до нуля. Получаемые таким образом в разных полосах частот маркировочные частотно-модулированные гармоники со случайной фазой отражают структуру входного речевого сигнала. Все маркировочные частотномодулированные гармоники вместе с входным речевым сигналом поступают на сумматор сигналов, на выходе которого образуется выходной речевой сигнал, помеченный аддитивной структурой слабых частотно и амплитудно-модулированных гармоник.

Схема каждого из указанных блоков Н формирования гармоник контрольных маркировочных сигналов приведена на фиг. 2. Входной речевой сигнал поступает на вход фильтра частот 1 (полоса частот фильтра равна полосе частот соответствующей гармоники). Полученный узкополосный сигнал ослабляется в атеньюатере 2. Детектор сигнала 3 выделяет из поступающего на его вход амплитудную огибающую сигнала. Полученный сигнал, отражающий динамику изменения амплитуды речевого сигнала в полосе частот соответствующей гармоники, поступает на вход интегратора 4, который обеспечивает плавное затухание сигнала с декрементом затухания 10 мс. В амплитудном селек торе 5 происходит сравнение уровней сигналов, выходящих из детектора сигналов 3 и интегратора 4, при этом на выход амплитудного селектора 5 пропускается максимальный из них. В пороговом блоке 8 задаётся начальный уровень контрольного маркировочного сигнала в соответствии с требованиями уровня гармонических помех, максимально допустимых в системе звукозаписи (для телефонии этот уровень равен -35 дБ, для магнитофонов -48 дБ и т.п.). В амплитудном селекторе 6 происходит сравнение уровней сигналов с выхода блоков 5 и 8 и на выход амплитудного селектора 6 пропускается максимальный из них. Генератор качающей частоты 7 формирует сигнал с амплитудой, задаваемой выходом амплитудного селектора 6. Блок 9 в случайный момент времени (в среднем один раз в секунду) сбрасывает до нуля начальную фазу генератора качающей частоты 7. Генератор случайных импульсов 10 вырабатывает импульсы со средним временем появления импульса - 1с и стандартным отклонением - 0,1с. На выходе с блока генератора качающей частоты 7 образуется выходной контрольный маркировочный сигнал. Выходной контрольный маркировочный сигнал от генератора качающей частоты 7 поступает на сумматор сигналов Σ. Каждый контрольный маркировочный сигнал, полученный из блоков Н формирования гармоник, поступает на сумматор сигналов Σ и суммируется с входным речевым сигналом. На выходе сумматора сигналов Σ формируется помеченный речевой сигнал, содержащий количество гармоник, соответствующее количеству используемых блоков Н.

Осуществление способа согласно настоящему изобретения иллюстрируется на примере варианта его воплощения.

Входной речевой сигнал поступает на входы восьми (фиг. 1) однотипных блоков формирования частотно и амплитудно-модулированных гармоник, составляющих контрольные маркировочные сигналы. Количество блоков и, соответственно, гармоник контрольных маркировочных сигналов выбирают в зависимости от требуемой степени надежности маркировки фонограммы. Минимальное количество блоков равно 2. Из-за проблем надежного выделения контрольных маркировочных сигналов из шумов максимальное количество блоков не может превысить 20.

Частотно модулированные гармоники маркировочного сигнала выбираются таким образом, чтобы они перекрывали весь частотный диапазон речевого сигнала и их частоты модуляции не были взаимно кратными. Начиная с количества гармоник, равного 2, при условии не кратности частот модуляции гармоник контрольных маркировочных сигналов, любая вырезка внутренней части фрагмента фонограммы может проявиться в разрыве динамики частот гармоник контрольных маркировочных сигналов. Однако из-за слабости гармоник контрольных маркировочных сигналов в большинстве случаев двух гармоник оказывается мало. Поэтому, чтобы гарантировать большую защищенность фонограммы, число гармоник контрольных маркировочных сигналов следует увеличивать. В настоящем примере осуществления данного изобретения таких гармоник выбрано 8.

Каждый блок Н в полосах частот, перекрывающих общий диапазон частот от 100 до 4000 Гц, формирует контрольный маркировочный сигнал. Контрольный маркировочный сигнал - это частотно и амплитудно-модулированная гармоника с частотой, не выходящей за границы полосы блока, и со случайно меняющейся начальной фазой (в среднем один раз в секунду). Сформированные гармоники маркировочных сигналов поступают на сумматор, где суммируются с входным речевым сигналом и на выходе устройства образует выходной помеченный речевой сигнал, который теперь можно контролировать для определения признаков его умышленного изменения.

Визуализация гармоник маркировочного сигнала показана на фиг. 3, где приведен частотно-временной образ фонодокумента (сонофильм), полученного с помощью способа, согласно данному изобретению. Стрелки указывают на следы гармоник маркировочных сигналов на сонофильме фонограммы. Если у такого фонодокумента попытаться удалить какой-либо фрагмент, то следы от этой манипуляции проявятся в нарушении структуры маркировочного сигнала на сонофильме. В качестве примера на фиг. 4 показан сонофильм с результатами монтажа этого фонодокумента - в нем на участках речевых пауз вырезан небольшой фрагмент с 4ой по 6-тую секунду. Стрелки указывают на участки с признаками монтажа фонограммы. Следует отметить, что динамика спектра шумов на выбранных участках монтажа такова, что, если бы не было маркировочных сигналов, то обнаружить нарушение однородности этих шумов было бы невозможно. По этой причине бесследный перенос и/или наложение любых фрагментов внутри одного и того же фонодокумента оказывается практически невозможным.

Невозможным оказывается и добавление к имеющемуся фонодокументу чистых речевых сигналов из других фонограмм. Дело в том, что защитные сигналы структурно привязаны к входному речевому сигналу. И если эта привязка не произошла, то этот факт обнаруживается при более тщательном спектрально временном анализе фонодокумента.

С учетом вышеизложенного отличительные признаки предлагаемого способа являются новыми, так как их использование в известном уровне техники не обнаружены.

Совокупность существенных признаков позволяет решить поставленную задачу и достичь нового технического результата по сравнению с известными из уровня техники решениями. Новый способ формирования фонограммы речевой информации является изобретательским шагом в данной области техники как результат теоретических и экспериментальных разработок.

Специалисту в данной области понятно, что настоящее изобретение не ограничивается приведенным в описании вариантом воплощения с использованием аудиосигнала в указанном частотном диапазоне и количеством блоков для формирования гармоник контрольных маркировочных сигналов, и может использоваться для контроля подлинности не только аудио, но и видео и мультимедийного сигнала.

Claims (3)

1. Способ формирования фонограммы речевой информации, при котором записывают на носитель одновременно речевые и контрольные маркировочные сигналы с возможностью определения целостности фонограммы по результатам ее частотно-временной визуализации, отличающийся тем, что синхронно с фонограммой речевой информации формируют непрерывную последовательность кадров сонофильма, проводят в каждом его кадре спектральный анализ с использованием ряда параллельных блоков формирования гармоник контрольных маркировочных сигналов в диапазоне звуковых частот, определяют спектральную мощность каждого кадра, гармоники модулируют по амплитуде уровнем спектральной мощности каждого кадра сонофильма со случайным распределением их фаз таким образом, что мощность каждой гармоники контрольных маркировочных сигналов оказывается слабее самых мощных частотновременных компонентов речевого сигнала, по крайней мере, на 10 дБ, и суммируют указанные гармоники контрольных маркировочных сигналов и речевой сигнал перед их записью на носитель.

2. Способ по п.1, отличающийся тем, что диапазон звуковых частот составляет 100-4000 Гц.

3. Способ по пп. 1 и 2, отличающийся тем, что указанный ряд блоков формирования гармоник контрольных маркировочных сигналов включает от 5 до 20 блоков.