EA044946B1 - Способ проверки подлинности документов и купюр с помощью анализа гильоширного рисунка на изображениях, полученных в высоком разрешении - Google Patents

Description

Изобретение относится к области проверки подлинности изображений документов различных видов.

Из уровня техники известны различные способы проверки подлинности документов и купюр с помощью анализа гильоширного рисунка на изображениях, полученных в высоком разрешении. Например, в работе [1] (см. Chernov, Т. S., Kliatskine, V. М., & Nikolaev, D. Р. (2015). A Method Of Periodic Pattern Detection On Document Images. In ECMS (pp. 506-510) рассматривается детекция периодических структур на документе. Алгоритм использует быстрое преобразование Фурье и поиск пиков на компонентах Фурье-образа. Вычисляется средняя информация о 8 соседях каждого пика и сравнивается с заданным заранее порогом. Однако гильоширный рисунок в общем случае не имеет периодической структуры. Следовательно, не стоит ожидать высокой точности работы, когда она отсутствует.

Другим подходом к решению задачи детектирования фальсификации документов является анализ схожести изображений (эталонного и поданного на вход алгоритму) с помощью Grid-3CD дескриптора [2] (см. Ghanmi, N., &Awal, A. M. (2018, April). A new descriptor for pattern matching: application to identity document verification. In 2018 13th IAPR International Workshop on Document Analysis Systems (DAS) (pp. 375-380). IEEE). Такой дескриптор содержит в себе одновременно цветовую и пространственную виды информации, так как использует характеристики компонент связности близких по цвету областей. Здесь так же строится вектор признаков из 6 кортежей (c^x^y^dij.h^wij) на сетке из пикселей pij с фиксированными сдвигами по вертикали и горизонтали (s_h,s_v), i=nxs_h, j=nxs_h}. Здесь cij - количественно выраженный цвет от компоненты связности, которой принадлежит p_ij,x_ij,y_ij - координаты центра масс компоненты связности, dij - плотность компоненты связности, h^wij - размеры окаймляющего четырёхугольника компоненты связности. Недостатком данного алгоритма является следующее: из-за неточности локализации документа на сканированном изображении, положения компонент связности может значительно отличаться от того, что было на эталоне. Следовательно финальный вектор признаков будет отличаться от эталона, что приведет к ошибочному решению о наличии признаков фальсификации на документе. Отличительной особенностью предложенного в данном патенте подхода является устойчивость системы к неточной локализации, что достигается благодаря этапу 2.i общей схемы описания алгоритма. Авторы работы [3] (см. Castelblanco, A., Solano, J., Lopez, С., Rivera, E., Tengana, L., & Ochoa, M. (2020). Machine Learning Techniques for Identity Document Verification in Uncontrolled Environments: A Case Study. Pattern Recognition, 12088, 271 - 281) описывают конвейер на основе машинного обучения для обработки изображений документов, полученных в различных условиях, который состоит из нескольких модулей и использует различные функции для проверки типа документа и его подлинности. Первый модуль конвейера связан с локализацией изображения документа на входном изображении, выделением его границ и последующей проективной нормализацией. Второй модуль - модуль верификации документа - включает в себя анализ глобальных и локальных признаков. Анализируются такие глобальные признаки, как сравнение гистограмм в оттенках серого для входного документа и образца (гистограммы нормализуются, а мера сходства вычисляется с помощью гистограммы Вассерштайна), сумма разностей между средним цветовым тоном и средней насыщенностью по подокнам изображения (для изображения, приведённого в модель HSV), оценка структурного сходства на основе распределения пикселей (оцениваются функции, зависящие от яркости, контрастности и корреляций значений массивов пикселей). Среди локальных признаков анализируются наличие на изображении документа лица, а также его расположение, текстурные признаки анализируются на осерённом изображении с помощью вычисления корреляции между подокнами входного изображения и образца. Авторами работы анализируемое изображение приводится к размерам 459 х 297 пикселей, в таком масштабе гильоширный рисунок не разрешим.

В работе [4] (см. Ghanmi, N., Nabli, С., Awal, AM. (2021). CheckSim: A Reference-Based Identity Document Verification by Image Similarity Measure. In: Barney Smith, E.H., Pal, U. (eds) Document Analysis and Recognition - ICDAR 2021 Workshops. ICDAR 2021. Lecture Notes in Computer Science(), vol 12916. Springer, Cham. https://doi.org/10.1007/978-3-030-86198-8_30) предложен метод сопоставления проективно нормализованного входного изображения документа с образцом основанный на сиамской и триплетной нейросетях. Архитектура CNN, на которой основываются сиамская и триплетная сети близка к архитектуре сети VGG-16. Результирующая сеть вычисляет вектор признаков по входному изображению, в дальнейшем расстояние от этого вектора до вектора признаков образца сравнивается с заранее заданным порогом. При обучении вес ошибки ложного отказа был больше веса ошибки ложного принятия. Сети применяются не ко всему документу целиком, а к отдельным зонам на документе. В работе [5] (см. Al-Ghadi, M., Ming, Z., Gomez-Kramer, P., & Burie, J. С. (2022). Identity Documents Authentication based on Forgery Detection of Guilloche Pattern. arXiv preprint arXiv:2206.10989) для сравнения гильоширного рисунка на входном и эталонном изображениях используется сиамская нейронная сеть (SNN). Она предобучена на нескольких примерах проективно нормализованных изображений документов. Подход предусматривает сравнение изображений целиком. Из-за наличия вариативных элементов, а также для устойчивости к различного рода шуму, для обучения сети необходимо большое количество данных, что трудно достижимо в условиях политики защиты персональных данных.

Задачей заявленного изобретения является устранение недостатков известного уровня техники.

- 1 044946

Технический результат заключается в обеспечении способа проверки подлинности документов и купюр с помощью анализа гильоширного рисунка на изображениях, полученных в высоком разрешении, который позволяет обеспечить отсутствие необходимости большого набора изображений документов, удостоверяющих личность.

Поставленная задача решается, а заявленный технический результат достигается посредством заявленного способа проверки подлинности документов и купюр с помощью анализа гильоширного рисунка на изображениях, полученных в высоком разрешении.

Заявленный способ проверки подлинности документов и купюр с помощью анализа гильоширного рисунка на изображениях, полученных в высоком разрешении, заключается в том, что производят вычисления эталонного вектора признаков на изображении подлинного документа, вычисления вектора признаков на входном изображении документа и измерения сходства эталонного вектора признаков и вектора признаков входного изображения, при этом на этапе вычисления эталонных признаков: эталонное изображение приводят к серому, на приведённом к серому изображении выделяют зону w^z и высотой h^z, с левым верхним углом в точке x⁰, y⁰, содержащую гильоширные элементы и не содержащую текста, фотографии, голографических и иных вариативных элементов, зону разбивают на минимально возможное количество патчей равных размеров, ширина (w^zs) и высота (h^zs) (1) которых не превышает 32 пикселов, далее для каждого патча, приведённого к размеру 32x32 пиксела, считают вектор признаков с помощью нейросетевого (CNN) дескриптора, данные вектора записывают в бинарный файл в порядке расположения соответствующих патчей - слева направо, сверху вниз, при этом сначала записывают вектора верхнего ряда патчей слева направо, затем вектора второго ряда слева направо, при этом на этапе вычисления вектора признаков на входном изображении: входное изображение приводят к серому, далее для осеренного изображения строят расширенную зону ширины с координатами левого верхнего угла x⁰ - δ, y⁰ - δ, шириной w^z + 2δ и высоты h^z + 2δ (к зоне добавляются рамки фиксированной толщины - δ пикселей, внутри расширенной зоны выбирают прямоугольные подзоны размера wz x h^z, для каждой подзоны повторяют предыдущие шаги и строят соответствующие векторы Vi,V₂,... %·5+ιγ, при этом на этапе сравнения векторов признаков входного и эталонного изображения: вычисляют расстояния между полученными векторами и вектором эталонного изображения V0, среди данных расстояний выбирают минимальное (см. фиг. 6) - Diff, далее Diff сравнивают с заранее заданным порогом T², причем если Diff > T², то проверка на подлинность считается непройденной, то есть документ поддельный.

На фигурах представлены:

Фиг. 1: Пример гильоширного рисунка на документе.

Фиг. 2: Эталонное изображение документа на примере заграничного паспорта Армении.

Фиг. 3: (а) Зона, содержащая исключительно гильоширные элементы, выделена прямоугольником, (б) увеличенная зона.

Фиг. 4: Разбивка зоны на патчи для дальнейшего подсчёта признаков.

Фиг. 5: Пример расширенной зоны для анализа на входном документе на примере паспорта Армении.

Фиг. 6: Эталонная зона гильоширного рисунка на примере паспорта Армении (слева) и сопоставленная ей подзона анализируемого изображения, для которой минимально расстояние между её вектором признаков и вектором признаков эталонного изображения (справа).

Гильош - это элемент защитной полиграфии в виде сложного геометрического узора, состоящего из повторяющихся тонких (порядка 40-70 мкм) изогнутых линий, сформированных в соответствии с определенными математическими правилами (см. Маресин В.М. Защищенная полиграфия. Флинта, 2012). Гильоширные элементы образуют розетки, рамки, бордюры, виньетки и элементы фонового рисунка (см. [7] фиг. 1), они могут быть как симметричными, так и асимметричными. Техники нанесения гильоша варьируются, это может быть офсетная печать, ирисовая печать, орловская печать, металлография. Для подлинного документа характерно, что линии не имеют разрывов, утолщений в точках пересечения, смазов и пр., тогда как для поддельного документа эти свойства могут быть нарушены.

Пусть есть эталонное изображение подлинного одностраничного документа (пример такого документа - ID-карта, паспорт, водительское удостоверение и др.). Пусть также подаётся изображение документа, подлинность которого необходимо проверить. Оба изображения имеют высокое качество, достаточное для того, чтобы гильоширный рисунок был разрешим (такие изображения могут быть получены со сканера или с камеры). В системе координат документа известны положения множества зон таких, что они содержат только гильошные элементы и не содержат текста, голографических и иных вариативных элементов. Чтобы произвести аутентификацию документа с помощью гильоширных элементов на входном изображении, необходимо проверить соответствие данных элементов на входном изображении гильоширным элементам на эталонном изображении.

Описание основных этапов предложенного алгоритма.

Для того, чтобы составить описание расположения гильоширных элементов на эталонном изобра- 2 044946 жении используются дескрибирующие признаки. Эти признаки представляют собой вектор числовых характеристик небольшой зоны (патча) на изображении, зависящий от взаимного расположения в этой зоне пикселей различной интенсивности.

В предлагаемом подходе используется нейросетевой (CNN) дескриптор, архитектура которого описана в источнике информации: A. Sheshkus , A. Chirvonaya, & V.L. Arlazarov (2022). Tiny CNN for feature point description for document analysis: approach and dataset. Компьютерная оптика, 46 (3), 429-435. doi: 10.18287/2412-6179-CO-1016. Особенностью обучающего набора данных для этого дескриптора является то, что он состоит из изображений различной природы - текстовых, текстурных (изображения различных поверхностей с объёмными текстурами, полученные в разных условиях освещения), сгенерированные патчи с несколькими пиками интенсивности, результат их размытия и применения быстрого преобразования Хафа, изображения иероглифов и изображения баркодов. Все эти изображения обладают следующей характеристикой - это объекты, состоящие из довольно тонких линий на некотором фоне, что близко по смыслу к текстуре гильоширного рисунка.

Вход: Эталонное изображение документа, координаты N зон с гильошем на эталонном изображении - x⁰i, y⁰i, wzi, h^zi, i e [1, N]. Входное изображение.

Параметры: Пороговые значения, используемые для сравнения расстояния между векторами признаков - Ti. Размеры отступа от исходной зоны для задания исследуемой окрестности на входном изображении - δρ

Выход: Решение о том, является ли документ подлинным/поддельным.

1. Предварительная обработка эталонного изображения:

i. Вычисление дескрибирующего вектора признаков для зон с гильошем на эталонном изображении.

2. Обработка входного изображения:

i. Вычисление векторов признаков для всевозможных вариантов расположения зоны с гильошем в заданных окрестностях на входном изображении.

3. Анализ векторов признаков:

i. Нахождение ближайшего вектора признака входного изображения к вектору признаков эталонного изображения и вычисление для него разницы Diffi между векторами для каждой зоны.

ii. Сравнение разницы Diffi с заранее заданным порогом T²i для каждой зоны: если Diffi меньше T²i для любого i e [1, N], то документ считается подлинным, иначе - поддельным.

Описание реализации предложенного алгоритма.

Пусть для простоты повествования известно, что на документе содержится лишь одна зона, удовлетворяющая условиям постановки задачи.

Алгоритм состоит из трех основных этапов: вычисления эталонного вектора признаков на изображении подлинного документа, вычисления вектора признаков на входном изображении документа и измерения сходства эталонного вектора признаков и вектора признаков входного изображения.

1. Вычисление эталонных признаков.

a. Эталонное изображение (см. фиг. .2) приводится к серому.

b. На приведённом к серому изображении выделяется зона (зоны выбираются для каждого типа документов независимо) w^z и высотой h^z, с левым верхним углом в точке x⁰, y⁰, содержащая гильоширные элементы и не содержащая текста, фотографии, голографических и иных вариативных элементов (см. фиг. 3).

c. Зона разбивается на минимально возможное количество патчей равных размеров (см. фиг. 4), ширина (w^zs) и высота (h^zs) (1) которых не превышает 32 пикселов.

⁽¹⁾

Каждый патч затем приводится к размерам 32x32 пиксела.

d. Для каждого патча, приведённого к размеру 32x32 пиксела, считается вектор признаков с помощью нейросетевого (CNN) дескриптора, архитектура которого описана в работе A. Sheshkus, A. Chirvonaya, & V.L. Arlazarov (2022). Tiny CNN for feature point description for document analysis: approach and dataset. Компьютерная оптика, 46(3), 429-435. doi: 10.18287/2412-6179-CO-1016. Результирующий вектор i-го патча vi содержит 16 действительных чисел. Данные вектора записываются в бинарный файл в порядке расположения соответствующих патчей - слева направо, сверху вниз. Сначала записываются вектора верхнего ряда патчей слева направо, затем вектора второго ряда слева направо и так далее. Обозначим сконкатенированный вектор из векторов патчей (v1, v₂ и т.д.), как V₀.

2. Вычисление вектора признаков на входном изображении.

a. Входное изображение осеряется.

b. Для осеренного изображения строится расширенная зона ширины с координатами левого верхнего угла x⁰ - δ, y⁰ - δ, шириной w^z + 2δ и высотой h^z + 2δ (к зоне добавляются рамки фиксированной толщины - δ пикселей (см. фиг. 5)), чтобы возможная неточность локализации не влияла на качество сравнения.

c. Внутри расширенной зоны выбираются всевозможные (всего) прямоугольные подзоны размера

- 3 044946 w^z x h^z.

d. Для каждой подзоны повторяются шаги п.1.2) - п.1.5) и строятся соответствующие векторы V1,V2,... ^e+D¹.

3. Сравнение векторов признаков входного и эталонного изображения.

a. Вычисляются расстояния между полученными векторами и вектором эталонного изображения V₀ по формуле (2):

d(V_lt И₂) = - ν} ||₂ ,(2) где j- номер соответствующего патча.

Среди данных расстояний выбирается минимальное (см. фиг. 6) - Diff по формуле (3):

Diff = min d(V₀,Vd(3)

b. На последнем шаге Diff сравнивается с заранее заданным порогом - T², являющимся параметром алгоритма. Для зоны, изображённой на рис. 5, T - 85.0. Если Diff > T², то проверка на подлинность считается непройденной, то есть документ поддельный.

Claims (1)

1. Способ проверки подлинности документов и купюр с помощью анализа гильоширного рисунка на изображениях, полученных в высоком разрешении, заключающийся в том, что производят вычисления эталонного вектора признаков на изображении подлинного документа, вычисления вектора признаков на входном изображении документа и измерения сходства эталонного вектора признаков и вектора признаков входного изображения, при этом на этапе вычисления эталонных признаков:

   эталонное изображение приводят к серому, на приведённом к серому изображении выделяют зону w^z и высотой h^z, с левым верхним углом в точке x⁰, y⁰, содержащую гильоширные элементы и не содержащую текста, фотографии, топографических и иных вариативных элементов, зону разбивают на минимально возможное количество патчей равных размеров, ширина (w^zs) и высота (h^zs) (1) которых не превышает 32 пикселов, далее для каждого патча, приведённого к размеру 32x32 пиксела, считают вектор признаков с помощью нейросетевого (CNN) дескриптора, данные вектора записывают в бинарный файл в порядке расположения соответствующих патчей - слева направо, сверху вниз, при этом сначала записывают вектора верхнего ряда патчей слева направо, затем вектора второго ряда слева направо, при этом на этапе вычисления вектора признаков на входном изображении: входное изображение приводят к серому, далее для осеренного изображения строят расширенную зону ширины с координатами левого верхнего угла х⁰ - δ, у⁰ - δ, шириной w^z + 2δ и высотой h^z + 2δ (к зоне добавляются рамки фиксированной толщины - δ пикселей), внутри расширенной зоны выбирают прямоугольные подзоны размера w^z x h^z, для каждой подзоны повторяют предыдущие шаги и строят соответствующие векторы V1, V₂,... ^²⁵⁺¹)², при этом на этапе сравнения векторов признаков входного и эталонного изображения: вычисляют расстояния между полученными векторами и вектором эталонного изображения V₀, среди данных расстояний выбирают минимальное (см. фиг. 6) - Diff, далее Diff сравнивают с заранее заданным порогом T², причем если Diff > T², то проверка на подлинность считается непройденной, то есть документ поддельный.

   BUNDESREPUBLiK DEUTSCHLAND _т 7 С

   ΓΠ»ΜΑ·<Γ-J'UVH Ул КШ I C. kJ 'L· -J 5 Й» 7

   Фиг. 1

   - 4 044946

   ^; -« : -.: ' <<<<<<<«<<<<<<<<<.<<<><<

   » и : _; ,. ., с<««««««

   Фиг. 2

   Фиг. 3

   Фиг. 4

   Фиг. 5

   Фиг. 6

   Евразийская патентная организация, ЕАПВ

   Россия, 109012, Москва, Малый Черкасский пер., 2