EA037743B1 - Обнаружение микроскопических объектов в текучей среде - Google Patents

Обнаружение микроскопических объектов в текучей среде Download PDF

Info

Publication number
EA037743B1
EA037743B1 EA201892777A EA201892777A EA037743B1 EA 037743 B1 EA037743 B1 EA 037743B1 EA 201892777 A EA201892777 A EA 201892777A EA 201892777 A EA201892777 A EA 201892777A EA 037743 B1 EA037743 B1 EA 037743B1
Authority
EA
Eurasian Patent Office
Prior art keywords
image data
filtered
processed
holographic
microscopic
Prior art date
Application number
EA201892777A
Other languages
English (en)
Other versions
EA201892777A1 (ru
Inventor
Теро Кести
Эса Хямяляйнен
Original Assignee
Уватер Ой
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Уватер Ой filed Critical Уватер Ой
Publication of EA201892777A1 publication Critical patent/EA201892777A1/ru
Publication of EA037743B1 publication Critical patent/EA037743B1/ru

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging
    • G01N15/0227Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging using imaging, e.g. a projected image of suspension; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1484Electro-optical investigation, e.g. flow cytometers microstructural devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N21/453Holographic interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/85Investigating moving fluids or granular solids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging
    • G01N2015/0233Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging using holography
    • G01N2015/1029
    • G01N2015/103
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N21/03Cuvette constructions
    • G01N2021/0378Shapes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0044Adaptation of holography to specific applications in hologrammetry for measuring or analysing holographic fringes deformations; holographic sensors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement

Abstract

Способ (10) включает получение (101) обработанных данных изображения, захваченных датчиком изображения, который принимает свет, прошедший через пробный объем, содержащий текучую среду, которая, возможно, содержит инородные микроскопические объекты, при освещении пробного объема когерентным светом, при этом обработанные данные изображения содержат для микроскопического объекта обработанную голографическую картину с обработанной пространственно меняющейся интенсивностью, сформированную интерференционными полосами; создание (102) фильтрованных данных изображения, включающее автоматическое фильтрование обработанных данных изображения фильтром усиления контуров, при этом фильтрованные данные изображения содержат для обработанной голографической картины фильтрованную голографическую картину; и автоматическое обнаружение (103) на основе фильтрованной голографической картины присутствия микроскопического объекта, ассоциированного с фильтрованной голографической картиной, в пробном объеме текучей среды.

Description

Область техники
Изобретение в целом относится к контролю качества текучей среды, например воды. В частности, настоящее изобретение относится к способам и устройствам для контроля содержания микроскопических частиц или микробов в текучей среде оптическими методами.
Предпосылки создания изобретения
Качество воды представляет собой важный параметр для различных приложений, где производится, подается или используется чистая вода. Качество воды может быть также важным для безопасности и здоровья людей, как конечных пользователей муниципальной воды, а также для различных производственных процессов, где используется вода, к качеству которой предъявляются особые требования.
Традиционно тщательный анализ качества воды представляет собой долгий лабораторный процесс, в котором пробу воды исследуют с помощью сложных аналитических инструментов. Однако для многих приложений, таких как контроль качества воды на станциях водоочистки, в муниципальных сетях водоснабжения, или при внутренней подаче воды в некоторых типах систем водоснабжения критичных жилых помещений, таких как больницы, дома престарелых или детские сады, а также в некоторых производственных процессах необходим намного более быстрый анализ.
В качестве одной из возможных технологий быстрого контроля качества воды были предложены осевая голография или голографическая микроскопия. В заявке на патент США № 2004/0169903 А1 раскрыт способ осевой голографии для отслеживания частиц и живых форм в морской воде. В другом примере, в статье Mudanyali О, Oztoprak С, Tseng D, Erlinger A, Ozcan A. Detection of waterborne parasites using field-portable and cost-effective lensfree microscopy. Lab on a chip. 2010;10(18):2419-2423, раскрыт компактный осевой голографический микроскоп для обнаружения патогенных водных паразитов. Электронная версия находится по адресу www.rsc.org.
В известных способах голографической микроскопии восстановительная фаза, на которой голографическое изображение восстанавливают с использованием сложных математических алгоритмов, с получением одного или более двумерных изображений пробы, требует сложных и долгих вычислений и мощного, дорогого вычислительного оборудования. Это может сдерживать внедрение небольших, дешевых устройств с датчиками на основе систем осевой голографической микроскопии.
Аналогично контролю качества воды, существуют также различные другие приложения, в которых требуется обнаружить и проанализировать инородные микроскопические объекты.
Сущность изобретения
Настоящий раздел призван дать в упрощенной форме обзор концепций, которые ниже описаны в подробном описании. Настоящий раздел не имеет целью изложить главные признаки или существенные особенности заявляемого предмета изобретения, и не имеет целью ограничить объем настоящего изобретения.
В одном своем аспекте настоящее изобретение относится к способу, который может использоваться для обнаружения инородных микроскопических объектов, присутствующих в текучей среде. Способ может использоваться, например, для контроля качества воды в системах и сетях водоснабжения, водораспределения или водопользования, при этом указанные микроскопические объекты могут быть, например, частицами примесей и/или микробами. Альтернативно, текучая среда может быть другой жидкостью или газом.
Способ может включать: получение обработанных данных изображения на основе кадра голографического цифрового изображения, захваченного датчиком изображения, принимающим свет, идущий в поперечном направлении, то есть перпендикулярно, через пробный объем, содержащий текучую среду, возможно содержащую инородные микроскопические объекты, при освещении этого пробного объема когерентным светом, в результате чего возможные микроскопические объекты рассеивают часть света, а рассеянный и нерассеянный свет интерферирует с формированием интерференционных полос позади микроскопических объектов, при этом обработанные данные изображения содержат, в случае микроскопического объекта, обработанные голографические картины с обработанной пространственно меняющейся интенсивностью, сформированные интерференционными полосами; формирование фильтрованных данных изображения, включающее автоматическое фильтрование обработанных данных изображения фильтром усиления контуров, возможно в двух или большем количестве различных направлений, при этом фильтрованные данные изображения содержат, в случае обработанной голографической картины, содержащейся в обработанных данных изображения, фильтрованную голографическую картину; и автоматическое обнаружение присутствия в пробном объеме текучей среды микроскопического объекта, ассоциированного с фильтрованной голографической картиной, на основе этой фильтрованной голографической картины.
В указанном способе могут использоваться некоторые принципы, как таковые известные специалистам в области осевой голографической микроскопии.
Многие из сопутствующих признаков станут понятнее из последующего подробного описания со ссылками на сопровождающие чертежи.
Краткое описание чертежей
Настоящее изобретение будет понятнее из последующего подробного описания со ссылками на со
- 1 037743 провождающие чертежи, где на фиг. 1-4 показаны последовательности операций способа обнаружения инородных микроскопических объектов, присутствующих в текучей среде; и на фиг. 5 и 6 схематично показано устройство для обнаружения инородных микроскопических объектов, присутствующих в текучей среде.
Подробное описание
Способ 10 на фиг. 1 включает получение в операции 11 обработанных данных изображения на основе кадра голографического цифрового изображения, который захвачен датчиком изображения, принимающим свет, прошедший через пробный объем, который может лежать в пределах кюветы или определяться кюветой, при освещении этого пробного объема когерентным светом, при этом указанный пробный объем содержит текучую среду, возможно содержащую инородные микроскопические объекты.
Термин определенный кюветой относится к протяженности, то есть форме и размерам, пробного объема, физически ограниченного кюветой. Такая кювета может иметь любую подходящую форму и структуру с одной или большим количеством прямых или искривленных стенок, которые могут определять границу пробного объема. Альтернативно, пробный объем может включать только часть внутреннего объема, определенного кюветой.
Выражение инородный означает, что эти микроскопические объекты не образованы самой текучей средой. Они могут состоять, например, из материала труб или контейнеров, в которых исследуемая текучая среда транспортировалась или хранилась. Частицы материалов из таких систем могут попадать в текучую среду, например, в результате поломки трубы или выхода из строя оборудования. Альтернативно, инородные микроскопические объекты могут происходить от инородных тел или загрязняющих веществ, попавших в такие трубы или контейнеры. Например, в случае систем водоснабжения, такое инородное тело, поставляющее микробов в текучую среду, могут быть мертвым животным.
В случае систем и сетей водоснабжения, водораспределения или водопользования, микробами, которые обычно не должны присутствовать в воде, могут быть, например, различные бактерии, такие как бактерии, принадлежащие к группам колиформных легионелл, простейшие, такие как кишечная лямблия, или различные типы водорослей.
С другой стороны, с точки зрения физических свойств инородные микроскопические объекты, как правило, имеют показатель преломления, отличающийся от показателя преломления текучей среды. Это позволяет обнаружить такие объекты посредством оптического обнаружения. В способе на фиг. 1 это используется таким образом, что обнаружение микроскопических объектов основано на рассеянии света микроскопическими объектами благодаря разнице между показателями преломления микроскопических объектов и текучей среды.
Термин датчик изображения относится к светочувствительному компоненту или элементу, способному захватывать кадры цифрового изображения. Датчик изображения может, например, содержать в качестве активного элемента обнаружения света светочувствительную ячейку на основе CMOS (комплементарный металлооксидный полупроводник) или датчик любого другого подходящего типа, используемый в качестве активного светочувствительного элемента отображения.
Термин кадр цифрового изображения, или сокращенно кадр, относится к содержимому данных, полученному в результате освещения пикселей или некоторого другого светочувствительного элемента (элементов) датчика изображения. Таким образом, в общем случае кадр содержит данные изображения, позволяющие сформировать визуализируемое цифровое изображение на основе этих данных изображения. Данные изображения кадра цифрового изображения могут содержать, например, информацию об энергии света, принятого пикселями датчика изображения.
При освещении пробного объема когерентным светом, возможные находящиеся внутри микроскопические объекты рассеивают часть света, и рассеянная и нерассеянная части света интерферируют с формированием интерференционных полос позади микроскопических объектов.
Освещение когерентным светом означает, что по меньшей мере часть света, которым освещают пробный объем, достаточно когерентна в пространстве и времени, чтобы указанная интерференция была возможной. Таким образом, освещение когерентным светом не исключает возможности одновременного освещения пробного объема и некогерентным светом. Таким образом, свет, которым освещают пробный объем, может содержать когерентный и некогерентный свет.
Термин позади означает местоположение интерференционных полос относительно направления падения света, то есть когерентного света, которым освещают пробный объем. Другими словами, если смотреть со стороны источника света, генерирующего когерентный свет, интерференционные полосы формируются, главным образом, позади микроскопических объектов, то есть с той стороны от микроскопических объектов, которая противоположна стороне, с которой когерентный свет падает на микроскопические объекты.
В результате обработанные данные изображения, основанные на кадре голографического цифрового изображения, содержат - для микроскопического объекта, присутствующего на пути света, принятого датчиком изображения, - обработанную голографическую картину с обработанной пространственно меняющийся интенсивностью, сформированную интерференционными полосами.
- 2 037743
Когерентный свет можно испускать или направлять в виде расходящегося конуса или луча. Альтернативно, его можно испускать и направлять в виде параллельного луча. В первом случае интерференционные полосы могут расширяться с увеличением расстояния от рассеивающих микроскопических объектов. Кроме того, независимо от того, излучают или направляют свет или в луч в виде расширяющегося или параллельного луча, интерференционные полосы расширяются из-за рассеяния света в различных направлениях в зависимости от типов микроскопических объектов и длины волны света. Следовательно, чем больше расстояние между микроскопическим объектом и датчиком изображения, тем больше расходящийся конус или луч, а также голографическая картина, сформированная датчиком изображения.
С точки зрения размеров к микроскопического объектам относятся объекты, характерные размеры которых, такие как максимальный диаметр, длина или ширина, находятся в диапазоне от 0,1; 0,5 или 1,0 до 50 или 100 мкм. Объекты с такими малыми характерными размерами не видимы человеческому глазу и поэтому не могут быть обнаружены визуально. С другой стороны, голограммы, сформированные объектами таких размеров, обнаруживаются датчиком изображения, имеющим разумные небольшие размеры. Кроме того, при таких микроскопических размерах объекты рассеивают свет, главным образом, по направлению вперед, таким образом обеспечивая эффективное обнаружение методом осевой голографии.
Термин обработанные данные изображения, основанные на кадре голографического цифрового изображения, означает, что начальные данные изображения, непосредственно определяемые захваченным кадром голографического цифрового изображения, могут быть сначала подготовлены или обработаны некоторым подходящим способом с формированием обработанных данных изображения, образующих основу для последующих операций в рамках рассматриваемого способа.
Получение обработанных данных изображения для кадров голографического цифрового изображения или просто данных изображения относится к любому подходящему способу получения, доступному для автоматической обработки данных и/или хранения такого содержимого данных. Готовые сгенерированные обработанные данные изображения могут храниться в любой подходящей памяти в рассматриваемом устройстве или в некотором другом устройстве или приборе, или, например, на облачном сервере. Такое готовое сгенерированное содержимое обработанных данных может быть получено способом, в котором используют любые подходящие проводные или беспроводные линии передачи данных или сигналов. В некоторых вариантах выполнения настоящего изобретения указанное получение может также включать генерирование обработанных данных изображения или обработку начальных данных изображения с формированием обработанных данных изображения.
При получении обработанных данных изображения способ включает в операции 12 формирование фильтрованных данных изображения. Оно, в свою очередь, включает такое автоматическое фильтрование обработанных данных изображения фильтром усиления контуров, чтобы фильтрованные данные изображения содержали - для обработанной голографической картины, присутствующей в обработанных данных изображения, -фильтрованные голографические картины.
Как известно специалистам в данной области техники, существует множество различных математических операций, которые можно использовать для фильтрования данных изображения с целью усиления контуров. Можно использовать любой подходящий фильтр усиления контуров. Предпочтительно использовать фильтр усиления контуров, который усиливает в общем случае круглые или овальные объекты в данных изображения.
Фильтры усиления контуров могут быть основаны, например, на различных алгоритмах обнаружения контуров. В общем случае принцип обнаружения контуров призван узнать с помощью фильтрования данных изображения посредством таких алгоритмов обнаружения контуров, где имеются относительно резкие изменения содержимого изображения. Например, параметром, представляющим интерес для обнаружения контуров, может быть интенсивность света, принятого датчиком изображения во время захвата кадра, то есть, яркость изображения, сформированного данными изображения.
В результате фильтрования данных изображения фильтром усиления контуров фильтрованные данные изображения в общем случае выявляют границы, то есть контуры различимых объектов, присутствующих в начальных данных изображения. В случае фильтрования обработанных данных изображения, содержащих обработанные голографические картины, фильтрованные данные изображения содержат, таким образом, контуры начальных голографических картин в виде фильтрованных голографических картин.
На основе фильтрованных голографических картин дальнейший анализ данных изображения можно сосредоточить на фактических местоположениях таких голографических картин в области изображения. Это дает большую экономию вычислительной мощности, поскольку нет необходимости анализировать остальную часть данных изображения.
Фильтр усиления контуров может быть симметричным фильтром. Симметричным является такой фильтр, который по существу сохраняет вращательную симметрию, то есть информацию о форме вращения начальной фильтруемой картины. Таким образом, при использовании симметричного фильтра начальная вращательная симметрия обработанной голографической картины сохраняется, так что форма фильтрованной голографической картины по существу соответствует форме ассоциированной обрабо
- 3 037743 танной голографической картины.
Вместо только одного направления, фильтрование с помощью фильтра усиления контуров предпочтительно может быть выполнено в двух или большем количестве различных направлений. Чем больше направлений используется, тем более точно фильтрованная голографическая картина может соответствовать форме ассоциированной обработанной голографической картины.
В случае фильтрования в двух или большем количестве направлений формирование фильтрованных данных изображения может включать формирование множества кадров фильтрованного изображения, каждый из которых содержит частичные фильтрованные данные изображения, и формирование финальных фильтрованных данных изображения путем объединения частичных данных изображения из множества кадров фильтрованного изображения. Таким образом, обработанные данные изображения могут быть отфильтрованы фильтрами различных направлений, при этом каждый фильтр обеспечивает наличие частичных фильтрованных данных изображения, и различные частичные данные изображения могут быть затем просуммированы или объединены с формированием фильтрованных данных изображения. В различных операциях фильтрования могут использоваться различные или одинаковые типы фильтров.
В дополнение к фильтрованию с усилением контуров, формирование фильтрованных данных изображения может включать фильтрование обработанных данных изображения некоторым другим типом фильтра, таким как один или большее количество фильтров, повышающих симметрию голографических картин.
При проведении фильтрования больше, чем в одном направлении, обработанные данные изображения могут быть получены для каждого направления на основе начальных данных изображения, а фильтрованные данные изображения могут быть затем объединены с формированием единых фильтрованных данных изображения.
В одном из вариантов выполнения настоящего изобретения фильтрование обработанных данных изображения симметричным фильтром усиления контуров включает применение некоторого ядра свертки к обработанным данным изображения.
Как известно специалистам в данной области техники, применение ядра свертки может включать скольжение ядра по данным изображения. Альтернативно, по существу тот же результат может быть достигнут сначала применением преобразования Фурье к данных изображения и ядру, перемножением этих данных, полученных путем преобразования Фурье, и применением обратного преобразования к полученному произведению.
Как известно специалистам в данной области техники, ядро свертки содержит двумерную матрицу фильтра, при этом каждая ячейка матрицы определяет коэффициент, на который умножается соответствующая ячейка или пиксель данных изображения, подвергаемого фильтрованию. Для данной ячейки или пикселя данных изображения, каждое из значений этой конкретной ячейки или пикселя и соседних ячеек или пикселей умножают на соответствующую ячейку матрицы. Полученные произведения суммируют, и результат присваивают в качестве значения этой ячейки или пикселя для фильтрованных данных изображения.
Что касается фильтров усиления контуров и алгоритмов обнаружения контуров вообще, имеется большое разнообразие готовых матриц ядра, подходящих для усиления и/или обнаружения контуров в данных изображения. Известные примеры ядер свертки, используемых для усиления контуров, включают ядра Робертса, Превитта и Собеля (Roberts, Prewitt and Sobel). Обычно используемые алгоритмы обнаружения контуров включают детекторы контуров Кенни (Canny) и Дериче (Deriche).
В варианте выполнения настоящего изобретения, который совместим с предыдущим вариантом выполнения настоящего изобретения, где используется ядро свертки, при формировании фильтрованных данных изображения фильтрование обработанных данных изображения фильтром усиления контуров, который может быть симметричным фильтром, выполняют по меньшей мере для двух различных пространственных частот.
Термин пространственная частота относится к расстоянию в пространстве между соседними интерференционными полосами, формирующими обработанную голограмму. Чем ближе соседние интерференционные полосы, тем выше пространственная частота.
На пространственную частоту интерференционных полос влияет как расстояние от микроскопического объекта до датчика изображения, так и размер микроскопического объекта. Низкая пространственная частота интерференционных полос, возможно вместе с малыми максимумами их интенсивности, может дать плавный контур обработанной голографической картины. Напротив, высокая пространственная частота и/или высокие максимумы интенсивности могут дать обработанную голографическую картину со значительно более острыми контурами. Фильтрование обработанных данных изображения по меньшей мере для двух различных пространственных частот может повысить надежность усиления контуров в случае, когда имеются обработанные голографические картины с различной резкостью контуров в обработанных данных изображения.
В случае фильтрования для двух или большего количества пространственных частот формирование фильтрованных данных изображения может включать формирование множества кадров фильтрованного изображения, каждый из которых содержит частичные данные фильтрованного изображения, и форми
- 4 037743 рование результирующих фильтрованных данных изображения путем объединения частичных данных изображения для множества кадров фильтрованного изображения. Таким образом, обработанные данные изображения могут быть отфильтрованы фильтрами различных пространственных частот, при этом каждый фильтр подготавливает частичные фильтрованные данные изображения, и различные частичные данные изображения можно затем просуммировать или объединить с формированием фильтрованных данных изображения. В различных операциях фильтрования могут использоваться различные или одинаковые типы фильтров.
Кроме того, формирование фильтрованных данных изображения может включать автоматическое фильтрование обработанных данных изображения множеством фильтров, при этом каждый фильтр сконфигурирован для фильтрования обработанных данных изображения в конкретной комбинации направления фильтрования и пространственной частоты. Частичные фильтрованные данные изображения для такого множества операций фильтрования могут быть затем объединены или просуммированы с формированием фильтрованных данных изображения. Пример такого процесса показан на фиг. 10.
На фиг. 10 левый столбец иллюстрирует кадры фильтрованного изображения, каждый из которых получен путем фильтрования голографической картины при конкретной комбинации направления фильтрования и пространственной частоты. Левый столбец, сверху вниз, иллюстрирует изменение кумулятивного кадра фильтрованного изображения, сформированного объединением частичных данных фильтрованного изображения для различных фильтрованных изображений, полученных в каждой операции фильтрования. Самый нижний кадр изображения в правом столбце представляет результирующий кадр кумулятивного фильтрованного изображения с результирующими фильтрованными данными изображения. Для наглядности этот результирующий кадр кумулятивного или объединенного фильтрованного изображения сформирован объединением также некоторых частичных данных фильтрованного изображения, не показанных ни на каком из кадров фильтрованного изображения в левом столбце.
Интерференционные полосы с переменной интенсивностью могут в результате фильтрования начальных обработанных данных изображения для обработанной голографической картины, соответствующей обработанным данным изображения, формировать фильтрованный пространственно меняющийся компонент интенсивности с положительными и отрицательными значениями. Это происходит потому, что контура с уменьшающейся интенсивностью также определены как контура. Термин компонент интенсивности относится к переменной части пространственно меняющееся интенсивности, возможно отнесенной по существу к постоянному или медленно меняющемуся в пространстве базовому уровню. В варианте выполнения настоящего изобретения, который совместим с любым из предыдущих вариантов выполнения настоящего изобретения, формирование фильтрованных данных изображения дополнительно включает автоматическое преобразование таких отрицательных значений фильтрованного пространственно меняющегося компонента интенсивности в их абсолютные, то есть положительные значения.
В одном из вариантов выполнения настоящего изобретения после указанного преобразования отрицательных значений фильтрованного пространственно меняющегося компонента интенсивности в их абсолютные значения способ дополнительно включает автоматически сглаживание фильтрованного пространственно меняющегося компонента интенсивности.
Термин сглаживание относится, в общем случае, к уменьшению амплитуды пространственно меняющегося компонента интенсивности в области фильтрованной голографической картины. Для достижения этой цели можно использовать любой подходящий фильтр (фильтры) и алгоритм (алгоритмы). В результате фильтрованные данные изображения могут содержать локально увеличенную интенсивность в области фильтрованной голографической картины, при этом интенсивность в пределах самой фильтрованной голографической картины меняется лишь немного или вообще не меняется.
Фильтрованные данные изображения могут быть дополнительно обработаны посредством пороговой обработки локально увеличенной интенсивности путем автоматической установки их для значений, превышающих заранее заданный пороговый уровень, равными конкретному постоянному уровню интенсивности, при этом преобразуя значения, лежащие ниже указанного порогового значения, к нулю или, возможно, к ненулевому базовому уровню интенсивности вне фильтрованной голографической картины. Таким образом, фильтрованные данные изображения могут содержать фильтрованную голографическую картину в виде бинарного изображения. Альтернативно, значения, превышающие пороговый уровень, можно оставить неизменными.
С точки зрения изображения преобразование начальных отрицательных значений фильтрованного пространственно меняющегося компонента интенсивности в их положительные эквивалентные части, возможно сопровождаемое сглаживанием и, возможно, также пороговой обработкой, может давать в результате фильтрованные данные изображения, при этом фильтрованные голографические картины формируют пятна, то есть области по существу с постоянной или мало меняющейся локально увеличенной интенсивностью.
Операции преобразования отрицательного компонента интенсивности в положительный, сглаживание полученной таким образом кривой интенсивности и дальнейшая пороговая обработка сглаженной кривой показаны на фиг. 5.
Когда доступны фильтрованные данные изображения, способ дополнительно содержит в операции
- 5 037743 автоматическое обнаружение на основе фильтрованной голографической картины присутствия в пробном объеме текучей среды микроскопического объекта, ассоциированного с фильтрованной голографической картиной.
Таким образом, возможная фильтрованная голографическая картина (картины) для фильтрованных данных изображения используется в качестве индикации присутствия микроскопического рассеивающего объекта (объектов) в текучей среде, содержащейся в пробном объеме.
Обнаружение присутствия микроскопического объекта на основе фильтрованной голографической картины относится к использованию того факта, что фильтрованная голографическая картина, полученная в результате фильтрования обработанных данных изображения, составляющих обработанную голографическую картину, обусловлена присутствием микроскопического объекта в пробном объеме. Таким образом, обнаружение фильтрованной голографической картины указывает на присутствие инородного микроскопического объекта в пробном объеме.
Для обнаружения фильтрованных голографических картин в фильтрованных данных изображения можно использовать любой подходящий фильтр (фильтры) или алгоритм (алгоритмы) распознавания образов. Например, в случае фильтрованных голографических данных и фильтрованных голографических картин, содержащих пятна, как рассмотрено выше, могут использоваться различные известные фильтры и алгоритмы обнаружения капель.
Обнаружение присутствия микроскопических объектов относится к выяснению, имеются ли какиелибо микроскопические объекты в текучей среде. В этом смысле обнаружение присутствия таких объектов может также включать определение и вывод, что в объеме текучей среды, через который свет проходит к датчику изображения, не имеется таких объектов. С другой стороны, когда в фильтрованных данных изображения имеется множество фильтрованных голографических картин, указанный способ может естественно включать, помимо определения присутствия микроскопических объектов вообще, также определение их количества в анализируемом объеме текучей среды.
Результат операции обнаружения, то есть информация о присутствии в анализируемом объеме текучей среды по меньшей мере одного микроскопического объекта, может быть зафиксирован в виде любых подходящих электрических данных или сигнальных форм, подходящих для хранения или последующей передачи.
Автоматическое выполнение одной или большего количества операций в указанном способе относится к выполнению рассмотренной операции (операций): например, к указанному обнаружению присутствия микроскопического объекта (микроскопических объектов) в текучей среде с помощью одного или большего количества подходящих блоков или модулей обработки данных согласно заранее заданным правилам и процедурам, без необходимости каких-либо действий или определений, выполняемых пользователем устройства или прибора, содержащего такой блок или модуль. В дополнение к тем операциям, которые особо отмечены, как выполняемые автоматически, и другие операции можно автоматизировать полностью или частично.
Указанный способ дает много полезных эффектов. Во-первых, определение присутствия микроскопических объектов в текучей среде на основе фильтрованных данных изображения требует относительно малой мощности вычислений или обработки данных, особенно по сравнению с обычной голографической микроскопией, где посредством вычислений производят истинное восстановление изображения в одной или большем количестве двумерных плоскостей в трехмерном пробном объеме, а обнаружение рассеивающих объектов выполняют на основе этого восстановленного изображения (изображений). С другой стороны, обнаружение микроскопических объектов может быть выполнено значительно быстрее, чем в подходе, использующем полное восстановление пробного объема или его двумерных разделов.
Экономия необходимой вычислительной мощности и/или продолжительности обработки позволяет использовать небольшие, дешевые устройства обнаружения для работы в реальном времени, например, для контроля качества воды.
Далее, во время фильтрования с усилением контуров размеры голографических картин остаются по существу неизменными. Голограммы, как правило, значительно больше, чем фактические объекты, таким образом, в вышеуказанном способе шум, возможно присутствующий в данных изображения, не столь опасен, как в случае обнаружения более мелких объектов в восстановленном изображении.
В качестве дополнительной операции 14 в дополнение к обнаружению присутствия микроскопического объекта (микроскопических объектов) способ дополнительно может включать автоматическое определение по меньшей мере одного параметра формы обнаруженного микроскопического объекта на основе формы ассоциированной фильтрованной голографической картины.
Термин параметр формы относится к любому подходящему индикатору, зависящему от одного или большего количества признаков формы микроскопического объекта или указывающего на него.
Определение параметра формы может быть основано на заранее заданной зависимости между вероятными формами микроскопических объектов и ассоциированными с ними формами обработанных и/или фильтрованных голографических картин. Например, удлиненный объект, такой как некоторые специфические типы бактерий, как правило, производит немного удлиненную голограмму. Эта форма может в основном сохраняться во время фильтрования с усилением контуров, обеспечивая прямое опре
- 6 037743 деление параметра формы исходного микроскопического объекта на основе фильтрованной голографической картины.
При определении параметра формы микроскопического объекта может использоваться любой подходящий алгоритм (алгоритмы) распознавания образов.
В качестве другой дополнительной операции, которая не показана на фиг. 1 и может выполняться независимо от того, выполнена ли дополнительная операция 14, рассмотренная выше, способ может дополнительно включать автоматическое определение по меньшей мере одного параметра положения обнаруженного микроскопического объекта на основе положения ассоциированной фильтрованной голографической картины в фильтрованных данных изображения.
Термин параметр положения относится к подходящему индикатору, зависящему от одного или большего количества признаков положения микроскопического объекта в фильтрованных данных изображения. Если известны геометрическое расположение пробного объема, освещения и датчика изображения, то параметр (параметры) положения могут использоваться для дополнительного определения параметра положения обнаруженного микроскопического объекта в пробном объеме во время захвата кадра голографического цифрового изображения.
Определенный параметр (параметры) положения могут использоваться, например, для различных диагностических целей. Например, в случае обнаружения микроскопических объектов со сходными или одинаковыми параметрами положения, можно определить, что эти обнаруженные объекты фактически являются следствием некоторой ошибки в измерениях или грязи в оборудовании.
В качестве еще одной дополнительной операции 15, которая может выполняться независимо от того, выполнены ли дополнительная операция 14, рассмотренная выше, и/или предыдущая дополнительная операция, не показанные на фиг. 1, способ может дополнительно включать автоматическую идентификацию для фильтрованной голографической картины, ассоциированной обработанной голографической картины в обработанных данных изображения и автоматическое определение по меньшей мере одного параметра размера для ассоциированного микроскопического объекта на основе амплитуды обработанного или пространственного изменения ассоциированной обработанной голографической картины. Таким образом, после обнаружения фильтрованной голографической картины и, таким образом, инородного микроскопического объекта, его можно оценить, то есть идентифицировать, какая обработанная голографическая картина в обработанных данных изображения производит именно эту фильтрованную голографическую картину. Затем можно определить параметр (параметры) размера, указывающий размер ассоциированного микроскопического объекта, который произвел обработанную голографическую картину, на основе амплитуды соответствующей обработанной голографической картины.
Термин параметр размера относится к любому подходящему индикатору, зависящему от одного или большего количества признаков, таких как диаметр или длина ассоциированного микроскопического объекта.
Альтернативно, можно определить один или большее количество параметров размера обнаруженного микроскопического объекта непосредственно на основе фильтрованных данных изображения, на основе его фильтрованной голографической картины, в предположении, что в фильтрованной голографической картине осталось достаточно информации об амплитуде обработанной голографической картины.
Термин амплитуда, используемая при определении параметра (параметров) размера, может относиться к амплитуде пространственного увеличения и спада компонента переменной интенсивности, возможно на фоне по существу постоянного или медленно меняющегося в пространстве базового уровня. Амплитуда такого компонента интенсивности, используемого при определении параметра (параметров) размера, может быть, например, максимальным или средним пиком или амплитудой размаха, вторым по величине пиком или соответствующей амплитудой размаха, или любым другим подходящим параметром интенсивности, связанным с амплитудой, в области обработанной или фильтрованной голографической картины.
В этих вариантах выполнения настоящего изобретения, включающих определение одного или большего количества параметров размера микроскопического объекта, используется корреляция между яркостью интерференционных полос и размером объекта. Чем больше объект, тем выше интенсивность максимумов интерференционных полос.
Любые из параметров формы, положения или размера могут предоставляться для дальнейшего использования или хранения в виде любых подходящих электрических данных или сигнальных форм.
Кроме того, для определения параметра размера микроскопического объекта в дополнение к амплитуде или яркости можно использовать и другие параметры, такие как пространственная частота интерференционных полос.
Идентификация обработанных голографических картин, ассоциированных с фильтрованными голографическими картинами, может быть основана на сравнении положений фильтрованных голографических картин и обработанных голографических картин в фильтрованных данных изображения и обработанных данных изображения, соответственно.
В варианте выполнения настоящего изобретения, показанном на фиг. 2, который совместим с лю- 7 037743 бым из предыдущих вариантов выполнения настоящего изобретения, получение обработанных данные изображения в операции 21 включает получение в субоперации 211 кадра начального цифрового голографического изображения, при этом начальные данные изображения содержат, для микроскопического объекта, присутствующего на пути когерентного света, начальную голографическую картину с начальным пространственно меняющимся компонентом интенсивности; и автоматическое уменьшение, в субоперации 212, амплитудных значений начальной пространственно меняющейся интенсивности начальной голографической картины, превышающих заранее заданный предел.
Могут возникать ситуации, когда начальные голографической картины двух или большего количества микроскопических объектов по существу различных размеров, создающих различные максимальные яркости или амплитуды пространственно меняющейся интенсивности света, расположены так, что более слабую голограмму трудно выявить на фоне более сильной. В этом варианте выполнения настоящего изобретения различимость таких голограмм может быть улучшена путем уменьшения самых высоких значений интенсивности.
Указанное уменьшение может включать просто ограничение максимальной интенсивности до заранее заданного максимального уровня. Альтернативно, значения интенсивности, превышающие этот предел, могут быть масштабированы путем умножения их на постоянный множитель или с использованием масштабирующей функции.
Результат масштабирования для фильтрованных голографических картин иллюстрируется на фиг. 7.
Способ и варианты выполнения настоящего изобретения могут быть осуществлены как процессы взятия проб, когда стационарный пробный объем текучей среды содержится в закрытой кювете, а сам пробный объем определяется конструкцией кюветы.
Альтернативно, в некоторых приложениях, можно обнаружить микроскопические объекты, присутствующие или рождающиеся в текущей среде, и, возможно, определить их свойства.
В варианте выполнения настоящего изобретения, показанном на фиг. 3, который совместим с любым из предыдущих вариантов выполнения настоящего изобретения, анализируемая текучая среда протекает в пробном объеме, а получение обработанных данных изображения в операции 31 включает получение в субоперации 311 начальных данных изображения для двух кадров голографического цифрового изображения, захваченных последовательно во времени; автоматическое обнаружение в операции 312 присутствия стационарного рассеивающего объекта на основе присутствия стационарных голографических картин, появляющихся одинаковым образом в данных изображения этих двух кадров голографического цифрового изображения; и автоматическое генерирование в субоперации 313 обработанных данных изображения на основе начальных данных изображения по меньшей мере для одного из двух кадров цифрового изображения, из которого удалена обнаруженная стационарная голограмма.
В этом варианте выполнения настоящего изобретения пробный объем может лежать в пределах кюветы или определяться кюветой, которая может быть закрыта и содержать постоянное содержимое, которое, однако, находится в нестационарном состоянии, то есть течет в пределах кюветы. Альтернативно, пробный объем может лежать в пределах кюветы или определяться, кюветой, которая может иметь проточный тип, при этом анализируемая текучая среда непрерывно течет через кювету и, таким образом, через пробный объем. В последнем варианте возможно применение проточных датчиков и обнаруживающих устройств.
В этом варианте выполнения настоящего изобретения перемещение текучей среды и содержащихся в ней микроскопических частиц используется для удаления любых стационарных голографических картин, произведенных например, вследствие прилипания грязи к поверхности кюветы или в другом месте на пути распространения света. Затем данные изображения обрабатывают так, чтобы такие возможные голографические картины там не содержались. Полученные в результате обработанные данные изображения могут содержать начальные данные изображения одного из указанных двух кадров голографического цифрового изображения. Альтернативно, содержимое таких данных может быть определено как комбинация начальных данных изображения этих двух кадров.
В еще одном варианте выполнения настоящего изобретения данные изображения для одного из этих двух кадров голографического цифрового изображения могут быть составлены из множества последовательно захваченных кадров голографического цифрового изображения.
Выше способ рассматривался с упором только на фактические операции по обработке данных. Это демонстрирует, что предыдущая фаза захвата данных изображения не является обязательной частью способа. Это позволяет, например, создавать аналитические устройства или приборы, которые выполняют обнаружение и определение микроскопических объектов отдельно от операций по фактическому освещению и захвату изображения.
Возможно также осуществить полный способ обнаружения, включающий и эти операции. В варианте выполнения настоящего изобретения, показанном на фиг. 4, который совместим с любым из предыдущих вариантов выполнения настоящего изобретения, получение обработанных данных изображения в операции 41 включает формирование, в субоперации 411, когерентного света; освещающего, в субоперации 412, пробный объем, который может находиться в пределах кюветы или определяться кюветой, со
- 8 037743 держащей текучую среду, возможно включающую инородные микроскопические объекты, в результате чего эти микроскопические объекты рассеивают часть света, при этом рассеянный и нерассеянный свет интерферирует с формированием интерференционных полос позади микроскопических объектов; и захват, в субоперации 413, кадра голографического цифрового изображения датчиком изображения, принимающим свет, прошедший через пробный объем.
Таким образом, в этом варианте выполнения настоящего изобретения способ включает также фактические операции освещения и захвата изображения, необходимые для генерирования обработанных данных изображения.
Данные изображения захваченного кадра голографического цифрового изображения могут сами по себе формировать обработанные данные изображения.
Альтернативно, обработанные данные изображения могут быть сгенерированы или произведены, то есть обработаны, путем обработки указанных данных изображения с помощью подходящей операции (операций).
На фиг. 5 иллюстрируются некоторые принципы, рассмотренные выше и полезные для формирования фильтрованных данных изображения.
На фиг. 5A показан фильтрованный пространственно меняющийся компонент 517 интенсивности для фильтрованной голографической картины, отнесенный к базовому уровню 518 интенсивности фильтрованных данных изображения. У фильтрованного пространственно меняющегося компонента интенсивности имеются как положительные, так и отрицательные значения.
На фиг. 5B фильтрованный пространственно меняющийся компонент интенсивности показан после преобразования начальных отрицательных значений фильтрованного пространственно меняющегося компонента интенсивности в положительные эквивалентные части.
В следующей фазе, показанной на фиг. 5C, фильтрованный пространственно меняющийся компонент интенсивности сглажен с использованием значений интенсивности в области фильтрованной голографической картины, немного меняющейся выше базового уровня.
На фиг. 5D заранее заданный пороговый уровень 519 компонента интенсивности показан на фоне пространственно меняющейся кривой компонента интенсивности.
И наконец, на фиг. 5E показана интенсивность фильтрованной голографической картины после операции по пороговой обработке, в которой значения компонента интенсивности, превышающие пороговый уровень, преобразованы в постоянный верхний уровень 520, тогда как значения, оставшиеся ниже порогового уровня 519, установлены равными нулю.
На фиг. 6 показана зависимость между конкретными микроскопическими инородными объектами и обработанными и фильтрованными голографическими картинами, полученными из них.
На фиг. 6A показаны два по существу точечных или круглых микроскопического объекта 616', 616 различных размеров и один удлиненный микроскопический объект 616'. На фиг. 6B схематично показаны две круглых и одна немного удлиненная обработанная голографическая картина 613', 613, 613', соответственно, полученные на основе этих микроскопических объектов. Обработанные голографические картины сформированы концентрическими интерференционными полосами. Хотя на чертежах этого не видно, более крупный микроскопический объект дает более яркие интерференционные полосы в ассоциированной с ним обработанной голографической картине.
На фиг. 6C показаны фильтрованные голографической картины 615', 615, 615', изначально полученные из обработанных голографических картин, после операций, аналогичных показанным на фиг. 5. В результате преобразования отрицательных значений фильтрованного пространственно меняющегося компонента интенсивности в положительные эквивалентные части, сопровождаемого операциями сглаживания и пороговой обработки, фильтрованные голографической картины для указанных фильтрованных данных изображения представляют собой пятна. Формы пятен отражают форму микроскопического объекта, а их размеры зависят от яркости обработанных голографических картин и поэтому от размеров микроскопических объектов.
На фиг. 7 показано влияние рассмотренного выше уменьшения амплитудных значений начальной пространственно меняющейся интенсивности начальных голографических картин, превышающих заранее заданный пороговый уровень.
На фиг. 7A показаны два микроскопического объекта 616', 616 со значительно отличающимися размерами, а соответствующие обработанные голографические картины 613', 613 показаны на фиг. 7B со значительно отличающимися интенсивностями (на чертеже различие в яркости не видно).
На фиг. 7C показаны две пары фильтрованных голографических картин 615', 615 в виде пятен, полученных в результате двух альтернативных процессов. Верхняя пара пятен представляет собой фильтрованные голографические картины без уменьшения амплитудных значений начальной пространственно меняющейся интенсивности начальных голографических картин 613', 613.
Нижняя пара пятен представляет собой фильтрованные голографические картины после уменьшения амплитудных значений начальной пространственно меняющейся интенсивности начальных голографических картин, превышающих заранее заданный предел. Как показано на фиг. 7C, пятна в этой нижней паре более ясно различимы, чем пятна в верхней паре.
- 9 037743
Способ, различные варианты выполнения которого рассмотрены выше, может использоваться, например, для контроля качества различных текучих сред, таких как вода или производственные текучие среды, когда содержание микроскопических частиц или микробов в текучей среде - важный параметр, характеризующий качество текучей среды. Способ может дополнительно включать запуск заранее заданных действий, если содержание микроскопических объектов, то есть количество и/или тип обнаруженных микроскопических объектов соответствует заранее заданным критериям.
Такие действия могут включать, например, взятие пробы контролируемой текучей среды для дальнейшего анализа, управление процессом или системой, в которой содержится контролируемая текучая среда или из которой она поступает, и/или генерирование сигнала тревоги.
Операции в рамках способа и различных вариантов его выполнения согласно настоящему изобретению, описанные выше как выполняемые по меньшей мере частично автоматически, могут быть выполнены посредством любых подходящих вычислительных и/или обрабатывающих средств. Такие средства могут содержать, например, по меньшей мере один процессор и по меньшей мере одну память, связанную с процессором. Эта по меньшей мере одна память может хранить инструкции с программным кодом, которые, при выполнении их указанным по меньшей мере одним процессором, заставляют процессор выполнять операции согласно описанному выше способу. Альтернативно или дополнительно, по меньшей мере некоторые из этих операций могут быть выполнены по меньшей мере частично посредством некоторых аппаратных логических элементов или компонентов, таких как программируемые вентильные матрицы (FPGA), интегральные схемы специального назначения (ASIC), стандартные интегральные схемы специального применения (ASSP), система на чипе (SOC), сложное устройство с программируемой логикой (CPLD) и т.д., и изобретение не ограничено этими примерами.
То, что сказано выше о деталях, способах выполнения, предпочтительных особенностях и преимуществах в связи с аспектами способа, применимо, с необходимыми изменениями, и к аспектам устройства, рассмотренного ниже. Верно и обратное.
Устройство 800 на фиг. 8 может использоваться для обнаружения инородных микроскопических объектов, присутствующих в текучей среде. Устройство содержит вычислительное устройство 810, сконфигурированное для выполнения операций описанного выше способа согласно первому аспекту или любому варианту выполнения настоящего изобретения, кроме операций формирования когерентного света, освещения пробного объема и захвата кадра голографического цифрового изображения.
Вычислительное устройство может содержать любое подходящее оборудование, блок (блоки), элемент (элементы) и компонент (компоненты) для обработки данных и связи, способные выполнять операции способа, рассмотренного выше.
В примере на фиг. 8 вычислительное устройство 810 содержит обрабатывающее устройство 811, сконфигурированное для выполнения операций получения обработанных данных 812 изображения, содержащих обработанные голографические картины 813; формирования фильтрованных данных 814 изображения, содержащих фильтрованные голографические картины 815; и автоматического обнаружения присутствия микроскопических объектов 816 на основе фильтрованных голографических картин.
Хотя на фиг. 8 показано, что при своей работе вычислительный блок получает обработанные данные изображения, альтернативно он может быть сконфигурирован для выполнения любого из конкретных способов получения обработанных данных изображения, рассмотренных выше в отношении различных вариантов выполнения способа согласно настоящему изобретению.
Кроме того, вычислительное устройство может быть сконфигурировано для формирования фильтрованных данные изображения согласно любому из вариантов выполнения способа согласно настоящему изобретению, рассмотренному выше.
С другой точки зрения, утверждение, что вычислительное устройство или его обрабатывающий блок сконфигурированы для выполнения конкретной операции в рамках некоего способа, означает, что вычислительное устройство или обрабатывающий блок содержат средство для или служат средством для выполнения этой операции.
Вычислительное устройство может содержать отдельные средства для различных операций. Альтернативно, любое из таких средств для выполнения различных операций, раскрытых выше, может быть скомбинировано так, чтобы одно средство выполняло более одной операции. Возможно даже, чтобы все операции выполнялись одним средством, например, единственным модулем или блоком обработки данных. В примере на фиг. 8 это иллюстрируется обрабатывающим блоком 811.
Любые средства выполнения любой из вышеуказанных операций могут содержать один или большее количество компьютеров или других компонентов, блоков или устройств для вычисления и обработки данных. В дополнение к фактическим средствам вычисления и/или обработки данных, средства проведения этих операций могут естественно также содержать любые подходящие средства связи с помощью сигналов и средства передачи данных, а также память или средства хранения информации, предназначенные для хранения генерируемых и/или принятых данных.
Средства для вычисления и/или для обработки данных, такие как обрабатывающий блок 811 из примера на фиг. 8, служащие в качестве средств проведения одной или большего количества вышеуказанных операций, могут содержать, например, по меньшей мере одну память и по меньшей мере один
- 10 037743 процессор, связанный с указанной по меньшей мере одной памятью. При этом указанная по меньшей мере одна память может содержать считываемые компьютером инструкции с программным кодом, которые при выполнении их указанным по меньшей мере одним процессором заставляют устройство выполнять рассмотренную выше операцию (операции).
Дополнительно или альтернативно комбинации из процессора, памяти и инструкций с программным кодом, выполняемым процессором, средства для выполнения одной или большего количества операций могут содержать некоторые компоненты, элементы или блоки аппаратной логики, такие как описаны выше в примерах, относящихся к аспектам способа.
В дополнение к обнаружению микроскопических объектов в анализируемой текучей среде, вычислительное устройство 810, а фактически его обрабатывающий блок 811, сконфигурировано для генерирования сигнала 821 тревоги, указывающего, что выполнены заранее заданные критерии для количества, типа или, например, среднего размера микрочастиц. Устройство содержит передающее устройство 830 для передачи из устройства этого сигнала тревоги, например, в некоторую систему центрального управления. Передающее устройство может содержать, например, средство беспроводной передачи данных, содержащее, например, антенну. Передающее устройство и операция генерирования сигнала тревоги являются дополнительными устройством и функцией, и возможны также варианты выполнения настоящего изобретения без них.
Выше устройство определено как включающее только вычислительное средство или средство обработки данных. В варианте выполнения настоящего изобретения, показанном на фиг. 9, который совместим с любым из предыдущих вариантов выполнения настоящего изобретения, реализовано полное устройство 900 обнаружения, которое отличается от показанного на фиг. 8 тем, что в дополнение к вычислительному устройству 910 содержит также измерительное устройство 940, сконфигурированное для захвата данных изображения, которые будут обработаны вычислительным устройством. Таким образом, в этом подходе устройство содержит также средство для выполнения измерений физической величины.
Более конкретно, измерительное устройство содержит кювету 941, определяющую внутренний объем для приема текучей среды 942, возможно содержащей инородные микроскопические объекты 916; осветительное устройство 950, сконфигурированное для испускания когерентного света 951 и освещения текучей среды, принятой в пробный объем, когерентным светом, в результате чего возможные микроскопические объекты рассеивают часть света, а интерференция рассеянного и нерассеянного света приводит к формированию интерференционных полос позади микроскопических объектов; и датчик 960 изображения, расположенный и сконфигурированный так, чтобы захватить кадр голографического цифрового изображения путем приема света, прошедшего через кювету и пробный объем в ней.
В этом варианте выполнения настоящего изобретения вычислительное устройство 910 связано с измерительным устройством 940 для приема данных изображения захваченного кадра (кадров) голографического цифрового изображения 970, который формирует основу для обработанных данных изображения. Вычислительное устройство может также быть сконфигурировано для управления измерительным устройством, осветительным устройством и датчиком изображения.
Термин кювета относится к любой подходящей пробоотборной ячейке или контейнеру, способному принимать анализируемую текучую среду. Кювета может содержать одну или большее количество стенок, определяющих ее внутренний объем, предназначенный для приема указанной текучей среды. Определение внутреннего объема означает, что эта одна или большее количество стенок ограничивает или окружает поперечное сечение внутреннего объема по всему его периметру. Другими словами, эта одна или большее количество стенок и/или некая другая подходящая конструкция кюветы полностью окружает весь внутренний объем по меньшей мере в одном его поперечном сечении, таким образом предотвращая возможность выхода измеряемой текучей среды из внутреннего объема в направлениях, лежащих в плоскости этого поперечного сечения.
Кювета и измерительное устройство, ее содержащее, в целом могут иметь любые подходящие размеры с учетом возможного практического приложения. Например, толщина внутреннего объема в направлении освещения может быть, например, в диапазоне от 0,5 до 1 мм. Ширина кюветы может быть выбрана, например, на основе размера светочувствительной ячейки датчика изображения, которая может находиться, например, на расстоянии приблизительно 1-3 мм от внутреннего объема кюветы. Например, кювета может иметь ширину в одном или большем количестве направлений 4-8 мм. Один пиксель светочувствительной ячейки может иметь ширину, например, в диапазоне 1,5-5 мкм. Например, ширина прямоугольного пикселя может составлять приблизительно 2 мкм. Положение источника света осветительного устройства может меняться, например, в зависимости от источника света и размера его светоизлучающей поверхности. Например, если в качестве светоизлучающего элемента источника света применяется лазерный диод, его можно поместить в нескольких десятках миллиметров, например приблизительно в 40 мм, от внутреннего объема кюветы.
В общем случае, кювета может быть пробоотборного типа, когда в такой кювете может содержаться дискретный объем. В примере на фиг. 9 она проточного типа, при этом непрерывный поток анализируемой текучей среды 942 можно направлять через кювету во время анализа. В других вариантах выполнения настоящего изобретения могут использоваться другие типы кювет. Например, в некоторых вари
- 11 037743 антах выполнения настоящего изобретения кювета может использоваться альтернативно как пробоотборная кювета или как проточная кювета.
Кювета содержит окна 981, 982, позволяющие осветительному свету, излучаемому осветительным устройством, войти в кювету и выйти из нее. В примере на фиг. 9 осветительное устройство и датчик изображения установлены с противоположных сторон кюветы с формированием прямого тракта распространения света от осветительного устройства сквозь кювету к датчику изображения.
Осветительное устройство может содержать любой подходящий источник света, такой как лазерный диод, способный создавать когерентный свет. Свет может иметь длину (длины) волны, например, в диапазоне 350-500 нм, но не ограничен этим диапазоном. Осветительное устройство может дополнительно содержать любые подходящие оптические элементы для направления когерентного света в кювету и пробный объем с целью освещения принятой в него текучей среды.
Датчик 960 изображения может быть любого подходящего типа. Например, он может содержать, в качестве активного элемента обнаружения света, светочувствительную ячейку на основе CMOS (комплементарный металлооксидный полупроводник) или CCD (устройство с зарядовой связью). Датчик изображения может быть черно-белым датчиком. Подходящий размер активной области и разрешение светочувствительной ячейки зависят от всей конфигурации измерительного устройства. В некоторых вариантах выполнения настоящего изобретения этот размер может составлять, например, 5x5 мм2. В некоторых вариантах выполнения настоящего изобретения активная область светочувствительной ячейки может содержать, например, 5 миллионов пикселей.
Устройства, показанные на фиг. 8 и 9, могут быть выполнены как автономные устройства или датчики. Альтернативно, они могут быть частью большой системы управления или контроля.
В еще одном аспекте, не показанном на чертежах, предлагается компьютерный программный продукт, содержащий инструкции с программным кодом, которые при выполнении их процессором заставляют процессор выполнять операции, рассмотренные выше в отношении способа или любого варианта выполнения настоящего изобретения.
Такой компьютерный программный продукт может храниться на любом подходящем считываемом компьютером носителе, при этом термин компьютер относится здесь к любому типу автоматических вычислительных средств.
Следует отметить, что настоящее изобретение не ограничено рассмотренными выше вариантами и примерами его выполнения. Напротив, варианты выполнения настоящего изобретения могут свободно меняться в рамках формулы изобретения.
Очевидно, что полезный эффект и преимущества, описанные выше, могут относиться к одному варианту или примеру выполнения настоящего изобретения или могут относиться к нескольким вариантам выполнения или примерам настоящего изобретения. Варианты выполнения и примеры настоящего изобретения не ограничены теми, которые решают любые из поставленных задач, или теми, которые обладают любым из полученных полезных эффектов и преимуществ. Подразумевается, что ссылка на элемент в единственном числе относится к одному или большему количеству таких элементов.
Термин содержащий в настоящем документе означает включающий признак (признаки) или действие (действия), указанные вслед за ним, но не исключающий наличия одной или более дополнительных функций или действий.

Claims (18)

  1. ФОРМУЛА ИЗОБРЕТЕНИЯ
    1. Способ (10) обнаружения инородных микроскопических объектов, присутствующих в текучей среде, включающий получение (101) обработанных данных изображения на основе кадра голографического цифрового изображения, захваченного датчиком изображения, который принимает свет, прошедший через пробный объем, содержащий текучую среду, которая, возможно, содержит инородные микроскопические объекты, путем освещения пробного объема когерентным светом, в результате чего возможные микроскопические объекты рассеивают часть света, и рассеянный и нерассеянный свет интерферирует с формированием интерференционных полос позади микроскопических объектов, при этом обработанные данные изображения содержат в случае микроскопического объекта обработанную голографическую картину с обработанной пространственно меняющейся интенсивностью, сформированную интерференционными полосами;
    формирование (102) фильтрованных данных изображения, включающее автоматическое фильтрование обработанных данных изображения фильтром усиления контуров, при этом фильтрованные данные изображения содержат для обработанной голографической картины, присутствующей в обработанных данных изображения, фильтрованную голографическую картину; и автоматическое обнаружение (103) на основе фильтрованной голографической картины присутствия в пробном объеме текучей среды микроскопического объекта, ассоциированного с фильтрованной голографической картиной.
  2. 2. Способ по п.1, в котором фильтр усиления контуров представляет собой симметричный фильтр.
    - 12 037743
  3. 3. Способ по п.1 или 2, в котором обработанные данные изображения фильтруют фильтром усиления контуров по меньшей мере в двух различных направлениях.
  4. 4. Способ (10) по любому из пп.1-3, дополнительно включающий автоматическое определение (104) по меньшей мере одного параметра формы обнаруженного микроскопического объекта на основе формы ассоциированной с ним фильтрованной голографической картины.
  5. 5. Способ по любому из пп.1-4, дополнительно включающий автоматическое определение по меньшей мере одного параметра положения обнаруженного микроскопического объекта на основе положения ассоциированной с ним фильтрованной голографической картины в фильтрованных данных изображения.
  6. 6. Способ (10) по любому из пп.1-5, дополнительно включающий автоматическую идентификацию (105), для фильтрованной голографической картины, упомянутой ассоциированной обработанной голографической картины в обработанных данных изображения, и автоматическое определение по меньшей мере одного параметра размера ассоциированного микроскопического объекта на основе амплитуды обработанной пространственно меняющейся интенсивности ассоциированной обработанной голографической картины.
  7. 7. Способ (20) по любому из пп.1-6, в котором получение обработанных данных изображения включает получение (211) начальных данных изображения для кадра голографического цифрового изображения, при этом начальные данные изображения содержат для микроскопического объекта начальную голографическую картину с начальным пространственно меняющимся компонентом интенсивности; и автоматическое уменьшение (212) таких амплитудных значений начального пространственно меняющегося компонента интенсивности в начальных голографических картинах, которые превышают заранее заданный предел.
  8. 8. Способ (10) по любому из пп.1-7, в котором фильтрование обработанных данных изображения фильтром усиления контуров включает применение ядра свертки к обработанным данным изображения.
  9. 9. Способ (10) по любому из пп.1-8, в котором фильтрование обработанных данных изображения фильтром усиления контуров выполняют по меньшей мере для двух различных пространственных частот.
  10. 10. Способ по п.3 или 9, в котором формирование фильтрованных данных изображения включает формирование множества кадров фильтрованного изображения, при этом каждый кадр содержит частичные фильтрованные данные изображения, и объединение частичных фильтрованных данных изображения для множества кадров фильтрованного изображения в фильтрованные данные изображения.
  11. 11. Способ (10) по любому из пп.1-10, в котором фильтрование обработанных данных изображения первоначально создает для обработанной голографической картины фильтрованный пространственно меняющийся компонент интенсивности с положительными и отрицательными значениями, при этом создание фильтрованных данных изображения дополнительно включает автоматическое преобразование отрицательных значений в их абсолютные значения.
  12. 12. Способ по п.11, в котором создание фильтрованных данных изображения дополнительно включает автоматическое сглаживание фильтрованного пространственно меняющегося компонента интенсивности.
  13. 13. Способ (30) по любому из пп.1-12, в котором текучая среда протекает в пробном объеме, при этом получение обработанных данных изображения включает получение (311) начальных данных изображения для двух кадров голографического цифрового изображения, захваченных последовательно во времени;
    автоматическое обнаружение (312) на основе начальных данных изображения для этих двух кадров голографического цифрового изображения присутствия любого стационарного рассеивающего объекта на основе присутствия стационарных голографических картин, появляющихся одинаковым образом в данных изображения для этих двух кадров голографического цифрового изображения; и автоматическую генерацию (313) обработанных данных изображения на основе по меньшей мере одних из начальных данных изображения, из которых удалена любая обнаруженная стационарная голограмма.
  14. 14. Способ (40) по любому из пп.1-13, в котором получение обработанных данных изображения включает формирование (41) когерентного света;
    освещение (42) пробного объема, содержащего текучую среду, возможно содержащую инородные микроскопические объекты, когерентным светом, в результате чего возможные микроскопические объекты рассеивают часть света, и интерференция рассеянного и нерассеянного света формирует интерференционные полосы позади микроскопических объектов; и захват (43) кадра голографического цифрового изображения датчиком изображения, принимающим свет, прошедший через пробный объем.
  15. 15. Устройство (800) для обнаружения инородных микроскопических объектов (816) в текучей среде, содержащее вычислительное устройство (810), сконфигурированное для выполнения операций способа по любому из пп.1-12.
    - 13 037743
  16. 16. Устройство (900) по п.15, которое дополнительно содержит измерительное устройство (940), содержащее кювету (941), определяющую пробный объем для приема текучей среды (942), возможно содержащей инородные микроскопические объекты (916);
    осветительное устройство (950), сконфигурированное для испускания когерентного света (951) и освещения текучей среды, принятой в пробный объем, когерентным светом, в результате чего возможные микроскопические объекты (916) рассеивают часть света, и интерференция рассеянного и нерассеянного света формирует интерференционные полосы позади микроскопических объектов; и датчик (960) изображения, установленный и сконфигурированный для захвата кадра (970) голографического цифрового изображения путем приема света, прошедшего через пробный объем;
    при этом упомянутое вычислительное устройство (910) связано с измерительным устройством для приема данных изображения, содержащихся в кадре (970) голографического цифрового изображения.
  17. 17. Устройство (900) по п.16, в котором кювета (941) представляет собой проточную кювету.
  18. 18. Считываемый компьютером носитель, хранящий компьютерный программный продукт, содержащий инструкции с программным кодом, которые при выполнении их процессором заставляют процессор выполнять способ по любому из пп.1-13.
EA201892777A 2016-06-22 2017-06-21 Обнаружение микроскопических объектов в текучей среде EA037743B1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16175687.9A EP3260841B1 (en) 2016-06-22 2016-06-22 Detecting microscopic objects in fluids
PCT/FI2017/050463 WO2017220860A1 (en) 2016-06-22 2017-06-21 Detecting microscopic objects in fluids

Publications (2)

Publication Number Publication Date
EA201892777A1 EA201892777A1 (ru) 2019-06-28
EA037743B1 true EA037743B1 (ru) 2021-05-17

Family

ID=56203200

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201892777A EA037743B1 (ru) 2016-06-22 2017-06-21 Обнаружение микроскопических объектов в текучей среде

Country Status (10)

Country Link
US (1) US11630420B2 (ru)
EP (1) EP3260841B1 (ru)
KR (1) KR102402198B1 (ru)
CN (1) CN109477782A (ru)
AU (1) AU2017281680B2 (ru)
CA (1) CA3027810A1 (ru)
EA (1) EA037743B1 (ru)
SG (1) SG11201811309YA (ru)
WO (1) WO2017220860A1 (ru)
ZA (1) ZA201900411B (ru)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489872B (zh) * 2018-03-23 2022-03-04 奥星制药设备(石家庄)有限公司 在线粒度监测方法和系统
EP3575773A1 (en) * 2018-05-28 2019-12-04 Universität für Bodenkultur Wien A method for determining a three-dimensional particle distribution in a medium
WO2021011637A1 (en) * 2019-07-15 2021-01-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Complex diversity for accurate phase retrieval with single-shot acquisition
CN116026729B (zh) * 2023-03-03 2024-03-15 浙江大学 一种基于数字同轴全息显微的便携式微塑料检测装置
CN116071689B (zh) * 2023-03-07 2023-06-06 四川三思德科技有限公司 一种基于lora技术的水源地水质在线监测方法及系统
CN117233116B (zh) * 2023-11-09 2024-02-02 江西鼎智检测有限公司 一种基于机器视觉的水质分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2110697A1 (en) * 2008-04-17 2009-10-21 Ruprecht-Karls-Universität Heidelberg Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
WO2011049965A1 (en) * 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
WO2015166009A1 (fr) * 2014-04-30 2015-11-05 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procédé et système de détection d'au moins une particule dans un liquide corporel, et procédé associé de diagnostic de la méningite
CN105547945A (zh) * 2016-01-14 2016-05-04 天津大学 干涉粒子成像系统采样区内粒子的判别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876474B2 (en) 2002-11-27 2005-04-05 Dalhousie University Method for tracking particles and life forms in three dimensions and in time
WO2005103842A2 (en) * 2004-04-16 2005-11-03 Dce Aprilis, Inc. Calibration of holographic data storage systems using holographic media calibration features
JP2013533469A (ja) * 2010-05-25 2013-08-22 アリックス インク 免疫診断における生物学的および化学的分析および用途における粒子の位置的自由度の検出のための方法および装置
EP2985719A1 (en) * 2014-08-15 2016-02-17 IMEC vzw A system and method for cell recognition
TWI557462B (zh) * 2014-11-28 2016-11-11 台灣愛美科股份有限公司 自動聚焦系統與方法
KR101820563B1 (ko) * 2014-12-31 2018-01-19 한국전자통신연구원 홀로그램 데이터 포맷과 홀로그래픽 비디오 시스템 장치 및 방법
US20170333903A1 (en) * 2016-05-20 2017-11-23 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Automated Single Cell Cytological Classification in Flow

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2110697A1 (en) * 2008-04-17 2009-10-21 Ruprecht-Karls-Universität Heidelberg Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
WO2011049965A1 (en) * 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
WO2015166009A1 (fr) * 2014-04-30 2015-11-05 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procédé et système de détection d'au moins une particule dans un liquide corporel, et procédé associé de diagnostic de la méningite
CN105547945A (zh) * 2016-01-14 2016-05-04 天津大学 干涉粒子成像系统采样区内粒子的判别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTNACHER F. et al. Automatic sizing of particle holographic images via optical correlation and edge extraction. In: Optics Communications 1994, Vol. 108, pp. 17-23, entire document. *
GUILDENBECHER D. R. et al. Accurate measurement of out-of-plane particle displacement from the cross correlation of sequential digital in-line holograms. In: Optics Letters 2013, Vol. 38, pp. 4015-4018, entire document. *
MURAKAMI T. A New Direct Analysis Method for Measuring Particle Size and Location by Inline Hologram. In: Laser Diagnostics and Modeling of Combustion, Springer, Berlin, Heidelberg, 1987, pp. 71-76, ISBN 978-3-642-45637-4, pp. 71-76. *
SOBIERANSKI A. C. et al. Portable lensless wide-field microscopy imaging platform based on digital inline holography and multi-frame pixel super-resolution. In: Light: Science & Applications 2015, Vol. 4, e346, pp. 1-10. *
STYBAYEVA G. et al. Lensfree Holographic Imaging of Antibody Microarrays for High-Throughput Detection of Leukocyte Numbers and Function. In: Analytical Chemistry 2010, Vol. 82, pp. 3736-3744, entire document. *

Also Published As

Publication number Publication date
EP3260841B1 (en) 2024-03-13
ZA201900411B (en) 2022-08-31
KR102402198B1 (ko) 2022-05-25
US11630420B2 (en) 2023-04-18
AU2017281680B2 (en) 2022-03-17
US20190187613A1 (en) 2019-06-20
EA201892777A1 (ru) 2019-06-28
CN109477782A (zh) 2019-03-15
AU2017281680A1 (en) 2019-02-07
CA3027810A1 (en) 2017-12-28
KR20190022691A (ko) 2019-03-06
WO2017220860A1 (en) 2017-12-28
EP3260841A1 (en) 2017-12-27
SG11201811309YA (en) 2019-01-30

Similar Documents

Publication Publication Date Title
EA037743B1 (ru) Обнаружение микроскопических объектов в текучей среде
US8842901B2 (en) Compact automated semen analysis platform using lens-free on-chip microscopy
KR102479862B1 (ko) 입자 분석 방법
Honkanen et al. Digital imaging measurement of dense multiphase flows in industrial processes
AU2017281681B2 (en) Arrangement for in-line holography microscopy
EP1180676A2 (en) A method and a system for determination of particles in a liquid sample
US9581429B2 (en) Method and system for reconstructing optical properties of diffracting objects immersed in a liquid medium
Mota-Grajales et al. Defect detection in eggshell using a vision system to ensure the incubation in poultry production
IL303323A (en) Optical means for examining snails and fish
US20220254182A1 (en) Optical technique for analyzing insects, shrimp and fish
US11132784B2 (en) Detecting microscopic objects in fluids
OA18929A (en) Detecting microscopic objects in fluids.
OA19599A (en) Detecting microscopic objects in fluids.
OA18930A (en) Arrangement for in-line holography microscopy
KR20210011473A (ko) 공기중 부유균 측정 장치

Legal Events

Date Code Title Description
PD4A Registration of transfer of a eurasian patent in accordance with the succession in title
MM4A Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s)

Designated state(s): AM AZ BY KG TJ TM