EA047109B1 - Автономный поиск и устранение неполадок станций автоматизированного визуального контроля - Google Patents

Description

Область техники, к которой относится изобретение

Настоящая заявка в целом относится к системам автоматизированного визуального контроля (AVI) для фармацевтических или других продуктов и, в частности, к методам осуществления автономного поиска и устранения неполадок и/или разработки станции AVI.

Предпосылки создания изобретения

В некоторых контекстах, таких как процедуры контроля качества в отношении произведенных лекарственных продуктов, необходимо осматривать образцы (например, емкости, такие как шприцы или флаконы, и/или их содержимое, такое как жидкость или лиофилизированные лекарственные продукты) на наличие дефектов. Приемлемость конкретного образца при применимых стандартах качества может зависеть от показателей, таких как, например, тип и/или размер дефектов емкости (например, сколы или трещины) или тип, количество и/или размер нежелательных частиц в лекарственном продукте (например, волокон). Если образец имеет неприемлемые показатели, он может быть отбракован и/или забракован.

Для обработки объемов, обычно связанных с промышленным производством фармацевтических препаратов, задача по контролю на наличие дефектов все больше автоматизируется. Более того, специализированное оборудование, используемое для помощи при автоматизированном контроле на наличие дефектов, стало очень большим, очень сложным и очень дорогим, и требует значительных финансовых вложений в кадровые ресурсы и другие ресурсы для аттестации и ввода в эксплуатацию каждой новой линейки продуктов. В качестве одного примера, оборудование промышленной линии Bosch® 296S, которое используется для этапа контроля наполнения/укупорки шприцев, наполняемых лекарственным средством, содержит 15 отдельных станций визуального контроля, имеющих в общей сложности 23 камеры (т.е. одна или две камеры на станцию). В целом, это оборудование выполнено с возможностью обнаружения широкого спектра дефектов, включая дефекты целостности емкости, такие как большие трещины или уплотнения емкости, косметические дефекты емкости, такие как царапины или пятна на поверхности емкости, и дефекты, связанные с самим лекарственным продуктом, такие как цвет жидкости или наличие посторонних частиц.

Поскольку приобретение дополнительных единиц оборудования линии AVI может быть непомерно дорогим, действия по поиску и устранению неполадок и определению характеристик новых продуктов обычно должны выполняться на месте. Таким образом, поиск и устранение неполадок, а также определение характеристик нового продукта обычно требуют длительных простоев, что приводит к неоптимальным долгосрочным показателям производительности.

Сущность изобретения

Варианты осуществления, описанные в настоящем документе, относятся к системам и способам, в которых имитирующая станция AVI создается или модернизируется с целью воспроизведения эксплуатационных характеристик существующей станции AVI, тем самым обеспечивая поиск и устранение неполадок в автономном режиме или определение характеристик нового продукта и/или квалификационных работ, которые не препятствуют или не вмешиваются в меньшей степени в работу производственной линии. В некоторых вариантах осуществления имитирующая станция AVI представляет собой специализированную автономную (например, лабораторную) станцию, которая имитирует одну или несколько функций AVI станции в имеющемся оборудовании промышленной линии (например, одну из нескольких станций в оборудовании линии). В таком варианте осуществления имитирующая станция AVI может использоваться для устранения неполадок с конкретной соответствующей станцией в оборудовании промышленной линии или иным образом для повышения производительности соответствующей станции без необходимости длительного отключения оборудования линии. Например, автономные изменения могут быть внесены в аппаратные компоненты (например, осветительные устройства, звездочки и т.д.), аппаратные схемы (например, расстояние или угол между образцом и камерой или осветительным устройством, конфигурация осветительного устройства и т.д.) и/или в программное обеспечение (например, программу, реализующую алгоритм контроля). После определения соответствующих изменений оборудование промышленной линии может быть остановлено на относительно короткое время с целью внедрения этих изменений для исходной станции AVI, после чего, возможно, будет проведен определенный объем квалификационных работ на месте. Поскольку имитирующая станция AVI находится в автономном режиме, это дает возможность проводить исследования первопричин, разработку рецептуры и/или другие вспомогательные действия в лаборатории, а не на оборудовании промышленной линии.

В других вариантах осуществления имитирующая станция AVI вместо этого представляет собой станцию оборудования промышленной линии, цель которой состоит в имитации характеристик/эксплуатационных характеристик лабораторной станции AVI. В таком варианте осуществления лабораторная станция AVI может использоваться для определения характеристик и контроля качества новых лекарственных продуктов, которые в противном случае/обычно требовали бы продолжительного простоя оборудования линии и препятствовали бы его одновременному использованию для других лекарственных продуктов. После того, как будут определены соответствующие аппаратные компоненты/конфигурация и соответствующее программное обеспечение, оборудование линии может быть остановлено на относительно короткое время для внедрения этих изменений (опять-таки, возможно, с после

- 1 047109 дующим проведением определенного объема квалификационных работ на месте). Подобно предыдущему варианту осуществления, этот вариант осуществления дает возможность проводить разработку рецептуры, исследование первопричин и/или другие вспомогательные действия в лаборатории, а не на оборудовании промышленной линии. В любом из этих вариантов осуществления создание подходящей аналогичной имитирующей станции AVI представляет собой серьезную задачу. В частности, важно, чтобы устройство(-а) формирования изображений (например, камера(-ы), оптика системы формирования изображений), освещение (например, осветительное устройство(-а), окружающее/внешнее освещение или отражатели), относительная геометрия (т.е. пространственное расположение), программное обеспечение для обработки изображений, аппаратное обеспечение компьютера и/или механическое перемещение продукта - все, что может повлиять на эффективность контроля, близко соответствовало воспроизводимой станции AVI. Это особенно сложно, поскольку многие из этих компонентов/характеристик, как правило, уникальны для любой конкретной станции AVI. Таким образом, в вариантах осуществления этого раскрытия используется устойчивый и надежный процесс для максимально точного (или такого точного, как хотелось бы) воспроизведения станции AVI.

Первоначально для идентификации компонентов/конструкции станции AVI может использоваться любой из различных подходящих методов. Например, можно делать подробные фотографии вручную, 3D-сканы и измерения. В качестве альтернативы или дополнения, для этой цели могут использоваться файлы трехмерного компьютеризированного проектирования (CAD) (например, детальные технические чертежи в формате pdf с векторной графикой или в другом формате). С помощью этой информации аппаратное обеспечение имитирующей станции AVI может быть получено и/или собрано и размещено в том же относительном расположении/геометрии, что и исходная станция AVI (т.е. имитируемая станция). Для воссоздания станции AVI также могут использоваться 3D-сканеры или другое оборудование/методы. Различные методы, раскрытые в настоящем документе, можно использовать для улучшения и проверки сконструированной или частично сконструированной имитирующей станции AVI путем сравнения изображений образцов (например, контейнера), захваченных имитирующей станцией AVI, с изображениями образцов, захваченными воспроизводимой станцией AVI. Обратная связь, полученная в результате этого процесса, может позволить пользователю (например, инженеру) не только определить, работает ли имитирующая станция AVI так же, как исходная станция AVI, но также определить, какие аспекты имитирующей станции AVI следует изменить для улучшения воспроизведения эксплуатационных характеристик оригинальной станции AVI.

В некоторых вариантах осуществления программный инструмент сравнения изображений выполняет сравнения и генерирует соответствующие выходные данные для этой цели. Например, инструмент сравнения изображений может вычислять и сообщать пользователю значащие показатели изображения (например, показатели, указывающие на интенсивность света, шум камеры, выравнивание камеры/образца, расфокусировку, размытость изображений при движении и т.д.) в режиме реального времени, обеспечивая для пользователя надежный процесс для относительно быстрой точной настройки и оценки эффективности имитирующей станции AVI. В некоторых вариантах осуществления инструмент сравнения изображений генерирует конкретные рекомендации на основе показателей (например, уменьшить расстояние между камерой и контейнером), которые отображаются для пользователя. Предпочтительно инструмент сравнения изображений может обеспечить точное воспроизведение эксплуатационных характеристик станции AVI, даже когда исходная и имитирующая станции AVI расположены удаленно. То есть может обеспечиваться возможность адекватно воспроизвести эксплуатационные характеристики станции AVI даже в определенных ситуациях, когда сложно или невозможно точно воспроизвести геометрические параметры аппаратного обеспечения, аппаратного обеспечения компьютера и/или других аспектов станции AVI. Инструмент сравнения изображений, как правило, обеспечивает научный повторяемый процесс, который снижает риски, связанные с человеческими ошибками и субъективностью, и, следовательно, с большей вероятностью может удовлетворить регулирующие органы в отношении истинной эквивалентности между станцией AVI и соответствующей имитирующей станцией.

Краткое описание графических материалов

Специалисту в данной области техники будет понятно, что фигуры, описанные в настоящем документе, включены для целей иллюстрации и не ограничивают настоящее изобретение. Графические материалы не обязательно изображены в масштабе, и вместо этого акцент делается на иллюстрацию принципов настоящего изобретения. Следует понимать, что в некоторых случаях различные аспекты описанных вариантов реализации могут быть укрупнены или увеличены для способствования пониманию описанных вариантов реализации. На графических материалах подобные ссылочные позиции на разных фигурах в целом выполняют одинаковые функции и/или являются структурно одинаковыми компонентами.

На фиг. 1А и 1В изображен пример процесса поиска и устранения неполадок станции AVI оборудования промышленной линии путем создания и использования имитирующей станции AVI.

На фиг. 2 изображен пример процесса разработки рецептуры AVI и/или установки аппаратного обеспечения для использования на станции AVI оборудования промышленной линии путем имитации лабораторной установки.

- 2 047109

На фиг. 3 представлена упрощенная блок-схема примера системы, которая может реализовывать процесс по фиг. 1А и 1В.

На фиг. 4A-4D изображен пример лабораторной установки, которая может имитировать станцию AVI оборудования линии или использоваться в качестве платформы разработки приложений для станции AVI оборудования линии и связанных изображений контейнера.

На фиг. 5 изображен другой пример лабораторной установки, которая может имитировать станцию AVI оборудования линии или использоваться в качестве платформы разработки приложений для станции AVI оборудования линии.

На фиг. 6 изображен пример инструмента сравнения изображений, который может использоваться для упрощения создания или обновления имитирующей станции AVI.

На фиг. 7 изображен пример алгоритма, который может быть реализован посредством инструмента сравнения изображений по фиг. 6.

На фиг. 8 представлена блок-схема примера способа воспроизведения эксплуатационных характеристик станции AVI с лабораторным оборудованием или оборудованием линии.

Подробное описание

Различные концепции, представленные выше и более подробно описанные далее, могут быть реализованы многими способами, при этом описанные концепции не ограничены каким-либо определенным способом реализации. Примеры вариантов реализации представлены для иллюстративных целей.

На фиг. 1А и 1В изображен пример процесса 100 поиска и устранения неполадок станции автоматизированного визуального контроля (AVI) оборудования промышленной линии путем создания и использования имитирующей станции AVI. Обратимся сначала к фиг. 1А, на этапе 102 оборудование промышленной линии, которое содержит одну или несколько станций AVI, работает в нормальном/производственном режиме работы. Оборудование промышленной линии может быть использовано, например, на этапе наполнения/укупорки для контроля качества при производстве фармацевтических продуктов (например, шприцев, содержащих жидкие лекарственные продукты, или стеклянных флаконов, содержащих лиофилизированные лекарственные продукты). Станция(-и) AVI может включать одну или несколько станций, предназначенных для контроля контейнеров (например, шприца, флакона и т.д.), и/или одну или несколько станций, предназначенных для контроля образцов (например, для обнаружения и/или определения характеристик частиц в лекарственном продукте, находящемся в контейнере). Например, оборудование промышленной линии может представлять собой, например, оборудование 302 промышленной линии, которое более подробно описывается ниже со ссылкой на фиг. 3. Верхняя горизонтальная линия/стрелка на фиг. 1А и 1В, начиная с этапа 102 и заканчивая этапом 142 (описанным ниже), представляет собой непрерывный контроль производственной линии с использованием оборудования промышленной линии. Горизонтальная ось на фиг. 1А и 1В обычно представляет время, но не обязательно в масштабе, а на фиг. 1А и 1В не обязательно (но могут) представляет порядок операций (например, этап 110 может выполняться до или после первой итерации этапа 122 и т.д.).

На этапе 104 идентифицируется проблемная станция AVI в оборудовании промышленной линии. Например, человек, контролирующий производственный процесс, может заметить, что конкретная станция AVI оборудования линии выявляет большое количество ложноположительных результатов (например, образцы, которые помечены оборудованием линии как дефектные, при более тщательном ручном или автоматическом исследовании определяются как приемлемые) и/или не позволяет выявлять дефектные образцы.

На этапе 110 оператор загружает и/или устанавливает машинную программу, используемую для проблемной станции AVI, в вычислительную систему, связанную с лабораторной установкой (т.е. то, что будет представлять собой имитирующую станцию AVI). Программа может быть передана непосредственно с оборудования линии или может быть установлена другим способом (например, с портативного запоминающего устройства, или посредством загрузки из интернета, и т.д.). В некоторых вариантах установленная программа включает в себя программу, отвечающую за перемещение контейнера, захват изображения и обработку изображения. Например, программа может управлять механизмом, который перемешивает (например, вращает, встряхивает, переворачивает и т.д.) контейнер до и/или во время формирования изображений, запускать одну или несколько камер в соответствующие моменты времени и обрабатывать изображения с камер для обнаружения дефектов контейнеров (например, трещины, сколы) и/или содержимого (например, крупные волокна или другие посторонние вещества). На этапе 112 проблемная станция AVI в оборудовании линии захватывает одно или несколько изображений контейнера. В зависимости от варианта осуществления и/или сценария этап 112 может требовать или не требовать какого-либо прерывания нормальной/производственной работы оборудования линии. Например, захваченные изображения могут быть изображениями, которые также используются во время производства.

На этапе 114 аппаратное обеспечение проблемной станции AVI подвергается обратному инжинирингу для запуска имитирующей процедуры 120 установки станции AVI. Этап 114 может включать обратный инжиниринг аппаратных компонентов проблемной станции AVI (таких как камеры, оптические компоненты, осветительные устройства, механизмы для перемещения контейнеров и т.д.), сборку аппаратных компонентов проблемной станции AVI (например, способ сборки различных компонентов и под

- 3 047109 компонентов), относительную геометрию/расположение аппаратных компонентов в проблемной станции AVI (например, ориентации и расстояния контейнера относительно осветительного устройства(устройств) и камеры(камер)) и/или другие характеристики проблемной станции AVI (например, скорость вращения контейнера и т.д.). В некоторых вариантах осуществления обратный инжиниринг является исключительно ручным и включает в себя точные измерения (например, штангенциркулем, линейкой и т.д.), просмотр доступных схем и т.д. Для точного захвата размеров AVI станции могут также использоваться 3D-сканеры. В других вариантах осуществления по меньшей мере часть обратного инжиниринга автоматизирована, например, путем обработки файлов или изображений, указывающих размеры (углы, расстояния и т.д.) проблемной станции AVI. На первой итерации этапа 122 создается имитирующая станция AVI с использованием знаний, полученных на этапе 114. Создание может быть частично или полностью ручным. Можно использовать любые подходящие методы изготовления, такие как обработка металлов и пластмасс с помощью ЧПУ и/или 3D-печать, для создания определенных неэлектронных аппаратных компонентов (например, звездочек и т.д.) имитирующей станции AVI. Первая итерация этапа 122 может также включать покупку или иное получение различных готовых компонентов, таких как камеры, светодиодные кольца или другие осветительные устройства и т.д. Первая итерация этапа 122 может также включать настройку различных параметров программного обеспечения для соответствия настройкам параметров, которые использовались на этапе 112. Например, пользователь может установить скорость вращения контейнера равной настройке скорости вращения, которая использовалась оборудованием линии при захвате изображения (изображений) на этапе 112.

На первой итерации этапа 124 после первоначальной попытки (на этапе 122) воспроизвести проблемную станцию AVI, одно или несколько изображений контейнера захватываются одним или несколькими устройствами формирования изображений (например, камерами) имитирующей станции AVI. Контейнер должен быть того же типа, что и контейнер, который был отображен на этапе 112, и фактически может быть тем же самым контейнером.

На первой итерации этапа 126 инструмент сравнения изображений определяет, совпадает ли изображение(-я) контейнера, захваченное на этапе 112, в некоторой приемлемой степени с изображением(ями) контейнера, захваченным на первой итерации этапа 124. Для определения этого инструмент сравнения изображений может генерировать ряд показателей для каждого из изображений или наборов изображений и сравнивать эти показатели с целью определения меры сходства (например, показатель сходства). Например, инструмент сравнения изображений может генерировать показатели, относящиеся к размеру (например, насколько большим выглядит контейнер на изображении), ориентации (например, угол наклона стенки контейнера относительно вертикальной оси изображения), интенсивности света (например, определяемой интенсивностью пикселей изображения), расфокусировке, размытости изображения при движении и/или других характеристик. Инструмент сравнения изображений также может сравнивать соответствующие показатели изображения(-й) этапа 112 и изображения (-й) этапа 124 (например, путем вычисления значений расхождения). Примеры показателей более подробно обсуждаются ниже со ссылкой на фиг. 6 и 7. Определение на этапе 126 может быть выполнено пользователем, отслеживающим выходные данные инструмента сравнения изображений, или самим инструментом, в зависимости от варианта осуществления.

Если инструмент сравнения изображений (или пользователь инструмента) определяет на первой итерации этапа 126, что изображения или наборы изображений недостаточно похожи, имитирующая станция AVI подлежит изменению на второй итерации этапа 122. Изменения на второй итерации этапа 122 выполняются целенаправленно на основе выходных данных инструмента сравнения изображений на первой итерации этапа 126. Например, если инструмент сравнения изображений указывает, что интенсивность света изображения(-й), захваченного имитирующей станцией AVI на первой итерации этапа 124, слишком мала, пользователь может переместить осветительное устройство ближе к контейнеру в ходе второй итерации этапа 122 или изменить размеры диафрагмы объектива и т.д. В качестве другого примера, если инструмент сравнения изображений показал, что изображение, захваченное на первой итерации этапа 124, менее сфокусировано, чем изображение, захваченное на этапе 112, пользователь может переместить контейнер ближе или дальше от камеры имитирующей станции AVI. В некоторых вариантах осуществления инструмент сравнения изображений обрабатывает показатели сравниваемых изображений для выдачи рекомендации на этапе 126, например, переместите осветительное устройство ближе к контейнеру, переместите осветительное устройство В ближе к контейнеру или переместите осветительное устройство В ближе к контейнеру на 3 мм и т.д. После внесения разработчиком изменения(-й) на второй итерации этапа 122, имитирующая станция AVI захватывает новый набор из одного или нескольких изображений на второй итерации этапа 124 (например, в ответ на ручной запуск пользователем), а инструмент сравнения изображений сравнивает новое изображение(-я) с изображениями, захваченными на этапе 112 (или, возможно, с новыми изображениями, захваченными проблемной станцией AVI) на второй итерации этапа 126. Цикл в рамках процедуры 120, показанной на фиг. 1А, может продолжаться в течение любого количества итераций до тех пор, пока инструмент сравнения изображений (или пользователь, наблюдающий за его выходными данными) не определит на итерации этапа 126, что имитирующая станция AVI воспроизвела характеристики/эксплуатационные характеристики про

- 4 047109 блемной станции AVI с достаточной точностью, на что указывает достаточная степень сходства между изображением(-ями), захваченным имитирующей станцией AVI, и изображением(-ями), захваченным проблемной станцией AVI оборудования линии. В некоторых сценариях достаточная степень сходства может быть достигнута даже при существенных различиях в аппаратных компонентах и/или геометрических параметрах. В других сценариях достаточная степень сходства требует точного воспроизведения аппаратных компонентов и геометрических параметров. Когда достигнута достаточная степень сходства, имитирующая станция AVI готова к использованию для поиска и устранения неполадок во время процесса 130 (как показано на фиг. 1В). В примере процесса 130 на первой итерации этапа 132 пользователь (например, инженер) рассматривает/теоретически оценивает надлежащие изменения в алгоритме контроля/рецептуре и/или изменения в установке аппаратного обеспечения (например, различных камер, объективов, типов осветительных устройств и т.д., и/или иное расположение и/или настройки таких устройств/компонентов), пытаясь устранить проблему, обнаруженную на этапе 104. После этого на первой итерации этапа 134 оператор изменяет аппаратное обеспечение и/или программу в соответствии с изменениями, идентифицированными на первой итерации этапа 132. На первой итерации этапа 136 имитирующая станция AVI используется для проверки того, является ли ее работа удовлетворительной, т.е. была ли проблема, наблюдаемая на этапе 104, устранена в достаточной степени. Этап 136 может включать сравнение статистических результатов (например, процент ложноположительных результатов и т.д.), например, с требованием, основанным на стандартах. Каждая итерация этапа 136 может потребовать много времени и/или трудозатрат, поскольку может потребоваться большое количество изображений и/или большое разнообразие образцов продуктов/контейнеров для определения того, решена ли проблема (например, если у наблюдаемой проблемы был низкий, но все же неприемлемый процент ложноположительных или ложноотрицательных результатов). Однако затраты времени могут быть приемлемыми, поскольку они не требуют прерывания работы оборудования промышленной линии.

Если на этапе 136 производительность не определена как удовлетворительная/приемлемая, процесс 130 повторяется, при этом новые изменения выявляются/теоретически оцениваются на второй итерации этапа 132. Процесс 130 может повторяться для любого количества итераций без прерывания работы оборудования линии до тех пор, пока эксплуатационные характеристики не будут определены как удовлетворительные/приемлемые на итерации этапа 136. На этом этапе процесс 130 поиска и устранения неполадок завершен, и, если квалификационные работы и работы по вводу в эксплуатацию выполнены успешно (на этапе 140), изменения, выполненные в ходе процесса 130 (т.е. как отражено в конечном состоянии имитирующей системы AVI после конечной итерации этапа 134) применяются к проблемной станции AVI на этапе 142. В то время как этап 142 обычно требует остановки производства на оборудовании промышленной линии, при внесения изменений в процесс 130 (и, возможно, также для некоторого сокращения квалификационных работ/работ по вводу в эксплуатацию) время простоя значительно короче, чем было бы в случае, если бы вместо этого процесс 130 поиска и устранения неполадок должен был выполняться непосредственно на месте на проблемной станции AVI как таковой. После применения изменений на проблемной станции AVI на этапе 142, производство (т.е. нормальная/производственная работа оборудования линии) возобновляется с этапа 144.

Хотя процесс 100 был описан в отношении поиска и устранения неполадок проблемной станции AVI, понятно, что вместо этого процесс 100 можно использовать для улучшения (например, для дальнейшей оптимизации эффективности контроля или повышения рентабельности и т.д.) станции AVI, которая уже работает достаточно хорошо. Более того, несмотря на то, что процесс 100 был описан в отношении этапа наполнения/укупорки фармацевтической производственной линии, понятно, что вместо этого процесс 100 можно использовать на другом этапе (например, при проверке продукта после сборки устройства или при проверке маркировки и/или упаковки продукта и т.д.) и/или вместо этого можно использовать в нефармацевтическом контексте (например, в другом контексте с относительно строгими стандартами качества). Принимая во внимание, что на фиг. 1А и 1В изображен процесс 100 поиска и устранения неполадок станции AVI оборудования промышленной линии путем создания и использования имитирующей станции AVI, на фиг. 2 изображен пример процесса 200, при котором станция AVI оборудования промышленной линии модернизируется для имитации эксплуатационных характеристик лабораторной установки AVI. Оборудование промышленной линии, показанное на фиг. 2, содержит одну или несколько станций AVI и может быть оборудованием линии любого типа, например, которое описано выше в связи с фиг. 1А и 1В или ниже со ссылкой на фиг. 3 (т.е. оборудование 302 промышленной линии).

На этапе 202 оборудование промышленной линии работает в нормальном/производственном режиме работы, например, для контроля этапа наполнения/укупорки конкретного лекарственного продукта (например, наполняемых лекарственным средством шприцов). Как обсуждалось выше в связи с фиг. 1А и 1В, процесс 200, показанный на фиг. 2, может вместо этого применяться к другому этапу контроля (например, к сборке устройства, упаковке и т.д.), и/или процесс 200 может использоваться в нефармацевтическом контексте. Верхняя горизонтальная линия/стрелка на фиг. 2, начиная с этапа 202 и заканчивая этапом 220 (описанной ниже), представляет собой непрерывный контроль производственной линии с использованием оборудования промышленной линии. Г оризонтальная ось на фиг. 2 обычно представляет

- 5 047109 время, но не обязательно в масштабе, и фиг. 2 не обязательно (но может) представлять порядок операций (например, этап 202 может выполняться до или после начала этапа 204). На этапе 204 принимается решение об адаптации оборудования промышленной линии для использования при контроле наполнения/укупорки для нового лекарственного продукта. Новый продукт может потребовать пользовательских изменений одной или нескольких станций AVI оборудование промышленной линии по разным причинам. Например, новый лекарственный продукт может быть менее прозрачным, чем предыдущий продукт (например, требуя большей интенсивности света для формирования изображений), или может быть помещен в контейнер другого типа с другими типами и/или областями потенциальных дефектов и т.д.

Далее, в процедуре 210 разработки используется лабораторная установка для разработки станции AVI, адаптированной к новому лекарственному продукту. В рамках процедуры 210 разработки на этапе 212 система формирования изображений (одна или несколько камер и любые связанные оптические компоненты) лабораторной установки захватывает изображения освещенных образцов (например, жидких или лиофилизированных продуктов) в контейнерах (например, шприцах или флаконах). На этапе 214 с помощью захваченных изображений пользователь лабораторной установки разрабатывает рецептуру/алгоритм контроля и настраивает различные параметры лабораторной установки, стремясь достичь желаемых эксплуатационных характеристик (например, меньшее, чем пороговое количество ложноположительных и/или ложноотрицательных результатов для определенного типа(-ов) дефектов). Настроенные параметры могут включать в себя любые настройки, типы, положения и/или другие характеристики программного обеспечения, аппаратного обеспечения для формирования изображений, осветительного аппаратного обеспечения и/или аппаратного обеспечения компьютера. Например, пользователь может настроить параметры интенсивности света, параметры камеры, типы объектива камеры или другие оптические компоненты, геометрические параметры системы формирования изображений и освещения и т.д. Следует понимать, термин пользователь, используемый при раскрытии данного изобретения, может относиться к одному лицу или группе из двух или более лиц. В некоторых сценариях пользователь может разработать совершенно новый программный алгоритм на этапе 214.

На этапе 216 пользователь выполняет работы по определению характеристик и квалификационные работы, чтобы определить, удовлетворительно ли работает лабораторная установка/станция, разработанная/настроенная на этапе 214 (например, в соответствии с применимыми нормами). В противном случае лабораторная установка/станция может использоваться для дальнейшей разработки/настройки на другой итерации этапа 214, что также может потребовать захвата дополнительных изображений на другой итерации этапа 212. Этапы 212, 214, 216 процедуры 210 разработки могут повторяться для любого количества итераций, пока результаты работы по определению характеристик/квалификационных работ на этапе 216 не будут признаны удовлетворительными.

Когда результаты признаны удовлетворительными, и новый продукт готов к промышленному производству, оборудование промышленной линии останавливается, а аппаратное и/или программное обеспечение станции AVI оборудования линии обновляется на этапе 220 для имитации эксплуатационных характеристик лабораторной установки. Хотя это явно не показано на фиг. 2, процесс имитации на этапе 220 может включать процедуру, аналогичную циклической процедуре 120 установки на фиг. 1А (т.е. этапы 122, 124, 126), но с начальной итерацией этапа 122 (потенциально), не требующим создания ввиду того, что обновляемая станция AVI уже существует. Действительно, в некоторых сценариях первая итерация этапа 122 может быть полностью пропущена (т.е. если разработчики считают, что существующая станция AVI уже достаточно близка к лабораторной установке, чтобы сразу перейти к этапу инструмента сравнения изображений) и выполняться только для последующих итераций.

Разработчикам также может потребоваться выполнить ряд квалификационных работ на месте в ходе этапа 220 (после успешного обновления на основе инструмента сравнения изображений), что увеличивает время простоя оборудования линии. Однако на это может требоваться гораздо меньше времени, чем на квалификационные работы во время процедуры 210 разработки, и в любом случае время простоя оборудования линии значительно сокращается за счет того, что работы по разработке (во время процедуры 210) ведутся в автономном режиме. На этапе 222, после успешного квалификационного испытания, производство на оборудовании промышленной линии возобновляется, но уже с новым продуктом.

В некоторых сценариях как процесс 100, так и процесс 200 реализуются последовательно. Например, если определено, что станция AVI оборудования линии генерирует недопустимое количество ложнопозитивных результатов (т.е. обнаруживает существенные дефекты там, где таких дефектов не существует), процесс 100 может использоваться для создания и настройки имитирующей станции AVI. После этого с помощью имитирующей станции AVI можно определить, что необходимы другие аппаратные компоненты (например, светодиодное кольцо вместо нескольких направленных ламп). После квалификационного испытания нового проекта на имитирующей станции AVI процесс 200 может быть использован при обновлении станции AVI в оборудовании линии для гарантии того, что модернизированная станция точно/в достаточной степени соответствует эксплуатационным характеристикам имитирующей станции.

На фиг. 3 представлена упрощенная блок-схема примера системы 300, которая может реализовывать описанные в данном документе методы. В частности, на фиг. 3 изображен вариант осуществления, в

- 6 047109 котором имитирующая станция AVI используется для поиска и устранения неполадок станции AVI оборудования промышленной линии. Таким образом, например, система 300 может реализовывать и/или использоваться для реализации процесса 100, показанного на фиг. 1А и 1В.

Как видно на фиг. 3, система 300 содержит оборудование 302 промышленной линии и имитирующую станцию 304 AVI. Оборудование 302 линии может представлять собой любое оборудование, предназначенное для промышленной эксплуатации, имеющее от N(N>1) станций 310-1 AVI до 310-N (также совместно называемых станциями 310 AVI). В качестве одного примера оборудование 302 линии может представлять собой оборудование линии Bosch® 296S. В примере на фиг. 3 i-я станция 310-i AVI оборудования 302 линии требует поиска и устранения неполадок (или, альтернативно, нацелена на оптимизацию), где i равно 1, N или любому числу от 1 до N. Каждая из станций 310 AVI может отвечать за захват изображений, которые будут использоваться для контроля различных аспектов контейнеров и/или образцов внутри контейнеров. Например, первая станция 310-1 AVI может захватывать изображения вида сверху шприцев или флаконов для проверки на наличие трещин или сколов, вторая станция 310-2 AVI может захватывать изображения вида сбоку для проверки содержимого шприца или флакона (например, жидкие или лиофилизированные лекарственные продукты) на наличие инородных частиц и так далее.

На фиг. 3 показаны в виде упрощенной блок-схемы основные компоненты i-й станции 310-i AVI. В частности, станция AVI 310-i содержит систему 312 формирования изображений, систему 314 освещения и аппаратное обеспечение 316 для позиционирования образцов. Следует понимать, что другие станции 310 AVI (если таковые имеются) могут быть аналогичными, но потенциально с другими типами компонентов и конфигурациями, в зависимости от назначения каждой конкретной станции 310.

Система 312 формирования изображений содержит одно или несколько устройств формирования изображений и, возможно, связанные оптические компоненты (например, дополнительные объективы, зеркала, фильтры и т.д.) для захвата изображений каждого образца (например, контейнера с лекарственным препаратом). Устройства формирования изображений могут представлять собой, например, камеры с датчиками на приборах с зарядовой связью (CCD). Используемый здесь термин камера или устройство формирования изображений может относиться к любому подходящему типу устройства формирования изображений (например, к камере, которая захватывает часть частотного спектра, видимого человеческому глазу, или к инфракрасной камере и т.д.). Система 314 освещения содержит одно или несколько осветительных устройств для освещения каждого образца для формирования изображений, таких как, например, матрицы светоизлучающих диодов (LED) (например, панель или кольцевое устройство). Аппаратное обеспечение 316 для позиционирования образцов может содержать любые аппаратные средства, которые удерживают или иным образом поддерживают образцы, и, возможно, аппаратные средства, которые транспортируют и/или иным образом перемещают образцы для станции 310-i AVI. Например, аппаратное обеспечение 316 для позиционирования образцов может содержать звездочку, карусель, роботизированный манипулятор и т.д. В некоторых вариантах осуществления, в зависимости от назначения станции 310-i AVI, аппаратное обеспечение 316 для позиционирования образцов также содержит аппаратное обеспечение для перемешивания каждого образца. Если станция 310-i AVI проверяет наличие посторонних частиц в жидкости, например, аппаратное обеспечение 316 для позиционирования образцов может содержать компоненты, которые поворачивают/вращают, переворачивают и/или встряхивают каждый образец.

Оборудование 302 линии также содержит блок 320 обработки данных и запоминающее устройство 322. Блок 320 обработки данных может содержать один или несколько процессоров, каждый из которых может представлять собой программируемый микропроцессор, который исполняет программные команды, хранящиеся в запоминающем устройстве 322, с целью исполнения некоторых или всех программноуправляемых функций оборудования 302 линии, описанных в данном документе. В качестве альтернативы или дополнения некоторые процессоры в блоке 320 обработки данных могут представлять собой процессоры других типов (например, специализированные интегральные микросхемы (ASIC), программируемые пользователем вентильные матрицы (FPGA) и т.д.), и некоторые функциональные возможности блока 320 обработки данных, описанные в данном документе, альтернативно могут быть реализованы в аппаратном обеспечении. Запоминающее устройство 322 может содержать одно или несколько энергозависимых и/или энергонезависимых запоминающих устройств. Запоминающее устройство 322 может содержать запоминающие устройства любого подходящего типа или типов, таких как постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флеш-память, твердотельный накопитель (SSD), накопитель на жестком диске (HDD) и т.д. В совокупности запоминающее устройство 322 может хранить одно или несколько программных приложений, данные, принятые/используемые этими приложениями, и данные, выводимые/генерируемые этими приложениями.

Блок 320 обработки данных и запоминающее устройство 322 вместе выполнены с возможностью управления/автоматизации работы станций 310 AVI и обработки изображений, захваченных/сгенерированных станциями 310 AVI, для обнаружения соответствующих типов дефектов контейнеров и/или содержимого контейнера (например, лекарственного продукта). В альтернативном варианте осуществления функциональные возможности блока 320 обработки данных и/или запоминающего уст

- 7 047109 ройства 322 распределены между N различными блоками обработки данных и/или запоминающими устройствами, соответственно, каждое из которых относится к своей станции из станций 310-1-310-N AVI. В еще одном варианте осуществления часть функциональных возможностей блока 320 обработки данных и запоминающего устройства 322 (например, для транспортировки, перемешивания и/или формирования изображений образцов) распределена между станциями 310 AVI, в то время как другие функциональные возможности блока 320 обработки данных и запоминающего устройства 322 (например, для обработки образцов изображений для обнаружения дефектов) реализуются центральным блоком обработки данных. В некоторых вариантах осуществления по меньшей мере часть блока 320 обработки данных и/или запоминающего устройства 322 включена в вычислительную систему (например, специально запрограммированный компьютер общего назначения), которая является внешней по отношению к оборудованию 302 линии (и, возможно, удаленной от него). В запоминающем устройстве 322 хранятся изображения образцов (контейнера/продукта), захваченные станциями 310 AVI, а также хранится программа 326 AVI, которая при выполнении блоком 320 обработки данных одновременно (1) осуществляет захват изображений станциями 310 AVI и (2) обрабатывает захваченные изображения для обнаружения дефектов (например, как обсуждалось выше). Для станции 310-i AVI, например, программа 326 AVI содержит соответствующую часть, обозначенную на фиг. 3 как программа 328. В качестве примера одного варианта осуществления программа 328 может инициировать систему 312 формирования изображений для захвата изображений, когда образцы освещаются системой 314 освещения, и может управлять аппаратным обеспечением 316 для позиционирования образцов с целью помещения образца в правильное положение в соответствующее время, и, возможно, перемешивания образца в соответствии с профилем перемешивания в соответствующее время. После того, как изображения захвачены и сохранены как изображения 324, программа 328 обрабатывает изображения 324 для обнаружения дефектов конкретного типа, связанных со станцией 310-i. Как отмечалось выше, в некоторых вариантах осуществления часть программы 328, которая обрабатывает изображения, может выполняться другим процессором, компонентом и/или устройством, а не частью программы 328, которая управляет формированием изображений, перемешиванием и т.д.

Имитирующая станция 304 AVI может быть представлена как лабораторная установка, которая была произведена в попытке воспроизвести (в достаточной степени) эксплуатационные характеристики конкретной станции 310-i AVI (например, в ответ на информацию о том, что станция 310-i AVI имеет неприемлемый уровень ложноположительных или ложноотрицательных результатов). Имитирующая станция 304 AVI содержит имитирующую систему 332 формирования изображений, имитирующую систему 334 освещения и имитирующее аппаратное обеспечение 336 для позиционирования образцов. Имитирующая система 332 формирования изображений содержит одно или несколько устройств формирования изображений (и, возможно, связанных оптических компонентов) для захвата изображений каждого образца (например, контейнера с лекарственным продуктом), имитирующая система 334 освещения содержит одно или несколько осветительных устройств для освещения каждого образца при формировании изображений, а аппаратное обеспечение 316 для позиционирования образцов содержит аппаратное обеспечение, которое удерживает или иным образом поддерживает образцы, и, возможно, аппаратное обеспечение, которое транспортирует и/или иным образом перемещает образцы.

В идеальном варианте имитирующая система 332 формирования изображений, имитирующая система 334 освещения и имитирующее аппаратное обеспечение 336 для позиционирования образцов должны точно воспроизводить систему 312 формирования изображений, систему 314 освещения и аппаратное обеспечение 316 для позиционирования образцов, соответственно, станции 310-i AVI. И что еще более важно, имитирующая станция 304 AVI в целом должна в точности воспроизводить эксплуатационные характеристики станции 310-i AVI. Однако на практике добиться точного соответствия эксплуатационных характеристик очень сложно. Как отмечалось выше в связи с фиг. 1 А, различные ручные и/или автоматизированные методы обратного инжиниринга могут быть использованы для создания имитирующей станции 304 AVI (например, на этапе 122), которая первоначально имеет эксплуатационные характеристики, близкие к эксплуатационным характеристикам станции 310-i AVI. После первоначального создания имитирующей станции 104 AVI, как обсуждалось выше со ссылкой на этап 126, показанный на фиг. 1А, программное обеспечение может быть использовано для облегчения точной настройки имитирующей станции 304 AVI для повышения соответствия эксплуатационных характеристик. С этой целью имитирующая станция 304 AVI соединена с вычислительной системой 340 (например, со специально запрограммированным компьютером общего назначения), которая содержит блок 342 обработки данных и запоминающее устройство 344. Вычислительная система 340 может быть отделена от имитирующей станции 304 AVI или являться ее неотъемлемой частью, а также может быть расположена рядом или удаленно от имитирующей станции 304 AVI. В некоторых вариантах осуществления, например, вычислительная система (или ее часть) принимает изображения от имитирующей станции 304 AVI через интернет-канал.

Блок 342 обработки данных может содержать один или несколько процессоров, каждый из которых может представлять собой программируемый микропроцессор, который исполняет программные команды, хранящиеся в запоминающем устройстве 344, с целью исполнения некоторых или всех программно

- 8 047109 управляемых функций вычислительной системы 340, описанных в данном документе. В качестве альтернативы или дополнения некоторые процессоры в блоке 342 обработки данных могут представлять собой процессоры других типов (например, ASIC, FPGA и т.д.), и некоторые функциональные возможности блока 342 обработки данных, описанные в данном документе, альтернативно могут быть реализованы в аппаратном обеспечении. Запоминающее устройство 344 может содержать одно или несколько энергозависимых и/или энергонезависимых запоминающих устройств. Запоминающее устройство 344 может содержать запоминающие устройства любого подходящего типа или типов, таких как ROM, RAM, флешпамять, SSD, HDD и т.д. В совокупности запоминающее устройство 344 может хранить одно или несколько программных приложений, данные, принятые/используемые этими приложениями, и данные, выводимые/генерируемые этими приложениями.

В запоминающем устройстве 344 также хранятся изображения 346, захваченные имитирующей системой 332 формирования изображений, и изображения 348, захваченные системой 312 формирования изображений станции 310-i AVI. В запоминающем устройстве 344 также хранится инструмент 350 сравнения изображений (ICT) и программа 352 AVI. Как правило, инструмент 350 сравнения изображений облегчает процесс настройки имитирующей станции 304 AVI таким образом, что ее эксплуатационные характеристики соответствуют станции 310-i AVI (например, как описано выше в связи с этапом 126 и ниже в связи с фиг. 6 и 7), а программа 352 AVI используется для управления созданной и настроенной имитирующей станцией 304 AVI во время процесса поиска и устранения неполадок или оптимизации. Например, программа 352 AVI может быть точной (или очень близкой) копией программы 328, например, и может быть загружена или выгружена с оборудования 302 линии, с портативного запоминающего устройства, из Интернета или из другого подходящего источника. В других вариантах осуществления программа 352 AVI включает в себя только часть программы 328 (например, исключая часть, которая используется для управления транспортировкой образцов в соответствующее положение формирования изображений). Вычислительная система 340 соединена с устройством 360 вывода, которое может визуальным и/или звуковым выходным устройством любого типа (например, компьютерным монитором, сенсорным экраном или другим дисплеем и/или динамиком вычислительной системы 340, или отдельным вычислительным устройством, имеющим дисплей и/или динамик и соединенным с вычислительной системой 340 и т.д.). Инструмент 350 сравнения изображений и программа 352 AVI могут заставить блок 360 вывода предоставлять различные визуальные и/или звуковые выходные данные разработчику или пользователю имитирующей станции 304 AVI. Например, инструмент 350 сравнения изображений может заставить блок 360 вывода отображать различные показатели, представляющие различия между изображениями 346 и 348 (как обсуждается далее ниже), а программа 352 AVI может заставить блок 360 вывода отображать информацию, такую как индикаторы, отображающие, являются ли конкретные образцы дефектными

Тогда как на фиг. 3 изображен вариант осуществления, в котором имитирующая станция AVI (станция 304) используется для поиска и устранения неполадок станции AVI оборудования промышленной линии (станция 310-i оборудования 302 линии), понятно, что аналогичные компоненты могут использоваться для варианта осуществления, в котором станция AVI оборудования промышленной линии обновляется/модифицируется для воспроизведения эксплуатационных характеристик лабораторной установки/станции (например, как в процессе 200 на фиг. 2). В таком варианте осуществления i-я станция 310-i AVI является имитирующей станцией, которая имитирует станцию 304 AVI (т.е. лабораторную установку). Кроме того, в таком варианте осуществления инструмент 350 сравнения изображений может вместо этого находиться в памяти 322 оборудования 302 линии. В качестве альтернативы инструмент 350 сравнения изображений может оставаться в вычислительной системе 340.

В некоторых вариантах осуществления система 300 обеспечивает доступ к удаленным площадкам (например, глобальным производственным площадкам), чтобы удаленные пользователи могли иметь прямой доступ к лабораторным установкам, независимо от соответствующих лабораторий и производственных площадок. Такой подход обеспечивает совместную работу в режиме реального времени между сайтами/пользователями в сети и позволяет, например, локализовать поиск и устранение неполадок и/или поддержку разработки на централизованном глобальном объекте, при этом используя опыт различных людей (инженеров и т.д.). Таким образом, сетевой подход может привести к более эффективной организационной структуре. На фиг. 4 и 5 показаны примеры лабораторных установок, любая из которых может быть имитирующей станцией 304 AVI, показанной на фиг. 3 (например, имитирующая станция AVI процесса 100) или, в качестве альтернативы, лабораторная станция AVI, которая используется в качестве платформы разработки (например, лабораторная установка, используемая в процессе 200). Следует понимать, что эти лабораторные установки/станции являются просто иллюстративными, и что существует практически неограниченное количество альтернативных типов и конфигураций. Обратимся сначала к фиг. 4А, первая лабораторная установка 400 может использоваться, например, для проверки крышек контейнеров (например, крышек шприцев, наполненных жидким лекарственным продуктом) на наличие дефектов (например, трещин, сколов и т.д.). Установка 400 содержит камеру 402 для формирования изображений контейнеров и светодиодное кольцо 404 для освещения каждого контейнера во время формирования изображений этого контейнера. Аппаратное обеспечение 406 для позиционирования об

- 9 047109 разцов содержит платформу 406А и звездочку 406В, установленную на платформе 406А. Камера 402 и светодиодное кольцо 404 также могут быть установлены (непосредственно или опосредованно) на платформе 406А. Звездочка 406В способна удерживать контейнеры (например, шприцы) в крепежных деталях по периферии звездочки 406В, и звездочка 406В вращается относительно платформы 406А для перемещения каждого контейнера в положение формирования изображений (т.е. по центру светодиодного кольца 404 и непосредственно под камерой 402). Однако в некоторых вариантах осуществления и/или сценариях важно только, чтобы установка 400 соответствовала или была близка к эксплуатационным характеристикам станции AVI оборудования линии в отношении формирования изображений одного контейнера (например, освещения, оптики и т.д.), вместо того, чтобы последовательно отображать ряд последовательных контейнеров. Таким образом, в некоторых вариантах осуществления звездочка 406В не обязательно должна быть спроектирована с возможностью удержания нескольких контейнеров или вращения, даже если имитируемая станция AVI (или станция AVI, для которой проводятся действия по разработке) требует такого аппаратного обеспечения или функциональных возможностей. На фиг. 4В изображены примеры изображений 450, которые могут быть захвачены установкой 400, для варианта осуществления, в котором установка 400 (и соответствующая станция AVI оборудования линии) захватывает изображения шприцев с видом сверху вниз для обнаружения дефектов на кромке шприца. Как видно из этого примера, дефекты могут включать сколы с различным местоположением и размером, а также трещины на кромке шприца.

На фиг. 4С изображен пример изображения 460, представляющий изображение, захваченное станцией AVI оборудования линии (например, станцией 310-i AVI, показанной на фиг. 3), при этом на фиг. 4D изображен пример изображения 470, представляющий изображение, захваченное имитирующей станцией AVI (например, установкой 400) после успешного поиска и устранения неполадок. В данном примере станция AVI оборудования линии может иметь неприемлемо высокий процент ложноположительных срабатываний из-за отражений света, видимых на изображении 460, а изменения во время устранения неполадок (например, переход на светодиодное кольцо от другого типа осветительного устройства или изменение ориентации камеры или осветительного устройства (устройств) относительно контейнера и т.д.) приводят к значительно меньшему количеству отражений, как видно на изображении 470. Уменьшение артефактов, связанных с отражениями света, может уменьшить вероятность затенения дефектов и/или уменьшить вероятность того, что отражение будет ошибочно интерпретировано как дефект.

Обратимся теперь к примеру на фиг. 5, лабораторная установка 500 может использоваться, например, для осмотра шприцев сбоку (например, боковых сторон шприцев, наполненных жидким лекарственным продуктом) на наличие дефектов (например, трещин, сколов, пятен и т.д. на боковой стенке контейнера-шприца и/или недопустимых типов и/или количества частиц внутри лекарственного продукта). Установка 500 содержит камеру 502 для формирования изображений контейнеров и светодиодную подсветку 504 для освещения каждого контейнера сзади во время формирования изображений этого контейнера. Аппаратное обеспечение для позиционирования образцов содержит карусель 506, которая удерживает несколько шприцев и размещает один шприц между камерой 502 и светодиодной подсветкой 504. Карусель 506 может вращаться для перемещения каждого шприца в положение формирования изображений. Как отмечалось выше, в некоторых вариантах осуществления и/или сценариях важно только, чтобы установка 500 соответствовала или была близка к эксплуатационным характеристикам станции AVI оборудования линии в отношении формирования изображений конкретного образца, а не имела такую же способность последовательного формирования изображения ряда последовательных образцов. Таким образом, в некоторых вариантах осуществления карусель 506 не обязательно должна быть спроектирована с возможностью удержания нескольких шприцов или вращения, даже если имитируемая станция AVI (или станция AVI, для которой проводятся действия по разработке) требует такого аппаратного обеспечения или функциональных возможностей.

На фиг. 6 изображен пример инструмента 600 сравнения изображений (например, инструмента 350 сравнения изображений, показанного на фиг. 3), который может использоваться для упрощения создания и/или обновления имитирующей станции AVI (например, лабораторной установки в процессе 100, показанном на фиг. 1, станции AVI оборудования линии для процесса 200, показанного на фиг. 2, или имитирующей станции 304 AVI, показанной на фиг. 3). Как видно на фиг. 6, инструмент 600 сравнения изображений принимает исходные изображения 602 и имитирующие изображения 604, где исходные изображения 602 могут быть изображениями, захваченными станцией AVI оборудования линии, а имитирующие изображения 604 могут быть изображениями, захваченными лабораторной установкой, или наоборот, в зависимости от того, реализуется ли процесс 100 или процесс 200. В некоторых вариантах осуществления предполагается, что изображения 602, 604 используют форматы сжатия изображений без потерь.

Инструмент 600 сравнения изображений содержит блок 612 генерирования показателей и блок 614 обратной связи. Блок 612 генерирования показателей обрабатывает изображения 602 и изображения 604, и генерирует/вычисляет показатели, указывающие на характеристики изображений 602, 604, и на основе этих показателей вычисляет один или несколько дополнительных показателей, указывающих на разли

- 10 047109 чия между изображениями 602, 604. В некоторых вариантах осуществления блок 612 генерирования показателей вычисляет показатель(-и) на основе поочередной обработки изображений, т.е. путем сравнения одного из исходных изображений 602 с одним из имитирующих изображений 604. В других вариантах осуществления блок 612 генерирования показателей вычисляет каждый из показателей на основе наборов множества исходных изображений 602 и множества имитирующих изображений 604. Например, набор из х изображений (х>1) из исходных изображений 602 может быть усреднен или наложен друг на друга, а набор из х изображений из имитирующих изображений 604 может быть усреднен или наложен друг на друга, возможно, после того, как будут применимы методы выравнивания. Такой подход может, например, уменьшить влияние посторонних изображений. Усреднение/наложение/выравнивание может выполняться тем же вычислительным устройством или процессором, что реализует, например, инструмент 600 сравнения изображений, или другим устройством или процессором. В альтернативном варианте осуществления (например, если используются камеры с однострочной разверткой) х изображений из исходных изображений 602 сшиваются вместе, а также х изображений из имитирующих изображений 604 сшиваются вместе до расчета каких-либо показателей блоком 612 (например, в вариантах осуществления, где каждый контейнер поворачивается для получения полного обзора контейнера в 360°). Возможна также иная предварительная обработка изображений 602 и 604 (например, генерирование изображения, в котором каждый пиксель имеет максимальную интенсивность для этого местоположения пикселя среди всех из х изображений и т.д.). Для простоты объяснения оставшееся описание по фиг. 6 и описание по фиг. 7 относятся только к одному исходному изображению 602 и одному имитирующему изображению 604. Следует, однако, понимать, что возможны вышеуказанные варианты или другие подходящие варианты. Некоторые конкретные примеры показателей, которые может вычислить блок 612 генерирования показателей, обсуждаются ниже со ссылкой на фиг. 7.

Блок 614 обратной связи инициирует, на основе показателя(-ей) разности, сгенерированного блоком 612 генерирования показателей, единичные или множественные выходные данные, которые должны быть представлены пользователю (например, инженеру, разработчику, технику и т.д.) в визуальном и/или звуковом формате. Например, выходные данные могут генерироваться (например, отображаться и/или выпускаться) блоком 360 вывода, показанным на фиг. 3. В некоторых вариантах осуществления блок 614 обратной связи прямо предоставляет пользователю (например, в графическом пользовательском интерфейсе (GUI)) сгенерированный показатель(-и). Например, блок 614 обратной связи может осуществлять показ пользователю показателей уровня интенсивности, показателей расфокусировки изображения и/или других показателей.

В других вариантах осуществления блок 614 обратной связи, вместо этого или дополнительно, генерирует одно или несколько пользовательских рекомендаций на основе одного или нескольких показателей. Например, блок 614 обратной связи может генерировать рекомендации по перемещению камеры, перемещению осветительного устройства, изменению интенсивности света, изменению настройки камеры и т.д. Другие примеры рекомендаций обсуждаются ниже со ссылкой на фиг. 7.

В некоторых вариантах осуществления блок 612 генерирования показателей и блок 614 обратной связи работают по существу в режиме реального времени, поскольку имитирующие изображения 604 захватываются системой формирования изображений имитирующей станции AVI (например, системой 332 формирования изображений) и/или поскольку имитирующие изображения 604 принимаются устройством или системой, реализующей инструмент 600 сравнения изображений (например, вычислительной системой 340). Таким образом, пользователь, например, может иметь возможность захватывать изображения имитирующих станций посредством выбора интерактивного элемента управления на графическом пользовательском интерфейсе (GUI), представленном в блоке 360 вывода, а затем почти сразу же просматривать соответствующие показатели и/или рекомендации, сгенерированные блоком 312 генерирования показателей и/или блоком 314 обратной связи. Таким образом, пользователь может быстро перемещаться по итерациям изменения имитирующей станции AVI (например, осуществляя подстройку позиций компонентов, настроек и т.д.) и наблюдать за влиянием изменений на производительность имитирующей станции AVI (т.е. как изменение может приблизить имитирующую станцию AVI к эксплуатационным характеристикам исходной станции AVI или отдалить ее от них). На фиг. 7 изображен пример алгоритма 700, который может быть реализован посредством инструмента 600 сравнения изображений (и более конкретно, блоком 612 генерирования показателей), который показан на фиг. 6. Как видно на фиг. 7, алгоритм 700 принимает одно исходное изображение 702 (например, одно из изображений 602) и одно имитирующее изображение 704 (например, одно из изображений 704) в качестве входных данных. Как отмечалось выше, эти одиночные изображения могут в некоторых вариантах осуществления быть комбинированными изображениями (например, усредненными), состоящими из нескольких изображений. В одном варианте осуществления алгоритм 700 реализован в виде программного кода на языке Python с использованием библиотеки OpenCV.

На этапе 712 алгоритм 700 определяет один или несколько общих параметров изображения (от Р1 до Pj, где j>1) для исходного изображения 702 и имитирующего изображения 704 и сравнивает эти параметры для проверки на соответствие. Общие параметры изображения могут представлять в целом параметры изображения, такие как, например, размер изображения, разрешение изображения, глубина цвета

- 11 047109 и/или формат файла изображения. Инструмент 600 сравнения изображений может определять общие параметры изображения, используя файлы конфигурации, например, которые вводятся или генерируются различными аппаратными компонентами (например, камерами) исходной и имитирующей станции AVI. Алгоритм 700 может реализовывать графический пользовательский интерфейс (GUI) (например, отображаемый блоком 360 вывода на фиг. 3) для указания любых различий в общих параметрах изображения. Таким образом, например, пользователь может легко обнаружить, когда камера (или последующая обработка) в исходной станции AVI каким-либо образом изменяет захваченные изображения (например, посредством кадрирования, преобразования формата, изменения размера и т.д.), и может вручную перенастроить имитирующую станцию AVI для воспроизведения этих операций обработки изображений.

На этапах 714А и 714В алгоритм 700 вычисляет один или несколько показателей (от С1 до Ck, где k>1) исходного изображения 702 и имитирующего изображения 704, соответственно. Этапы 714А и 714В могут предполагать, что общие параметры изображения изображений 702, 704 идентичны. Показатели могут представлять собой любые характеристики изображения, которые имеют или потенциально могут иметь отношение к точности контроля. Алгоритм 700 также включает в себя показатели, указывающие на различия между соответствующими показателями для двух изображений 702, 704 (обозначенных на фиг. 7 как ΔC1-ΔCk). Алгоритм может вычислять некоторые или все различия простым вычитанием (например, когда .\С1 равно абсолютному значению разницы между С1 для изображения 702 и С1 для изображения 704 и т.д.), например, или с использованием других методов (таких как поэлементное вычитание, скалярное произведение и т.д.).

В качестве одного примера показатели могут включать в себя один или несколько показателей интенсивности света. Интенсивность света может быть измерена одним или несколькими способами в зависимости от варианта осуществления. Например, для каждого из изображений 702, 704 алгоритм 700 может усреднить значения интенсивности всех пикселей, чтобы сгенерировать среднее значение и сравнить (например, вычесть) средние значения для изображений 702, 704. В качестве другого примера алгоритм 700 может сгенерировать гистограмму интенсивности пикселей для каждого из изображений 702, 704, а затем использовать известные методы для математического сравнения гистограмм. Некоторые методы, которые можно использовать и которые обеспечивают однозначный результат, отражающий разницу между гистограммами, включают метод расстояния Бхаттачарьи, метод корреляции, метод хиквадрата и метод пересечения. Оптимальный метод для использования может зависеть от характера рассматриваемых изображений. Анализы интенсивности на основе гистограмм позволяют алгоритму 700 учитывать динамический диапазон интенсивностей в каждом изображении (т.е. разброс между минимальными и максимальными значениями интенсивности).

Для сложных изображений показатели интенсивности, такие как рассмотренные выше, могут быть недостаточными, поскольку неравномерное освещение может непропорционально отражаться от подмножества граней контейнера и его непосредственного окружения. Кроме того, грубые воздействия в результате неравномерного освещения окружающей среды (например, от окон или флуоресцентных потолочных светильников) могут привести к длинноволновым плавным колебаниям интенсивности изображения. В некоторых вариантах осуществления алгоритм 700 использует низкочастотный фильтр для захвата таких изменений. Дополнительно или в качестве альтернативы алгоритм 700 может вычислять быстрое преобразование Фурье (FFT) для каждого из изображений 702, 704 и обрабатывать соответствующие выходные данные FFT, чтобы определить, распределен ли частотный состав для изображений 702, 704 аналогичным образом.

В качестве другого примера показатели могут включать в себя один или несколько показателей, указывающих на расфокусировку изображения. Например, алгоритм 700 может вычислять оператор Лапласа для каждого из изображений 702, 704 для генерирования однозначного параметра, который можно легко сравнить. Если алгоритм 700 реализован в виде программного кода на языке Python с использованием библиотеки OpenCV, расфокусировка, например, может быть вычислена для каждого из изображений 702, 704 как:

Расфокусировка = cv2.оператор Лапласа (изображение, cv2.CV_64F).var()

Показатели оператора Лапласа также могут указывать на движение изображаемого контейнера/образца относительно камеры (камер) формирования изображения. В промышленных системах AVI нередки случаи, когда образец быстро перемещается относительно станции контроля. Например, для получения четкого изображения в промышленной системе часто используется короткое время выдержки камеры, стробирование световых импульсов, движение компонентов формирования изображения для отслеживания детали или комбинации одной или нескольких из этих функций. Если имитирующая станция AVI не совпадает с исходной станцией AVI по одному или нескольким из этих признаков, вероятно, возникнет некоторая степень размытости изображения при движении или появление полос. Результат похож на расфокусировку, но имеет направленный компонент. Таким образом, показатели, вычисленные с использованием метода Лапласа, также могут указывать на движение. Помимо оператора Лапласа, для получения дополнительной информации о резкости изображения можно использовать фильтры первого

- 12 047109 порядка, такие как оператор Собела или Превитта. В качестве другого примера показатели могут включать в себя один или несколько показателей, указывающих на шум камеры. В современных цифровых промышленных камерах шум, скорее всего, возникает только на самой матрице. Сразу после оцифровки сигнала, он, как правило, больше не подвержен искажению. Поскольку марка и модель камеры в некоторых случаях могут быть легко согласованы при создании имитирующей станции AVI, уровни шума могут быть одинаковыми. Например, кумулятивный уровень шума для конкретного пикселя в 8-битном изображении серой шкалы может находиться в пределах диапазона 0-10 из динамического диапазона 0255 для конкретной марки и модели камеры. Это делает шум при комнатной температуре незначительным при большинстве применений AVI. Однако вполне вероятно, что в некоторых случаях уровни шума камеры будут влиять на эффективность контроля, и/или может оказаться невозможным найти и использовать модель камеры из-за ее устаревания. Для цифровых изображений шум камеры обычно носит высокочастотный характер. Таким образом, алгоритм 700 может генерировать показатели, указывающие на шум камеры, путем вычисления FFT для каждого из изображений 702, 704 и обработки выходных данных FFT для генерирования показателей, указывающих уровень или относительный уровень высокочастотных компонентов.

В качестве другого примера показатели могут включать в себя один или несколько показателей, указывающих на выравнивание и масштабирование изображаемых контейнеров (и, возможно, других отображаемых объектов, таких как части аппаратного обеспечения для позиционирования образцов). Например, алгоритм 700 может определять относительное вращение (например, угол вертикальной стенки изображаемого контейнера относительно вертикальной или горизонтальной оси самого изображения, т.е. относительно осей, установленных кадром камеры) и поперечные смещения/сдвиги и/или смещения/сдвиги глубины шкалы (например, определенные на основе длины и/или ширины, измеренной в пикселях) изображаемого контейнера.

На этапе 716 алгоритм 700 генерирует взвешенную сравнительную оценку для пары изображений 702, 704 на основе показателей, вычисленных на этапах 714А и 714В. В частности, в этом примере алгоритм 700 вычисляет оценку как SCORE=(W1*ΔC1)+(W2*ΔC2)+...+(Wk*ΔCk), где (как отмечалось выше) AC'i - показатель различия, соответствующий Ci для двух изображений 702, 704. Весовые коэффициенты W1, W2, ... Wk могут отражать важность достижения сходства для каждого показателя, особенно в отношении того, какие показатели более или менее важны для достижения эквивалентной эффективности контроля AVI. Значения веса могут в некоторой степени зависеть от области применения. В некоторых вариантах осуществления или сценариях, например, уровни интенсивности пикселей могут быть более важными, чем расфокусировка, и, следовательно, различия в интенсивности могут иметь больший вес, чем различия в скалярных значениях Лапласа (или других показателях, указывающих на расфокусировку).

Как отмечалось выше в связи с фиг. 6, инструмент 600 сравнения изображений может заставить блок 360 вывода отображать некоторые или все вычисленные показатели (например, только показатели различия от ΔC1-ΔCk или только показатели различия, которые превышают соответствующий порог, и т.д.) в режиме реального времени. В качестве альтернативы или дополнения инструмент 600 может заставить блок 360 вывода отображать оценку, сгенерированную на этапе 716. В вариантах осуществления, где оценка вычисляется, отображается и считается достаточной (например, выше некоторого заранее определенного порога), инженер или другой пользователь может решить, что имитирующая станция AVI в достаточной мере соответствует исходной станции AVI, и перейти к использованию имитирующей станции AVI для поиска и устранения неполадок и/или оптимизации.

Если оценка недостаточна или если оценка не предоставлена, а отдельные показатели не кажутся достаточно близкими, пользователь может проанализировать отображаемые показатели, чтобы подстроить имитирующую станцию AVI по мере необходимости для достижения лучшего соответствия. Если показатели показывают, что имитирующее изображение 704 в целом является тусклым (например, имеет низкую среднюю интенсивность) по сравнению, например, с исходным изображением 702, пользователь может проверить настройки освещения или камеры (например, настройку интенсивности света, настройку ирисовой диафрагмы объектива, настройку усиления камеры, настройку времени выдержки камеры и т.д.) и/или переместить осветительное устройство ближе к образцу и т.д.

Существует несколько аспектов, связанных с источником освещения, которые могут влиять на интенсивность пикселей изображения. В целом, влияние, вероятно, будет видно невооруженным глазом по всему изображению при стандартном применении AVI. Для современных станций AVI обычно используются высококачественные промышленные светодиоды. При создании имитирующей станции AVI интенсивность может упасть, если светодиодный источник не расположен на правильном расстоянии от контейнера. Интенсивность падает пропорционально квадрату расстояния от источника, поэтому небольшая разница в расположении может заметно повлиять на итоговое изображение. После того, как его положение относительно контейнера задано, светодиодный источник все еще может изменять яркость из-за источника питания. После исключения всех других факторов можно использовать инструмент 600 сравнения изображений в режиме реального времени для точной настройки мощности и последующей

- 13 047109 яркости светодиодного источника. Методы обработки изображений, подобные приведенным выше, обеспечивают более точное и детальное решение, чем традиционный подход с использованием люксметров для измерения яркости источника света при применении AVI.

Некоторые оптические компоненты, такие как объективы, могут содержать ручные диафрагмы или другие компоненты, которые также могут влиять на общую интенсивность изображения (и, возможно, на другие характеристики изображения, например, на настройку диафрагмы, которая влияет на резкость изображения). Сюда зачастую входят ручные циферблаты или винты на объективе без цифровой обратной связи. В некоторых случаях эти компоненты также могут не иметь каких-либо видимых градуировок или линеек. Телецентрические объективы обычно используются на заводских автоматизированных станциях контроля для получения высококачественных изображений продуктов. Эти объективы имеют диафрагму с точечным отверстием, размер которой в некоторых моделях можно регулировать вручную. Это оказывает влияние на количество света, проходящего через объектив, а также характерное влияние на резкость изображения. Таким образом, рассматривая и комбинируя два фактора, пользователь, наблюдающий за показателями, может правильно установить характеристики объектива, связанные с интенсивностью.

Существенное, равномерное падение интенсивности на всем изображении также может свидетельствовать о неправильном размещении фильтра либо поперек источника освещения (например, поляризатор или рассеиватель), либо напротив камеры (например, альтернативный поляризатор или светофильтр). Таким образом, пользователь может попытаться отрегулировать размещение фильтра, заметив существенную разницу в интенсивности изображения.

В качестве другого примера, пользователь, изучающий гистограммы интенсивности для изображений 702, 704 и/или выходные данные низкочастотной фильтрации, может определить, существуют ли значительные локализованные различия в интенсивности между изображениями 702, 704. Если локализованные различия действительно существуют, пользователь может попытаться идентифицировать и удалить источник этих локализованных различий путем изучения изображений 702, 704 вместе с гистограммами и/или другими показателями.

В качестве другого примера, если показатели показывают, что контейнер на имитирующем изображении 704 смещен и/или неправильно масштабирован относительно контейнера на исходном изображении 702, пользователь может отрегулировать выравнивание (например, угол или поворот) контейнера и /или камеры, расстояние между контейнером и камерой, коэффициент масштабирования (например, тип объектива или настройку цифрового масштабирования) камеры и т.д.

В качестве другого примера, если показатели (например, разница в скалярных выходных данных Лапласа) показывают расфокусировку одного из изображений 702, 704 относительно другого, пользователь может отрегулировать расстояние между контейнером и камерой, скорость вращения электродвигателя, время выдержки камеры и т.д. Телецентрические линзы, которые часто используют на практике для контроля, обычно имеют крайне малую глубину резкости, так что небольшая ошибка в относительном расположении объектива и контейнера может привести к размытому изображению. Таким образом, даже небольшая разница в расстояниях может оказывать большое влияние на расфокусировку. Более того, как обсуждалось выше, некоторые из этих объективов имеют регулируемую диафрагму с точечным отверстием, которая может также стать одной из причин размытого изображения, если она некорректно установлена. Таким образом, пользователь также может настроить диафрагму, если показатели указывают на разницу в расфокусировке.

Другие показатели могут побудить пользователя настроить эти и/или другие аспекты имитирующей станции AVI, например, для достижения лучшего соответствия паразитных отражений на изображениях, наличия критических объектов на изображениях, динамического диапазона изображений, обесцвечивания изображений, контрастности изображений и т.д.

В некоторых вариантах осуществления, как отмечено выше, инструмент 600 сравнения изображений генерирует одну или несколько рекомендаций на основе показателей. Таким образом, например, инструмент 600 сравнения изображений может заставить блок 360 вывода отображать (и/или генерировать компьютерное голосовое сообщение, описывающее) любой из корректирующих методов, описанных выше (например, увеличение или уменьшение расстояния между камерой и контейнером и, возможно, увеличение или уменьшение диафрагмы объектива и т.д., если показатели, отражающие разницу в интенсивности и/или расфокусировке изображений 702, 704, превышают пороговые уровни и т.д.).

На фиг. 8 представлена блок-схема примера способа 800 для воспроизведения эксплуатационных характеристик станции AVI (например, станции 310-i AVI в сценарии поиска и устранения неполадок или лабораторной установки, используемой для разработки и т.д.). В рамках способа 800 в блоке 802 создана имитирующая станция AVI (например, имитирующая станция 304 AVI в сценарии поиска и устранения неполадок или станция 310-i AVI и т.д.), которая выполняет одну или несколько функций AVI исходной станции AVI. Блок 802 может быть реализован вручную путем обратного инжиниринга исходной станции AVI. Однако в некоторых вариантах осуществления блок 802 включает использование программного обеспечения для содействия в процессе обратного инжиниринга (например, путем интерпретации файлов CAD или выходных данных 3П-сканера). Блок 802 может включать, например, первую

-

Claims (33)

1. итерация этапа 122. В блоке 804 одно или несколько изображений контейнера (т.е. изображения контейнера в соответствующем положении формирования изображений на исходной станции AVI) захватываются системой формирования изображений (например, одной камерой) исходной станции AVI. В блоке 806 одно или несколько дополнительных изображений контейнера захватываются системой формирования изображений (например, одной камерой того же типа) имитирующей станции AVI. Например, блоки 804 и 806 могут быть аналогичны этапам 112 и 124 соответственно процесса 100. После этого в блоке 808 идентифицируют одно или несколько различий между изображением(-ями) контейнера, захваченным исходной станцией AVI, и изображением(-ями) контейнера, захваченным имитирующей станцией AVI. Блок 808 может быть выполнен блоком обработки данных (например, блоком 342 обработки данных), реализующим инструмент сравнения изображений (например, инструмент 350). Например, инструмент сравнения изображений может генерировать один или несколько показателей, отражающих различия, в блоке 808. Например, блок 808 может включать в себя этапы 714А и 714В алгоритма 700 и последующую генерацию показателей различия (например, показателей ΔC1-ΔCk на фиг. 7).

   В блоке 810 генерируется визуальная индикация различия(-й), идентифицированного в блоке 808 для оказания пользователю помощи в изменении имитирующей станции AVI. Визуальная индикация может содержать один или несколько показателей (например, разностных показателей), вычисленных, например, в блоке 808, и/или одну или несколько рекомендаций, основанных на этих показателях (например, как обсуждалось выше в связи с фиг. 6 и 7). Блок 810 может быть выполнен тем же блоком обработки данных, который выполняет блок 808, и может обуславливать представление, например, визуальной индикации (т.е. показателя(-ей) и/или рекомендаций) модулем вывода (например, модулем 360 вывода).

   В блоке 812 имитирующая станция AVI модифицируется на основе визуальной индикации, сгенерированной в блоке 810. Блок 812 может быть выполнен полностью пользователем (т.е. вручную) или может быть выполнен, по меньшей мере частично, автоматически (например, вычислительной системой 340, регулирующей цифровые настройки камеры или осветительного устройства имитирующей станции AVI и т.д.). Например, блок 812 может включать вторую (или более позднюю) итерацию этапа 122 процесса 100.

   Хотя системы, способы, устройства и их компоненты были описаны в рамках примерных вариантов осуществления, они не ограничиваются ими. Подробное описание следует интерпретировать как приведенное только в качестве примера, и в нем не изложен каждый возможный вариант осуществления настоящего изобретения, поскольку изложение каждого возможного варианта осуществления было бы непрактичным, если не невозможным. Могут быть реализованы многочисленные альтернативные варианты осуществления с использованием либо современной технологии, либо технологии, разработанной после даты подачи настоящего патента, которые, тем не менее, находятся в пределах формулы изобретения, определяющей объем настоящего изобретения. Специалисты в данной области техники поймут, что многочисленный ряд модификаций, изменений и комбинаций может быть выполнен применительно к описанным выше вариантам осуществления без отхода от объема настоящего изобретения и что такие модификации, изменения и комбинации необходимо рассматривать как попадающие в объем идеи настоящего изобретения.

   ФОРМУЛА ИЗОБРЕТЕНИЯ

   1. Способ воспроизведения эксплуатационных характеристик станции автоматизированного визуального контроля (AVI), причем способ включает:

   создание имитирующей станции AVI, которая выполняет одну или более функций AVI станции AVI, причем имитирующая станция AVI содержит имитирующую систему освещения, имитирующую систему формирования изображений и имитирующее аппаратное обеспечение для позиционирования образцов, выполненное с возможностью удерживания и/или поддерживания контейнеров, содержащих образцы;

   захват одного или более изображений контейнера системой формирования изображений станции AVI, когда контейнер освещается системой освещения станции AVI;

   захват одного или более дополнительных изображений контейнера имитирующей системой формирования изображений, когда контейнер освещается имитирующей системой освещения;

   идентификацию одним или более процессорами одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера, при этом идентификация одного или более различий включает вычисление одного или более показателей, указывающих на шум датчика изображений, для одного или более изображений контейнера и одного или более дополнительных изображений контейнера;

   генерирование одним или более процессорами визуальной индикации (i) одного или более различий и/или (ii) одной или более рекомендаций по изменению имитирующей станции AVI; и изменение имитирующей станции AVI на основе визуальной индикации по меньшей мере путем изменения имитирующей системы освещения, имитирующей системы формирования изображений и/или

   - 15 047109 имитирующего аппаратного обеспечения для позиционирования образцов.
2. 2. Способ по п.1, в котором вычисление одного или более показателей, указывающих на шум датчика изображений, включает вычисление быстрого преобразования Фурье (FFT) для каждого изображения контейнера, и, по выбору, генерирование показателя, указывающего уровень или относительный уровень высокочастотных компонентов.
3. 3. Способ по п.1, в котором либо (i) станция AVI включена в оборудование промышленной линии и имитирующая станция AVI является лабораторной установкой, либо (ii) имитирующая станция AVI включена в оборудование промышленной линии и станция AVI является лабораторной установкой.
4. 4. Способ по п.1, в котором изменение имитирующей станции включает:

   изменение пространственного расположения по меньшей мере одного осветительного устройства имитирующей системы освещения, по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений и/или имитирующего аппаратного обеспечения для позиционирования образцов; и/или изменение аппаратных компонентов по меньшей мере одного осветительного устройства имитирующей системы освещения, по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений и/или имитирующего аппаратного обеспечения для позиционирования образцов.
5. 5. Способ по п.1, дополнительно включающий:

   установку программного обеспечения AVI, реализующего алгоритм контроля, который также реализован оборудованием AVI, на компьютерную систему имитирующей станции AVI; и после изменения имитирующей станции AVI захват имитирующей системой формирования изображений одного или более новых изображений контейнера, когда тестовый контейнер освещается имитирующей системой освещения; и определение одной или более характеристик тестового контейнера и/или образца в тестовом контейнере путем обработки одного или более новых изображений контейнера в соответствии с алгоритмом контроля.
6. 6. Способ по п.5, дополнительно включающий: поиск и устранение неполадок или оптимизацию имитирующей станции AVI на основе, по меньшей мере частично, определенной одной или более характеристик, причем поиск и устранение неполадок или оптимизация имитирующей станции AVI включают в себя изменение или дополнительное изменение имитирующей системы освещения, имитирующей системы формирования изображений, имитирующего аппаратного обеспечения для позиционирования образцов и/или программного обеспечения AVI.
7. 7. Способ по п.6, дополнительно включающий: изменение станции AVI в соответствии с изменениями или дополнительными изменениями имитирующей системы освещения, имитирующей системы формирования изображений, имитирующего аппаратного обеспечения для позиционирования образцов и/или программного обеспечения AVI.
8. 8. Способ по п.1, в котором:

   одно или более изображений контейнера содержит первое множество изображений контейнера;

   одно или более дополнительных изображений контейнера содержит второе множество изображений контейнера; и идентификация одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера включает идентификацию одного или более различий между первым составным изображением, полученным из первого множества изображений контейнера, и вторым составным изображением, полученным из второго множества изображений контейнера.
9. 9. Способ по п.1, в котором идентификация одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера включает идентификацию различий в отношении:

   выравнивания контейнера;

   расфокусировки;

   интенсивности;

   колебания интенсивности; и/или размытости изображения при движении.
10. 10. Способ по п.1, в котором идентификация одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера включает генерирование (i) гистограммы уровней интенсивности пикселей для одного или более изображений контейнера или составного изображения, полученного из них, и (ii) гистограммы уровней интенсивности пикселей для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
11. 11. Способ по п.1, в котором идентификация одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера включает вычисление (i) оператора Лапласа для одного или более изображений контейнера или составного изо

    - 16 047109 бражения, полученного из них, и (ii) оператора Лапласа для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
12. 12. Способ по п.1, в котором (i) идентификацию одного или более различий и (ii) генерирование визуальной индикации выполняют в режиме реального времени, как только одно или более дополнительных изображений контейнера захвачены.
13. 13. Способ по п.1, дополнительно включающий:

    генерирование одним или более процессорами одной или более рекомендаций для изменения имитирующей станции AVI на основе одного или более различий, причем генерирование визуальной индикации включает генерирование визуальной индикации одной или более рекомендаций.
14. 14. Способ по п.13, в котором генерирование одной или более рекомендаций включает генерирование:

    рекомендации изменить один или более настраиваемых параметров по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений;

    рекомендации изменить один или более настраиваемых параметров по меньшей мере одного осветительного устройства имитирующей системы освещения;

    рекомендации изменить положение по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений; и/или рекомендации изменить положение по меньшей мере одного осветительного устройства имитирующей системы освещения.
15. 15. Способ по п.13, в котором:

    имитирующее аппаратное обеспечение для позиционирования образцов выполнено с возможностью перемещения контейнеров в соответствии с профилем перемещения; и генерирование одной или более рекомендаций включает генерирование рекомендации изменить одну или более характеристик профиля перемещения.
16. 16. Способ по п.1, дополнительно включающий:

    получение одним или более процессорами одного или более рабочих параметров системы формирования изображений и одного или более рабочих параметров имитирующей системы формирования изображений;

    сравнение одним или более процессорами одного или более рабочих параметров системы формирования изображений с одним или более рабочими параметрами имитирующей системы формирования изображений; и генерирование одним или более процессорами дополнительной визуальной индикации по меньшей мере одного рабочего параметра, который отличается между системой формирования изображений и имитирующей системой формирования изображений.
17. 17. Энергонезависимый машиночитаемый носитель, хранящий команды, которые при исполнении одним или более процессорами, побуждают один или более процессоров выполнять:

    получение одного или более изображений контейнера, захваченных системой формирования изображений станции автоматизированного визуального контроля (AVI);

    получение одного или более дополнительных изображений контейнера, захваченных имитирующей системой формирования изображений имитирующей станции AVI;

    идентификацию одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера, при этом идентификация одного или более различий включает вычисление одного или более показателей, указывающих на шум датчика изображений, для одного или более изображений контейнера и одного или более дополнительных изображений контейнера; и генерирование визуальной индикации (i) одного или более различий и/или (ii) одной или более рекомендаций по изменению имитирующей станции AVI.
18. 18. Энергонезависимый машиночитаемый носитель по п.17, в котором вычисление одного или более показателей, указывающих на шум датчика изображений, включает вычисление быстрого преобразования Фурье (FFT) для каждого изображения контейнера, и, по выбору, генерирование показателя, указывающего уровень, или относительный уровень высокочастотных компонентов.
19. 19. Энергонезависимый машиночитаемый носитель по п.17, в котором команды побуждают один или более процессоров идентифицировать одно или более различий между одним или более дополнительным изображениями контейнера и одним или более изображениями контейнера в отношении:

    выравнивания контейнера;

    расфокусировки;

    интенсивности;

    колебания интенсивности; и/или размытости изображения при движении.
20. 20. Энергонезависимый машиночитаемый носитель по п.17, в котором команды побуждают один или более процессоров идентифицировать одно или более различий между одним или более дополни

    - 17 047109 тельным изображениями контейнера и одним или более изображениями контейнера, по меньшей мере, посредством:

    генерирования гистограммы уровней интенсивности пикселей для одного или более изображений контейнера или составного изображения, полученного из них; и генерирования гистограммы уровней интенсивности пикселей для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
21. 21. Энергонезависимый машиночитаемый носитель по п.17, в котором команды побуждают один или более процессоров идентифицировать одно или более различий между одним или более дополнительным изображениями контейнера и одним или более изображениями контейнера, по меньшей мере, посредством:

    вычисления оператора Лапласа для одного или более изображений контейнера или составного изображения, полученного из них; и вычисления оператора Лапласа для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
22. 22. Энергонезависимый машиночитаемый носитель по п.17, в котором команды побуждают один или более процессоров (i) идентифицировать одно или более различий и (ii) генерировать визуальную индикацию в режиме реального времени, как только будет получено одно или более дополнительных изображений контейнера.
23. 23. Энергонезависимый машиночитаемый носитель по п.17, в котором:

    команды побуждают один или более процессоров генерировать одну или более рекомендаций для изменения имитирующей станции AVI на основе одного или более различий; и визуальная индикация указывает одну или более рекомендаций.
24. 24. Энергонезависимый машиночитаемый носитель по п.23, в котором одна или более рекомендаций включают:

    рекомендацию изменить один или более настраиваемых параметров по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений;

    рекомендацию изменить один или более настраиваемых параметров по меньшей мере одного осветительного устройства имитирующей системы освещения имитирующей станции AVI;

    рекомендацию изменить положение по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений; и/или рекомендацию изменить положение по меньшей мере одного осветительного устройства имитирующей системы освещения.
25. 25. Система для воспроизведения эксплуатационных характеристик станции автоматизированного визуального контроля (AVI), содержащая:

    станцию автоматизированного визуального контроля (AVI), содержащую систему формирования изображений;

    систему освещения; и аппаратное обеспечение для позиционирования образцов, выполненное с возможностью удерживания и/или поддерживания контейнеров, содержащих образцы;

    имитирующую станцию AVI, которая выполняет одну или более функций AVI станции AVI, причем имитирующая станция AVI содержит:

    имитирующую систему освещения;

    имитирующую систему формирования изображений; и имитирующее аппаратное обеспечение для позиционирования образцов, выполненное с возможностью удерживания и/или поддерживания контейнеров, содержащих образцы; и вычислительную систему, выполненную с возможностью получения одного или более изображений контейнера, захваченных системой формирования изображений станции AVI;

    получения одного или более дополнительных изображений контейнера, захваченных имитирующей системой формирования изображений имитирующей станции AVI;

    идентификации одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера, при этом идентификация одного или более различий включает вычисление одного или более показателей, указывающих на шум датчика изображений, для одного или более изображений контейнера и одного или более дополнительных изображений контейнера; и генерирования визуальной индикации (i) одного или более различий и/или (ii) одной или более рекомендаций по изменению имитирующей станции AVI.
26. 26. Система по п.25, в которой вычисление одного или более показателей, указывающих на шум датчика изображений, включает вычисление быстрого преобразования Фурье (FFT) для каждого изображения контейнера, и, по выбору, генерирование показателя, указывающего уровень или относительный уровень высокочастотных компонентов.
27. 27. Система по п.25, в которой вычислительная система выполнена с возможностью идентификации

    - 18 047109 одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера в отношении:

    выравнивания контейнера;

    расфокусировки;

    интенсивности;

    колебания интенсивности; и/или размытости изображения при движении.
28. 28. Система по п.25, в которой вычислительная система выполнена с возможностью идентификации одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера по меньшей мере посредством:

    генерирования гистограммы уровней интенсивности пикселей для одного или более изображений контейнера или составного изображения, полученного из них; и генерирования гистограммы уровней интенсивности пикселей для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
29. 29. Система по п.25, в которой вычислительная система выполнена с возможностью идентификации одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера по меньшей мере посредством:

    высокочастотного фильтрования одного или более изображений контейнера или составного изображения, полученного из них; и высокочастотного фильтрования для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
30. 30. Система по п.29, в которой вычислительная система выполнена с возможностью идентификации одного или более различий между одним или более дополнительными изображениями контейнера и одним или более изображениями контейнера по меньшей мере посредством:

    вычисления оператора Лапласа для одного или более изображений контейнера или составного изображения, полученного из них; и вычисления оператора Лапласа для одного или более дополнительных изображений контейнера или составного изображения, полученного из них.
31. 31. Система по п.25, в которой вычислительная система выполнена с возможностью (i) идентификации одного или более различий и (ii) генерирования визуальной индикации в режиме реального времени, как только одно или более дополнительных изображений контейнера получены.
32. 32. Система по п.25, в которой:

    вычислительная система выполнена с возможностью генерирования одной или более рекомендаций для изменения имитирующей станции AVI на основе одного или более различий; и визуальная индикация указывает одну или более рекомендаций.
33. 33. Система по п.25, в которой одна или более рекомендаций включают:

    рекомендацию изменить один или более настраиваемых параметров по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений;

    рекомендацию изменить один или более настраиваемых параметров по меньшей мере одного осветительного устройства имитирующей системы освещения имитирующей станции AVI;

    рекомендацию изменить положение по меньшей мере одного устройства формирования изображений имитирующей системы формирования изображений; и/или рекомендацию изменить положение по меньшей мере одного осветительного устройства имитирующей системы освещения.

    -