EA043190B1 - Системы и способы способствования клональной селекции - Google Patents

Description

Перекрестная ссылка на родственную заявку

Испрашивается приоритет предварительной заявки на патент США № 62/774154, поданной 30 ноября 2018 г., все содержание которой включено в данный документ посредством ссылки.

Область техники, к которой относится изобретение

Настоящая заявка в целом относится к методам клональной селекции и, более конкретно, относится к методам определения того, образовалась ли колония клеток из одиночного клона/клетки.

Предпосылки создания изобретения

В различных процессах создания линии клеток для клональной селекции необходимо знать, образовалась ли колония клеток из одиночного клона/клетки. Например, отдельные клетки могут быть инокулированы в отдельные лунки (например, 96-луночного планшета) с помощью метода проточной цитометрии, такого как метод сортировки флуоресцентно-активированных клеток (FACS), с последующей инкубацией клеток в течение подходящего периода времени (например, 14 дней). В течение всего инкубационного периода цифровые изображения лунок фиксируются в подходящие интервалы времени, например, каждый день, или каждые семь дней и т.д. Химик-аналитик просматривает изображения лунок, зафиксированные в конце инкубационного периода (например, на 14-й день), для идентификации колоний клеток, и, если конкретная лунка содержит колонию, химик-аналитик может также просмотреть одно или несколько более ранних изображений той же лунки (например, изображение, зафиксированное в первый день инкубации), чтобы определить, образовалась ли колония только из одиночного клона. Если химик-аналитик может подтвердить, что колония образована из одиночного клона, этот конкретный образец может быть направлен на одну или несколько дополнительных стадий процесса создания линии клеток. В противном случае образец может быть удален.

Этот процесс очень времязатратный и кропотливый. Нередки случаи, когда, например, для одиночного проекта требуются сотни человеко-часов, затрачиваемых на анализ микроскопических изображений. Более того, химику-аналитику может быть сложно точно идентифицировать одиночную клетку в лунке при попытке идентифицировать клетки-предшественника колонии. Например, отсутствие фокуса на изображенном объекте может привести к ложно-положительному результату (т.е. к неправильной маркировке объекта как одиночной клетки). В качестве другого примера, дублеты или наложенные друг на друга клетки может быть трудно отличить от одиночных клеток. Ложно-положительные результаты (и/или ложно-отрицательные результаты) также могут быть результатом других факторов, таких как дебрис, тени, создаваемые стенкой лунки, и/или аберрации на внутренней периферии стенки лунки.

Краткое описание изобретения

Варианты осуществления, описанные в данном документе, относятся к системам и способам, которые улучшают традиционные методы визуального контроля, используемые для клональной селекции. В частности, в некоторых вариантах осуществления автоматизированная система визуального контроля фиксирует серию цифровых изображений для каждой лунки в планшете с лунками с интервалами в течение инкубационного периода (например, дни или недели). В зависимости от варианта осуществления изображения могут быть зафиксированы только в первый и последний дни инкубационного периода, на ежедневной основе или по какому-либо другому подходящему временному графику. Система может идентифицировать колонии объектов-кандидатов, происходящих из одиночной клетки. На основе идентифицированных объектов-кандидатов система может перемещать положение лунки для дальнейшего фиксирования изображений. Клетка из лунки, идентифицированная как содержащая колонию, происходящую из одиночной клетки, может быть перенесена в новую культуральную среду и культивирована. Используемый в данном документе термин лунка относится к любой лабораторной среде для культивирования клеток, которая допускает оптический контроль ее содержимого. Хотя лунки на многолуночных планшетах обсуждаются в данном документе в качестве примера, следует понимать, что при упоминании терминов лунка и планшет с лунками, если не указано иное, предполагается, что эти термины охватывают любую подходящую лабораторную среду для культивирования клеток, позволяющую оптический контроль ее содержимого.

Для данной лунки метод компьютерной обработки изображений может быть применен к более позднему изображению (например, изображению, зафиксированному в последний день инкубационного периода), чтобы определить, содержит ли лунка колонию клеток. Например, сверточная нейронная сеть (CNN) может использоваться для классификации объекта в среде лунки в качестве колонии клеток. CNN может содержать любое подходящее количество сверточных слоев для двумерной свертки (например, для обнаружения элементов, таких как края в изображениях), слоев объединения (например, слой субдискретизации, чтобы сократить вычисления при сохранении относительных расположений элементов) и полносвязных слоев. В качестве альтернативы, один или несколько других методов обработки изображений могут использоваться для обнаружения колонии, такие как обычная фильтрация изображения, обнаружение краев и/или методы обнаружения модели. При обнаружении колонии клеток в лунке можно проанализировать одно или несколько более ранее предоставленных изображений лунки (например, изображение с первого дня инкубации), чтобы определить, образовалась ли колония из одиночного клона/клетки. Это определение может включать несколько этапов. Во-первых, изображение всей лунки анализируется для идентификации любых объектов в лунке, которые являются кандидатами на роль оди

- 1 043190 ночных клеток (например, объектов, которые не являются ни слишком большими, ни слишком маленькими, чтобы быть одиночной клеткой). Затем изображение каждого объекта-кандидата вводится в CNN (например, во вторую CNN, если первая CNN использовалась для обнаружения колонии клеток), которая классифицирует объект-кандидат согласно типу объекта. В некоторых вариантах осуществления изображение каждого объекта-кандидата содержит или состоит просто из набора пикселей, которые были извлечены из изображения всей лунки и изображают этот объект-кандидат. В некоторых вариантах осуществления изображение каждого объекта-кандидата дополнительно содержит увеличенное изображение объекта-кандидата, например, для преодоления ограничений разрешения изображения, связанных с доступной в настоящее время технологией формирования изображения. Например, первый блок формирования изображения с меньшим увеличением может использоваться для фиксирования изображения всей лунки с целью идентификации объектов-кандидатов, в то время как второй блок формирования изображения с большим увеличением может использоваться для фиксирования увеличенных изображений каждого идентифицированного объекта-кандидата. Использование второго блока формирования изображения может дополнительно содержать размещение лунки или части лунки на оптическом пути второго блока формирования изображения, например, путем смещения планшета с лунками на небольшие расстояния в направлениях x и/или y.

Для заданного объекта-кандидата CNN может выводить двоичную классификацию (например, одиночная клетка по сравнению с неодиночной клеткой) или может классифицировать объект согласно одному из трех или более типов (например, одиночная клетка, дублет, пустая клетка, дебрис и т.д.). Если объект-кандидат классифицируется как одиночная клетка (или другой класс, соответствующий одиночной живой клетке), может быть определено, что колония клеток произошла от этой клетки. Это определение может также зависеть от одного или нескольких других факторов, таких как положение одиночной клетки в лунке по сравнению с положением обнаруженной колонии клеток в лунке. Более того, в некоторых вариантах осуществления одно или несколько дополнительных изображений лунки, соответствующих одному или нескольким другим промежуткам времени в течение инкубационного периода, могут быть проанализированы, чтобы подтвердить, что колония клеток образовалась из одиночной клетки. Например, дополнительное изображение(я) может быть обработано для обнаружения одной или нескольких промежуточных стадий роста колонии клеток.

Если невозможно определить, что колония клеток образовалась из одиночной клетки, образец в этой лунке может быть удален. Однако, если происхождение одиночной клетки может быть определено (например, по меньшей мере с некоторым пороговым уровнем точности, например, 90 или 99% и т.д.), образец может быть направлен на один или несколько дополнительных стадий процесса создания линии клеток. Например, клетка образца (например, как одиночная клетка и/или как часть части образца, содержащей клетку, которая также может содержать другие клетки) может быть перенесена в новую культуральную среду и культивирована. Линия клеток может использоваться для любого из широкого диапазона целей, в зависимости от варианта осуществления. Например, линия клеток может быть использована для получения клеток, которые продуцируют антитела или гибридные молекулы для биофармацевтического продукта (например, лекарств, содержащих антитела, представляющие собой привлекающие T-клетки биспецифические активаторы (BiTE®-антитела), такие как BLINCYTO® (блинатумомаб), или моноклональные антитела и т.д.), или для получения клеток для целей исследования и/или разработки. Точность имеет свое обычное и принятое значение, что должно быть понятно специалисту в данной области техники с учетом настоящего раскрытия. Она относится к вероятности того, что результат не является ложно-отрицательным или ложно-положительным. Например, точность может быть рассчитана как 100%-(ошибка типа I)-(ошибка типа II).

Краткое описание графических материалов

Специалисту в данной области техники будет понятно, что фигуры, описанные в данном документе, включены для целей иллюстрации и не ограничивают настоящее изобретение. Графические материалы не обязательно изображены в масштабе, и вместо этого акцент делается на иллюстрацию принципов настоящего изобретения. Следует понимать, что в некоторых случаях различные аспекты описанных вариантов реализации могут быть укрупнены или увеличены для способствования пониманию описанных вариантов реализации. На графических материалах подобные ссылочные позиции на разных фигурах в целом выполняют одинаковые функции и/или являются структурно одинаковыми компонентами.

На фиг. 1 представлена упрощенная блок-схема примерной системы, которая может реализовывать описанные в данном документе методы.

На фиг. 2A-2C изображена примерная система визуального контроля, которая может использоваться в системе, показанной на фиг. 1.

На фиг. 3 представлена блок-схема примерного процесса определения того, использовать ли образец лунки или удалить его.

На фиг. 4 изображен примерный вариант осуществления и сценарий, в которых изображения лунок генерируются системой визуального контроля в два разных момента времени.

На фиг. 5 изображен примерный вариант осуществления и сценарий, в которых изображения лунок генерируются системой визуального контроля в три разных момента времени.

- 2 043190

На фиг. 6 изображен вариант осуществления и сценарий, в которых ряд объектов-кандидатов идентифицирован на изображении лунки.

На фиг. 7 изображены примерные увеличенные изображения объектов-кандидатов.

На фиг. 8 представлена блок-схема примерного способа способствования клональной селекции.

Подробное описание

Различные концепции, представленные выше и более подробно описанные далее, могут быть реализованы многими способами, при этом описанные концепции не ограничены каким-либо определенным способом реализации. Примеры вариантов реализации представлены для иллюстративных целей.

На фиг. 1 представлена упрощенная блок-схема примерной системы 100, которая может реализовывать описанные в данном документе методы. Система 100 содержит систему 102 визуального контроля, соединенную с возможностью связи с компьютерной системой 104. Система 102 визуального контроля содержит аппаратное обеспечение (например, столик планшета с лунками, один или несколько объективов и/или зеркал, устройство формирования изображения и т.д.), а также программно-аппаратное обеспечение и/или программное обеспечение, которое сконфигурировано для фиксирования цифровых изображений лунок в планшете с лунками. Примерный вариант осуществления системы 102 визуального контроля показан на фиг. 2A-2C. Обращаясь сначала к фиг. 2A, система 102 визуального контроля может содержать столик 202, который выполнен с возможностью размещения планшета 204 с лунками, содержащего некоторое количество лунок (не показано на фиг. 2A). Планшет 204 с лунками может иметь любой подходящий размер, любую подходящую форму и иметь любое подходящее количество расположенных на нем лунок (например, 6, 24, 96, 384, 1536 и т.д.). Кроме того, лунки могут быть расположены в любом подходящем порядке на планшете 204 с лунками, например, таком как прямоугольная матрица 2:3.

Система 102 визуального контроля дополнительно содержит систему 208 освещения, первое устройство 210 формирования изображения, которое выполнено с возможностью получения широкоугольных изображений, и в некоторых вариантах осуществления (для целей, дополнительно обсуждаемых ниже) второе устройство 212 формирования изображения, которое выполнено с возможностью получения изображений с большим увеличением. В других вариантах осуществления система визуального контроля может не содержать устройство 212 формирования изображения. Система 208 освещения может содержать любое подходящее количество и/или тип(ы) источников света, выполненных с возможностью генерирования света источника, и освещает каждую лунку в планшете 204 с лунками, когда эта лунка расположена на оптическом пути устройства 210 формирования изображения или устройства 212 формирования изображения. Устройства 210 формирования изображения содержит телецентрический объектив 220 и широкоугольную камеру 222. Телецентрический объектив 220 может иметь 1-кратное увеличение, являться телецентрическим объективом с высокой точностью воспроизведения, а широкоугольная камера 222 может быть камерой прибора с зарядовой связью (CCD), например. Устройство 210 формирования изображения выполнено и расположено относительно столика 202 таким образом, что оно может фиксировать изображения, на каждом из которых изображена вся одиночная лунка (с разрешением, подходящим для отделения объекта-кандидата в лунке от остальной части лунки, например, с одиночной лункой, занимающей практически все изображение или по меньшей мере большую часть изображения), когда лунка надлежащим образом расположена на столике 202 и освещена системой 208 освещения. Устройство 212 формирования изображения содержит объектив 230, зеркало 232 и камеру 234 высокого разрешения. Объектив 230 может быть объективом с большим рабочим расстоянием с 20-кратным увеличением (или системой линз), а камера 234 с высоким разрешением может быть, например, другим CCD. Зеркало 232 может обеспечить возможность устройству 212 формирования изображения иметь достаточно низкий профиль.

В некоторых вариантах осуществления каждая из лунок в планшете 204 с лунками имеет одну или несколько прозрачных и/или непрозрачных частей. Например, каждая из лунок может быть полностью прозрачной или может иметь прозрачные нижние части с непрозрачными боковыми стенками. Каждая из лунок в целом может быть цилиндрической или иметь любую другую подходящую форму (например, кубическую и т.д.). Система 102 визуального контроля отображает лунки планшета 204 с лунками, например, отображая последовательно каждую из лунок планшета 204 с лунками. С этой целью система 102 визуального контроля выполнена с возможностью перемещения столика 202 вдоль одной или нескольких осей (например, x и y) для последовательного выравнивания каждой из лунок с системой 208 освещения и оптическим путем устройства 210 формирования изображения для анализа отдельной лунки. Например, столик 202 может быть соединен с одним или несколькими моторизованными приводами. Если каждая из лунок выровнена с системой 208 освещения и оптическим путем устройства 210 формирования изображения, устройство формирования изображения получает одно или несколько изображений освещенной лунки. Любые клетки в данной лунке могут в целом находиться в плоскости на основании лунки, в этом случае лунка может быть отображена сверху вниз или снизу вверх соответственно. В таких вариантах осуществления система 102 визуального контроля также может быть выполнена с возможностью перемещения столика 202 в вертикальном (z) направлении, чтобы поддерживать фокус на плоском тонком слое, в котором могут находиться клетки. Приведение в движение в вертикальном направлении также может обеспечить возможностью трехмерного сканирования образца лунки (например, для обнару

- 3 043190 жения клеток, которые прилипли к боковой стенке лунки над основанием лунки). Система 102 визуального контроля может также применять любой подходящий метод(ы) для уменьшения вибрации и/или для механической поддержки высокоточного формирования изображения, оба из чего может быть важно, если используется формирование изображения с большим увеличением.

На фиг. 2B и 2C изображена конфигурация системы 102 визуального контроля, когда устройство 210 формирования изображения и устройство 212 формирования изображения соответственно используются для фиксирования изображения конкретной лунки (в этом сценарии лунки 240, которая расположена в одном углу планшета 204 с лунками). Некоторые компоненты системы 102 визуального контроля не показаны на фиг. 2B и 2C для ясности. Как видно на фиг. 2B и 2C, лунка 240 может быть выборочно расположена на оптическом пути устройства 210 формирования изображения или устройства 212 формирования изображения путем перемещения столика 202 (для видимости столик 202 явно не показан на фиг. 2B и 2C, хотя подходящее расположение столика 202 будет важным; см., например, фиг. 2A) относительно устройств 210 и 212 формирования изображения. В различных вариантах осуществления это может быть выполнено перемещением столика 202 или перемещением устройств 210 и 212 формирования изображения.

Следует понимать, что на фиг. 2A-2C показан только один примерный вариант осуществления системы 102 визуального контроля, и что возможны другие варианты осуществления. Например, система 102 визуального контроля может содержать дополнительные устройства формирования изображения, аналогичные устройству 210 и/или 212 формирования изображения (например, для формирования трехмерного изображения). В качестве дополнительных примеров система 102 визуального контроля может вместо этого освещать образцы с использованием источников наклонного освещения, а не заднего освещения, или вместо этого может быть выполнена с возможностью использования флуоресцентного изображения или формирования изображения на основании фазового контраста. Более того, хотя это не показано на фиг. 2A-2C, система 102 визуального контроля может содержать один или несколько интерфейсов связи и процессоров для обеспечения связи с компьютерной системой 104 и обеспечения локального управления операциями столика 202, системой 208 освещения и/или устройствами 210 и 212 формирования изображения (например, в ответ на командные сигналы, принятые от компьютерной системы 104).

Обращаясь теперь к фиг. 1, компьютерная система 104 в целом выполнена с возможностью управления/автоматизации работы системы 102 визуального контроля, а также с возможностью приема и обработки изображений, зафиксированных/сгенерированных системой 102 визуального контроля, как дополнительно обсуждается ниже. Компьютерная система 104 также соединена с обучающим сервером 106 через сеть 108. Сеть 108 может представлять собой одну сеть связи или может содержать несколько сетей связи одного или нескольких типов (например, одну или несколько проводных и/или беспроводных локальных сетей (LAN) и/или одну или несколько проводных и/или беспроводных глобальных сетей (WAN), таких как, например, интернет). Как обсуждается дополнительно ниже, обучающий сервер 106 в целом выполнен с возможностью обучения одной или нескольких моделей 109 машинного обучения (ML), которые обучающий сервер 106 отправляет в компьютерную систему 104 через сеть 108, чтобы компьютерная система 104 могла обнаруживать и/или классифицировать объекты на изображениях, сгенерированных системой 102 визуального контроля. В различных вариантах осуществления обучающий сервер 106 может предоставлять модель(и) 109 ML в качестве облачной службы (например, веб-служб Amazon), или обучающий сервер 106 может быть локальным сервером. В альтернативном варианте осуществления модель(и) 109 ML передается в компьютерную систему 104 с помощью метода, отличного от удаленной загрузки (например, путем физического переноса портативного запоминающего устройства в компьютерную систему 104), в этом случае система 100 может не содержать сеть 108. В других вариантах осуществления одна, некоторые или все модели 109 ML могут быть обучены в компьютерной системе 104, а затем загружены на сервер 106. В других вариантах осуществления компьютерная система 104 сама выполняет обучение модели, в этом случае система 100 может исключать как сеть 108, так и обучающий сервер 106. В еще одних вариантах осуществления некоторые или все компоненты компьютерной системы 104, показанные на фиг. 1 (например, один, некоторые или все модули 120-126), вместо этого включены в систему 102 визуального контроля, в этом случае система 102 визуального контроля может напрямую связываться с обучающим сервером 106 через сеть 108.

Компьютерная система 104 может быть компьютером общего назначения, который специально запрограммирован для выполнения обсуждаемых в данном документе операций, или может быть вычислительным устройством специального назначения. Как видно на фиг. 1, компьютерная система 104 содержит блок 110 обработки, сетевой интерфейс 112 и блок 114 памяти. Однако в некоторых вариантах осуществления компьютерная система 104 содержит два или более компьютеров, которые либо расположены вместе, либо удалены друг от друга. В этих распределенных вариантах осуществления описанные в данном документе операции, относящиеся к блоку 110 обработки, сетевому интерфейсу 112 и/или блоку 114 памяти, могут быть разделены между несколькими блоками обработки, сетевыми интерфейсами и/или блоками памяти соответственно.

Блок 110 обработки данных содержит один или несколько процессоров, каждый из которых может представлять собой программируемый микропроцессор, который исполняет программные команды, хра- 4 043190 нящиеся в запоминающем устройстве 114, с целью исполнения некоторых или всех функций компьютерной системы 104, описанных в данном документе. Блок 110 обработки может содержать, например, один или несколько графических процессоров (GPU) и/или один или несколько центральных процессоров (CPU). В качестве альтернативы или дополнения, некоторые процессоры в блоке 110 обработки могут представлять собой процессоры других типов (например, специализированные интегральные микросхемы (ASIC), вентильные матрицы с эксплуатационным программированием (FPGA) и т.д.), и некоторые функциональные возможности компьютерной системы 104, описанные в данном документе, альтернативно могут быть реализованы в аппаратном обеспечении. Сетевой интерфейс 112 может содержать любое подходящее аппаратное обеспечение (например, клиентское приемопередающее аппаратное обеспечение), программно-аппаратное обеспечение и/или программное обеспечение, выполненное с возможностью установления связи с обучающим сервером 106 через сеть 108 с использованием одного или нескольких протоколов связи. Например, сетевой интерфейс 112 может быть или содержать интерфейс Ethernet, позволяющий компьютерной системе 104 связываться с обучающим сервером 106 через Интернет или интранет и т.д. Блок 114 памяти может содержать одно или несколько энергозависимых и/или энергонезависимых запоминающих устройств. Могут содержаться запоминающие устройства любого подходящего типа или типов, такие как постоянное запоминающее устройство (ROM), твердотельные накопители (SSD), накопители на жестких дисках (HDD) и т.д. В совокупности блок 114 памяти может хранить одно или несколько программных приложений, данные, принятые/используемые этими приложениями, и данные, выводимые/генерируемые этими приложениями.

Блок 114 памяти хранит программные команды приложения 118 клональной селекции, которое при исполнении блоком 110 обработки идентифицирует лунки/образцы, в которых колония клеток формировалась из одиночного клона. Хотя ниже обсуждаются различные модули приложения 118, следует понимать, что эти модули могут быть распределены среди разных программных приложений и/или что функциональные возможности любого такого модуля могут быть разделены между разными программными приложениями.

Модуль 120 управления системой визуального контроля (VIS) приложения 118 управляет/автоматизирует работу системы 102 визуального контроля с помощью командных сигналов или других сообщений, так что изображения образцов в лунках планшета 204 с лунками могут быть сгенерированы с минимальным вмешательством человека или без него. Система 102 визуального контроля может отправлять зафиксированные изображения в компьютерную систему 104 для хранения в блоке 114 памяти или другом подходящем запоминающем устройстве, не показанном на фиг. 1.

Модуль 122 обнаружения колоний клеток приложения 118 пытается идентифицировать/обнаруживать любые колонии клеток, изображенные на изображениях лунок, принятых от системы 102 визуального контроля. Модуль 122 обнаружения колоний клеток может обнаруживать колонии клеток с использованием модели машинного обучения, такой как сверточная нейронная сеть (CNN), например, или с использованием алгоритма немашинного обучения (программное обеспечение анализа визуального изображения), который обнаруживает колонии без необходимости в каком-либо обучении. Работа модуля 122 обнаружения колоний клеток более подробно обсуждается в данном документе.

Модуль 124 обнаружения объектов приложения 118 пытается идентифицировать/обнаруживать любые отдельные объекты, которые (1) изображены на изображениях лунок, принятых от системы 102 визуального контроля; и (2) потенциально могут быть одиночными клетками.

Однако из-за ограничений модели или алгоритма, используемых модулем 124 обнаружения объектов, и/или из-за ограничений в разрешающей способности изображений, обрабатываемых модулем 124 обнаружения объектов, модуль 124 обнаружения объектов не может определить с достаточной точностью или достоверностью то, является ли по сути каждый обнаруженный объект одиночной клеткой. Таким образом, каждый объект, обнаруженный модулем 124 обнаружения объектов, первоначально рассматривается только как кандидат на то, чтобы быть одиночной клеткой. Модуль 124 обнаружения объектов может обнаруживать объекты с использованием относительно простой модели машинного обучения или с использованием алгоритма немашинного обучения (программное обеспечение анализа визуального изображения), который обнаруживает объекты без необходимости в каком-либо обучении. В некоторых вариантах осуществления модуль 124 обнаружения объектов использует OpenCV для обработки изображений и для обнаружения на них объектов. В некоторых вариантах осуществления модуль 124 обнаружения объектов выводит только те объекты, которые выше минимального порогового размера и/или ниже максимального порогового размера (например, пороговая ширина пикселей или пороговое количество пикселей и т.д.), чтобы избежать идентификации объектов, которые, возможно, могут не быть одиночной клеткой. Например, минимальный пороговый размер может отфильтровывать битые пиксели в изображении и очень мелкие загрязнения, в то время как максимальный пороговый размер может отфильтровывать очень большие загрязнения или пузыри и т.д. Работа модуля 124 обнаружения объектов более подробно обсуждается в данном документе.

Модуль 126 классификации объектов приложения 118 пытается классифицировать отдельные объекты, обнаруженные модулем 124 обнаружения объектов. В некоторых вариантах осуществления мо

- 5 043190 дуль 126 классификации объектов обрабатывает подмножества тех же изображений лунок, которые были обработаны модулем 124 обнаружения объектов. Например, модуль 124 обнаружения объектов может принимать подмножества пикселей изображения в качестве входных данных, где каждое подмножество соответствует одному объекту-кандидату (возможно, также включая пиксели, которые соответствуют небольшой области, окружающей объект-кандидат). В таких вариантах осуществления система 102 визуального контроля может не содержать устройство 212 формирования изображения. В качестве альтернативы модуль 120 управления VIS может обеспечить выполнение системой 102 визуального контроля фиксирования дополнительных изображений с большим увеличением каждого объекта-кандидата с использованием устройства 212 формирования изображения, при этом эти увеличенные изображения затем вводятся в модуль 126 классификации объектов. В любом случае модуль 126 классификации объектов может классифицировать объекты с использованием CNN. В некоторых вариантах осуществления CNN требует значительно большей вычислительной мощности и/или времени обработки, чем модель или алгоритм, применяемый модулем 124 обнаружения объектов. Работа модуля 126 классификации объектов и варианты осуществления, в которых фиксируются и обрабатываются изображения с большим увеличением, более подробно обсуждаются в данном документе.

Работа системы 100 согласно некоторым вариантам осуществления теперь будет описана со ссылкой на фиг. 1 и 2A-2C. Первоначально обучающий сервер 106 обучает модель(и) 109 ML, используя данные, хранящиеся в базе 130 обучающих данных. Модель(и) 109 ML может содержать, например, первую CNN, реализованную модулем 122 обнаружения колоний клеток, и вторую CNN, реализованную модулем 126 классификации объектов. База 130 обучающих данных может содержать одну базу данных, хранящуюся в одном запоминающем устройстве (например, HDD, SSD и т.д.), одну базу данных, хранящуюся в нескольких запоминающих устройствах, или несколько баз данных, хранящихся в одном или нескольких запоминающих устройствах. Для каждой другой модели в модели(ях) 109 ML база 130 обучающих данных может хранить соответствующий набор обучающих данных (например, входные данные/данные о характеристиках и соответствующие метки). Например, для обучения CNN, реализованной модулем 126 классификации объектов, база 130 обучающих данных может содержать большое количество наборов входных данных, каждый из которых соответствует изображению объекта, вместе с меткой, указывающей правильную классификацию объекта для этого изображения. Для повышения точности классификации обучающие данные могут содержать изображения, содержащие широкий спектр типов объектов (например, одиночные клетки, дублеты, разные типы дебриса, разные типы аберраций стен и т.д.), и/или изображения, зафиксированные при широком спектре условий (например, освещении, создающем различные виды теней от стен лунки, и т.д.). Метки могут представлять классификации обучающих изображений, которые были предоставлены специалистами-аналитиками соответствующих изображений. В некоторых вариантах осуществления обучающий сервер 106 использует дополнительные помеченные наборы данных в базе 130 обучающих данных для проверки сгенерированной модели(ей) 109 ML (например, для подтверждения того, что данная одна из модели(ей) 109 ML обеспечивает по меньшей мере некоторую минимальную приемлемую точность). Затем обучающий сервер 106 предоставляет (например, посредством удаленной загрузки по сети 108) модель(и) 109 ML в компьютерную систему 104. В некоторых вариантах осуществления обучающий сервер 106 также обновляет/уточняет одну или несколько моделей 109 ML на постоянной основе. Например, после первоначального обучения модели(ей) 109 ML для обеспечения подходящего уровня точности система 102 визуального контроля или компьютерная система 104 могут предоставлять дополнительные изображения обучающему серверу 106 с течением времени, а обучающий сервер 106 может использовать методы обучения с контролированием и без него для дальнейшего повышения точности модели.

Лунки в планшете 204 с лунками системы 102 визуального контроля (например, лунка 240 по фиг. 2B и 2C) по меньшей мере частично заполняются либо автоматически, либо вручную средой, которая содержит подходящие питательные вещества для клеток (например, аминокислоты, витамины и т.д.), факторы роста и/или другие ингредиенты. Например, каждая из лунок может быть по меньшей мере частично заполнена. В некоторых вариантах осуществления и/или сценариях предпринимается попытка инокулировать каждую лунку одним и только одним клоном/клеткой. Например, метод проточной цитометрии, такой как метод сортировки флуоресцентно-активированных клеток (FACS), может использоваться для инокуляции каждой лунки одним клоном.

Затем планшет 204 с лунками загружается на столик 202, и модуль 120 управления VIS обеспечивает выполнение системой 102 визуального контроля перемещения столика 202 малыми отрезками (например, в направлениях x и/или y) и активации устройства 210 формирования изображения (и, возможно, системы 208 освещения) синхронизированным образом, так что устройство 210 формирования изображения фиксирует по меньшей мере одно изображение для каждой из лунок. Это исходное изображение каждой лунки может быть зафиксировано очень скоро после инокуляции в течение первого дня инкубации и может изображать всю площадь каждой лунки (например, при просмотре снизу вверх). Система 102 визуального контроля может сохранять каждое изображение лунки локально или может немедленно передавать каждое изображение в компьютерную систему 104 (например, для хранения в блоке 114 памяти).

Процесс формирования изображений лунок может повторяться через регулярные или нерегулярные

- 6 043190 интервалы, в зависимости от варианта осуществления. Например, модуль 120 управления VIS может обеспечивать выполнение системой 102 визуального контроля отображения каждой из лунок один раз в день в течение некоторого заранее определенного инкубационного периода (например, 10 дней, 14 дней и т.д.) или один раз в неделю и т.д. Альтернативно лунки можно отобразить только в начале и в конце инкубационного периода (например, в первый день и 14-й день 14-дневного инкубационного периода). Либо по мере генерирования изображений лунок, либо в пакетном режиме после генерирования подмножеств (или всех) изображений система 102 визуального контроля отправляет изображения в компьютерную систему 104 для автоматического анализа. Как и в случае процесса фиксирования изображений лунок, процесс передачи изображений в компьютерную систему 104 может быть автоматизирован (например, запускаться командными сигналами от модуля 120 управления VIS).

В целом приложение 118 пытается обнаружить колонии клеток в изображениях лунок, а затем для каждой обнаруженной колонии установить, образовалась ли колония только из одного клона/клетки. С этой целью модуль 122 обнаружения колоний клеток (например, используя CNN, которая является копией одной из модели(ей) 109 ML) может анализировать каждое из изображений лунок с конца инкубационного периода. Для каждой колонии, которую модуль 122 обнаружения колоний обнаруживает в данной лунке, модуль 124 обнаружения объектов может анализировать изображение первого дня той же самой лунки для обнаружения любых объектов в ней. Однако модуль 124 обнаружения объектов может не быть выполнен с возможностью точного нахождения отличия между одиночными клетками и дебрисом, аберрациями стенок лунки и/или другими объектами, или в целом, или при наличии определенных условий (например, теней от стенки лунки). Таким образом, для каждого объекта-кандидата, идентифицированного модулем 124 обнаружения объектов, модуль 126 классификации объектов вместо этого пытается классифицировать объект. Как отмечалось выше, модуль 126 классификации объектов может использовать любую подходящую схему классификации при условии, что классификация показывает, является ли изображенный объект одиночной клеткой (или одиночной живой клеткой) или нет. В некоторых вариантах осуществления модуль 126 классификации объектов выполняет свою задачу классификации, используя CNN (копию одной из модели(ей) 109 ML) для обработки определенной части изображения лунки, которая уже была проанализирована модулем 124 обнаружения объектов. Например, модуль 126 классификации объектов может применять в качестве входных данных для CNN только те пиксели, которые соответствуют объекту-кандидату (и, возможно, также небольшую прилегающую область), при этом выходные данные CNN являются предсказанным классом/типом для этого объекта-кандидата.

Однако в других вариантах осуществления разрешение изображений, проанализированных модулем 124 обнаружения объектов, просто недостаточно высокое для обеспечения высокоточной классификации объектов-кандидатов. Соответственно в этих вариантах осуществления модуль 120 управления VIS может обеспечить выполнение системой 102 визуального контроля фиксирования одного или нескольких дополнительных изображений по меньшей мере некоторых лунок вскоре после инокуляции в первый день инкубации. Например, для данной одной из лунок система 102 визуального контроля может отправить начальное изображение первого дня в компьютерную систему 104, когда это изображение будет зафиксировано, а модуль 124 обнаружения объектов может проанализировать изображение на предмет объектов-кандидатов вскоре после этого. Для каждого объекта-кандидата, обнаруженного в изображении/лунке, модуль 120 управления VIS может обеспечить выполнение системой 102 визуального контроля сдвига столика 202 на небольшую величину, так что объект-кандидат будет находиться на оптическом пути устройства 212 формирования изображения с большим увеличением, например, примерно по центру на этом оптическом пути. Чтобы правильно отрегулировать положение столика 202, положение каждого объекта-кандидата в лунке может быть определено на основании изображения всей лунки (т.е. изображения первого дня, которое было обработано модулем 124 обнаружения объектов). Система 102 визуального контроля отправляет каждое изображение с большим увеличением в компьютерную систему 104, в которой модуль 126 классификации объектов обрабатывает/анализирует изображение объекта с использованием CNN для классификации изображенного объекта-кандидата.

CNN, используемая модулем 126 классификации объектов (и, возможно, CNN, используемая модулем 122 обнаружения колоний ячеек), может содержать любое подходящее количество сверточных слоев для двумерной свертки (например, для обнаружения таких элементов, как края в изображениях), любое подходящие количество слоев объединения (например, слоя субдискретизации, чтобы сократить вычисления при сохранении относительных расположений элементов) и любое подходящее количество полностью полносвязных слоев (например, для обеспечения обоснования высокого уровня на основании элементов). В качестве альтернативы (например, если система 102 визуального контроля реализует методы формирования трехмерных изображений), CNN модуля 126 классификации объектов может использовать трехмерную свертку для обнаружения элементов в трех измерениях. Независимо от того, используется ли двухмерная или трехмерная CNN, CNN может также предоставлять для каждого предположения/классификации вероятность, указывающую то, насколько вероятно, что предположение/классификация являются точными. В некоторых вариантах осуществления модуль 126 классификации объектов по умолчанию использует конкретную классификацию (например, неизвестно или не одиночная клетка и т.д.), если объект на данном изображении не может быть классифицирован по

- 7 043190 меньшей мере с пороговым уровнем вероятности/достоверности.

Приложение 118 может определить, следует ли удалить данный образец лунки или перейти к следующей стадии создания линии клеток, на основании того, образована ли колония клеток в образце/лунке из одного клона. Однако в зависимости от варианта осуществления определение того, образована ли колония из одного клона, может включать нечто большее, чем обнаружение одной клетки в образце/лунке. Например, приложение 118 может сделать вывод, что колония образована из одного клона, только если выполняется оба из условий:

(1) модуль 126 классификации объектов классифицирует объект-кандидат в лунке как одиночную клетку; и (2) положение этой одиночной клетки в лунке перекрывает (или находится в пределах порогового расстояния и т.д.) положение колонии в лунке.

В данном документе обсуждаются различные другие способы, которыми может быть сделано определение. Следует понимать, что вывод о том, что колония клеток не образовалась/не сформировалась из одиночной клетки, может означать наличие положительного визуального доказательства того, что колония образовалась из двух или более клеток, или может означать, что просто отсутствует подходящее визуальное доказательство для достоверного определения того, как образовалась колония.

Приложение 118 может обеспечивать выполнение пользовательским интерфейсом отображения указания того, следует ли удалить данный образец лунки или перейти на следующую стадию разработки, и/или может устанавливать связь с другим приложением и/или компьютерной системой, чтобы запустить автоматическое удаление или столик создания линии клеток, например. Создание линии клеток может быть предназначено для любой подходящей цели в зависимости от варианта осуществления и/или сценария. Например, линия клеток может быть использована для разработки антител или гибридных молекул для биофармацевтического продукта (например, антител, представляющих собой привлекающие T-клетки биспецифические активаторы (BiTE®-антитела), таких как BLINCYTO® (блинатумомаб) или моноклональных антител и т.д.), или может быть использована для целей исследования и/или разработки.

На фиг. 3 представлена блок-схема примерного процесса 300 для определения того, использовать ли образец в лунке или удалить его. Процесс 300 может быть реализован и (в некоторых вариантах осуществления) полностью автоматизирован системой 100 по фиг. 1, например. В примерном процессе 300 на предварительной стадии 302 субклонирование FACS используется для инокуляции отдельных лунок (например, лунок в планшете 204 с лунками) клонами (клетками). Во время начальной стадии 304 инкубационного периода (называемой для краткости день 1, хотя следует понимать, что начальная стадия 304 может происходить в другие периоды времени сразу после инокуляции), генерируется по меньшей мере одно изображение каждой лунки (например, устройством 210 формирования изображения системы 102 визуального контроля, управляемой модулем 120 управления VIS). Изображения день 1 могут быть зафиксированы в начале первого дня инкубации (например, в скором времени после инокуляции лунок).

На последующей стадии 306 генерируется по меньшей мере одно дополнительное изображение каждой лунки (например, устройством 210 формирования изображения) примерно в середине инкубационного периода (для краткости обозначается как день 7, хотя следует понимать, что примерная средняя точка может иметь место в другие периоды времени, например, в дни 5-7, 5-8, 5-9, 6-7, 6-8, 6-9, 7-8 или 7-9). В некоторых вариантах осуществления стадия 306 может происходить раньше или позже, стадия 306 может быть опущена или процесс 300 может включать дополнительные стадии, на которых генерируются изображения лунок (например, один раз в день или через день и т.д.). Переходя к стадии 308, генерируется еще одно изображение (или другой набор изображений) каждой лунки (например, устройством 210 формирования изображения) в конце инкубационного периода (обозначаемого для краткости как день 14, хотя следует понимать, что конец инкубационного периода может быть в другой период времени). В некоторых вариантах осуществления инкубационный период длиннее или короче 14 дней.

На фиг. 3 стадии 310, 312 и 314 представляют операции, которые происходят для каждого образца/лунки. На этапе 310 по меньшей мере изображения стадий 304 и 308 (например, день 1 и день 14) анализируются, чтобы определить, находится ли колония клеток в лунке, и если да, то образовалась ли эта колония из одного клона. Стадия 310 может включать операции модуля 122 обнаружения колоний ячеек, модуля 124 обнаружения объектов и модуля 126 классификации объектов, например, как описано выше. Стадия 310 может происходить полностью после стадии 308 или может также происходить в другое время во время процесса 300. Как обсуждалось выше по отношению к фиг. 1, например, может быть необходимо проанализировать по меньшей мере некоторые изображения лунок на начальной стадии 304 (например, сразу после инокуляции, например, в первый день инкубации). Таким образом, стадия 310 может включать обнаружение объекта, которое происходит параллельно со стадией 304, а стадия 304 может дополнительно включать получение дополнительных увеличенных изображений каждого обнаруженного объекта-кандидата (например, с использованием устройства 212 формирования изображения). В этих вариантах осуществления анализ каждого объекта-кандидата (например, модулем 126 классификации объектов) может происходить параллельно со стадией 304 (или вскоре после нее) или может происходить после стадии 308 и т.д. В некоторых вариантах осуществления стадия 310 также включает анализ изображений день 7, сгенерированных на стадии 306. Например, на стадии 310 можно определить,

- 8 043190 образовалась ли конкретная колония клеток из одного клона, не только путем идентификации одного клона в лунке, но также путем анализа изображения лунки день 7 для обнаружения колонии на промежуточной стадии роста.

Если на стадии 310 не определено, что конкретная колония клеток образовалась из одного клона (например, если невозможно определить с подходящей достоверностью, что колония образована из одного клона), в технологическом процессе происходит переходит к стадии 312, где соответствующий образец удаляется. И наоборот, если на стадии 314 определено, что колония образовалась из одного клона, в технологическом процессе происходит переходит к стадии 314, где соответствующий образец направляется на следующую стадию процесса создания линии клеток. Например, клетка образца (например, как часть части образца, содержащей клетку) может быть транспортирована в новую культуральную среду и культивирована. Информацию о клеточной культуре можно найти, например, в документе, авторами которого являются Грин и Сэмбрук, Molecular Cloning: A Laboratory Manual (4-е издание), Cold Spring Harbor Laboratory Press, 2012, который во всей своей полноте включен в данный документ посредством ссылки.

На фиг. 4 изображен примерный сценарий, в котором изображения 400, 402 лунки 410 (например, одной из лунок в планшете 204 с лунками) генерируются системой визуального контроля (например, системой 102 визуального контроля) в два разных момента времени. В частности, первое изображение 400 лунки 410 фиксируется вскоре после инокуляции лунки 410 (например, на стадии 304 процесса 300), в то время как второе изображение 402 лунки 410 фиксируется в конце инкубационного периода (например, на стадии 308 процесса 300). Изображения 400 и 402 могут быть зафиксированы, например, устройством 210 формирования изображения. Каждое из изображений 400, 402 представляет вид снизу вверх лунки 410 и полностью изображает содержимое лунки 410. Следует понимать, что в некоторых вариантах осуществления изображения 400, 402 лунки также содержат некоторую область за пределами периферии лунки 410 (например, если изображения прямоугольные).

Обращаясь снова к фиг. 1, модуль 122 обнаружения колоний клеток приложения 118 анализирует изображение 402 (например, с использованием CNN) в конце или после окончания инкубационного периода (например, на стадии 308 процесса 300) и обнаруживает колонию 412 клеток в лунке 410. В некоторых вариантах осуществления в ответ на обнаружение колонии 412 клеток приложение 118 может использовать модуль 124 обнаружения объектов для анализа изображения 400 (например, с использованием OpenCV) с целью обнаружения любых объектов-кандидатов в лунке 410 в начале инкубации. Как видно из примерного сценария на фиг. 4, на изображении 400 изображен только один объект 414 в лунке 410. Таким образом, модуль 124 обнаружения объектов выводит индикацию только одного объекта-кандидата. Приложение 118 может затем извлечь пиксели изображения, соответствующие объекту 414, и предоставить эту часть изображения в качестве входных данных для модуля 126 классификации объектов (например, другой CNN), который анализирует часть изображения для классификации объекта 414 (например, в качестве одиночной клетки или дублета, дебриса и т.д.).

В некоторых вариантах осуществления, как обсуждается в данном документе, точная классификация может предполагать большее увеличение объектов-кандидатов. В таких вариантах осуществления приложение 118 может анализировать изображение 400 вскоре после генерирования изображения 400 (например, вскоре после инокуляции). В частности, модуль 124 обнаружения объектов может анализировать изображение 400, чтобы обнаружить объект 414, и в ответ модуль 120 управления VIS может обеспечить выполнение столиком 202 перемещения таким образом, что объект 414 расположен примерно по центру на оптическом пути устройства формирования изображения с большим увеличением (например, устройства 212 формирования изображения), и обеспечивать выполнение этим устройством формирования изображения фиксирования увеличенного изображения объекта 414 (не показано на фиг. 4) вскоре после того, как изображение 400 было зафиксировано. Модуль 126 классификации объектов может затем анализировать увеличенное изображение для классификации объекта 414. Позже, в конце или после окончания инкубационного периода (например, на стадии 308 процесса 300, например, на 14-й день или после него), модуль 122 обнаружения колоний клеток анализирует изображение 402 и обнаруживает колонию 412 клеток.

Независимо от времени, с которым обнаруживается колония 412 клеток и классифицируется объект 414, классификация (и, возможно, положения колонии 412 и объекта 414 в лунке 410) может использоваться для определения того, образовалась ли колония 412 из одного клона. В альтернативных сценариях, в которых модуль 124 обнаружения объектов обнаруживает несколько объектов-кандидатов на изображении 400, модуль 126 классификации объектов может также анализировать изображения оставшихся объектов-кандидатов, чтобы определить, является ли один или несколько из этих объектов одиночной клеткой.

Если ни один объект на изображении 400 не классифицирован как одиночная клетка, приложение 118 может сделать вывод, что колония 412 клеток не образовалась из одного клона. И наоборот, если объект 414 (или другой объект на изображении 400) классифицируется как одиночная клетка, приложение 118 может определить, что колония 412 клеток действительно образовалась из одного клона. Однако в некоторых вариантах осуществления это последнее определение может также основываться на одном

- 9 043190 или нескольких других факторах. Например, приложение 118 может определить, что колония 412 клеток образована из одного клона, только если положение объекта 414 в лунке 410 перекрывает положение колонии 412 клеток в лунке 410. В качестве другого примера приложение 118 может определить, что колония 412 клеток образована из одного клона, только если (1) положение объекта 414 в лунке 410 перекрывает положение колонии 412 клеток в лунке 410; и (2) другие объекты-кандидаты на изображении 400 не классифицируются как клетки (например, как одиночные клетки или как дублеты).

В некоторых вариантах осуществления одно или несколько изображений промежуточных лунок используются для определения или подтверждения того, что колония клеток формировалась из одного клона. Один такой вариант осуществления обсуждается теперь со ссылкой на фиг. 5, на которой изображен примерный вариант осуществления и сценарий, в которых изображения 500, 502, 504 лунки 510 генерируются системой визуального контроля (например, системой 102 визуального контроля) в три разных момента времени. В частности, первое изображение 500 лунки 510 фиксируется вскоре после инокуляции лунки 510 (например, на стадии 304 процесса 300), второе изображение 502 лунки 510 фиксируется примерно в середине инкубационного периода (например, на стадии 306 процесса 300) и третье изображение 504 лунки 510 фиксируется в конце инкубационного периода (например, на стадии 308 процесса 300). Изображения 500, 502 и 504 могут быть зафиксированы, например, устройством 210 формирования изображения. Каждое из изображений 500, 502, 504 представляет вид снизу вверх лунки 510 и полностью отображает содержимое лунки 510. Как на изображениях 400, 402 на фиг. 4, следует понимать, что в некоторых вариантах осуществления изображения 500, 502, 504 могут также содержать некоторую область за пределами периферии лунки 510.

Обращаясь снова к фиг. 1, модуль 122 обнаружения колоний клеток приложения 118 анализирует изображение 504 (например, с использованием CNN) в конце или после окончания инкубационного периода (например, на стадии 308 процесса 300) и обнаруживает колонию 520 клеток в лунке 510. В некоторых вариантах осуществления в ответ на обнаружение колонии 520 клеток приложение 118 может использовать модуль 124 обнаружения объектов для анализа изображения 500 (например, с использованием OpenCV) с целью обнаружения любых объектов-кандидатов в лунке 510 в начале инкубации. Как видно из примерного сценария на фиг. 5, на изображении 500 изображен только один объект 522 в лунке 510. Таким образом, модуль 124 обнаружения объектов выводит индикацию только одного объекта-кандидата. Приложение 118 может затем извлечь пиксели изображения, соответствующие объекту 522, и предоставить эту часть изображения в качестве входных данных для модуля 126 классификации объектов (например, другой CNN), который анализирует часть изображения для классификации объекта 522 (например, в качестве одиночной клетки или дублета, дебриса и т.д.).

В некоторых вариантах осуществления, как обсуждается в данном документе, точная классификация может предполагать большее увеличение объектов-кандидатов. В таких вариантах осуществления приложение 118 может анализировать изображение 500 вскоре после генерирования изображения 500 (например, вскоре после инокуляции, например, на стадии 304 процесса 300). В частности, модуль 124 обнаружения объектов может анализировать изображение 500, чтобы обнаружить объект 522, и в ответ модуль 120 управления VIS может обеспечить выполнение столиком 202 перемещения таким образом, что объект 522 расположен по меньшей мере примерно по центру на оптическом пути устройства формирования изображения с большим увеличением (например, устройства 212 формирования изображения), и обеспечивать выполнение этим устройством формирования изображения фиксирования увеличенного изображения объекта 522 (не показано на фиг. 4). Модуль 126 классификации объектов может затем анализировать увеличенное изображение для классификации объекта 522. Позже, в конце или после окончания инкубационного периода (например, на стадии 308 процесса 300), модуль 122 обнаружения колоний клеток анализирует изображение 504 и обнаруживает колонию 520 клеток.

Независимо от времени, с которым обнаруживается колония 520 клеток и классифицируется объект 522, классификация (и, возможно, положения колонии 520 и объекта 522 в лунке 510) может использоваться для определения того, образовалась ли колония 520 из одного клона. Как описано выше, присутствие других объектов-кандидатов в изображении 500 и их классификации модулем 126 классификации объектов также могут влиять на это определение. Кроме того, в этом варианте осуществления приложение 118 анализирует изображение 502. Например, модуль 122 обнаружения колоний клеток может анализировать изображение 502 (например, используя ту же CNN, которая использовалась для анализа изображения 504) для обнаружения колонии 524. После этого приложение 118 может сравнивать положение колонии 524 с положением объекта 522 и/или положением колонии 520 клеток и/или может сравнивать размер колонии 524 (например, ширину пикселя или общее количество пикселей и т.д., что соответствует колонии 524 в изображении 502) с размером колонии 520 (например, шириной пикселя или общим количеством пикселей и т.д., соответствующим колонии 520 в изображении 504). В одном примерном варианте осуществления приложение 118 определяет, что колония 520 клеток образована из одного клона, только если (1) положение колонии 524 в лунке 510 перекрывает положение колонии 520 в лунке 510; и (2) размер колонии 524 меньше размера колонии 520.

- 10 043190

Следует понимать, что фиг. 4 и 5 представлены в целях иллюстрации, и что можно проанализировать другое количество изображений (например, четыре, пять, десять и т.д.), и/или изображения из разных дней в течение инкубационного периода могут быть проанализированы, чтобы определить, что колония клеток образовалась из одного клона. Более того, для определения того, образовалась ли колония клеток из одного клона, вместо них или дополнительно с ними могут использоваться алгоритмы, отличные от тех, которые обсуждаются выше. Например, последовательность других функций обработки изображений (например, определение порога интенсивности, анализ сгустка и последующие операторы бинарной морфологии) может взамен или дополнительно использоваться для определения того, образовалась ли колония клеток из одного клона.

Фиг. 6 и 7 соответствуют примерному варианту осуществления и сценарию, в котором обнаружено несколько объектов-кандидатов и в которых получены увеличенные изображения этих объектов для более точной классификации. Ссылаясь сначала на фиг. 6, изображение 600 (которое может представлять все изображение или только часть изображения) изображает лунку 610 (например, одну из лунок в планшете 204 с лунками). Изображение 600 могло быть зафиксировано, например, устройством 210 формирования изображения. На изображении 600 модуль 124 обнаружения объектов обнаружил первый объект-кандидат 612 и второй объект-кандидат 614. Прямоугольники, окружающие объекты 612, 614, просто означают, что эти объекты были обнаружены, и могут или не могут фактически быть сгенерированы или отображены в любом пользовательском интерфейсе.

Поскольку приложение 118 не может в этом конкретном примере точно классифицировать объекты 612, 614 на основании изображения 600 (или по меньшей мере не может точно классифицировать объекты аналогичного размера на достаточно постоянной основе), модуль 120 управления VIS может быть выполнен с возможностью обеспечения выполнения системой 102 визуального осмотра фиксирования увеличенных изображений объектов 612, 614 (например, с использованием устройства 212 формирования изображения). На фиг. 7 изображены различные примерные увеличенные изображения 700, 702, 704, 706, любое из которых может соответствовать, например, одному из объектов-кандидатов 612, 614. В частности, изображение 700 представляет собой изображение с большим увеличением одиночной клетки 710, изображение 702 представляет собой изображение с большим увеличением аберрации 720 в стенке 722 лунки, изображение 704 представляет собой изображение с большим увеличением дублета 730, а изображение 706 представляет собой изображение дебриса 740 с большим увеличением. Модуль 126 классификации объектов может использовать CNN, которая обучена классифицировать объекты согласно всем этим классам, некоторым из этих классов (например, одиночная клетка по сравнению с другой) и/или одному или нескольким другим классам (например, пустая клетка, пузырь и т.д.).

На фиг. 8 представлена блок-схема примерного способа 800 для способствования клональной селекции (например, для процесса создания линии клеток). Способ 800 может быть реализован одной или нескольких частями системы 100 (например, системой 102 визуального контроля и компьютерной системой 104) или другой подходящей системой. В качестве более конкретного примера блок 802 способа 800 может быть реализован системой 102 визуального контроля по фиг. 1 и 2, тогда как блоки 804-812 могут быть реализованы компьютерной системой 104 (например, блоком 110 обработки при исполнении команд, хранящихся в блоке 114 памяти).

В блоке 802 способа 800 несколько изображений временной последовательности лунки, содержащей среду, генерируется первым блоком формирования изображения (например, устройством 210 формирования изображения). Среда может содержать питательные вещества для клеток, факторы роста и т.д. и была ранее инокулирована (например, с использованием метода проточной цитометрии, такого как метод FACS). Сгенерированные изображения содержат по меньшей мере первое изображение временной последовательности, сгенерированное в первый раз (например, вскоре после инокуляции, например, в течение первого дня инкубационного периода), и второе изображение временной последовательности, сгенерированное во второй более поздний раз (например, в последний день инкубационного периода). Несколько изображений может также содержать одно или несколько дополнительных изображений временной последовательности, которые генерируются время от времени между первым и вторым изображениями временной последовательности.

В блоке 804 первое изображение временной последовательности анализируется (например, с использованием OpenCV и/или некоторого другого подходящего программного обеспечения для обнаружения и/или сегментации объектов) для обнаружения одного или нескольких объектов-кандидатов, изображенных на первом изображении временной последовательности. Блок 804 может включать обнаружение только объектов, которые находятся в изображенной лунке и меньше некоторого максимального размера (например, количества пикселей). Блок 804 может включать или не включать сегментирование первого изображения временной последовательности для идентификации того, какие пиксели изображения соответствуют объекту, в зависимости от варианта осуществления.

В блоке 806 для каждого объекта-кандидата, обнаруженного в блоке 804, изображение объектакандидата анализируется с использованием CNN, чтобы определить то, является ли объект-кандидат одиночной клеткой. Если сегментирование объектов-кандидатов было выполнено в блоке 806, например, блок 806 может включать анализ набора пикселей, который соответствует каждому объекту-кандидату. В

- 11 043190 качестве альтернативы, способ 800 может дополнительно включать для каждого объекта-кандидата, обнаруженного в блоке 804, генерирование увеличенного изображения части лунки, которая содержит объект-кандидат, в этом случае блок 806 может включать анализ каждого увеличенного изображения с использованием CNN. Увеличенное изображение (изображения) может быть сгенерировано с использованием второго блока формирования изображения с большим увеличением, такого как устройство 212 формирования изображения. Генерирование увеличенного изображения (изображений) может включать смещение лунки (например, путем перемещения столика, на котором расположен планшет с лунками, содержащий лунку) таким образом, чтобы лунка была выровнена с оптическим путем второго блока формирования изображения, например.

Независимо от того, какой тип изображения анализируется (например, сегментированная часть изображения или новое увеличенное изображение), CNN, используемая в блоке 804, может быть сконфигурирована/обучена для классификации объектов согласно разным возможным типам объектов, включая по меньшей мере один тип, соответствующий одной клетке (или одной живой клетке и т.д.). Например, CNN может классифицировать данный объект в качестве одной клетки, дублета и дебриса или в качестве одной клетки и другого и т.д.

В некоторых вариантах осуществления блоки 804 и 806 выполняются после завершения блока 802. В других вариантах осуществления блоки 804 и 806 выполняются до того, как второе изображение временной последовательности будет сгенерировано в блоке 802. Например, блоки 804 и 806 могут выполняться почти сразу после того, как первое изображение временной последовательности было сгенерировано в блоке 802.

В блоке 808 второе изображение временной последовательности анализируется для обнаружения изображенной на нем колонии клеток. Второе изображение временной последовательности может быть проанализировано с использованием CNN (например, другой CNN, чем тот, который используется в блоке 806), например, или с использованием одной или нескольких других функций обработки изображения (например, пороговое значение интенсивности, анализ сгустка, операторы бинарной морфологии и т.д.). В различных вариантах осуществления блок 808 может выполняться через несколько дней после блоков 804 и 806 (например, если блоки 804 и 806 произошли вскоре после того, как было сгенерировано первое изображение временной последовательности) или вскоре после блоков 804 и 806 (например, если весь анализ изображения происходит после завершения блока 802). Однако в других вариантах осуществления блоки 804 и 806 выполняются после (например, в ответ на) определения, выполненного в блоке 808. Т.е. система, реализующая способ 800, может пытаться обнаружить одиночную клетку в лунке, и только если колония клеток уже была обнаружена в лунке.

В блоке 810 определяется то, была ли колония клеток, обнаруженная в блоке 808, образована только из одной клетки, по меньшей мере частично на основании определения (определений), сделанного в блоке 806 (т.е., на основании по меньшей мере того, является ли каждый из одного или нескольких объектов-кандидатов одиночной клеткой). Например, в блоке 810 может быть определено, что колония не образовалась из одиночной клетки, если объект-кандидат (объекты-кандидаты) содержит две или более клеток или если ни один объект среди объектов-кандидатов не является живой одиночной клеткой и т.д. Следует понимать, что вывод о том, что колония образовалась не из одиночной клетки, может означать наличие положительного визуального свидетельства того, что колония образовалась из двух или более клеток, или что просто отсутствуют подходящее визуальное свидетельство для определения того, как образовалась колония.

В некоторых вариантах осуществления определение в блоке 810 также основано на одном или нескольких других факторах. Если в блоке 806 было определено, что первый объект-кандидат на первом изображении временной последовательности является одиночной клеткой, например, блок 810 может включать сравнение положения этого объекта-кандидата в лунке с положением колонии клеток в лунке. Дополнительно или альтернативно, если третье изображение временной последовательности было сгенерировано в момент времени между первым и вторым изображениями временной последовательности, и если в блоке 806 было определено, что первый объект-кандидат в первом изображении временной последовательности является одиночной клеткой, блок 810 может включать анализ третьего изображения временной последовательности, чтобы определить, превратился ли этот объект-кандидат в колонию клеток. Например, промежуточная колония может быть обнаружена на третьем изображении временной последовательности, и количество клеток, размер и/или положение промежуточной колонии можно проанализировать и сравнить с количеством клеток, размером и/или положением колонии клеток, обнаруженной на втором изображении временной последовательности.

В блоке 812 генерируются выходные данные. Выходные данные указывают на то, была ли колония клеток образована только из одной клетки, в соответствии с определением, сделанным в блоке 810. Выходные данные могут отображаться пользователю на пользовательском интерфейсе вычислительного устройства, например, и/или могут быть отправлены в один или несколько других программных модулей и/или компьютерных систем. В некоторых вариантах осуществления выходные данные сигнализируют пользователю или одному или нескольким программным модулям или системам, что лунка, содержащая колонию клеток, должна быть выбрана для одной или нескольких дополнительных стадий создания ли

- 12 043190 нии клеток (если было определено в блоке 810, что колония образовалась только из одной клетки), или что содержимое лунки следует удалить (если было определено в блоке 810, что колония не была образована только из одной клетки). В некоторых вариантах осуществления способ 800 дополнительно включает использование содержимого лунки для создания линии клеток (например, для получения биофармацевтического продукта или для исследования и разработки и т.д.), например, путем переноса клетки из лунки в новую культуральную среду и культивирования клетки в новой культуральной среде, или дополнительно включает удаление содержимого лунки на основании выходных данных.

Хотя системы, способы, устройства и их компоненты были описаны в рамках примерных вариантов осуществления, они не ограничиваются ими. Подробное описание следует интерпретировать как приведенное только в качестве примера, и в нем не изложен каждый возможный вариант осуществления настоящего изобретения, поскольку изложение каждого возможного варианта осуществления было бы непрактичным, если не невозможным. Могут быть реализованы многочисленные альтернативные варианты осуществления с использованием либо современной технологии, либо технологии, разработанной после даты подачи настоящего патента, которые тем не менее находятся в пределах формулы изобретения, определяющей объем настоящего изобретения.

Специалисты в данной области техники поймут, что многочисленный ряд модификаций, изменений и комбинаций может быть выполнен применительно к описанным выше вариантам осуществления без отхода от объема настоящего изобретения и что такие модификации, изменения и комбинации необходимо рассматривать как попадающие в объем идеи настоящего изобретения.

Claims (23)

1. Способ способствования клональной селекции, причем способ включает генерирование первым блоком формирования изображения нескольких изображений временной последовательности лунки, содержащей среду, при этом несколько изображений временной последовательности содержат первое изображение временной последовательности, сгенерированное в первый раз, и второе изображение временной последовательности, сгенерированное во второй раз, произошедший позднее первого раза;

обнаружение одним или несколькими процессорами, анализирующими первое изображение временной последовательности, одного или нескольких объектов-кандидатов, изображенных на первом изображении временной последовательности;

для каждого из одного или нескольких объектов-кандидатов определение одним или несколькими процессорами, анализирующими изображение объекта-кандидата с использованием сверточной нейронной сети, того, является ли объект-кандидат одной клеткой;

обнаружение одним или несколькими процессорами, анализирующими второе изображение временной последовательности, колонии клеток, изображенной на втором изображении временной последовательности;

определение одним или несколькими процессорами того, была ли колония клеток образована только из одной клетки, по меньшей мере частично на основании того, был ли каждый из одного или нескольких объектов-кандидатов определен в качестве одиночной клетки; и генерирование одним или несколькими процессорами выходных данных, указывающих на то, была ли колония клеток образована только из одной клетки.

2. Способ по п.1, отличающийся тем, что способ включает определение с использованием сверточной нейронной сети того, что первый объект-кандидат из одного или нескольких объектов-кандидатов является одиночной клеткой; и при этом определение того, образовалась ли колония клеток только из одной клетки, дополнительно включает сравнение положения первого объекта-кандидата в лунке с положением колонии клеток в лунке.

3. Способ по п.1 или 2, отличающийся тем, что несколько изображений временной последовательности дополнительно содержат третье изображение временной последовательности, сгенерированное в третий раз между первым разом и вторым разом;

при этом способ включает определение с использованием сверточной нейронной сети того, что первый объект-кандидат из одного или нескольких объектов-кандидатов является одиночной клеткой; и при этом определение того, образовалась ли колония клеток только из одной клетки, дополнительно включает определение путем анализа по меньшей мере третьего изображения временной последовательности того, превратился ли первый объект-кандидат в колонию клеток.

4. Способ по п.3, отличающийся тем, что определение того, превратился ли первый объекткандидат в колонию клеток, включает определение того, изображает ли третье изображение временной последовательности промежуточную колонию клеток, обладающую одним или обоими следующими свойствами:

(i) количество клеток меньше, чем колония клеток; или (ii) размер меньше, чем эта колония клеток.

- 13 043190

5. Способ по п.3, отличающийся тем, что определение того, превратился ли первый объекткандидат в колонию клеток, включает (i) определение того, что третье изображение временной последовательности изображает промежуточную колонию клеток; и (ii) сравнение положения промежуточной колонии клеток в лунке с положением колонии клеток в лунке и/или с положением первого объекта-кандидата в лунке.

6. Способ по любому из пп.1-5, отличающийся тем, что первый блок формирования изображения генерирует несколько изображений временной последовательности на первом уровне увеличения;

при этом способ дополнительно включает генерирование для каждого из одного или нескольких объектов-кандидатов, изображенных на первом изображении временной последовательности, вторым блоком формирования изображения, обеспечивающим второй уровень увеличения, превышающий первый уровень увеличения, увеличенного изображения части лунки, которая содержит объект-кандидат; и при этом определение того, является ли объект-кандидат одиночной клеткой, включает определение путем анализа увеличенного изображения с использованием сверточной нейронной сети того, является ли объект-кандидат одиночной клеткой.

7. Способ по п.6, отличающийся тем, что генерирование увеличенного изображения включает сдвиг лунки таким образом, чтобы лунка была выровнена с оптическим путем второго блока формирования изображения.

8. Способ по любому из пп.1-7, отличающийся тем, что определение того, является ли объекткандидат одиночной клеткой, включает использование сверточной нейронной сети для классификации объекта-кандидата в качестве одного из нескольких возможных типов объектов, причем несколько типов объектов содержат тип, соответствующий одиночной клетке.

9. Способ по любому из пп.1-8, отличающийся тем, что обнаружение колонии клеток, изображенной на втором изображении временной последовательности, включает обработку второго изображения временной последовательности с использованием другой сверточной нейронной сети.

10. Способ по любому из пп.1-9, отличающийся тем, что способ включает определение того, что колония клеток образовалась только из одной клетки; и при этом способ дополнительно включает транспортировку клетки из лунки в новую культуральную среду и культивирование клетки в новой культуральной среде.

11. Способ по любому из пп.1-9, отличающийся тем, что способ включает определение того, что колония клеток образовалась только из одной клетки; и при этом способ дополнительно включает использование содержимого лунки для создания линии клеток для получения биофармацевтического продукта.

12. Способ по любому из пп.1-11, отличающийся тем, что способ включает определение того, что колония клеток не была образована только из одной клетки; и при этом способ дополнительно включает удаление содержимого лунки.

13. Один или несколько энергонезависимых машиночитаемых носителей, хранящих команды, которые при исполнении одним или несколькими процессорами обеспечивают выполнение одним или несколькими процессорами приема нескольких изображений временной последовательности лунки, содержащей среду, при этом несколько изображений временной последовательности сгенерированы первым блоком формирования изображения и содержат первое изображение временной последовательности, сгенерированное в первый раз, и второе изображение временной последовательности, сгенерированное во второй раз, произошедший позднее первого раза;

обн аружения путем анализа первого изображения временной последовательности одного или нескольких объектов-кандидатов, изображенных на первом изображении временной последовательности;

для каждого из одного или нескольких объектов-кандидатов определения путем анализа изображения объекта-кандидата с использованием сверточной нейронной сети того, является ли объект-кандидат одиночной клеткой;

обн аружения путем анализа второго изображения временной последовательности колонии клеток, изображенной на втором изображении временной последовательности;

определения того, образовалась ли колония клеток только из одной клетки, по меньшей мере частично на основании того, был ли каждый из одного или нескольких объектов-кандидатов определен в качестве одиночной клетки; и генерирования выходных данных, указывающих на то, была ли колония клеток образована только из одной клетки.

14. Один или несколько энергонезависимых машиночитаемых носителей по п.13, отличающиеся тем, что команды обеспечивают выполнение одним или несколькими процессорами при определении

- 14 043190 того, что первый объект-кандидат является одиночной клеткой, определения путем сравнения положения первого объекта-кандидата в лунке с положением колонии клеток в лунке того, превратился ли первый объект-кандидат в колонию клеток.

15. Один или несколько энергонезависимых машиночитаемых носителей по любому из пп.13, 14, отличающиеся тем, что несколько изображений временной последовательности дополнительно содержат третье изображение временной последовательности, сгенерированное в третий раз между первым разом и вторым разом, и при этом команды обеспечивают выполнение одним или несколькими процессорами при определении того, образовалась ли колония клеток только из одной клетки, определения путем анализа по меньшей мере третьего изображения временной последовательности того, превратился ли первый объект-кандидат в колонию клеток.

16. Один или несколько энергонезависимых машиночитаемых носителей по любому из пп.13-15, отличающиеся тем, что несколько изображений временной последовательности, генерируемых первым блоком формирования изображения, сгенерированы на первом уровне увеличения;

при этом команды дополнительно обеспечивают выполнение одним или несколькими процессорами по меньшей мере для одного из одного или нескольких объектов-кандидатов приема увеличенного изображения части лунки, которая содержит объект-кандидат, причем увеличенное изображение сгенерировано на втором уровне увеличения, превышающем первый уровень увеличения; и при этом команды обеспечивают выполнение одним или несколькими процессорами определения путем анализа увеличенного изображения с использованием сверточной нейронной сети того, является ли объекткандидат одиночной клеткой.

17. Один или несколько энергонезависимых машиночитаемых носителей по п.16, отличающиеся тем, что увеличенное изображение сгенерировано вторым блоком формирования изображения, при этом команды дополнительно обеспечивают выполнение одним или несколькими процессорами выдачи столику, содержащему расположенную на нем лунку, команды на выравнивание лунки с оптическим путем второго блока формирования изображения.

18. Один или несколько энергонезависимых машиночитаемых носителей по любому из пп.13-17, отличающиеся тем, что выходные данные либо (i) указывают на то, что содержимое лунки может быть использовано для создания линии клеток для получения биофармацевтического продукта; либо (ii) указывают на то, что содержимое лунки следует удалить.

19. Система способствования клональной селекции, содержащая систему визуального контроля, содержащую столик, выполненный с возможностью размещения планшета с лунками, и первый блок формирования изображения, выполненный с возможностью генерирования изображений лунок в планшете с лунками на столике, при этом каждое изображение соответствует одиночной лунке; и компьютерную систему, содержащую один или несколько процессоров, и один или несколько запоминающих устройств, хранящих команды, которые при исполнении одним или несколькими процессорами обеспечивают выполнение компьютерной системой выдачи первому блоку формирования изображения команды на генерирование нескольких изображений временной последовательности лунки, содержащей среду, при этом несколько изображений временной последовательности содержат первое изображение временной последовательности, сгенерированное в первый раз, и второе изображение временной последовательности, сгенерированное во второй раз, произошедший позднее первого раза;

обнаружения путем анализа первого изображения временной последовательности одного или нескольких объектов-кандидатов, изображенных на первом изображении временной последовательности;

для каждого из одного или нескольких объектов-кандидатов определения путем анализа изображения объекта-кандидата с использованием сверточной нейронной сети того, является ли объект-кандидат одиночной клеткой;

обнаружения путем анализа второго изображения временной последовательности колонии клеток, изображенной на втором изображении временной последовательности;

определения того, образовалась ли колония клеток только из одной клетки, по меньшей мере частично на основании того, был ли каждый из одного или нескольких объектов-кандидатов определен в качестве одиночной клетки; и генерирования выходных данных, указывающих на то, была ли колония клеток образована только из одной клетки.

20. Система по п.19, отличающаяся тем, что команды обеспечивают выполнение компьютерной системой при определении того, что первый объект-кандидат является одиночной клеткой, определения путем сравнения положения первого объекта-кандидата в лунке с положением колонии клеток в лунке того, превратился ли первый объект-кандидат в колонию клеток.

- 15 043190

21. Система по любому из пп.19, 20, отличающаяся тем, что несколько изображений временной последовательности дополнительно содержат третье изображение временной последовательности, сгенерированное в третий раз между первым разом и вторым разом, и при этом команды обеспечивают выполнение компьютерной системой при определении того, образовалась ли колония клеток только из одной клетки, определения путем анализа по меньшей мере третьего изображения временной последовательности того, превратился ли первый объект-кандидат в колонию клеток.

22. Система по любому из пп.19-21, отличающаяся тем, что первый блок формирования изображения выполнен с возможностью генерирования нескольких изображений временной последовательности на первом уровне увеличения;

система визуального контроля дополнительно содержит второй блок формирования изображения, выполненный с возможностью генерирования увеличенных изображений частей лунок в планшете с лунками;

второй блок формирования изображения обеспечивает второй уровень увеличения, превышающий первый уровень увеличения;

команды дополнительно обеспечивают выполнение компьютерной системой для каждого из по меньшей мере одного из одного или нескольких объектов-кандидатов выдачи второму блоку формирования изображения команды на генерирование увеличенного изображения части лунки, которая содержит объект-кандидат; и команды обеспечивают выполнение компьютерной системой определения путем анализа увеличенного изображения с использованием сверточной нейронной сети того, является ли объект-кандидат одиночной клеткой.

23. Система по п.22, отличающаяся тем, что увеличенное изображение сгенерировано вторым блоком формирования изображения, при этом команды дополнительно обеспечивают выполнение одним или несколькими процессорами выдачи столику команды, обеспечивая выравнивание столиком, содержащим расположенную на нем лунку, лунки с оптическим путем второго блока формирования изображения.