BR112019010457A2 - aparelho e método de processamento de informação, programa, e, sistema de observação. - Google Patents

aparelho e método de processamento de informação, programa, e, sistema de observação. Download PDF

Info

Publication number
BR112019010457A2
BR112019010457A2 BR112019010457A BR112019010457A BR112019010457A2 BR 112019010457 A2 BR112019010457 A2 BR 112019010457A2 BR 112019010457 A BR112019010457 A BR 112019010457A BR 112019010457 A BR112019010457 A BR 112019010457A BR 112019010457 A2 BR112019010457 A2 BR 112019010457A2
Authority
BR
Brazil
Prior art keywords
image capture
image
area
capture area
wells
Prior art date
Application number
BR112019010457A
Other languages
English (en)
Inventor
Shinoda Masataka
Ohashi Takeshi
Azuma Taro
Onuma Tomoya
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of BR112019010457A2 publication Critical patent/BR112019010457A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1425—Optical investigation techniques, e.g. flow cytometry using an analyser being characterised by its control arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Organic Chemistry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biotechnology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Dispersion Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Microbiology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)

Abstract

[problema] prover: um dispositivo de processamento de informação com o qual as células que serão observadas podem ser fotografadas eficientemente; um método de processamento de informação; um programa; e um sistema de observação. [solução] é provido um dispositivo de processamento de informação de acordo com a presente invenção com uma unidade de controle de fotografia, uma unidade de classificação da área de fotografia, e uma unidade de controle de observação. a unidade de controle de fotografia controla um mecanismo de fotografia de maneira tal que um contêiner de cultura provido com uma pluralidade de poços que acomodam células seja fotografado em cada área de fotografia. a unidade de classificação da área de fotografia executa o processamento de imagem em cada imagem fotografada pelo mecanismo de fotografia, e classifica uma pluralidade de áreas de fotografia como primeira área de fotografia para a qual a fotografia deve ser continuada, ou segunda área de fotografia para a qual a fotografia não deve ser continuada, com base nos resultados do processamento de imagem. a unidade de controle de observação instrui a unidade de controle de fotografia de maneira tal que as áreas de fotografia classificadas como a primeira área de fotografia sejam fotografadas e as áreas de fotografia classificadas como a segunda área de fotografia não sejam fotografadas.

Description

APARELHO E MÉTODO DE PROCESSAMENTO DE INFORMAÇÃO, PROGRAMA, E, SISTEMA DE OBSERVAÇÃO
Campo Técnico [001] A presente tecnologia refere-se a um aparelho de processamento de informação, a um método de processamento de informação, a um programa e a um sistema de observação aplicáveis para capturar as imagens de células.
Fundamentos da Técnica [002] Nos últimos anos, os ovos férteis cultivados são frequentemente transplantados para animais de criação em uma indústria de animais de criação domésticos. Entretanto, para fazer isto, é desejável prover uma técnica para cultivar uma grande quantidade de ovos férteis. Por exemplo, a Literatura de Patente 1 descreve uma técnica em que os ovos férteis de animais de criação, etc. são cultivados e são crescidos até um estado transplantável.
Lista de Citação
Literatura de Patente [003] Literatura de Patente 1: Pedido de Patente Japonês em Aberto 2011-192109
Descrição da Invenção
Problema Técnico [004] A fim de crescer os ovos férteis até um estado transplantável, é necessário verificar regularmente a qualidade dos ovos férteis. Especificamente, é necessário capturar regularmente a imagem dos ovos férteis para cada estágio de crescimento e observar um estado de crescimento dos ovos férteis. Neste momento, é desejável prover uma técnica para capturar eficientemente as imagens de ovos férteis em crescimento mantendo o estresse tão baixo quanto possível.
[005] A presente tecnologia é feita em vista das supramencionadas
Petição 870190047922, de 22/05/2019, pág. 12/62
2/35 circunstâncias, e é um objetivo da presente tecnologia prover um aparelho de processamento de informação, um método de processamento de informação, um programa e um sistema de observação com os quais as imagens de células em observação são eficientemente capturadas.
Solução para o Problema [006] A fim de alcançar o objetivo, um aparelho de processamento de informação de acordo com uma modalidade da presente tecnologia inclui uma unidade controladora da captura de imagem, uma unidade classificadora da área de captura de imagem, e uma unidade controladora de observação.
[007] A unidade controladora da captura de imagem controla um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem.
[008] A unidade classificadora da área de captura de imagem aplica o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classifica a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem.
[009] A unidade controladora de observação instrui a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
[0010] Com esta configuração, já que a unidade controladora da captura de imagem controla o mecanismo de captura de imagem com base na instrução pela unidade controladora de observação, a captura das imagens da segunda área de captura de imagem é omitida. Assim, é possível encurtar o tempo para capturar as imagens das células em observação e para capturar
Petição 870190047922, de 22/05/2019, pág. 13/62
3/35 efetivamente as imagens das células.
[0011] A unidade classificadora da área de captura de imagem pode incluir uma unidade de avaliação que avalia se cada um da pluralidade de poços incluídos em cada área de captura de imagem é adequado ou não para observação, e uma unidade de determinação que determina a área de captura de imagem como a primeira área de captura de imagem ou a segunda área de captura de imagem com base em um resultado da avaliação da unidade de avaliação.
[0012] Com esta configuração, pode-se determinar se a captura das imagens das áreas de captura de imagem é continuada ou não com base em cada estado da pluralidade de poços.
[0013] A unidade de determinação pode determinar a área de captura de imagem como a segunda área de captura de imagem em um caso em que todos os poços incluídos na área de captura de imagem forem inadequados para observação e pode determinar a área de captura de imagem como a primeira área de captura de imagem em um caso em que pelo menos um poço incluído na área de captura de imagem for adequado para observação.
[0014] Com esta configuração, impede-se que ovos férteis em observação sejam não capturados.
[0015] A unidade de avaliação pode avaliar se os poços são adequados para observação ou não de acordo com um estado de crescimento das células alojadas nos poços.
[0016] Com esta configuração, pode-se determinar se a captura das imagens das áreas de captura de imagem é continuada ou não com base em cada estado da pluralidade de poços.
[0017] A unidade de avaliação pode avaliar o estado de crescimento das células de acordo com o algoritmo de aprendizado de máquina.
[0018] Com esta configuração, o estado de crescimento das células
Petição 870190047922, de 22/05/2019, pág. 14/62
4/35 pode ser avaliado com um alto grau de precisão.
[0019] A unidade de avaliação pode avaliar cada um dos poços que aloja uma célula como os poços adequados para observação e os poços que alojam uma pluralidade de células e os poços que alojam nenhuma célula como os poços inadequados para observação.
[0020] A unidade controladora de observação pode instruir a unidade controladora da captura de imagem de maneira tal que o número de vezes de captura das imagens de uma primeira área de captura de imagem específica incluída na pluralidade de áreas de captura de imagem classificada como a primeira área de captura de imagem seja maior do que o número de vezes de captura das imagens de uma primeira área de captura de imagem diferente da primeira área de captura de imagem específica.
[0021] Com esta configuração, se comparado com o caso em que as imagens de todos os ovos férteis alojados no vaso de cultura são capturadas, as imagens dos ovos férteis de alto interesse podem ser intensivamente capturadas, e as imagens dos ovos férteis podem ser capturadas de forma altamente seletiva.
[0022] A unidade controladora da captura de imagem pode mudar uma primeira rota de movimento ao longo da qual o mecanismo de captura de imagem passa através de toda a pluralidade de áreas de captura de imagem para uma segunda rota de movimento mais curta do que a primeira rota de movimento com base em uma instrução pela unidade controladora de observação.
[0023] Com esta configuração, a rota de movimento do mecanismo de captura de imagem é otimizada, e é possível encurtar o tempo para capturar as imagens dos ovos férteis em observação.
[0024] A fim de alcançar o objetivo, em um método de processamento de informação de acordo com uma modalidade da presente tecnologia, um mecanismo de captura de imagem é controlado para capturar as imagens de
Petição 870190047922, de 22/05/2019, pág. 15/62
5/35 um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem.
[0025] O processamento de imagem é aplicado nas imagens capturadas pelo mecanismo de captura de imagem, a pluralidade de áreas de captura de imagem são classificadas em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem.
[0026] A unidade controladora da captura de imagem é instruída a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
[0027] A fim de alcançar o objetivo, um programa de acordo com uma modalidade da presente tecnologia faz com que o aparelho de processamento de imagem execute as seguintes etapas:
Uma etapa de controlar um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem.
[0028] Uma etapa de aplicar o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classificar a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem.
[0029] Uma etapa de instruir a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
Petição 870190047922, de 22/05/2019, pág. 16/62
6/35 [0030] A fim de alcançar o objetivo, um sistema de observação de acordo com uma modalidade da presente tecnologia inclui um vaso de cultura, um mecanismo de captura de imagem, uma fonte de luz, e um aparelho de processamento de informação.
[0031] O vaso de cultura inclui uma pluralidade de poços que alojam as células.
[0032] O mecanismo de captura de imagem captura das imagens do vaso de cultura para cada área de captura de imagem.
[0033] A fonte de luz irradia o vaso de cultura com a luz.
[0034] O aparelho de processamento de informação inclui uma unidade controladora da captura de imagem, uma unidade classificadora da área de captura de imagem e uma unidade controladora de observação.
[0035] A unidade controladora da captura de imagem controla o mecanismo de captura de imagem.
[0036] A unidade classificadora da área de captura de imagem aplica o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classifica a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem.
[0037] A unidade controladora de observação instrui a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
[0038] O sistema de observação pode incluir adicionalmente um filtro de blindagem de luz que blinda a luz de maneira tal que apenas uma faixa do campo de visão do mecanismo de captura de imagem seja irradiada com a luz proveniente da fonte de luz no momento da captura das imagens da primeira
Petição 870190047922, de 22/05/2019, pág. 17/62
7/35 área de captura de imagem pelo mecanismo de captura de imagem.
[0039] Com esta configuração, já que os ovos férteis nas áreas de captura de imagem diferentes da primeira área de captura de imagem não são irradiados com a luz, quando o mecanismo de captura de imagem capturar as imagens da primeira área de captura de imagem, assim, fotodanos (fototoxicidade) nos ovos férteis são reduzidos. Note que os fotodanos (fototoxicidade) incluem fotodanos, danos térmicos, e outros danos no DNA e nos cromossomos afetados pela luz.
[0040] A fonte de luz pode ser um dispositivo de iluminação configurado para ser capaz de irradiar localmente cada uma da pluralidade de áreas de captura de imagem com a luz, o dispositivo de iluminação irradiando apenas a faixa do campo de visão do mecanismo de captura de imagem com a luz no momento da captura das imagens da primeira área de captura de imagem pelo mecanismo de captura de imagem.
[0041] Com esta configuração, já que os ovos férteis nas áreas de captura de imagem diferentes da primeira área de captura de imagem não são irradiados com a luz, quando o mecanismo de captura de imagem capturar as imagens da primeira área de captura de imagem, assim, os fotodanos (fototoxicidade) nos ovos férteis são reduzidos. Note que os fotodanos (fototoxicidade) incluem fotodanos, danos térmicos, e outros danos no DNA e nos cromossomos afetados pela luz.
[0042] O vaso de cultura pode incluir um mecanismo de remoção de célula configurado para ser capaz de remover as células alojadas nos poços incluídos na área de captura de imagem classificada como a segunda área de captura de imagem.
[0043] Com esta configuração, uma influência negativa das células nas células alojadas nos poços das primeiras áreas de captura de imagem pode ser suprimida.
Efeitos Vantajosos da Invenção
Petição 870190047922, de 22/05/2019, pág. 18/62
8/35 [0044] Um aparelho de processamento de informação, um método de processamento de informação, um programa e um sistema de observação com os quais as imagens das células em observação podem ser eficientemente capturadas podem ser providos.
Breve Descrição dos Desenhos [0045] A figura 1 é um diagrama que mostra esquematicamente um exemplo de configuração de um sistema de observação de acordo com uma primeira modalidade da presente tecnologia.
[0046] A figura 2 é um diagrama de blocos funcional do sistema de observação.
[0047] A figura 3 é um fluxograma que mostra um método de obtenção de imagens pelo sistema de observação.
[0048] A figura 4 é um diagrama que mostra esquematicamente uma rota de movimento de um mecanismo de captura de imagem do sistema de observação.
[0049] A figura 5 é um diagrama que mostra esquematicamente uma rota de movimento de um mecanismo de captura de imagem do sistema de observação.
[0050] A figura 6 é um diagrama que mostra esquematicamente uma rota de movimento de um mecanismo de captura de imagem de acordo com um exemplo de modificação da primeira modalidade.
[0051] A figura 7 é um diagrama que mostra esquematicamente um exemplo de configuração de um sistema de observação de acordo com uma segunda modalidade da presente tecnologia.
[0052] A figura 8 é um diagrama de blocos funcional do sistema de observação.
[0053] A figura 9 é um diagrama que mostra esquematicamente uma rota de movimento de um mecanismo de captura de imagem do sistema de observação.
Petição 870190047922, de 22/05/2019, pág. 19/62
9/35 [0054] A figura 10 é um diagrama que mostra esquematicamente um exemplo de configuração de um sistema de observação de acordo com uma terceira modalidade da presente tecnologia.
Modo(s) para Realizar a Invenção [0055] A seguir, as modalidades da presente tecnologia serão descritas em relação aos desenhos.
[0056] Nos desenhos, o eixo geométrico X, o eixo geométrico Y e o eixo geométrico Z perpendiculares são mostrados conforme necessário. O eixo geométrico X, o eixo geométrico Y e o eixo geométrico Z são comuns em todos os desenhos.
<Primeira Modalidado [Configuração do Sistema de Observação] [0057] A figura 1 é um diagrama que mostra esquematicamente um exemplo de configuração de um sistema de observação 100 de acordo com uma primeira modalidade da presente tecnologia. Da forma mostrada na figura 1, o sistema de observação 100 inclui um dispositivo de cultivo 10, um vaso de cultura 20, uma fonte de luz 30, um mecanismo de captura de imagem 40, uma unidade controladora de gás 50, um aparelho de processamento de informação 60 e um dispositivo de exibição 70.
[0058] Da forma mostrada na figura 1, o dispositivo de cultivo 10 é uma câmara, em que o vaso de cultura 20 (placa), a fonte de luz 30, o mecanismo de captura de imagem 40 e a unidade controladora de gás 50 são alojados. O vaso de cultura 20 inclui uma pluralidade de poços W, da forma mostrada na figura 1. Cada poço W é configurado para ser capaz de alojar uma célula, aqui, um ovo fértil F. Além do mais, os poços W são arranjados em uma matriz no vaso de cultura 20 (veja a figura 4). Adicionalmente, o dispositivo de cultivo 10 é configurado para permitir que gás arbitrário flua para o interior do dispositivo de cultivo 10.
[0059] Note que a “célula” inclui conceitualmente pelo menos uma
Petição 870190047922, de 22/05/2019, pág. 20/62
10/35 única célula e um agregado de uma pluralidade de células nesta especificação. A “célula” tem qualquer forma tridimensional como um exemplo e inclui pelo menos células de ovo (ovos) não fertilizadas, ovos férteis e embriões. Na presente tecnologia, como as células alojadas no vaso de cultura 20, ovos férteis são ilustrados para explicação. Além do mais, as células podem ser células derivadas a partir de animais de criação, tais como vacas e porcos, ou podem ser células de um ser humano ou similares.
[0060] O líquido de cultura Ceo óleo O são injetados no vaso de cultura 20, além dos poços W. O óleo O reveste o líquido de cultura C e tem uma função de inibir a evaporação do líquido de cultura C.
[0061] O material do vaso de cultura 20 não é particularmente limitado. O vaso de cultura 20 é feito, por exemplo, a partir de um material inorgânico, tal como metal, vidro e silicone, ou feito a partir de um material orgânico, tais como resina de poliestireno, resina de polietileno, resina de polipropileno, resina ABS, náilon, resina acrílica, resina de flúor, resina de policarbonato, resina de poliuretano, resina de metilpenteno, resina de fenol, resina de melamina, resina de epóxi, e resina de cloreto de vinila, e tipicamente feito a partir de resina de poliestireno.
[0062] Quando o mecanismo de captura de imagem 40 capturar as imagens dos ovos férteis F no vaso de cultura 20, a fonte de luz 30 irradia a luz. A fonte de luz 30 é um LED (Diodo Emissores de Luz) que irradia luz com um certo comprimento de onda, por exemplo, um LED vermelho que irradia luz com um comprimento de onda de 640 nm ou similares.
[0063] O mecanismo de captura de imagem 40 é configurado para ser capaz de capturar os ovos férteis F alojados no vaso de cultura 20 e obter as imagens dos ovos férteis F. O mecanismo de captura de imagem 40 inclui um tambor da lente, um sensor de imagem em estado sólido, um circuito de acionamento que aciona os mesmos e similares. O tambor da lente inclui um grupo de lentes capaz de se mover em uma direção do eixo geométrico da luz
Petição 870190047922, de 22/05/2019, pág. 21/62
11/35 (direção do eixo geométrico Z). O sensor de imagem em estado sólido captura a luz a partir de um objeto que passa através do tambor da lente, e é um CMOS (semicondutor de óxido de metal complementar), um CCD (dispositivo de carga acoplada) ou similares.
[0064] O mecanismo de captura de imagem 40 é configurado para ser capaz de se mover na direção do eixo geométrico da luz (direção do eixo geométrico Z) e na direção horizontal (direção do plano XY). O mecanismo de captura de imagem 40 captura as imagens dos ovos férteis F mantidos no vaso de cultura 20 enquanto se move na direção do plano XY. Adicionalmente, o mecanismo de captura de imagem 40 pode ser configurado para ser capaz de capturar não apenas as imagens estáticas, mas, também, as imagens em movimento.
[0065] O mecanismo de captura de imagem 40 da presente modalidade é uma câmera visível. Não limitado a isto, o mecanismo de captura de imagem 40 pode ser uma câmera infravermelha (IR), uma câmera de polarização, ou similares.
[0066] A unidade controladora de gás 50 é configurada para controlar a temperatura e a umidade do gás no dispositivo de cultivo 10 para, desse modo, tomar o ambiente apropriado para o crescimento dos ovos férteis F. A unidade controladora de gás 50 da presente modalidade é capaz de controlar a temperatura do dispositivo de cultivo 10 em cerca de 38°C, por exemplo. Note que o tipo do gás introduzido no dispositivo de cultivo 10 não é especificamente limitado e é tipicamente nitrogênio, oxigênio, dióxido de carbono ou similares.
[0067] O aparelho de processamento de informação 60 inclui o hardware necessário para um computador, tais como uma CPU (unidade de processamento central), uma ROM (memória exclusiva de leitura), uma RAM (memória de acesso aleatório) e uma HDD (unidade de disco rígido). Na presente modalidade, por exemplo, o aparelho de processamento de imagem
Petição 870190047922, de 22/05/2019, pág. 22/62
12/35 é um PC (computador pessoal) ou similares, mas o aparelho de processamento de imagem 60 pode ser um computador arbitrário diferente de um PC.
[0068] Quando a CPU carregar um programa da presente tecnologia armazenado na ROM ou na HDD na RAM e executar o programa, a CPU controla as operações dos respectivos blocos (descritos posteriormente) do aparelho de processamento de imagem 60. Na presente modalidade, o aparelho de processamento de informação 60 controla as operações do mecanismo de captura de imagem 40 e a emissão de luz a partir da fonte de luz 30 e captura as imagens da pluralidade de ovos férteis F.
[0069] O programa é instalado no aparelho de processamento de imagem 60 por meio de uma variedade de mídias de gravação (memórias internas), por exemplo. Altemativamente, o programa pode ser instalado por meio da Internet ou similares.
[0070] O dispositivo de exibição 70 é configurado para ser capaz de exibir as imagens e similares capturados pelo mecanismo de captura de imagem 40. Adicionalmente, o dispositivo de exibição 70 pode ser um painel sensível ao toque que inclui um dispositivo de exibição e um dispositivo de operação integralmente formados, ou similares.
[0071] A seguir, uma configuração do aparelho de processamento de imagem 60 será descrita. A figura 2 é um diagrama de blocos funcional do sistema de observação 100.
[0072] Da forma mostrada na figura 2, o aparelho de processamento de imagem 60 inclui uma unidade de obtenção de imagem 61, uma unidade classificadora da área de captura de imagem 62, uma unidade controladora de observação 63, uma unidade controladora da captura de imagem 64, uma unidade controladora de exibição 65, e uma unidade de armazenamento 66.
[0073] A unidade de obtenção de imagem 61 obtém as imagens capturadas pelo mecanismo de captura de imagem 40 a partir do mecanismo
Petição 870190047922, de 22/05/2019, pág. 23/62
13/35 de captura de imagem 40 ou da unidade de armazenamento 66 e transmite as imagens obtidas para a unidade classificadora da área de captura de imagem 62 e a unidade controladora de exibição 65.
[0074] A unidade classificadora da área de captura de imagem 62 inclui uma unidade de processamento de imagem 62a, uma unidade de avaliação 63b e uma unidade de determinação 62c. A unidade de processamento de imagem 62a aplica o processamento de imagem predeterminado nas imagens obtidas a partir da unidade de obtenção de imagem 61. Uma unidade de avaliação 62b avalia um estado de um objeto que terá imagem capturada com base no resultado do processamento de imagem pela unidade de processamento de imagem 62a. A unidade de determinação 62c determina se o objeto que terá imagem capturada está incluído ou não em uma faixa do campo de visão do mecanismo de captura de imagem 40 com base em um resultado da avaliação da unidade de avaliação 62b.
[0075] A unidade controladora de observação 63 controla a unidade controladora da captura de imagem 64 com base em um resultado da determinação da unidade de determinação 62c. A unidade controladora da captura de imagem 64 controla uma operação do mecanismo de captura de imagem 40 e um sincronismo da emissão de luz proveniente da fonte de luz 30. A unidade controladora da captura de imagem 64 da presente modalidade pode controlar a operação do mecanismo de captura de imagem 40 de maneira tal que o objeto que terá imagem capturada seja capturado para cada faixa do campo de visão do mecanismo de captura de imagem 40.
[0076] A unidade controladora de exibição 65 transmite a imagem obtida a partir da unidade de obtenção de imagem 61 para o dispositivo de exibição 70. A unidade de armazenamento 66 armazena as imagens ou similares obtidos pela unidade de obtenção de imagem 61.
[Método de obtenção de imagem]
Petição 870190047922, de 22/05/2019, pág. 24/62
14/35 [0077] A figura 3 é um fluxograma que mostra um método de obtenção de imagens pelo sistema de observação 100. A seguir, o método de obtenção das imagens pelo sistema de observação 100 será descrito em relação à figura 3, conforme apropriado.
(Etapa S01: Captura de imagem) [0078] Na Etapa S01, as imagens do vaso de cultura 20 são capturadas para cada área de captura de imagem E e as imagens de todos os ovos férteis F alojados na pluralidade de poços W arranjados no vaso de cultura 20 são capturadas. A figura 4 mostra esquematicamente uma rota de movimento do mecanismo de captura de imagem 40 na Etapa S01 e mostra um estado em que o mecanismo de captura de imagem 40 captura as imagens dos ovos férteis F. Note que cada área de captura de imagem E é uma área imaginária definida no vaso de cultura 20 correspondente a uma faixa do campo de visão 40a do mecanismo de captura de imagem 40.
[0079] Primeiro, a fonte de luz 30 irradia luz a partir de baixo do vaso de cultura 20. Isto permite que o vaso de cultura 20 seja irradiado com a luz proveniente da fonte de luz 30. A seguir, o mecanismo de captura de imagem 40 captura as imagens dos ovos férteis F alojados nos poços W na faixa do campo de visão 40a (área de captura de imagem E) do mecanismo de captura de imagem 40.
[0080] A seguir, a unidade controladora da captura de imagem 64 faz com que o mecanismo de captura de imagem 40 seja movido na direção X. Então, a faixa do campo de visão 40a do mecanismo de captura de imagem 40 se move na direção da área de captura de imagem E adjacente à área de captura de imagem E na qual a captura de imagem é completada. Similar ao exposto, as imagens dos ovos férteis F alojados nos poços W são capturadas.
[0081] Posteriormente, pelo controle do mecanismo de captura de imagem 40 pela unidade controladora da captura de imagem 64, as imagens dos ovos férteis F alojados nos poços W são capturadas para cada área de
Petição 870190047922, de 22/05/2019, pág. 25/62
15/35 captura de imagem E ao mesmo tempo em que o mecanismo de captura de imagem 40 segue uma rota de movimento RI definida em antecipação, da forma mostrada na figura 4. Assim, as imagens de todos os ovos férteis F alojados na pluralidade de poços W arranjados no vaso de cultura 20 são capturadas. As imagens da pluralidade de ovos férteis F capturadas para cada área de captura de imagem E são armazenadas na unidade de armazenamento 66.
[0082] Note que a faixa do campo de visão 40a (área de captura de imagem E) do mecanismo de captura de imagem 40 é uma faixa em que quatro poços W são alojados, da forma mostrada na figura 4. Não limitada a esta, é possível que a mesma seja definida arbitrariamente. Por exemplo, a faixa do campo de visão 40a (área de captura de imagem E) pode ser uma faixa na qual apenas um poço W é alojado, ou dois ou mais poços W são alojados.
(Etapa S02: Avaliação) [0083] Na Etapa S02, o mecanismo de captura de imagem 40 aplica o processamento de imagem na pluralidade de imagens capturadas para cada área de captura de imagem E. Então, o mesmo avalia se cada um da pluralidade de poços incluídos nas respectivas áreas de captura de imagem E é adequado ou não para observação.
[0084] Primeiramente, a unidade de obtenção de imagem 61 transmite as imagens da pluralidade de ovos férteis F capturadas para cada área de captura de imagem E para a unidade de processamento de imagem 62a. A unidade de processamento de imagem 62a aplica o processamento de imagem nas imagens da pluralidade de ovos férteis F obtidas a partir da unidade de obtenção de imagem 61.
[0085] Especificamente, a unidade de processamento de imagem 62a executa o processamento de extração de perfis da pluralidade de ovos férteis F obtidos a partir da unidade de obtenção de imagem 61, por exemplo. Qualquer
Petição 870190047922, de 22/05/2019, pág. 26/62
16/35 técnica conhecida é aplicável neste processamento. Um exemplo do processamento de extração dos perfis inclui processamento de limitação das imagens dos ovos férteis F.
[0086] A seguir, a unidade de processamento de imagem 62a transmite as imagens da pluralidade de ovos férteis F depois do processamento de imagem para a unidade de avaliação 62b. A unidade de avaliação 62b avalia se cada um da pluralidade de poços W incluídos nas respectivas áreas de captura de imagem E é adequado ou não para observação com base no resultado do processamento de imagem da unidade de processamento de imagem 62a.
[0087] Especificamente, a unidade de avaliação 62b analisa as imagens dos ovos férteis F depois do processamento de imagem e calcula os valores de avaliação em relação ao crescimento dos ovos férteis F de acordo com o algoritmo de aprendizado de máquina. Então, a unidade de avaliação 62b avalia um estado de crescimento dos ovos férteis F para cada poço W com base nos valores de avaliação e avalia se os respectivos poços W são adequados ou não para observação de acordo com o resultado da avaliação.
[0088] A unidade de avaliação 62b da presente modalidade pode avaliar o estado de crescimento dos ovos férteis F com um alto grau de precisão pela avaliação do estado de crescimento das células alojadas nos poços W de acordo com o algoritmo de aprendizado de máquina.
[0089] O algoritmo de aprendizado de máquina usado para avaliar o crescimento dos ovos férteis F pela unidade de avaliação 63a não é particularmente limitado. Por exemplo, um algoritmo de aprendizado de máquina que emprega uma rede neural, tais como RNN (Rede Neural Recorrente), CNN (Rede Neural Convolucional) e MLP (Perceptron Multicamadas), pode ser usado. Altemativamente, um algoritmo de aprendizado de máquina arbitrário que executa aprendizado supervisionado, aprendizado não supervisionado, aprendizado semissupervisionado,
Petição 870190047922, de 22/05/2019, pág. 27/62
17/35 aprendizado de reforço ou outro aprendizado pode ser usado.
[0090] Adicionalmente, os critérios de avaliação do crescimento dos ovos férteis F pela unidade de avaliação 62b também não são especialmente limitados e podem ser arbitrariamente definidos. Por exemplo, a unidade de avaliação 62b pode avaliar o crescimento dos ovos férteis F por critérios que incluem tamanho, forma, esfericidade, permeabilidade, número (taxa) de divagem, uniformidade da divagem, propriedade simétrica, quantidade ou taxa de fragmentação ou similares dos ovos férteis F.
(Etapa S03: Determinação) [0091] Na Etapa S03, a unidade de determinação 62c determina cada uma da pluralidade de áreas de captura de imagem E como as primeiras áreas de captura de imagem El ou as segundas áreas de captura de imagem E2 com base nos resultados da avaliação da unidade de avaliação 62b.
[0092] As primeiras áreas de captura de imagem El são as áreas de captura de imagem E que incluem pelo menos um poço W avaliado como adequado para observação pela unidade de avaliação 62b na Etapa S02 anterior. As áreas de captura de imagem E determinadas como as primeiras áreas de captura de imagem El pela unidade de determinação 62c são incluídas novamente na faixa do campo de visão 40a do mecanismo de captura de imagem 40 na última Etapa S04.
[0093] Aqui, como exposto, em um caso em que pelo menos um poço W incluído na área de captura de imagem E for adequado para observação, como a unidade de determinação 62c determina as áreas de captura de imagem E como as primeiras áreas de captura de imagem El, impede-se que os ovos férteis F em observação não sejam capturados.
[0094] As segundas áreas de captura de imagem E2 são as áreas de captura de imagem E que incluem apenas os poços W avaliados como inadequados para observação pela unidade de avaliação 62b na Etapa S02 anterior. Todos os poços W incluídos nas segundas áreas de captura de
Petição 870190047922, de 22/05/2019, pág. 28/62
18/35 imagem E2 alojam os ovos férteis F que são avaliados como crescidos a menor pela unidade de avaliação 62b de acordo com o algoritmo de aprendizado de máquina predeterminado. As áreas de captura de imagem E determinadas como as segundas áreas de captura de imagem E2 pela unidade de determinação 62c não são incluídas na faixa do campo de visão 40a do mecanismo de captura de imagem 40 na última Etapa S04.
(Etapa S04: Captura de imagem) [0095] Na Etapa S04, dentre a pluralidade de áreas de captura de imagem E incluídas no vaso de cultura 20, o mecanismo de captura de imagem 40 captura as imagens apenas nas áreas de captura de imagem E classificadas como as primeiras áreas de captura de imagem El na Etapa S03 anterior. A figura 5 mostra esquematicamente a rota de movimento do mecanismo de captura de imagem 40 na Etapa S04 e mostra um estado em que o mecanismo de captura de imagem 40 captura as imagens dos ovos férteis F.
[0096] Primeiro, a unidade controladora de observação 63 instrui a unidade controladora da captura de imagem 64 a capturar as imagens das áreas de captura de imagem E classificadas como as primeiras áreas de captura de imagem El e não capturar as imagens das áreas de captura de imagem E classificadas como as segundas áreas de captura de imagem E2 com base no resultado da determinação da unidade de determinação 62c.
[0097] A seguir, as áreas de captura de imagem E classificadas como as primeiras áreas de captura de imagem El na Etapa S03 anterior são incluídas na faixa do campo de visão 40a do mecanismo de captura de imagem 40. A seguir, similar à Etapa S01, o mecanismo de captura de imagem 40 captura as imagens dos ovos férteis F alojados nos poços W nas primeiras áreas de captura de imagem El.
[0098] Aqui, em um caso em que a área de captura de imagem E adjacente à primeira área de captura de imagem El for uma outra primeira
Petição 870190047922, de 22/05/2019, pág. 29/62
19/35 área de captura de imagem El, a unidade controladora da captura de imagem 64 faz com que a faixa do campo de visão 40a se mova da primeira área de captura de imagem da imagem capturada El para uma próxima primeira área de captura de imagem El. Então, similar ao exposto, as imagens dos ovos férteis F alojados nos poços W são capturadas.
[0099] Por outro lado, em um caso em que a área de captura de imagem E adjacente às primeiras áreas de captura de imagem El for a segunda área de captura de imagem E2, a unidade controladora da captura de imagem 64 faz com que a faixa do campo de visão 40a não se mova para a segunda área de captura de imagem E2, mas para a primeira área de captura de imagem El adjacente à segunda área de captura de imagem E2 com base em uma instrução pela unidade controladora de observação 63, da forma mostrada na figura 5. Então, similar ao exposto, as imagens dos ovos férteis F alojados nos poços W são capturadas.
[00100] A seguir, a unidade controladora da captura de imagem 64 controla o mecanismo de captura de imagem 40 com base na instrução pela unidade controladora de observação 63, e o mecanismo de captura de imagem 40, assim, captura as imagens de todos os ovos férteis F alojados nos poços W na primeira área de captura de imagem El ao longo da rota de movimento RI definida em antecipação, da forma mostrada na figura 5. As imagens da pluralidade de ovos férteis F capturadas para cada primeira área de captura de imagem El são armazenadas na unidade de armazenamento 66.
[00101] Especificamente, na Etapa S04, já que a unidade controladora da captura de imagem 64 controla o mecanismo de captura de imagem 40 com base na instrução pela unidade controladora de observação 63, a captura das imagens da segunda área de captura de imagem E2 é omitida e o mecanismo de captura de imagem 40 captura as imagens apenas da primeira área de captura de imagem El.
[00102] Assim, é possível encurtar o tempo para capturar as imagens
Petição 870190047922, de 22/05/2019, pág. 30/62
20/35 dos ovos férteis F em observação e para capturar efetivamente as imagens dos ovos férteis F. Adicionalmente, já que as imagens dos ovos férteis F nas segundas áreas de captura de imagem E2 não são capturadas, o período de tempo total em que os ovos férteis F em observação são irradiados com a luz proveniente da fonte de luz 30 é encurtado, e os fotodanos (fototoxicidade) nos ovos férteis F são reduzidos. Note que os fotodanos (fototoxicidade) incluem fotodanos, danos térmicos e outros danos ao DNA e aos cromossomos afetados pela luz. Também na descrição posterior, o mesmo significado é aplicado.
[00103] Na presente modalidade, da forma mostrada na figura 3, uma série de ciclos nas Etapas S02 a S04 é repetida por tempos predeterminados. Desta maneira, uma pluralidade de ciclos para capturar as imagens na íntegra de uma área do vaso de cultura 20 para cada área de captura de imagem E é repetida, e as imagens dos ovos férteis F nas respectivas áreas de captura de imagem E são capturadas uma pluralidade de vezes.
[00104] Aqui, no processo de repetição da série de ciclos nas Etapas S02 a S04, nas áreas de captura de imagem E determinadas como as primeiras áreas de captura de imagem El, as imagens são continuamente capturadas pelo mecanismo de captura de imagem 40, e nas áreas de captura de imagem E determinadas como as segundas áreas de captura de imagem E2, as imagens não são continuamente capturadas e a captura de imagem é terminada.
[00105] Adicionalmente, no sistema de observação 100 da presente modalidade, a série de ciclos das Etapas S02 a S04 é repetida por um tempo arbitrário, por exemplo, por uma duração predeterminada, por exemplo, em um intervalo de 15 minutos ou um dia. Assim, um progresso do crescimento dos ovos férteis F pode ser observado para cada área de captura de imagem E. Note que o sistema de observação 100 pode obter as imagens em tempo real conforme necessário ou pode faz com que o dispositivo de exibição 70 exiba o estado dos ovos férteis F para observação sempre que necessário.
Petição 870190047922, de 22/05/2019, pág. 31/62
21/35 [Exemplo de modificação] [00106] O método de obtenção de imagem pelo sistema de observação 100 não é limitado ao método supradescrito, e modificações, adições ou similares podem ser realizados, conforme apropriado.
[00107] Na supradescrita Etapa S02, a unidade de avaliação 62b avalia o estado de crescimento de cada um dos ovos férteis F alojados na pluralidade de poços W nas áreas de captura de imagem E, mas a mesma não é limitada a isto.
[00108] Por exemplo, na Etapa S02, a unidade de avaliação 62b pode avaliar se os ovos férteis F estão alojados ou não na pluralidade de poços W nas áreas de captura de imagem E. Neste caso, os poços W que não alojam os ovos férteis F podem ser avaliados como inadequados para observação.
[00109] Já que as áreas de captura de imagem E que incluem apenas os poços W que não alojam os ovos férteis F são assim determinadas como as segundas áreas de captura de imagem E2, a captura das imagens das áreas de captura de imagem E que incluem apenas os poços W que não alojam os ovos férteis F é omitida. Em decorrência disto, a eficiência da captura de imagem é melhorada quando as imagens da pluralidade de poços W arranjados no vaso de cultura 20 forem capturadas para cada área de captura de imagem E.
[00110] Adicionalmente, na Etapa S02, a unidade de avaliação 62b pode avaliar o número dos ovos férteis F alojados na pluralidade de poços W. Neste caso, os poços, cada um dos quais aloja uma célula, podem ser avaliados como os poços adequados para observação e os poços que alojam uma pluralidade de células podem ser avaliados como os poços inadequados para observação.
[00111] Especificamente, as áreas de captura de imagem E que incluem apenas os poços W que alojam a pluralidade de células são determinadas como as segundas áreas de captura de imagem E2 e a captura das imagens das áreas de captura de imagem E pode ser omitida. Quando a
Petição 870190047922, de 22/05/2019, pág. 32/62
22/35 unidade de avaliação 62b avaliar o estado de crescimento dos ovos férteis F de acordo com o algoritmo de aprendizado de máquina, os poços W alojam a pluralidade de ovos férteis F. Em decorrência disto, inibe-se o apropriado aprendizado do estado de crescimento dos ovos férteis F pela unidade de avaliação 62b.
[00112] Adicionalmente, as áreas de captura de imagem E determinadas como as segundas áreas de captura de imagem E2 não são limitadas às áreas de captura de imagem E. Por exemplo, as áreas de captura de imagem E que incluem apenas os poços E avaliados como bem crescidos pela unidade de avaliação 62b de acordo com o algoritmo de aprendizado de máquina predeterminado também podem ser determinadas como as segundas áreas de captura de imagem E2. Em decorrência disto, o número de vezes para irradiar nos ovos férteis bem crescidos F a luz proveniente da fonte de luz 30 diminui e os fotodanos (fototoxicidade) nos ovos férteis F são reduzidos.
[00113] Adicionalmente, as áreas de captura de imagem E que incluem apenas os poços W que alojam os ovos férteis F avaliados como crescidos a menor e os poços W que não alojam ovos férteis F, as áreas de captura de imagem E que incluem apenas os poços W que alojam os ovos férteis F avaliados como crescidos a menor e os poços W que alojam a pluralidade de ovos férteis F, e as áreas de captura de imagem E que inclui apenas os poços W que não alojam ovos férteis F e os poços W que alojam a pluralidade de ovos férteis F também podem ser determinadas como a segunda área de captura de imagem E2.
[00114] Além do mais, as áreas de captura de imagem E que incluem apenas os poços W que alojam os ovos férteis F avaliados bem crescidos e os poços W que não alojam ovos férteis F e as áreas de captura de imagem E que incluem apenas os poços W que alojam os ovos férteis F avaliados como bem crescidos e os poços W que alojam a pluralidade de ovos férteis F também
Petição 870190047922, de 22/05/2019, pág. 33/62
23/35 podem ser determinadas como a segunda área de captura de imagem E2. [00115] Adicionalmente, no método de obtenção de imagem, a rota de movimento RI do mecanismo de captura de imagem 40 pode ser mudada. A figura 6 mostra esquematicamente a rota de movimento do mecanismo de captura de imagem 40 de acordo com um exemplo de modificação da primeira modalidade. Note que as setas mostradas por linhas com tracejados longo e curto alternados representam a rota de movimento do mecanismo de captura de imagem 40 antes da mudança e a seta mostrada por linhas cheias representa a rota de movimento do mecanismo de captura de imagem 40 depois da mudança.
[00116] A unidade controladora da captura de imagem 64 pode mudar a rota de movimento RI ao longo da qual o mecanismo de captura de imagem 40 passa através de toda a pluralidade de áreas de captura de imagem E para uma segunda rota de movimento R2 mais curta do que a primeira rota de movimento RI com base em uma instrução pela unidade controladora de observação 63 na Etapa S04.
[00117] Desta maneira, a rota de movimento RI definida em antecipação é otimizada para a rota de movimento R2 que passa com sucesso através das primeiras áreas de captura de imagem El, da forma mostrada na figura 6, e as imagens das primeiras áreas de captura de imagem El podem ser eficientemente capturadas. Desta maneira, é possível encurtar o tempo para capturar as imagens dos ovos férteis F em observação.
[00118] Note que a rota de movimento R2 mostrada na figura 6 passa através apenas da primeira área de captura de imagem El. Não limitada a isto, a rota de movimento R2 pode passar através das segundas áreas de captura de imagem E2 conforme necessário, desde que o mecanismo de captura de imagem 40 passe através de todas as primeiras áreas de captura de imagem El definidas no vaso de cultura 20 e a rota de movimento R2 seja mais curta do que a rota de movimento Rl.
Petição 870190047922, de 22/05/2019, pág. 34/62
24/35 <Segunda modalidado [00119] A seguir, um sistema de observação 200 de acordo com uma segunda modalidade da presente tecnologia será descrito. A figura 7 mostra esquematicamente um exemplo de configuração do sistema de observação 200 de acordo com uma segunda modalidade da presente tecnologia. A seguir, a configuração similar à configuração da primeira modalidade será denotada por sinais de referência similares, e a descrição detalhada da mesma será omitida.
[Configuração do sistema de observação] [00120] Da forma mostrada na figura 7, o sistema de observação 200 da segunda modalidade inclui o dispositivo de cultivo 10, o vaso de cultura 20, a fonte de luz 30, o mecanismo de captura de imagem 40, a unidade controladora de gás 50, um filtro de blindagem de luz 211, um aparelho de processamento de informação 260 e o dispositivo de exibição 70.
[00121] Da forma mostrada na figura 7, o filtro de blindagem de luz 211 é arranjado entre a fonte de luz 30 e o vaso de cultura 20. O filtro de blindagem de luz 211 pode ser, por exemplo, um filtro de cristal líquido e é configurado para ser capaz de comutar a transmissão e blindar a luz proveniente da fonte de luz 30 para cada área de captura de imagem E.
[00122] O filtro de blindagem de luz 211 de acordo com a presente modalidade é tipicamente um filtro de cristal líquido. Mas, o mesmo não é limitado ao filtro de cristal líquido desde que o filtro de blindagem de luz 211 seja configurado para ser capaz de comutar a transmissão e blindar a luz proveniente da fonte de luz 30 para cada área de captura de imagem E. Adicionalmente, uma faixa arbitrária em que a transmissão e a blindagem de luz pelo filtro de blindagem de luz 211 podem ser comutadas pode ser definida.
[00123] O aparelho de processamento de informação 260 inclui o hardware necessário para um computador, tais como uma CPU (unidade de
Petição 870190047922, de 22/05/2019, pág. 35/62
25/35 processamento central), uma ROM (memória exclusiva de leitura), uma RAM (memória de acesso aleatório) e uma HDD (unidade de disco rígido). Na presente modalidade, por exemplo, o aparelho de processamento de imagem 260 é um PC (Computador Pessoal) ou similares, mas o aparelho de processamento de imagem 260 pode ser outro computador arbitrário.
[00124] Quando a CPU carregar um programa da presente tecnologia armazenado na ROM ou na HDD na RAM e executar o programa, a CPU controla as operações dos respectivos blocos (descritos posteriormente) do aparelho de processamento de imagem 260. Na presente modalidade, o aparelho de processamento de informação 260 controla as operações do mecanismo de captura de imagem 40 e do filtro de blindagem de luz 211 e da emissão de luz proveniente da fonte de luz 30, para, desse modo, capturar as imagens da pluralidade de ovos férteis F.
[00125] A seguir, a configuração do aparelho de processamento de informação 260 será descrita. A figura 8 é um diagrama de blocos funcional do sistema de observação 200.
[00126] Da forma mostrada na figura 8, o aparelho de processamento de informação 260 inclui a unidade de obtenção de imagem 61, a unidade classificadora da área de captura de imagem 62, a unidade controladora da captura de imagem 64, a unidade controladora de exibição 65, a unidade de armazenamento 66, a unidade controladora de observação 261 e uma unidade controladora do filtro de blindagem de luz 262.
[00127] A unidade controladora de observação 261 controla a unidade controladora da captura de imagem 64 e a unidade controladora do filtro de blindagem de luz 262 com base no resultado da determinação da unidade de determinação 62c. A unidade controladora do filtro de blindagem de luz 262 controla o filtro de blindagem de luz 211 de maneira tal que a transmissão e a blindagem da luz emitida a partir da fonte de luz 30 para cada área de captura de imagem E sejam comutadas com base na instrução pela unidade
Petição 870190047922, de 22/05/2019, pág. 36/62
26/35 controladora de observação 261.
[Efeitos do filtro de blindagem de luz] [00128] A figura 9 mostra esquematicamente a rota de movimento do mecanismo de captura de imagem 40 de acordo com uma segunda modalidade e mostrando um estado em que a luz proveniente da fonte de luz 30 é localmente transmitida pelo filtro de blindagem de luz 211. Note que uma área hachurada mostrada na figura 9 é uma área cuja luz proveniente da fonte de luz 30 é blindada.
[00129] O filtro de blindagem de luz 211 é controlado pela unidade controladora do filtro de blindagem de luz 262 para blindar a luz proveniente da fonte de luz 30 de maneira tal que apenas a faixa do campo de visão 40a do mecanismo de captura de imagem 40 (primeira área de captura de imagem El) seja irradiada com a luz proveniente da fonte de luz 30 quando o mecanismo de captura de imagem 40 capturar as imagens da primeira área de captura de imagem El.
[00130] Em decorrência disto, já que os ovos férteis F alojados nos poços W nas áreas de captura de imagem E diferentes da primeira área de captura de imagem El não são irradiados com a luz quando o mecanismo de captura de imagem 40 capturar as imagens da primeira área de captura de imagem El, os fotodanos (fototoxicidade) nos ovos férteis F são reduzidos. [Exemplo de modificação] [00131] A configuração do sistema de observação 200 de acordo com a segunda modalidade não é limitada ao método supradescrito, e modificações, adições ou similares podem ser realizados, conforme apropriado.
[00132] Por exemplo, na segunda modalidade, a fonte de luz 30 pode ser um dispositivo de iluminação configurado para ser capaz de irradiar localmente cada uma da pluralidade de áreas de captura de imagem E com a luz. Como o dispositivo de iluminação, um dispositivo de iluminação que inclui microLEDs (Diodos Emissores de Luz) arranjados em uma matriz
Petição 870190047922, de 22/05/2019, pág. 37/62
27/35 correspondente às faixas do campo de visão 40a (áreas de captura de imagem E) do mecanismo de captura de imagem 40 é usado, por exemplo.
[00133] Pelo uso da fonte de luz 30 que é o dispositivo de iluminação supradescrito, apenas a faixa do campo de visão 40a (primeira área de captura de imagem El) do mecanismo de captura de imagem 40 pode ser irradiada com a luz quando as imagens das primeiras áreas de captura de imagem El forem capturadas mesmo se nenhum filtro de blindagem de luz 211 for provido entre a fonte de luz 30 e o vaso de cultura 20. Assim, os efeitos supradescritos podem ser alcançados. Note que, em um caso em que a fonte de luz 30 for o dispositivo de iluminação, o filtro de blindagem de luz 211 pode ser provido para o sistema de observação 200 ou pode ser omitido. <Terceira modalidado [00134] A seguir, um sistema de observação 300 de acordo com uma terceira modalidade da presente tecnologia será descrito. A figura 10 mostra esquematicamente um exemplo de configuração do sistema de observação 300 de acordo com uma terceira modalidade da presente tecnologia. A seguir, a configuração similar à configuração da primeira modalidade será denotada pelos sinais de referência similares, e a descrição detalhada da mesma será omitida.
[00135] Enquanto, no sistema de observação 100 de acordo com a primeira modalidade, o vaso de cultura 20 e o mecanismo de captura de imagem 40 são arranjados no dispositivo de cultivo 10 e o aparelho de processamento de informação 60 é arranjado fora o dispositivo de cultivo 10, no sistema de observação 300 de acordo com a presente modalidade, da forma mostrada na figura 10, o vaso de cultura 20, o mecanismo de captura de imagem 40 e o aparelho de processamento de informação 60 são arranjados no dispositivo de cultivo 10.
[00136] Da forma mostrada na figura 10, o sistema de observação 300 inclui o dispositivo de cultivo 10, o vaso de cultura 20, e uma unidade
Petição 870190047922, de 22/05/2019, pág. 38/62
28/35 integrada do mecanismo de captura de imagem/aparelho de processamento de informação 310, e a unidade controladora de gás 50. A unidade integrada do mecanismo de captura de imagem/aparelho de processamento de informação 310 é conectada em um servidor em nuvem 320 por meio de uma rede. Adicionalmente, um terminal móvel 330 e um PC 340 também são conectados em um servidor em nuvem 320 por meio de uma rede.
[00137] Da forma mostrada na figura 10, a unidade integrada do mecanismo de captura de imagem/aparelho de processamento de informação 310 é arranjada no dispositivo de cultivo 10. Da forma mostrada na figura 10, a unidade integrada do mecanismo de captura de imagem/aparelho de processamento de informação 310 inclui o mecanismo de captura de imagem 40, a fonte de luz 30, o aparelho de processamento de informação 60 e uma unidade de comunicação 311. Nesta modalidade, a fonte de luz 30 é arranjada na vertical para cima do vaso de cultura 20.
[00138] A unidade de comunicação 311 recebe as imagens da pluralidade de ovos férteis F armazenada no aparelho de processamento de informação 60 a partir do aparelho de processamento de informação 60 e transmite as imagens para o servidor em nuvem 320 por meio da rede.
[00139] O servidor em nuvem 320 armazena as imagens da pluralidade de ovos férteis F. Além do mais, o PC 340 e o terminal móvel 330 são operados por um usuário, recebem a pluralidade de ovos férteis F a partir do servidor em nuvem 320 por meio da rede, e exibe as imagens.
<Outras modalidades>
[00140] Embora a presente tecnologia seja aqui descrita em relação às modalidades, deve ser percebido que a presente tecnologia não é limitada à mesma, e as variações e as modificações podem ser feitas.
[00141] Por exemplo, a unidade controladora da captura de imagem 64 pode controlar o número de vezes para capturar as imagens das primeiras áreas de captura de imagem específicas El incluídas na pluralidade de áreas
Petição 870190047922, de 22/05/2019, pág. 39/62
29/35 de captura de imagem E classificadas como as primeiras áreas de captura de imagem pelo mecanismo de captura de imagem 40. As primeiras áreas de captura de imagem específicas El de acordo com a presente modalidade são as áreas de captura de imagem E que incluem os ovos férteis F com inerentemente boa qualidade, tais como os ovos férteis F tomados a partir de animais de criação de boa cepa e similares, por exemplo.
[00142] Assim, por exemplo, pela utilização de um tempo remanescente resultante da omissão da captura das imagens das segundas áreas de captura de imagem E2, o número de vezes para capturar as imagens dos ovos férteis F nas primeiras áreas de captura de imagem específicas El pode ser maior do que o número de vezes para capturar as imagens das outras primeiras áreas de captura de imagem El. Em decorrência disto, se comparado com o caso em que as imagens de todos os ovos férteis F alojados no vaso de cultura 20 são capturadas, as imagens dos ovos férteis F de alto interesse podem ser intensivamente capturadas. As imagens dos ovos férteis F podem ser capturadas de forma altamente seletiva.
[00143] Adicionalmente, nas presentes modalidades, pelo uso dos valores de avaliação calculados de acordo com o algoritmo de aprendizado de máquina e as opiniões de embriologistas, pode-se comutar a omissão da captura das imagens das segundas áreas de captura de imagem E2 e a captura intensiva das imagens das primeiras áreas de captura de imagem específicas El.
[00144] Além do mais, nos sistemas de observação 100 a 300, os ovos férteis F alojados nos poços W incluídos nas áreas de captura de imagem E classificadas como as segundas áreas de captura de imagem E2 podem ser removidos. Em decorrência disto, uma influência negativa dos ovos férteis F que serão removidos nos ovos férteis F alojados nos poços W das primeiras áreas de captura de imagem El pode ser suprimida.
[00145] Os exemplos do método de remoção dos ovos férteis F
Petição 870190047922, de 22/05/2019, pág. 40/62
30/35 alojados nos poços W nas segundas áreas de captura de imagem E2 incluem um método de usar uma pinça óptica, uma micropipeta ou similares, um método de descascar as bases dos poços W nas segundas áreas de captura de imagem E2 para entregar fisicamente os ovos férteis F alojados nos poços W pelo uso de um mecanismo de remoção de célula provido no vaso de cultura 20, e similares.
[00146] Adicionalmente, as células observadas pelos sistemas de observação 100 a 300 de acordo com a presente tecnologia são, tipicamente, ovos férteis. Não limitado aos mesmos, elas podem ser as células derivadas a partir de animais de criação, tais como rato, vaca, porco, cachorro, gato e similares, ou óvulos e óvulos férteis de seres humanos ou similares, por exemplo.
[00147] A presente tecnologia também pode ter as seguintes estruturas. [00148] (1) um aparelho de processamento de informação, que inclui:
uma unidade controladora da captura de imagem que controla um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem;
uma unidade classificadora da área de captura de imagem que aplica o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classifica a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem; e uma unidade controladora de observação que instrui a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda
Petição 870190047922, de 22/05/2019, pág. 41/62
31/35 área de captura de imagem.
[00149] (2) O aparelho de processamento de informação, como definido em (1), em que a unidade classificadora da área de captura de imagem inclui uma unidade de avaliação que avalia se cada um da pluralidade de poços incluídos em cada área de captura de imagem é adequado ou não para observação, e uma unidade de determinação que determina a área de captura de imagem como a primeira área de captura de imagem ou a segunda área de captura de imagem com base em um resultado da avaliação da unidade de avaliação.
[00150] (3) O aparelho de processamento de informação, como definido em (2), em que a unidade de determinação determina a área de captura de imagem como a segunda área de captura de imagem em um caso em que todos os poços incluídos na área de captura de imagem forem inadequados para observação e determina a área de captura de imagem como a primeira área de captura de imagem em um caso em que pelo menos um poço incluído na área de captura de imagem for adequado para observação.
[00151] (4) O aparelho de processamento de informação, como definido em (2) ou (3), em que a unidade de avaliação avalia se os poços são adequados para observação ou não de acordo com um estado de crescimento das células alojadas nos poços.
[00152] (5) O aparelho de processamento de informação, como definido em qualquer um de (2) a (4), em que a unidade de avaliação avalia o estado de crescimento das células de acordo com o algoritmo de aprendizado de máquina.
[00153] (6) O aparelho de processamento de informação, como
Petição 870190047922, de 22/05/2019, pág. 42/62
32/35 definido em qualquer um de (2) a (5), em que a unidade de avaliação avalia cada um dos poços que aloja uma célula como os poços adequados para observação e os poços que alojam uma pluralidade de células e os poços que alojam nenhuma célula como os poços inadequados para observação.
[00154] (7) O aparelho de processamento de informação, como definido em qualquer um de (1) a (6), em que a unidade controladora de observação instrui a unidade controladora da captura de imagem de maneira tal que o número de vezes de captura das imagens de uma primeira área de captura de imagem específica incluída na pluralidade de áreas de captura de imagem classificada como a primeira área de captura de imagem seja maior do que o número de vezes de captura das imagens de uma primeira área de captura de imagem diferente da primeira área de captura de imagem específica.
[00155] (8) O aparelho de processamento de informação, como definido em qualquer um de (1) a (7), em que a unidade controladora da captura de imagem muda uma primeira rota de movimento ao longo da qual o mecanismo de captura de imagem passa através de toda a pluralidade de áreas de captura de imagem para uma segunda rota de movimento mais curta do que a primeira rota de movimento com base em uma instrução pela unidade controladora de observação.
[00156] (9) Um método de processamento de informação, que inclui:
controlar um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem;
aplicar o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classificar a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura
Petição 870190047922, de 22/05/2019, pág. 43/62
33/35 de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem; e instruir a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
[00157] (10) Um programa, que faz com que o aparelho de processamento de imagem, como definido em qualquer um de (1) a (8), execute as etapas de:
controlar um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem;
aplicar o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classificar a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem; e instruir a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
[00158] (11) Um sistema de observação, que inclui:
um vaso de cultura que inclui uma pluralidade de poços que alojam as células;
um mecanismo de captura de imagem que captura as imagens do vaso de cultura para cada área de captura de imagem;
uma fonte de luz que irradia luz no vaso de cultura; e um aparelho de processamento de informação, que inclui uma
Petição 870190047922, de 22/05/2019, pág. 44/62
34/35 unidade controladora da captura de imagem que controla o mecanismo de captura de imagem, uma unidade classificadora da área de captura de imagem que aplica o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classifica a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem, e uma unidade controladora de observação que instrui a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
[00159] (12) O sistema de observação, como definido em (11), que inclui adicionalmente:
um filtro de blindagem de luz que blinda a luz de maneira tal que apenas uma faixa do campo de visão do mecanismo de captura de imagem seja irradiada com a luz proveniente da fonte de luz no momento da captura das imagens da primeira área de captura de imagem pelo mecanismo de captura de imagem.
[00160] (13) O sistema de observação, como definido em (11) ou (12), em que a fonte de luz é um dispositivo de iluminação configurado para ser capaz de irradiar localmente cada uma da pluralidade de áreas de captura de imagem com a luz, o dispositivo de iluminação irradiando apenas a faixa do campo de visão do mecanismo de captura de imagem com a luz no momento da captura das imagens da primeira área de captura de imagem pelo mecanismo de captura de imagem.
[00161] (14) O sistema de observação, como definido em qualquer um de (11) a (13), em que
Petição 870190047922, de 22/05/2019, pág. 45/62
35/35 o vaso de cultura inclui um mecanismo de remoção de célula configurado para ser capaz de remover as células alojadas nos poços incluídos na área de captura de imagem classificada como a segunda área de captura de imagem.
Lista dos Sinais de Referência [00162] 100, 200, 300 sistema de observação vaso de cultura fonte de luz mecanismo de captura de imagem
60, 260 aparelho de processamento de informação unidade classificadora da área de captura de imagem
62b unidade de avaliação
62c unidade de determinação
63, 261 unidade controladora de observação unidade controladora da captura de imagem
211 filtro de blindagem de luz
E área de captura de imagem
El primeira área de captura de imagem
E2 segunda área de captura de imagem
F ovo fértil (célula)
W poço

Claims (14)

  1. REIVINDICAÇÕES
    1. Aparelho de processamento de informação, caracterizado pelo fato de que compreende:
    uma unidade controladora da captura de imagem que controla um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem;
    uma unidade classificadora da área de captura de imagem que aplica o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classifica a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem; e uma unidade controladora de observação que instrui a unidade controladora da captura de imagem a capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
  2. 2. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade classificadora da área de captura de imagem inclui uma unidade de avaliação que avalia se cada um da pluralidade de poços incluídos em cada área de captura de imagem é adequado ou não para observação, e uma unidade de determinação que determina a área de captura de imagem como a primeira área de captura de imagem ou a segunda área de captura de imagem com base em um resultado da avaliação da unidade de avaliação.
    Petição 870190047922, de 22/05/2019, pág. 47/62
    2/5
  3. 3. Aparelho de processamento de informação de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de determinação determina a área de captura de imagem como a segunda área de captura de imagem em um caso em que todos os poços incluídos na área de captura de imagem forem inadequados para observação e determina a área de captura de imagem como a primeira área de captura de imagem em um caso em que pelo menos um poço incluído na área de captura de imagem for adequado para observação.
  4. 4. Aparelho de processamento de informação de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de avaliação avalia se os poços são adequados para observação ou não de acordo com um estado de crescimento das células alojadas nos poços.
  5. 5. Aparelho de processamento de informação de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de avaliação avalia o estado de crescimento das células de acordo com o algoritmo de aprendizado de máquina.
  6. 6. Aparelho de processamento de informação de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de avaliação avalia cada um dos poços que aloja uma célula como os poços adequados para observação e os poços que alojam uma pluralidade de células e os poços que alojam nenhuma célula como os poços inadequados para observação.
  7. 7. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade controladora de observação instrui a unidade controladora da captura de imagem de maneira tal que um número de vezes de captura das imagens de uma primeira área de captura de imagem específica incluída na pluralidade de áreas de captura de imagem classificada como a
    Petição 870190047922, de 22/05/2019, pág. 48/62
    3/5 primeira área de captura de imagem seja maior do que um número de vezes de captura das imagens de uma primeira área de captura de imagem diferente da primeira área de captura de imagem específica.
  8. 8. Aparelho de processamento de informação de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade controladora da captura de imagem muda uma primeira rota de movimento ao longo da qual o mecanismo de captura de imagem passa através de toda a pluralidade de áreas de captura de imagem para uma segunda rota de movimento mais curta do que a primeira rota de movimento com base em uma instrução pela unidade controladora de observação.
  9. 9. Método de processamento de informação, caracterizado pelo fato de que compreende:
    controlar um mecanismo de captura de imagem para capturar as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem;
    aplicar o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classificar a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem; e instruir a unidade controladora da captura de imagem para capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
  10. 10. Programa, caracterizado pelo fato de que faz com que um aparelho de processamento de imagem execute as etapas de:
    controlar um mecanismo de captura de imagem para capturar
    Petição 870190047922, de 22/05/2019, pág. 49/62
    4/5 as imagens de um vaso de cultura que inclui uma pluralidade de poços que alojam as células para cada área de captura de imagem;
    aplicar o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classificar a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem; e instruir a unidade controladora da captura de imagem para capturar uma imagem de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
  11. 11. Sistema de observação, caracterizado pelo fato de que compreende:
    um vaso de cultura que inclui uma pluralidade de poços que alojam as células;
    um mecanismo de captura de imagem que captura as imagens do vaso de cultura para cada área de captura de imagem;
    uma fonte de luz que irradia luz no vaso de cultura; e um aparelho de processamento de informação, que inclui uma unidade controladora da captura de imagem que controla o mecanismo de captura de imagem, uma unidade classificadora da área de captura de imagem que aplica o processamento de imagem nas imagens capturadas pelo mecanismo de captura de imagem e classifica a pluralidade de áreas de captura de imagem em uma primeira área de captura de imagem cuja captura de imagem é continuada e uma segunda área de captura de imagem cuja captura de imagem não é continuada com base em um resultado do processamento de imagem, e uma unidade controladora de observação que instrui a unidade controladora da captura de imagem a capturar uma imagem
    Petição 870190047922, de 22/05/2019, pág. 50/62
    5/5 de uma área de captura de imagem classificada como a primeira área de captura de imagem e não capturar uma imagem de uma área de captura de imagem como a segunda área de captura de imagem.
  12. 12. Sistema de observação de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente:
    um filtro de blindagem de luz que blinda a luz de maneira tal que apenas uma faixa do campo de visão do mecanismo de captura de imagem seja irradiada com a luz proveniente da fonte de luz no momento da captura das imagens da primeira área de captura de imagem pelo mecanismo de captura de imagem.
  13. 13. Sistema de observação de acordo com a reivindicação 11, caracterizado pelo fato de que a fonte de luz é um dispositivo de iluminação configurado para ser capaz de irradiar localmente cada uma da pluralidade de áreas de captura de imagem com a luz, o dispositivo de iluminação irradiando apenas a faixa do campo de visão do mecanismo de captura de imagem com a luz no momento da captura das imagens da primeira área de captura de imagem pelo mecanismo de captura de imagem.
  14. 14. Sistema de observação de acordo com a reivindicação 11, caracterizado pelo fato de que o vaso de cultura inclui um mecanismo de remoção de célula configurado para ser capaz de remover as células alojadas nos poços incluídos na área de captura de imagem classificada como a segunda área de captura de imagem.
BR112019010457A 2016-11-29 2017-10-19 aparelho e método de processamento de informação, programa, e, sistema de observação. BR112019010457A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016231818 2016-11-29
PCT/JP2017/037848 WO2018100913A1 (ja) 2016-11-29 2017-10-19 情報処理装置、情報処理方法、プログラム及び観察システム

Publications (1)

Publication Number Publication Date
BR112019010457A2 true BR112019010457A2 (pt) 2019-09-10

Family

ID=62241553

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112019010457A BR112019010457A2 (pt) 2016-11-29 2017-10-19 aparelho e método de processamento de informação, programa, e, sistema de observação.

Country Status (8)

Country Link
US (1) US11334988B2 (pt)
EP (1) EP3550009A4 (pt)
JP (1) JPWO2018100913A1 (pt)
CN (1) CN109983114A (pt)
AR (1) AR110267A1 (pt)
AU (1) AU2017368393B2 (pt)
BR (1) BR112019010457A2 (pt)
WO (1) WO2018100913A1 (pt)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020012616A1 (ja) * 2018-07-12 2021-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
TWI782557B (zh) * 2020-06-05 2022-11-01 福又達生物科技股份有限公司 細胞計數與培養判讀方法、系統及電腦可讀儲存媒介
CN114317264A (zh) * 2021-12-09 2022-04-12 首都医科大学附属北京天坛医院 细胞培养观察设备以及信息处理系统、方法和存储介质
JP2024054578A (ja) * 2022-10-05 2024-04-17 株式会社アステック タイムラプス撮影機能付き培養装置および培養方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6752008B1 (en) * 2001-03-08 2004-06-22 General Nanotechnology Llc Method and apparatus for scanning in scanning probe microscopy and presenting results
US6830931B2 (en) * 2001-07-12 2004-12-14 Automated Cell, Inc. Method and apparatus for monitoring of proteins and cells
JP4468661B2 (ja) * 2003-07-11 2010-05-26 オリンパス株式会社 細胞培養観察装置及び細胞培養観察方法
US20040241832A1 (en) 2003-06-02 2004-12-02 Olympus Corporation Cell culture detection apparatus, cell culture observation apparatus, and cell culture observation method
JP2009152827A (ja) * 2007-12-20 2009-07-09 Nikon Corp タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
US8081797B2 (en) * 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
JP5316161B2 (ja) * 2009-03-27 2013-10-16 ソニー株式会社 観察装置
EP3805762B1 (en) 2009-08-22 2024-02-07 Ares Trading S.A. Imaging and evaluating embryos, oocytes, and stem cells
JP5418324B2 (ja) 2010-03-16 2014-02-19 大日本印刷株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
WO2012115153A1 (ja) * 2011-02-25 2012-08-30 株式会社ニコン 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
US9588037B2 (en) * 2012-07-13 2017-03-07 The Regents Of The University Of California High throughput lens-free three-dimensional tracking of sperm
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
JP6291388B2 (ja) 2014-09-12 2018-03-14 富士フイルム株式会社 細胞培養評価システムおよび方法
GB2531699A (en) * 2014-10-03 2016-05-04 Unisense Fertilitech As Embryo Assessment
US10641772B2 (en) * 2015-02-20 2020-05-05 Takara Bio Usa, Inc. Method for rapid accurate dispensing, visualization and analysis of single cells
WO2017169770A1 (ja) * 2016-03-28 2017-10-05 富士フイルム株式会社 細胞分析システム
GB2551116B (en) * 2016-05-31 2019-05-15 Solentim Ltd Dispensing method and apparatus
CN109312286A (zh) 2016-06-13 2019-02-05 索尼公司 装置、信息处理装置、程序和信息处理方法
JP6992748B2 (ja) 2016-06-15 2022-02-03 ソニーグループ株式会社 情報処理装置、観察システム、観察方法及びプログラム
EP3480291A4 (en) 2016-07-01 2019-07-03 Sony Corporation PHOTOGRAPHING PROCESS, PICTURE DEVICE, PROGRAM AND CULTURAL VESSEL
JP2018022216A (ja) 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019021472A1 (ja) * 2017-07-28 2019-01-31 オリンパス株式会社 細胞特定方法、細胞集団の製造方法及び細胞特定システム

Also Published As

Publication number Publication date
EP3550009A4 (en) 2019-12-18
JPWO2018100913A1 (ja) 2019-10-17
US20200065962A1 (en) 2020-02-27
AU2017368393A1 (en) 2019-05-30
CN109983114A (zh) 2019-07-05
EP3550009A1 (en) 2019-10-09
AR110267A1 (es) 2019-03-13
AU2017368393B2 (en) 2020-09-17
WO2018100913A1 (ja) 2018-06-07
US11334988B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
BR112019010457A2 (pt) aparelho e método de processamento de informação, programa, e, sistema de observação.
Cermak et al. Whole-organism behavioral profiling reveals a role for dopamine in state-dependent motor program coupling in C. elegans
CN109564680B (zh) 信息处理方法和系统
Risse et al. FIM, a novel FTIR-based imaging method for high throughput locomotion analysis
Bath et al. FlyMAD: rapid thermogenetic control of neuronal activity in freely walking Drosophila
Ghosh et al. Miniaturized integration of a fluorescence microscope
US11617353B2 (en) Animal sensing system
ES2970391T3 (es) Sistemas, dispositivos y métodos para detectar fertilidad y género de huevos sin eclosionar
ES2809681T3 (es) Dispositivo y método de eliminación selectiva de pupas
JP7024231B2 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
Rudolf et al. Automated behavioural analysis reveals the basic behavioural repertoire of the urochordate Ciona intestinalis
BR112019019772A2 (pt) sistema de análise de desenvolvimento embriônico, método de análise da imagem do desenvolvimento embriônico, mídia legível por computador não transitória, e, dispositivo de processamento da imagem do desenvolvimento embriônico.
JPWO2019082617A1 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
CA3079383A1 (en) Fertile ovum quality evaluation method, fertile ovum quality evaluation system, program, and information processing apparatus
JP7147744B2 (ja) 情報処理装置、情報処理方法、プログラム及び観察システム
Contreras et al. Challenges of a small world analysis for the continuous monitoring of behavior in mice
Hofstadler et al. Evolved control of natural plants: Crossing the reality gap for user-defined steering of growth and motion
Liu et al. AFF-YOLOX: An improved lightweight YOLOX network to detect early hatching information of duck eggs
RU2733497C2 (ru) Устройство и способ для обнаружения перевернутых яиц
Thomson et al. Gigapixel behavioral and neural activity imaging with a novel multi-camera array microscope
Berh et al. An FIM-Based Long-Term In-Vial Monitoring System for Drosophila Larvae
Lohmann et al. Covering ground: Movement patterns and random walk behavior in Aquilonastra anomala sea stars
Rothschild et al. Computer vision system for counting crustacean larvae by detection
Chimento et al. Peering into the world of wild passerines with 3D-SOCS: synchronized video capture and posture estimation
Al-Jubouri Automatic Computer Vision Systems for Aquatic Research

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B09B Patent application refused [chapter 9.2 patent gazette]
B09B Patent application refused [chapter 9.2 patent gazette]

Free format text: MANTIDO O INDEFERIMENTO UMA VEZ QUE NAO FOI APRESENTADO RECURSO DENTRO DO PRAZO LEGAL.MANTIDO O INDEFERIMENTO UMA VEZ QUE NAO FOI APRESENTADO RECURSO DENTRO DO PRAZO LEGAL.