HU231356B1 - Combined bright field microscope and phase contrast microscope with image processing unit - Google Patents

Combined bright field microscope and phase contrast microscope with image processing unit Download PDF

Info

Publication number
HU231356B1
HU231356B1 HUP1800198A HUP1800198A HU231356B1 HU 231356 B1 HU231356 B1 HU 231356B1 HU P1800198 A HUP1800198 A HU P1800198A HU P1800198 A HUP1800198 A HU P1800198A HU 231356 B1 HU231356 B1 HU 231356B1
Authority
HU
Hungary
Prior art keywords
phase
image
illumination
contrast
field
Prior art date
Application number
HUP1800198A
Other languages
Hungarian (hu)
Inventor
Gábor Bayer
Original Assignee
77 Elektronika Műszeripari Kft.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 77 Elektronika Műszeripari Kft. filed Critical 77 Elektronika Műszeripari Kft.
Priority to HUP1800198A priority Critical patent/HU231356B1/en
Publication of HUP1800198A2 publication Critical patent/HUP1800198A2/en
Publication of HU231356B1 publication Critical patent/HU231356B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Microscoopes, Condenser (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Description

KOMBINÁLT VILÁGOS LÁTÓTERŰ ÉS FÁZISKONTRASZTOS MIKROSZKÓPIÁS RENDSZER, VALAMINT AZZAL ELLÁTOTTCOMBINED BRIGHT-FIELD AND PHASE-CONTRAST MICROSCOPY SYSTEM AND SUPPLIED THEREOF

MŰSZAKI TERÜLETTECHNICAL AREA

KÉPFELDOLGOZÓ BERENDEZÉSIMAGE PROCESSING EQUIPMENT

SZTNH-100115553SZTNH-100115553

A találmány kombinált világos látóterű és fáziskontrasztos mikroszkópiás rendszerre, valamint azt alkalmazó képfeldolgozó berendezésre vonatkozik.The invention relates to a combined bright-field and phase-contrast microscopy system, as well as image processing equipment using it.

A KORÁBBI TECHNIKATHE PRIOR ART

A jelenlegi mikroszkópiás rendszerek, például a biológiai minták, ezen belül különösen a testfolyadék-analizis területén, olyan méréstechnikát alkalmaznak, amely az ún. bright-field (világos látóterű) mikroszkópián alapszik. Ilyen megoldást ismertetnek a WO/2013/104937 közzétételi iratban is. Egy ennek megfelelően kiépített rendszerben a felkevert és küvettába töltött, majd centrifugált mintáról alapértelmezésben előnyösen 15 szürkeárnyalatos (bitmélység: 8), 1280x960 pixelszámú, digitális képet vesznek fel Ezzel mintánként kb. 2,2 pl natív vizeletmintát vizsgálnak. A képek felvétele előtt minden pozícióban külön fókuszálás történik, hogy éles képet kapjanak. A vizeletüledék képeket egy bonyolult, neurális hálózatokra épülő algoritmussal értékelik ki, melynek egyetlen bemenete a felvett kép. A képek ún. HPF (High Power Field) jellegűek, azaz olyan látványt nyújtanak, mintha egy mikroszkópba néznénk bele.Current microscopy systems, for example, biological samples, especially in the field of body fluid analysis, use a measurement technique that is called is based on bright-field microscopy. Such a solution is also described in publication document WO/2013/104937. In a system built accordingly, preferably 15 grayscale (bit depth: 8), 1280x960 pixel digital images are taken of the sample that has been mixed and filled into a cuvette and then centrifuged. 2.2 pl native urine samples are examined. Before taking the pictures, each position is separately focused in order to get a sharp picture. The urine sediment images are evaluated with a complex algorithm based on neural networks, the only input of which is the recorded image. The images are so-called They are HPF (High Power Field), i.e. they offer a view as if looking through a microscope.

A neurális hálózatokra épülő képfeldolgozásnál előnyös, ha nem csak a felvett képet, hanem további információt is a feldolgozás rendelkezésére bocsátanak. Az említett közzétételi irat szerint például nem csak a képet, hanem a kép mellett vagy ahelyett a képből különböző függvényekkel létrehozott egy vagy több transzformált képet vagy a kép eltérő felbontású egy vagy több változatát is fel lehet bemenetként használni. Ezek azonban mind az eredetileg felvett képre épülő információt jelentenek, és nem adnak érdemi többlet-információt a képfeldolgozáshoz.In image processing based on neural networks, it is advantageous if not only the recorded image but also additional information is made available for processing. According to the mentioned publication document, for example, not only the image, but also one or more transformed images created from the image with different functions or one or more versions of the image with different resolutions can be used as input in addition to or instead of the image. However, they all represent information based on the originally recorded image, and do not provide additional information for image processing.

Ismertek olyan megoldások is, amelyekben biológiai mintákról fáziskontraszt mikroszkópia elvét alkalmazó képfelvételt valósítanak meg. A fáziskontraszt-Solutions are also known in which biological samples are imaged using the principle of phase contrast microscopy. The phase contrast-

-2 berendezés egy speciáhs kondenzorból és egy úgynevezett fáziskontrasztobjektívból áll, ezekkel tér el a közönséges mikroszkópiától. A fáziskontraszteljárással kapott kép igen kontrasztos, és ezért különösen jól használható szövettenyészetben az alaphoz letapadt, elvékonyodott sejtek, valamint nagyon vékony (0,1-1 pm), testetlen metszetek vizsgálatára. A módszernek hátrányos tulajdonsága, hogy különösen az erős kontrasztot adó struktúrák körül fényudvar (haló) keletkezik, amely zavarja a képalkotást.-2 equipment consists of a special condenser and a so-called phase contrast objective, which differs from ordinary microscopy. The image obtained by the phase-contrast method is highly contrasted, and is therefore particularly well-suited for examining thinned cells stuck to the substrate and very thin (0.1-1 pm), disembodied sections in tissue culture. A disadvantage of the method is that a halo (halo) is created around structures with a strong contrast, which interferes with imaging.

A fáziskontraszt mikroszkópiánál a kondenzortencse elé olyan átlátszatlan lemezt helyeznek, amelyen a fényzáró réteg gyűrű alakú áteresztő területet tartalmaz („györö-diafragma”). A kondenzorból a preparátum felé kilépő sugár ezért kúppalást mentén halad át a tárgyon, majd képeződik le az objektív gyújtópontjában. A fáziskontraszt objektivben gyűrű alakú réteget tartalmazó lemez van, amely a hengerpalást mentén jövő (összehasonlító) fénysugarat a hullámhossz negyedrészével fázisban eltolja („fázislemez”), pozitív vagy negatív irányban. A vizsgálandó preparátum optikailag sűrűbb részleteiből jövő, fáziskésést szenvedett tört sugarak nem haladnak át a fázisgyűrűn és a képsíkban egyesülnek az összehasonlító sugarakkal, interferáinak azokkal. Ez ahhoz vezet, hogy a sugarak kioltják (vagy vastagabb struktúrák esetén erősítik) egymást, miáltal a tárgy különböző törésmutatójú és vastagságú komponensei különböző mértékben sötétnek (esetleg világosnak látszanak). A fázislemez azt a óéit szolgálja, hogy az aránylag kis fáziskésést szenvedett sugarak esetén is aránylag nagy legyen a fáziskülönbség és így a kontraszt.In phase-contrast microscopy, an opaque plate is placed in front of the condenser lens, on which the light-blocking layer contains a ring-shaped transmissive area ("ring-diaphragm"). The beam exiting the condenser towards the preparation therefore passes through the object along a cone and is then imaged at the focal point of the objective. The phase-contrast objective has a plate containing a ring-shaped layer, which shifts the (comparative) light beam coming along the cylinder shell in phase by a quarter of the wavelength ("phase plate"), in a positive or negative direction. The phase-delayed refracted rays coming from the optically denser parts of the preparation to be examined do not pass through the phase ring and merge with the comparison rays in the image plane and interfere with them. This leads to the fact that the rays cancel out (or in the case of thicker structures strengthen) each other, so that the components of the object with different refractive index and thickness appear dark (or light) to different degrees. The purpose of the phase plate is to make the phase difference and thus the contrast relatively large even in the case of rays with a relatively small phase delay.

A fáziskontrasztos képfelvétel önmagában kevésbé alkalmas a fentiek szerinti képfeldolgozásra, mert a képen elsősorban a fázisátmenetek jelennek meg kiemelten, többlet-információt jelentve, de a fázisátmenet-mentes területek elsötétedése (fénykioltás) miatt sok olyan vizuális információ elvész, ami a világos látóterű mikroszkópiában megjelenik.Phase-contrast imaging in itself is less suitable for image processing as described above, because the phase transitions are primarily displayed in the image, representing additional information, but due to the darkening of areas without phase transitions (light extinction), much of the visual information that appears in bright-field microscopy is lost.

A technika állása szerint léteznek olyan megoldások, melyek a világos látóterű leképezés és a fáziskontrasztos leképezés közötti mechanikus átkapcsolhatóságot biztosítják, és így elviekben biztosíthatnák mindkét képtípus együttes felhasználását képfeldolgozási célokra. Ilyen megoldások szerepelnek példaképpen a GB 866,437, US 6,479,807 B1, US 5,731,894 és US 4,407,569 szabadalmi dokumentumokban. Az ismert megoldások azonban nem alkalmasakAccording to the state of the art, there are solutions that ensure mechanical switchability between bright field imaging and phase contrast imaging, and thus could in principle ensure the joint use of both image types for image processing purposes. Such solutions are included, for example, in the patent documents GB 866,437, US 6,479,807 B1, US 5,731,894 and US 4,407,569. However, the known solutions are not suitable

- 3a találmány szerinti célra, biológiai minták vizsgálatára, mert a viszonylag hosszú mechanikus átkapcsolás alatt a képelemek (pl. bacilusok) elmozdulnak. Az átkapcsolásnál ugyanis két optikai elemet is mozgatni kell; a györű-diafragmát át kell kapcsolni világos látóterű diafragmára, és a fázislemezt is el kell távolítani az 5 objektívból.- 3a for the purpose of the invention, for the examination of biological samples, because the image elements (e.g. bacilli) move during the relatively long mechanical switching. When switching, two optical elements must be moved; the ring diaphragm must be switched to a bright-field diaphragm, and the phase plate must also be removed from the 5 objective.

A TALÁLMÁNY ISMERTETÉSEDESCRIPTION OF THE INVENTION

A találmány szerint felismertük, hogy ha nem csak egy világos látóterű képet veszünk fel, hanem mellette fáziskontraszt mikroszkópiás képet is felveszünk 10 azonos pozícióban, akkor többlet információnk lesz a mintáról és a képkiértékelő algoritmus egy helyett kettő bemeneti képből fog tudni dolgozni. A több bemeneti információ pontosabb kimeneti információt eredményez, ami a képfelismerés megbízhatóságának szignifikáns javulását eredményezi, illetve a képfeldolgozás további menetében döntési ágak közötti megfelelő választást is biztosíthat.According to the invention, we realized that if we take not only one clear-field image, but also a phase-contrast microscopic image in 10 identical positions, we will have additional information about the sample and the image evaluation algorithm will be able to work from two input images instead of one. More input information results in more accurate output information, which results in a significant improvement in the reliability of image recognition, and can also ensure an appropriate choice between decision branches in the further course of image processing.

A találmány további felismerése szerint ugyanazt, a fáziskontraszt objektivet és kamerát használjuk mindkét képtípus felvételéhez. A bright-field és fáziskontraszt képeket külön megvilágító rendszerrel vesszük fel, melyek ugyanabba a fényútba vannak összecsatolva. A felvett kép jellege attól függ, hogy melyik fényforrás pontosabban melyik diafragmájú fényforrás - van bekapcsolva. A fényforrások 20 adott szekvenciában történt kapcsolgatása által minden pozícióban, néhány tized másodperc alatt felvehető a kétféle kép.According to a further realization of the invention, the same phase-contrast lens and camera are used to capture both types of images. Bright-field and phase-contrast images are taken with separate lighting systems, which are connected to the same light path. The nature of the recorded image depends on which light source, or more precisely which diaphragm light source, is switched on. By switching the light sources in 20 specific sequences, two types of images can be recorded in every position in a few tenths of a second.

A találmány szerint tehát olyan kombinált mikroszkópról van szó, melyben a fáziskontraszt és egy kompromisszumos világos látóterű mikroszkóp megoldás is van, ahol Y~ban összefut a két különböző megvilágítás, de a fényút mintát érő és 25 mikroszkópos része azonos, azonos az objektív, tehát a bright-field képfelvétel esetében is ott van a fázisgyürű az objektivben. Ettől a bright-field kép nem klasszikus értelemben bright-field, hanem egy kompromisszumos világos látóterű kép, de kísérleteink azt igazolták, hogy a találmány szerinti alkalmazáshoz teljesen megfelelő az ilyen világos látóterű kép is. Az a találmányi felismerés 30 bizonyult tehát rendkívül előnyösnek, hogy a kétféle mikroszkópia közötti átkapcsoláshoz a diafragmák közötti átkapcsolást a megvilágító egységek átkapcsolásával oldottuk meg, míg a fázislemezt nem távolítjuk el az objektívból,According to the invention, it is therefore a combined microscope that has both phase contrast and a compromise bright-field microscope solution, where the two different illuminations converge in Y~, but the part of the light path that reaches the sample and the 25 microscopic part is the same, the objective is the same, so the In the case of bright-field image recording, the phase ring is also present in the lens. As a result, the bright-field image is not a bright-field in the classic sense, but a compromised clear-field image, but our experiments proved that such a clear-field image is also completely suitable for the application according to the invention. The discovery of the invention 30 proved to be extremely advantageous, that for the switching between the two types of microscopy, the switching between the diaphragms was solved by switching the illumination units, while the phase plate is not removed from the objective,

-4hanem kompromisszumos megoldásként benne hagyjuk. Kísérleteink szerint a világos látóterű kép ebből származó kismértékű minőségromlását bőven kompenzálja a fáziskontrasztos képből adódó többlet-információ.-4, but we leave it in as a compromise solution. According to our experiments, the resulting slight deterioration in the quality of the image with a clear field of view is more than compensated by the additional information resulting from the phase-contrast image.

A képméret példaképpen maradhat az eredeti 1280x960-nál. A találmány célja tehát olyan megoldás létrehozása, amelynél a világos látóterű kép mellett fáziskontraszt mikroszkópiás képet is felveszünk azonos pozícióban, és az így biztosított többlet információval a képkíértékelö algoritmus hatékonyabb működését érjük el. A találmány célja továbbá olyan képfeldolgozás megvalósítása, amelynél a fentiek szerinti többlet-információval a képfelismerést követően feldolgozási ágak közötti választást teszünk lehetővé, és ezzel célzottan betanított döntési modulokhoz irányítjuk a feldolgozási folyamatot. A találmány további célja a technika állása szerinti rendszerek említett hátrányainak lehetőség szerinti csökkentése, eliminálása.For example, the image size can remain at the original 1280x960. The aim of the invention is therefore to create a solution in which, in addition to the clear-field image, a phase-contrast microscopic image is taken in the same position, and with the additional information provided in this way, the image evaluation algorithm works more efficiently. The purpose of the invention is also to implement image processing in which, with the above-mentioned additional information, we enable a choice between processing branches after image recognition, and thereby direct the processing process to targeted decision modules. A further aim of the invention is to reduce and eliminate the aforementioned disadvantages of the state-of-the-art systems as far as possible.

A találmány szerinti célt az 1. igénypont szerinti mikroszkópiás rendszerrel és a 11. igénypont szerinti képfeldolgozó berendezéssel értük el. A találmány előnyös kiviteli alakjai az aligénypontokban vannak meghatározva.The goal according to the invention was achieved with the microscopy system according to claim 1 and the image processing device according to claim 11. Advantageous embodiments of the invention are defined in the subclaims.

A RAJZOK RÖVID LEÍRÁSABRIEF DESCRIPTION OF THE DRAWINGS

A találmány példaképpeni előnyös kiviteli alakjait a továbbiakban rajzokkal ismertetjük, ahol azExemplary preferred embodiments of the invention are described below with drawings, where

1. ábra egy találmány szerinti mikroszkópiás rendszer vázlatos felépítése, aFigure 1 is the schematic structure of a microscopy system according to the invention, a

2A és 2B ábrák páronként azonos mintákról vett, egymás alatt ábrázolt világos látóterű és fáziskontrasztos képek összeállításai, aFigures 2A and 2B are sets of bright-field and phase-contrast images taken from the same samples in pairs, shown one below the other, the

3. ábra egy a találmány szerinti eljárással feldolgozott digitális vizeletmintáróí készült világos látóterű kép, aFigure 3 is a clear image of a digital urine sampler processed with the method according to the invention, the

4. ábra a 3. ábra szerinti kép kijelölt részének felnagyítása, azFigure 4 is an enlargement of the selected part of the image according to Figure 3, that is

5. ábra világos látóterű és fáziskontrasztos digitális képekből valószínűség térképek létrehozását szemléltető vázlat, aFigure 5. Schematic illustrating the creation of probability maps from clear-field and phase-contrast digital images, the

IIIIIIIíIIIIIHIIIIIIIIIIIIIHI

SZTNH-100164455SZTNH-100164455

6. ábra egy valószínűség térképen elhelyezkedő, feltételezetten jelenlévő elemeket reprezentáló csoportok, és az azokhoz rendelt vizsgálati területek vázlata, aFigure 6. A diagram of the groups representing assumedly present elements located on a probability map and the test areas assigned to them, the

7. ábra a találmány szerinti berendezésben lévő döntéshozó modul példaképpen! bemeneti információját szemléltető vázlat, és aFigure 7 is an example of the decision-making module in the device according to the invention! a sketch illustrating its input information, and a

8. ábra egy találmány szerinti képfeldolgozó berendezés vázlata.Figure 8 is a diagram of an image processing device according to the invention.

A TALÁLMÁNY MEGVALÓSÍTÁSI MÓDJAIMETHODS OF IMPLEMENTING THE INVENTION

A jelen találmány részben a WO/2013/104937 szerinti megoldásra épül: ezen 10 dokumentum teljes egészét ezúton hivatkozzak és kitanítását a jelen bejelentés részének tekintjük, különös tekintettel az abban ismertetett képfeldolgozási példákra és alkalmazási módokra,The present invention is partially based on the solution according to WO/2013/104937: the entirety of these 10 documents is hereby referred to and its teaching is considered part of the present application, with particular regard to the image processing examples and application methods described therein,

Az 1. ábrán látható példaképpen! kombinált világos látóterű és fáziskontrasztos mikroszkópiás rendszer tartalmaz világos látóterű 10 megvilágító egységet, 15 fáziskontrasztos 20 megvilágító egységet valamint a világos látóterű 10 megvilágító egység kapcsolását és a fáziskontrasztos 20 megvilágító egység kapcsolását vezérlő 40 vezériöegységet. A világos látóterű 10 megvilágító egység és a fáziskontrasztos 20 megvilágító egység egymástól különböző 11, illetve 21 optikai tengelyekkel rendelkeznek. A mikroszkópiás rendszer tartalmaz továbbá a 20 világos látóterű 10 megvilágító egységből érkező megvilágítás és a fáziskontrasztos 20 megvilágító egységből érkező megvilágítás számára közös továbbmenő megvilágítási 31 optikai tengelyt biztosító 30 optikai elemet, valamint a közös megvilágítási 31 optikai tengely mentén egymás után elrendezett 33 mintatartót 35 fáziskantraszt objektivet, és a kétféle megvilágítás közötti egyes 25 átkapcsolások előtti és utáni képek felvételére vezérelt 50 képfelvevőt. Ez utóbbi vezérlés is előnyösen a 40 vezérlőegységgel van megvalósítva. A 40 vezérlőegység hardveres vagy szoftveres kialakítású lehet, illetve ezek bármilyen alkalmas kombinációja. A 33 mintatartón lehet vizsgálandó 34 mintát elhelyezni.As an example shown in Figure 1! combined bright-field and phase-contrast microscopy system includes a bright-field 10 illumination unit, 15 phase-contrast 20 illumination units and a control unit 40 controlling the switching of the bright-field 10 illumination unit and the switching of the phase-contrast 20 illumination unit. The illumination unit 10 with a clear field of view and the illumination unit 20 with phase contrast have different optical axes 11 and 21, respectively. The microscopy system also includes optical elements 30 providing a common forward illumination 31 optical axis for the illumination coming from the illumination unit 20 with a bright field of view 10 and the illumination coming from the illumination unit 20 with phase contrast, as well as sample holders 33 and phase contrast objectives arranged one after the other along the common illumination 31 optical axis. , and the image recorder 50 was controlled to record images before and after each 25 switching between the two types of illumination. The latter control is also preferably implemented with the control unit 40. The control unit 40 can be of hardware or software design, or any suitable combination thereof. 34 samples to be tested can be placed on the sample holder 33.

A 35 fáziskontraszt objektív ismert módon tartalmaz 36 és 38 lencséket, valamint 30 a kettő között elrendezett 37 fázislemezt.The phase contrast objective 35 contains lenses 36 and 38 in a known manner, as well as 30 phase plates 37 arranged between the two.

-6A találmány szerint előnyös,, ha az egyes átkapcsolásoknál legfeljebb 200 ms, előnyösen legfeljebb 100 ms időközű képfelvételekre vezérelt 50 képfelvevőt, például kamerát alkalmazunk. A 200 ms tapasztalataink szerint olyan felső határ, amelyet túllépve, a világos látóterű képre épülő esethez képest már romolhat a 5 kettős képre épülő képfeldolgozás minősége a biológiai mintában észlelt egyes elemek elmozdulása miatt. Kísérleteink azt mutatták, hogy 100 ms vagy az alatti időköz esetén megugrik a találmány szerinti képfeldolgozás minősége; ez az időkorlát biológiai minták esetén lényegében azonos elem-elhelyezkedésű képeket biztosít.-6 According to the invention, it is advantageous to use a 50 image recorder, for example a camera, controlled for image recordings with an interval of no more than 200 ms, preferably no more than 100 ms, for each switching. According to our experience, 200 ms is an upper limit which, if exceeded, may deteriorate the quality of image processing based on 5 double images due to the displacement of some elements detected in the biological sample, compared to the case based on a clear field of view image. Our experiments showed that the quality of the image processing according to the invention jumps in the case of an interval of 100 ms or less; this time limit provides images with essentially the same element location in the case of biological samples.

Olyan kombinált mikroszkópról van tehát szó, melyben a fáziskontraszt és egy kompromisszumos bright-field mikroszkóp megoldás van, ahol Y-ban összefut a két különböző megvilágítás, de a fényút mintát érő és mikroszkópos része azonos, azonos az objektív, tehát a bright-field esetben is van fázisgyűrű. Ettől a brightfield kép nem klasszikus értelemben bright-field, hanem egy kompromisszumos, 15 de az adott alkalmazáshoz megfelelőnek bizonyult kép. A találmány szerint nem szükséges mechanikus lépés a két mérési üzemmód közötti váltáshoz; ebben eltér a technika állása szerinti átkapcsolást megoldásoktól.It is therefore a combined microscope that has phase contrast and a compromise bright-field microscope solution, where the two different illuminations converge in Y, but the part of the light path that hits the sample and the microscopic part are the same, the objective is the same, so in the bright-field case there is also a phase ring. As a result, the brightfield image is not bright-field in the classic sense, but rather a compromise, 15 an image that proved to be suitable for the given application. According to the invention, no mechanical step is required to switch between the two measurement modes; in this it differs from the switching solutions according to the state of the art.

Az 1. ábrán látható módon a közös továbbmenö megvilágítási 31 optikai tengelyt biztosító 30 optikai etem előnyösen prizma, de erre a célra természetesen 20 féligáteresztő tükör vagy más hasonló funkciójú optikai elem is alkalmazható.As shown in Figure 1, the optical element 30 providing the common forward illumination optical axis 31 is preferably a prism, but for this purpose, of course, 20 translucent mirrors or other optical elements with a similar function can also be used.

A megvilágítások előnyösen egymással azonos fényszínűek, és erre a fényszínre hangolt 35 fáziskontraszt objektivet alkalmazunk A megvilágítások fényszíne előnyösen zöld, ami zöld 13, 23 LED-d(ekk)el van megvalósítva. Ennek előnye, hogy a kereskedelemben kapható 35 fáziskontraszt objektívek is általában a 25 látható spektrum közepét jelentő zöld fényre vannak optimalizáiva/hangolva.The illuminations preferably have the same light color, and a phase contrast objective 35 tuned to this light color is used. The light color of the illuminations is preferably green, which is realized with green LED(s) 13, 23. The advantage of this is that commercially available 35 phase contrast lenses are usually optimized/tuned for green light, which is the middle of the 25 visible spectrum.

A fáziskontrasztos 20 megvilágító egység előnyösen egy további fényszinű megvilágítás kibocsátására is alkalmas, amivel még további információ nyerhető a neurális hálózat alapú képfeldolgozáshoz. A további fényszín előnyösen a kék, ami kék 23 LED-d(ekk)eí van megvalósítva; a kisebb hullámhosszú kék fénnyel 30 jobb laterális felbontású képek nyerhetők még akkor is, ha a 35 fáziskontraszt objektív a zöldre van optimalizálva.The phase-contrast illumination unit 20 is preferably also suitable for emitting an additional light-colored illumination, which can be used to obtain even more information for neural network-based image processing. The additional light color is preferably blue, which is realized by blue LED(s) 23; with the smaller wavelength blue light 30 better lateral resolution images can be obtained even if the phase contrast lens 35 is optimized for green.

A felvett képek előnyösen szürkeárnyaíatúak, azaz a pixelek a megvilágítás színétől függetlenül csak az intenzitás-értékeket rögzítik.The recorded images are preferably grayscale, i.e. the pixels record only the intensity values regardless of the color of the illumination.

A világos látóterű 10 megvilágító egység előnyösen tartalmaz 12 fényforrást és 15 fénykoncentráíó lencsét, valamint a kettő között elrendezett, a világos látótérhez 5 igazított 14 diafragmát. A fáziskontrasztos 20 megvilágító egység is előnyösen tartalmaz 22 fényforrást és 25 fénykoncentráló lencsét, továbbá a kettő között elrendezett 24 gyűrűs diafragmát.The illumination unit 10 with a clear field of vision preferably contains 12 light sources and 15 light concentrating lenses, as well as a diaphragm 14 arranged between the two and adapted to the clear field of vision 5 . The phase-contrast lighting unit 20 also preferably contains a light source 22 and a light concentrating lens 25, and the annular diaphragm 24 arranged between the two.

Az 1. ábrán látható módon a közös továbbmenő megvilágítási 31 optikai tengelyt biztosító 30 optikai elem és a 33 míntatartó között, kondenzor lencse vagy 32 10 kondenzor lencserendszer van elrendezve. A 35 fáziskontraszt objektív és az 50 képfelvevő között 39 leképező lencse vagy leképező lencserendszer van elrendezve; ez utóbbi feladata a képnek az adott csipmérethez történő illesztése, például a kamera cseréje esetén. A 35 fázískontraszt objektív előnyösen pozitív fázískontraszt objektív, de természetesen negatív fázískontraszt objektív is 15 alkalmazható a találmány céljára.As shown in Figure 1, a condenser lens or a condenser lens system 32 10 is arranged between the optical element 30 and the sample holder 33 providing the common forward illumination optical axis 31. An imaging lens or imaging lens system 39 is arranged between the phase contrast lens 35 and the image pickup 50; the task of the latter is to match the image to the given chip size, for example in the case of changing the camera. The phase contrast objective 35 is preferably a positive phase contrast objective, but of course a negative phase contrast objective can also be used for the purpose of the invention.

A fentiek szerinti rendszerrel megvalósított új méréstechnika legfontosabb elemei a következők: a kombinált bright-fieid - fáziskontraszt mikroszkópia technológia, látóterenként két képet, azaz többlet információt szolgáltat, ami a neurális hálózat alapú képfeldolgozási rendszerekben pontosabb eredményt szolgáltat; A kettő 20 felvett képből többféle technikával (pl. különböző megvilágítási színek alkalmazásával, vagy a kétféle felvett kép egyesítésével) lehet ún. „kompozit képet generálni, mely tartalmazza mind a fázis, mind az intenzitás információt. A kétféle információ egy pixelenként 3*1 bájtnyi adatot tartalmazó RGB színes képre például úgy vihető fel, hogy az RGB színek közül az intenzitást (világos látóterű 25 kép) az egyik színhez, a fázis információt (fáziskontrasztos kép) a másik színhez rendeljük. A hozzárendelés bármilyen célszerű matematikai képlettel lehetséges; például a fázss akár fordítottan arányos is lehet az adott szín intenzitásával. Ez szemléletes és a technológiára jellemző látvány élményt is nyújthat a felhasználónak. A találmány szerint a két külön kép helyett ez a többletinformációt 30 hordozó kompozit kép is beadható a képfeldolgozó berendezés bemenetére, és a jelen bejelentés kontextusában a két külön képet és az azokból képezett kompozit képet egymással egyenértékűnek és feloserélhetönek értjük.The most important elements of the new measurement technique implemented with the above system are the following: the combined bright-fieid - phase contrast microscopy technology, provides two images per field of view, i.e. additional information, which provides more accurate results in neural network-based image processing systems; The two out of 20 recorded images can be so-called "generate a composite image that contains both phase and intensity information. The two types of information can be applied to an RGB color image containing 3*1 bytes of data per pixel, for example, by assigning the intensity (25 images with a clear field of view) to one color and the phase information (image with phase contrast) to the other color. Assignment is possible with any suitable mathematical formula; for example, the phase can even be inversely proportional to the intensity of the given color. This can provide the user with a vivid and technology-specific visual experience. According to the invention, instead of the two separate images, this composite image carrying additional information 30 can also be input to the input of the image processing device, and in the context of the present application, the two separate images and the composite image formed from them are understood to be mutually equivalent and usable.

-8A 2A és 2B ábrák páronként azonos mintákról vett, egy világos látóterű 100 képből és egy fáziskontrasztos 101 képből álló egy-egy képpárt mutatnak. A mérési üzemmódok közötti váltást gyorsan meg lehet oldani kézi vagy akár automatikus szoftveres vezérléssel, egyszerűen a megvilágítások egymás utáni kí/be 5 kapcsolásával és mindkét esetről egy-egy felvétel készítésével (a sorrend mindegy, de állandónak kell lennie). Ezzel a minta elemeinek azonos elrendeződése biztosítható mindkét képfelvételre.Figures 2A and 8A and 2B each show a pair of images taken from the same samples, consisting of 100 images with a bright field of view and 101 images with phase contrast. Switching between measurement modes can be done quickly with manual or even automatic software control, simply by switching the illuminations on/off one after the other and taking a recording of each case (the order does not matter, but it must be constant). In this way, the same arrangement of the elements of the sample can be ensured for both image recordings.

Az azonos látótérről felvett kétféle kép igen előnyös a képek kiértékeléséhez, mivel járulékos információt tartalmaz a csak világos látóterű vagy csak 10 fáziskontrasztos esetekhez képest. Ezt neuráiis hálózati struktúra tanításávaí és a végeredmények kiértékelésével igazoltuk. Ennek során egy két kép-bemenetű hálózatot tanítottunk úgy, hogy mindkét kép azonosan világos látóterű, mindkét kép azonosan fáziskontrasztos, továbbá úgy is, hogy az egyik világos látóterű, a másik meg fáziskontrasztos kép. Utóbbi esetben gyorsabbnak bizonyult a tanítás 15 és jobb lett a végeredmény (nagyobb felismerési ráta, kisebb hiba ráta mellett). A neuráiis hálózat struktúrája teljesen megegyezett mindkét esetben, tehát a hálózat és a míntaszám is azonos volt. Mindez igazolta a találmányi alapgondolat alkalmazhatóságát és eiőnyét.Two types of images taken from the same field of view are very beneficial for the evaluation of the images, as they contain additional information compared to cases with only a clear field of view or only 10 phase contrast. We verified this by teaching neural network structure and evaluating the final results. During this, we trained a network with two image inputs such that both images have the same bright field of view, both images have the same phase contrast, and also such that one image has a bright field of view and the other has a phase contrast image. In the latter case, the teaching proved to be faster 15 and the end result was better (with a higher recognition rate and a lower error rate). The structure of the neural network was completely identical in both cases, so the network and the number of samples were also the same. All this proved the applicability and advantages of the basic idea of the invention.

Az azonos látótérről felvett kétféle felvétel között előnyösen nem telhet el több idő, 20 mint 200 ms, még előnyösebben 100 ms. Ez azt jelenti, hogy ennél a technológiánál fontos, hogy gyors legyen az átkapcsolás a kétfajta megvilágítás között, ugyanis fontos, hogy a látótéren ne történjen lényegi változás a képek felvétele közötti időben. Azért szükséges igyekezni, mert például a vizelet üledék alkotók mozognak, különösen a baktériumok, melyek kisméretűek, de a 25 trichomonas, illetve egyéb részecskék is tudják változtatni a helyüket.Preferably, no more time should elapse between the two types of recordings taken from the same field of view, 20 to 200 ms, even more preferably 100 ms. This means that with this technology, it is important to quickly switch between the two types of lighting, because it is important that the field of view does not change significantly in the time between taking pictures. It is necessary to make an effort because, for example, urine sediment-forming substances move, especially bacteria, which are small, but trichomonas 25 and other particles can also change their location.

A 3. ábrán egy példaképpen! olyan 100 kép látható, amely vizelet-analízis kapcsán vizeletmíntáról készült. A 100 kép egy az ábrán bejelölt részét kinagyítottan a 4. ábrán ábrázoltuk. A 4. ábrán számos kategorizálandó 116 elem, azaz különböző részecskék, képelemek vizuális reprezentációja látható.Figure 3 is an example! you can see 100 pictures that were taken of a urine sample in connection with urinalysis. A part of the 100 images marked in the figure is shown enlarged in figure 4. Figure 4 shows the visual representation of a number of 116 elements to be categorized, i.e. different particles and image elements.

A találmány szerint a 100 képen látható elemen minden olyan objektum vizuális megjelenését értjük, amely felismerhető, kategorizálható. A találmány alábbi előnyös kiviteli alakját vizelet-analízisre, azaz vizeletmintáról készült digitális képAccording to the invention, the element shown in the image 100 means the visual appearance of all objects that can be recognized and categorized. The following advantageous embodiment of the invention is for urinalysis, i.e. a digital image of a urine sample

-9feldolgozására ismertetjük. A vízeletmintáróí készült fényképen ilyen kategorizálható objektumok, elemek lehetnek példaképpen a következők:-9 is described. Objects and elements that can be categorized in this way in a photograph taken by a watershed surveyor can be, for example, the following:

- baktérium (BAC),- bacteria (BAC),

- laphámsejt (EPI, Squamous Epithelial Cell),- squamous epithelial cell (EPI, Squamous Epithelial Cell),

- kis kerek hámsejt (NEC, NonSquamous Epithelial Cell),- small round epithelial cell (NEC, NonSquamous Epithelial Cell),

- vörös vértest (RBC, Red Blood Cell),- red blood cell (RBC, Red Blood Cell),

- fehér vérsejt (WBC, White Blood Cell), • háttér (BKGND, background), és a részecske széle.- white blood cell (WBC), • background (BKGND, background) and the edge of the particle.

Természetesen a fentieken túl további kategorizálható elemek, objektumok is felfedezhetők a vizeletmintákról készült fényképeken. A háttérrel együtt összesen tipikusan 10 - 30 elem-kategória állítható fel.Of course, in addition to the above, further categorizable elements and objects can also be discovered in the photographs of urine samples. Together with the background, a total of typically 10 - 30 element categories can be set up.

A fentiekből látható módon különösen előnyös, ha a digitális fénykép általában legnagyobb részét kitevő hátteret, vagyis azon területeket, amelyeken egyéb 15 elemek nem jelennek meg, külön kategorizált kepeiemként szerepeltetjük az analízisben. A találmány szerinti átfogó analízis segítségével ugyanis ily módon a háttér az ismert megoldásoknál hatékonyabb módon elválasztható a további kategorizálandó elemektől.As can be seen from the above, it is particularly advantageous if the background, which usually makes up the largest part of the digital photograph, i.e. the areas where other elements do not appear, are included in the analysis as separately categorized images. With the help of the comprehensive analysis according to the invention, the background can be separated from the further elements to be categorized in a more efficient way than the known solutions.

Az 5. ábrán látható világos látóterű 100 képen és 101 fáziskontrasztos képen a 20 kategorizálandó elemek különböző vizuális információkat hordoznak. A 100, 101 képeken érzékelhető vizuális információk alapján az egyes előre meghatározott elem -kategóriákhoz tartozó 111 in valószínűség térképeket állítunk elő. A 100, 101 képeket külön külön is beadhatjuk; ez esetben két képnyi pixelszámnak megfelelő bemenetszám szükséges. Amennyiben a 100, 101 képeket egyesített kompozít 25 kép formájában adjuk be, csak egy képnyi pixelszámnak megfelelő bemenetszám szükséges. Az egyes 111 valószínűség térképek az adott kategóriájú elem jelenléti valószínűségének eloszlását mutatják.In the clear field image 100 and phase contrast image 101 shown in Figure 5, the elements to be categorized 20 carry different visual information. Based on the visual information perceptible in the images 100, 101, we generate probability maps 111 belonging to each predefined element category. Images 100, 101 can be submitted separately; in this case, an input number corresponding to the number of pixels of two images is required. If the images 100, 101 are entered in the form of a combined composite 25 images, only an input number corresponding to the number of pixels of one image is required. The individual probability maps 111 show the distribution of the probability of the presence of the element of the given category.

A 111i n valószínűség térképeket a 100, 101 képekkel azonos pixel-méretben is előállíthatjuk, de előnyösen a 111 vn valószínűség térképek kisebbek. Egy előnyös 30 kiviteli alakban 1280x960 felbontású 100, 101 képeket (vagy kompozít képet) és ennek megfelelően 160x120 felbontású W-un valószínűség térképeket alkalmazunk. A 111un valószínűség térképek előállítására előnyösen neurálisThe probability maps 111i n can be produced in the same pixel size as the images 100, 101, but preferably the probability maps 111 vn are smaller. In a preferred embodiment 30, we use images 100, 101 with a resolution of 1280x960 (or composite image) and correspondingly W-un probability maps with a resolution of 160x120. The 111un probability for producing maps is preferably neural

- 10 hálózatot alkalmazunk. A neurális hálózat betanítására bármilyen alkalmas módon, például a WO/2013/104938 dokumentumban leírtak szerint kerülhet sor. A 111 u valószínűség térképek létrehozásához adott esetben nem csak a 100, 101 képeket (vagy kompozít képet), hanem azok mellett a képekből különböző függvényekkel létrehozott egy vagy több transzformált képet vagy a 100, 101 képek eltérő felbontású egy vagy több változatát is felhasználjuk.- We use 10 networks. The neural network can be trained in any suitable manner, for example as described in WO/2013/104938. In order to create probability maps 111 u, where appropriate, we use not only the images 100, 101 (or composite image), but also one or more transformed images created from the images with different functions or one or more versions of the images 100, 101 with different resolutions.

A 111 i-n valószínűség térképeket létrehozó modult a találmány szerint felismerő modulnak (RM) nevezzük, amely felismerő modul tehát tartalmaz olyan bemeneteket, amelyek a 100, 101 képek (vagy a kompozít kép) pixeleit fogadják, valamint olyan kímenetekkel rendelkezik, amely a 11Η<· valószínűség térképek valószinűség értékeit szolgáltatja.The module that creates probability maps 111 i is called a recognition module (RM) according to the invention, which recognition module therefore contains inputs that receive the pixels of the images 100, 101 (or the composite image), as well as outputs that 11Η<· provides probability values for probability maps.

A következő lépésként kategóriánként megvizsgáljuk, hogy a 100, 101 képeken vannak-e feltételezetten jelen lévő elemek. A feltételezetten jelenlévő elemekre vonatkozó vizsgálatot a 6. ábrán látható módon előnyösen 111 valószínűség térképekként végezzük. A vizsgálat során az egy előre meghatározott küszöbszínt feletti valószínűség értékek egybefüggő 112 csoportjait megkeressük, majd a 112 csoportok kiterjedése és/vagy a 112 csoportban lévő valószínűség értékek nagysága alapján határozzuk meg, hogy a 112 csoport feltételezetten jelen lévő elemnek felel-e meg.As the next step, we examine by category whether the images 100, 101 contain elements that are supposed to be present. As shown in Figure 6, the examination of the assumedly present elements is preferably carried out as 111 probability maps. During the test, we look for contiguous groups 112 of probability values above a predetermined threshold color, and then, based on the extent of the 112 groups and/or the size of the probability values in the 112 groups, we determine whether the group 112 corresponds to an element assumed to be present.

A feltételezetten jelen lévő elemek meghatározása után 113 vizsgálati területet jelölünk ki. amelyet célszerűen a feltételezetten jelen lévő elemnek megfelelő 112 csoport közepére pozícionálunk. A 113 vizsgálati terület célszerűen a 111 valószínűség térképen 5x5 valószínűség értékből áll; az ábrán látható módon minden egyes 112 csoport közepére, súlypontjára, egy ilyen 113 vizsgálati területet határozunk meg.After determining the assumedly present elements, 113 test areas are designated. which is ideally positioned in the middle of the 112 groups corresponding to the supposedly present element. The test area 113 ideally consists of 5x5 probability values on the probability map 111; as shown in the figure, we define such an examination area 113 at the center, center of gravity, of each group 112.

A találmány szerint az. egyes 113 vizsgálati területek kapcsán, az azokhoz tartozó elem jelenléte tekintetében a döntés meghozatalához figyelembe veszünk legalább egy további 111 valószínűség térképet, célszerűen annak a fenti 113 vizsgálati területtel azonosan pozícionált 113 vizsgálati területén lévő valószínűség értékeket is. A 7. ábrán látható módon előnyösen minden 111;..t valószínűség térképen azonosan pozícionált 113in vizsgálati területet belevonunk a döntés meghozatalába. Ezeken a 113?-n vizsgálati területeken az ábrázolt előnyös kiviteli alakban 5x5 darab 114 valószínűség érték található, amelyek az adott területen az egyes kategóriákba eső elemek jelenléti valószínűségét reprezentálják a 0 - 100 értékskálára vetítve.According to the invention, it is. in connection with some test areas 113, we take into account at least one additional probability map 111 to make the decision regarding the presence of the element belonging to them, preferably also the probability values in the test area 113 positioned identically to the test area 113 above. As shown in Figure 7, we preferably include every 111;.. t examination area positioned identically on the probability map 113in in making the decision. On these test areas 113?, in the preferred embodiment shown, there are 5x5 114 probability values, which represent the probability of the presence of elements belonging to each category in the given area, projected onto the 0-100 value scale.

A 113t-n vizsgálati területek analízisét a találmány szerint döntési modulnak (DM) nevezett eszközzel valósítjuk meg. amely olyan neurális hálózatot tartalmaz, amely a 113vizsgálati területeken lévő pixelekhez, 114 valószínűség értékekhez rendelt bemenetekkel rendelkezik. A döntés! modul kimenetei előnyösen az egyes kategóriákba eső elemek adott vizsgálati területre vonatkozó valószínűségét, szolgáltatják.According to the invention, the analysis of the 113t-n test areas is carried out with a device called a decision module (DM). which contains a neural network with inputs assigned to probability values 114 for the pixels in the 113 examination areas. The decision! module outputs preferably provide the probability of the elements falling into each category for a given test area.

A 113nn vizsgálati területek együttes analízisével az objektum-felismerés, kategorizálás nagyobb biztonsággal végezhető el. Ily módon ugyanis az egymást, kölcsönösen kizáró kategóriák valószínűség értékeit is figyelembe tudjuk venni és a 100, 101 képeken lévő, egymással összefüggő információk is felhasználhatóvá válnak a helyes döntések meghozatalában.With the joint analysis of the 113nn examination areas, object recognition and categorization can be performed with greater certainty. In this way, the probability values of mutually exclusive categories can also be taken into account, and the related information in the images 100, 101 can also be used to make the right decisions.

A 7. ábrán ábrázolt rendkívül előnyős kiviteli alakban a döntési modul analíziséhez nemcsak a 113i-n vizsgálati területek 114 valószínűség értékelt használjuk fel, hanem az elemekkel kapcsolatos 115 statisztikai adatokat Is figyelembe veszünk. Ezek lehetnek például a WO/2013/104937 dokumentumban ismertetett típusú 115 statisztikai adatok lehetnek.In the extremely advantageous embodiment shown in Figure 7, for the analysis of the decision module, not only the probability values 114 of the test areas 113i are used, but the statistical data 115 related to the elements are also taken into account. These can be, for example, statistical data of the type 115 described in document WO/2013/104937.

A 8. ábra egy találmány szerinti képfeldolgozó berendezés vázlatát mutatja. A képfeldolgozó berendezés a biológiai mintáról készült 100, 101 képeken lévő elemek automatikus kategorizálására szolgál, és tartalmazFigure 8 shows a diagram of an image processing device according to the invention. The image processing device is used to automatically categorize the elements in the images 100, 101 of the biological sample, and includes

- találmány szerinti mikroszkópiás rendszert, ahol a biológiai mintáról készült 100, 101 képek a mikroszkópiás rendszer révén felvett világos látóterű és fáziskontrasztos 100, 101 képek, vagy azokból előállított kompozit kép,- a microscopy system according to the invention, where the images 100, 101 of the biological sample are bright-field and phase-contrast images 100, 101 taken by the microscopy system, or a composite image produced from them,

- a 100, 101 képeken (vagy a kompozit képen) megjelenő vizuális információk alapján egyes kategóriákhoz, tartozó THi n valószínűség térképeket előállító RM felismerő modult, amely 111 valószínűség térkép az adott kategóriájú 116 elem jelenléti valószínűségének eloszlását mutatja,- based on the visual information displayed on the images 100, 101 (or the composite image), the RM recognition module that produces THi n probability maps belonging to certain categories, which probability map 111 shows the distribution of the probability of the presence of the 116 elements of the given category,

- a 114^-0 valószínűség térképek együttes feldolgozása alapján döntési ágak közül egyet kiválasztó BM elágazó modult, amely döntési ágak- a BM branching module that selects one of the decision branches based on the joint processing of the 114^-0 probability maps, which decision branches

- 12 mindegyikéhez egy DM döntési modul kapcsolódik, amely DM döntési modul az adott döntési ágra jellemző mintákkal betanított neuráíis hálózatot tartalmaz,- each of 12 is connected to a DM decision module, which DM decision module contains a neural network trained with patterns characteristic of the given decision branch,

- a 100, 101 képeken (vagy a kompozit képen) feltételezetten jelenlévő 5 elemeket megkereső és mindegyik feltételezetten jelenlévő elem tekintetében döntési folyamatot meghívó CM meghívó modult, és- the CM calling module that searches for the 5 elements assumed to be present in the images 100, 101 (or the composite image) and invokes a decision process with respect to each element assumed to be present, and

- áganként a döntési folyamatot végrehajtó, a 111 i..n valószínűség térképek elemzése alapján az egyes kategóriákba tartozó 116 elemek jelenlétéről információt adó DM döntési modult, amely DM döntési modul a 116 elem 10 jelenlétének vizsgálatánál a 116 elem kategóriájához tartozó 111 valószínűségi térképen kívül legalább egy további 111 valószínűség térképet is figyelembe vevően van kialakítva,.- the DM decision module, which performs the decision process per branch and provides information on the presence of the 116 elements belonging to each category based on the analysis of the 111 i.. n probability maps, which DM decision module, in addition to the 111 probability maps belonging to the 116 element category, at least is designed taking into account an additional 111 probability maps.

Előnyösen a döntési ágak mindegyikéhez egy CM meghívó modul kapcsolódik az ugyanazon döntési ágon lévő DM döntési modul meghívására, de olyan megoldás 15 is elképzelhető, hogy a BM elágazó modul kimenete több DM döntési modulhoz közös CM meghívó modul egy választó bemenetére van kapcsolva.Preferably, a CM calling module is connected to each of the decision branches to call the DM decision module on the same decision branch, but a solution 15 is also conceivable in which the output of the BM branch module is connected to a selector input of a CM calling module common to several DM decision modules.

A 111 i.n valószínűség térképek együttes feldolgozása magában foglalhatja például a 111 i-n valószínűség térképek szummájának vagy átlagának képzését, azokon lokális csúcsok számának meghatározását, vagy lokális csúcsok nagyságának 20 kiértékelését,The joint processing of the 111 i.n probability maps may include, for example, forming the sum or average of the 111 i n probability maps, determining the number of local peaks on them, or evaluating the magnitude of local peaks,

A találmányi gondolat szerint tehát az RM felismerő modul után egy döntési pont van, ahol több irányba mehet tovább a kiértékelés, illetve lehet flag”, azaz egy bites, igen/nem típusú döntéseket is hozni a képfeíismerési eredmények alapján. A megfelelő döntési ágat a 111:.n valószínűség térképeknek egy további, 25 bármilyen alkalmas szempontú együttes feldolgozása révén választjuk ki; a szakember ezt az együttes feldolgozást az adott mintákra, alkalmazásra célszerű megfontolásokkal vagy kísérletileg ki tudja alakítani, A képfeíismerési eredmények függvényében a kiértékelés különböző irányokba való terelése nagy lehetőségeket nyit a kiértékelés fejlődésében. Nem mindegy például, hogy szép, tiszta, homogén 30 háttéren kell a különböző részecskéket, 116 elemeket felismerni (és szép hátterű mintákkal tanítani a neuráíis hálózat alapú DM döntési modulokat), vagy baktériummal, nyákkal (mucus), kristálytörmelékkel (debris), esetleg valami mással teli háttéren. A laphámsejtek mérete néhány IQ pm-től tipikusan 100-150 pm-ig terjedhet, és ezek belső textúrája nagyon hasonlít a baktériumokkal sűrűn tele lévő háttérre. A technika állása szerinti képfeldolgozásoknál ezért viszonylag nagyobb számú hibás laphámsejt találat adódott Amennyiben azonban a szép hátterű képeket a baktériumokkal tele lévő hátterű képektől meg lehet különböztetni a képfelismerésí szinten, és egy BM elágazó modul révén a további képfeldolgozást a megfelelő ágakra tudjuk irányítani, azonos jóságú vagy jobb képfelismerés mellett a hibás laphámsejt találatok számát akár 50-60%-kal is csökkenteni tudjuk. A DM döntési modulokból betaníthatunk többet, különböző tanító állományokon, melyek például a háttérben térnek el egymástól. Más okból is lehet szétválásról dönteni; például jellegzetes profilú minta észlelése esetén, melyben jellegzetes összetételű részecskék vannak, stb.According to the idea of the invention, there is a decision point after the RM recognition module, where the evaluation can continue in several directions, and it is also possible to make "flag", i.e. one-bit, yes/no type decisions based on the image recognition results. The corresponding decision branch is 111:. n probability maps are selected through a further joint processing of 25 with any suitable criteria; the specialist can develop this combined processing for the given samples, application with expedient considerations or experimentally. Depending on the image recognition results, directing the evaluation in different directions opens up great opportunities in the development of the evaluation. It doesn't matter, for example, whether different particles, 116 elements have to be recognized on a nice, clean, homogeneous 30 background (and teach neural network-based DM decision modules with nice background patterns), or with bacteria, mucus, crystal debris, or something on a background full of others. Squamous cells can range in size from a few IQ pm to typically 100-150 pm, and their internal texture closely resembles a background densely packed with bacteria. Therefore, the state-of-the-art image processing resulted in a relatively larger number of defective squamous cell hits. However, if images with a beautiful background can be distinguished from images with a background full of bacteria at the image recognition level, and with a BM branching module we can direct the further image processing to the appropriate branches, the same quality or with better image recognition, we can reduce the number of incorrect squamous cell results by up to 50-60%. We can train more of the DM decision modules, on different teaching staffs, which for example differ in the background. Separation can also be decided for other reasons; for example, in case of detection of a sample with a characteristic profile, which contains particles with a characteristic composition, etc.

Ha egy speciális esetre külön is fel tudjuk készíteni a kiértékelést és nem kell az összes esetet egy, globális, mindenre megtanított moduljai lekezelni, jobb végeredményre számíthatunk. Ehhez persze több betanítási munkára van szükség. A lényeg tehát, hogy a kiértékelés első, mindig lefuttatott, általános, fázisa után van egy döntési pont, ahol különálló flag típusú döntéseket is lehet hozni, illetve a további kiértékelés fázisához lehet választani a különböző, jellemző esetekre kidolgozott alternatív utak közül. Minden úthoz külön DM döntési modul tartozik és akár különböző FDM végső döntési modul (Id. alább) is tartozhat minden döntési ághoz. Az FDM végső döntési modul lehet közös is különböző DM döntési modulokra, erre nincs megkötés, a célszerűség dönti el. A különböző döntési ágakhoz tartozó DM döntési modulokat természetesen különböző, az adott ágra jellemző tanító és teszt állományokkal kell tanítani.If we can prepare the evaluation separately for a special case and we don't have to handle all the cases with one global module that teaches everything, we can expect a better end result. Of course, this requires more training. The point is, therefore, that after the first, always run, general phase of the evaluation, there is a decision point where separate flag-type decisions can be made, and for the further evaluation phase, you can choose from among the alternative paths developed for different typical cases. Each path has a separate DM decision module and even different FDM final decision modules (Id. below) can belong to each decision branch. The FDM final decision module can also be common to different DM decision modules, there is no restriction on this, it is decided by expediency. DM decision modules belonging to different decision branches must of course be taught with different teaching and test files specific to the given branch.

Flag-re példa, hogy a képen iesz-e megbízható, automatikus eredmény vagy javasoljuk az operátor általi vizuális ellenőrzést a mérés után (Review flag). Lehet más típusú flag-röl is dönteni (pl. van-e műtermék, buborék, stb. a képen). A flag-ekei a felhasználói szoftver jelezheti a felhasználó felé warning vagy error message jelleggel, de az is lehet, hogy csupán loggolásra kerülnek egy log fiíe-ba (naplózás), az információ jellegétől függően.An example of a flag is whether the image shows a reliable, automatic result or whether we recommend a visual check by the operator after the measurement (Review flag). You can also decide on a different type of flag (e.g. are there artifacts, bubbles, etc. in the image). The flags can be displayed to the user by the user software as a warning or error message, or they may just be logged in a log file (logging), depending on the nature of the information.

Az RM felismerő modul Is előnyösen neuráíis hálózatot tartalmaz, amely neuráíis hálózat a 100, 101 képek (vagy a kompozit kép) pixeleit fogadó bemenetekkel, valamint a Iliin valószínűség térképek 114 valószínűség értékeit kiadóThe RM recognition module also preferably contains a neural network, which is a neural network with inputs receiving the pixels of the images 100, 101 (or the composite image) and outputting the probability values of the probability maps 114

- 14 ~ kimenetekkel rendelkezik, amely 111m valószínűség térképek a 100, 101 képeknél kisebb felbontásúnk.- It has 14 ~ outputs, which are 111m probability maps with a lower resolution than our 100, 101 images.

Előnyösen mindegyik feltételezetten jelenlévő 116 elem tekintetében a hozzá tartozó 111 valószínűség térképen a feltételezetten jelenlévő 116 elemhez 5 pozícionált 113 vizsgálati területre a DM döntési modult meghívó CM meghívó modult tartalmaz, és a DM döntési modul legalább egy további 111 valószínűség térkép azonosan pozícionált 113 vizsgálati területét is figyelembe vevően van kialakítva.Preferably, with respect to each presumptively present 116 element, the associated probability map 111 contains the CM call module that calls the DM decision module for 5 positioned 113 test areas for the presumptively present 116 elements, and the DM decision module also includes the identically positioned test areas 113 of at least one additional probability map 111 is designed taking into account.

A DM döntési modul előnyösen olyan neurális hálózatot tartalmaz, amely a 10 meghívás szerinti 113m vizsgálati területeken lévő valószínűség 114 értékeket fogadó bemenetekkel, valamint a meghívás szerinti 113m vizsgálati területeken az egyes kategóriákba eső 116 elemek jelenlétének valószínűségét kiadó kimenetekkel rendelkezik.The DM decision module preferably contains a neural network that has inputs that receive values of the probability 114 in the test areas 113m according to the invitation, and outputs that output the probability of the presence of elements 116 in each category in the test areas 113m according to the invitation.

Az egyes DM döntési modulokhoz előnyösen a 116 elemeket csak egy küszöb15 valószínűség felett jelenlévőnek elfogadó FDM végső döntéshozó modulok kapcsolódnak, amely küszöb-valószínűség előnyösen kategóriánként külön van meghatározva.The individual DM decision modules are preferably connected to the FDM final decision-making modules that accept the 116 elements as being present only above a threshold 15 probability, which threshold probability is preferably defined separately for each category.

Az RM felismerő modulba betápláljuk tehát a 100 és 101 képeket (vagy a kompozit képet), illetőleg adott esetben azok egy vagy több transzformáltját vagy 20 egy vagy több eltérő felbontású változatát. Az RM felismerő modul létrehozza a 1111-n valószínűség térképeket, amelyek alapján megtörténik kategóriánként, azaz 111 valószínűség térképenként a feltételezetten jelen lévő elemek meghatározása és azokhoz a 113 vizsgálati területek hozzárendelése. A találmány szerinti berendezés CM meghívó modulja minden egyes 111 valószínűség térképen 25 minden egyes döféspontra meghívja a DM döntéshozó modult. A DM döntéshozó modul bemenetelt a döfésponthoz kijelölt 111;-* valószínűség térképeken lévő 1131* vizsgálati területek adják. A DM döntési modul az adott 113 vizsgálati területhez tartozó elem jelenlétének meghatározásához figyelembe veszi a további 113 vizsgálati területeken lévő valószínűség értékeket is, és ennek alapján az 30 egyes kategóriákban tartozó elemek jelenlétéről információt nyújt.The images 100 and 101 (or the composite image) or, where appropriate, one or more of their transforms or one or more versions with different resolutions are fed into the RM recognition module. The RM recognition module creates the 1111 probability maps, on the basis of which the elements assumed to be present are determined per category, i.e. per 111 probability maps, and the 113 test areas are assigned to them. The calling module CM of the device according to the invention calls the decision-making module DM for each punching point 25 on each probability map 111. The input of the DM decision-making module is provided by the test areas 1131* on the probability maps 111;-* assigned to the puncture point. In order to determine the presence of the element belonging to the given 113 test areas, the DM decision module also takes into account the probability values in the other 113 test areas, and based on this, it provides information about the presence of the elements belonging to the 30 individual categories.

- 15A DM döntési modul neurális hálózata előnyösen az egyes kategóriákba eső elemek jelenléti valószínűségét adja ki Ezen valószínűségek alapján egy további, FDM végső döntéshozó modul hozhatja meg a végső döntést.- 15 The neural network of the DM decision module preferably outputs the presence probability of the elements falling into each category. Based on these probabilities, an additional FDM final decision-making module can make the final decision.

Az FDM végső döntéshozó modul célszerűen úgy működik, hogy az elemek 5 jelenlétének valószínűségét megvizsgálja és az elemeket csak egy előre meghatározott küszöb-valószínűség felett fogadja el jelenlévőnek. A kísérleteink során beigazolódott, hogy ezt a küszöb-valószínűséget célszerűen kategóriánként külön-külön kel! meghatározni, mivel a 100, 101 képeken felismerendő, kategorizálandó elemek tipikusan egymástól eltérő valószínűség értékekkel 10 rendelkeznek,The FDM final decision-making module works expediently by examining the probability of the presence of the elements 5 and accepting the elements as present only above a predetermined threshold probability. During our experiments, it was confirmed that this threshold probability should be calculated separately for each category! to be determined, since the elements to be recognized and categorized in the images 100, 101 typically have different probability values 10,

Az FDM végső döntéshozó modullal bevezethető híhetőségvizsgáíat lényege, hogy a küszöb-valószínűség érték növelésével csökken ugyan a találatok száma, de eltérő görbe mentén monoton módon csökken a hibás találatok száma is. Minden kategóriához, jelen esetben részecsketípushoz célszerű olyan 15 küszöbértéket beállítani, amelynél elegendően alacsony hiba mellett még elegendően magas a helyes felismerések mértéke, Olyan részecskék esetén, amelyeket nagy biztonsággal tudunk felismerni és amelyeknél a hibás felismerések bekövetkezését fontos elkerülni, érdemes a küszöbértéket magasra beállítani.The essence of the reliability test, which can be introduced with the FDM final decision-making module, is that the number of hits decreases as the threshold probability value increases, but the number of incorrect hits also decreases monotonically along a different curve. For each category, in this case particle type, it is advisable to set a threshold of 15, for which the rate of correct recognition is sufficiently low with a sufficiently low error. In the case of particles that can be recognized with high confidence and for which it is important to avoid the occurrence of incorrect recognitions, it is worth setting the threshold high.

Az FDM végső döntéshozó modul küszöb-valószínűségeit célszerű lehet továbbá nemcsak az egyes kategóriákra, hanem az egyes alkalmazásokra, vagy az alkalmazásokon belül az egyes mintákra külön-kűlön meghatározni. Előfordulhat ugyanis, hogy egy minta, azaz egy 100, 101 képekből álló képsorozat hasonló vizuális karakterisztikákkal rendelkezik, így a felismerések, kategorizálások 25 valószínűségei is egymáshoz hasonló módon alakulnak.The threshold probabilities of the FDM final decision-making module can also be determined separately not only for each category, but also for each application, or for each sample within the application. It may happen that a sample, i.e. a series of images consisting of 100, 101 images, has similar visual characteristics, so that the probabilities of recognition and categorization 25 also develop in a similar way.

A képfeldolgozás során az első, legtöbb számolást igénylő lépés az RM felismerő modul futtatása. Ezután következik a DM döntési modul futtatása, majd végül az F DM végső döntéshozó modul dönti el, hogy hol tegyen címke és hol ne a világos látóterű képen, a korábban beazonosított helyek közül. A találmány szerint tehát 30 az RM felismerő modul és a DM döntési modul célszerűen neurális hálózatként van megvalósítva, A találmány szerint a berendezés minden moduljaDuring image processing, the first step requiring the most calculations is running the RM recognition module. Then the DM decision module is run, and finally the F DM final decision module decides where to put a label and where not to put a label on the clear field image, from among the previously identified places. According to the invention, therefore, the RM recognition module and the DM decision module are expediently implemented as a neural network. According to the invention, all modules of the equipment

- 16megvalósítható célszerűen számítógépes programmodul formájában, de ezen modulok részei vagy egésze akár hardveres formában is kialakítható.- 16 can be implemented expediently in the form of a computer program module, but parts or all of these modules can even be designed in hardware form.

A fentiekben a találmányt vizeletanalízis céljára, vizeletmintára készült 100, 101 képekre (kompozít képekre) ismertettük, de ez természetesen nem korlátozza a 5 találmány alkalmazhatóságát ezen műszaki területre. A találmány szerinti elemfelismerés, kategorizálás előnyösen alkalmazható a bevezetőben említett, képfelismerést, kategorizálást, szükségessé tevő további alkalmazásokban is.Above, the invention was described for urinalysis, images 100, 101 (composite images) made for urine samples, but of course this does not limit the applicability of the invention to this technical field. The element recognition and categorization according to the invention can also be advantageously used in the additional applications mentioned in the introduction that require image recognition and categorization.

A találmány nem korlátozódik a fentiekben részletesen ismertetett előnyös kiviteli alakokra, hanem további változatok és módosítások lehetségesek az igénypontok 10 által meghatározott oltalmi körben. A találmány például nem csak kétdimenziós képek feldolgozására alkalmas, hanem akár háromdimenziós képalkotó eljárással előállított képek analízisére is. Ebben az esetben célszerűen a valószínűség térképek is háromdimenziós térképek, a vizsgálati területek pedig ezen térképek háromdimenziós térrészei.The invention is not limited to the advantageous embodiments described in detail above, but further variations and modifications are possible within the scope of protection defined by claims 10. For example, the invention is not only suitable for processing two-dimensional images, but also for the analysis of images produced by a three-dimensional imaging process. In this case, the probability maps are also three-dimensional maps, and the test areas are three-dimensional parts of these maps.

Claims (11)

1. Kombinált világos látóterű és fáziskontrasztos mikroszkópiás rendszer, amely tartalmaz1. Combined bright field and phase contrast microscopy system, which contains - világos látóterű megvilágító egységet (10),- a lighting unit with a clear field of view (10), - fáziskontrasztos megvilágító egységet (20), valamint- phase contrast lighting unit (20), as well as - a világos látóterű megvilágító egység (10) kapcsolását és a fáziskontrasztos megvilágító egység (20) kapcsolását vezérlő vezérlőegységet (40), azzal jellemezve, hogy a világos látóterű megvilágító egység (10) és a fáziskontrasztos megvilágító egység (20) egymástól különböző optikai tengelyekkel (11, 21) rendelkeznek, és a mikroszkópiás rendszer tartalmaz továbbá- a control unit (40) controlling the switching of the bright-field lighting unit (10) and the switching of the phase-contrast lighting unit (20), characterized by the fact that the bright-field lighting unit (10) and the phase-contrast lighting unit (20) have different optical axes ( 11, 21) and the microscopy system also contains - a világos látóterű megvilágító egységből (10) érkező megvilágítás és a fáziskontrasztos megvilágító egységből (20) érkező megvilágítás számára közös továbbmenő megvilágítási optikai tengelyt (31) biztosító optikai elemet (30), valamint a közös megvilágítási optikai tengely (31) mentén egymás után elrendezett- the optical element (30) providing a common forward illumination optical axis (31) for the illumination coming from the bright-field illumination unit (10) and the illumination coming from the phase-contrast illumination unit (20), and the optical element (30) arranged in sequence along the common illumination optical axis (31) - mintatartót (33),- sample holder (33), - fáziskontraszt objektívet (35) és- phase contrast lens (35) and - a kétféle megvilágítás közötti egyes átkapcsolások előtti és utáni képek felvételére vezérelt képfelvevőt (50).- the image recorder (50) controlled to record images before and after each switching between the two types of illumination. 2. Az 1. igénypont szerinti rendszer, azzal jellemezve, hogy az egyes átkapcsolásoknál legfeljebb 200 ms, előnyösen legfeljebb 100 ms időközű képfelvételekre vezérelt képfelvevője (50) van.2. The system according to claim 1, characterized in that it has an image recorder (50) controlled for image recordings with an interval of no more than 200 ms, preferably no more than 100 ms for each switching. 3. Az 1. vagy 2. igénypont szerinti rendszer, azzal jellemezve, hogy a közös továbbmenő megvilágítási optikai tengelyt (31) biztosító optikai elem (30) prizma vagy féligáteresztő tükör.3. The system according to claim 1 or 2, characterized in that the optical element (30) providing the common forward illumination optical axis (31) is a prism or semitransparent mirror. MlMs NN NN NN 4. Az 1-3. igénypontok bármelyike szerinti rendszer, azzal jellemezve, hogy a megvilágítások egymással azonos fényszínűek, és erre a fényszínre hangolt fáziskontraszt objektíve (35) van.4. The 1-3. A system according to any one of the claims, characterized in that the illuminations have the same light color, and there is a phase contrast objective (35) tuned to this light color. 5. A 4. igénypont szerinti rendszer, azzal jellemezve, hogy a megvilágítások fényszíne zöld, ami zöld LED-d(ekk)el (13, 23) van megvalósítva.5. The system according to claim 4, characterized in that the light color of the illuminations is green, which is implemented with green LED(s) (13, 23). 6. A 4. igénypont szerinti rendszer, azzal jellemezve, hogy a fáziskontrasztos megvilágító egység (20) egy további fényszínű megvilágítás kibocsátására is alkalmas.6. The system according to claim 4, characterized in that the phase-contrast illumination unit (20) is also capable of emitting an additional light-colored illumination. 7. A 6. igénypont szerinti rendszer, azzal jellemezve, hogy a további fényszín a kék, ami kék LED-d(ekk)el (23) van megvalósítva.7. The system according to claim 6, characterized in that the additional light color is blue, which is implemented with blue LED(s) (23). 8. Az 1-7. igénypontok bármelyike szerinti rendszer, azzal jellemezve, hogy8. The 1-7. A system according to any one of claims, characterized in that - a világos látóterű megvilágító egység (10) tartalmaz fényforrást (12) és fénykoncentráló lencsét (15), valamint a kettő között elrendezett, a világos látótérhez igazított diafragmát (14), és- the bright field lighting unit (10) contains a light source (12) and a light concentrating lens (15), as well as the diaphragm (14) arranged between the two, adapted to the bright field of view, and - a fáziskontrasztos megvilágító egység (20) tartalmaz fényforrást (22) és fénykoncentráló lencsét (25), valamint a kettő között elrendezett gyűrűs diafragmát (24).- the phase contrast lighting unit (20) contains a light source (22) and a light concentrating lens (25), as well as the annular diaphragm (24) arranged between the two. 9. Az 1-8. igénypontok bármelyike szerinti rendszer, azzal jellemezve, hogy a közös továbbmenő megvilágítási optikai tengelyt (31) biztosító optikai elem (30) és a mintatartó (33) között kondenzor lencse vagy kondenzor lencserendszer (32) van elrendezve.9. The 1-8. A system according to any one of the claims, characterized in that a condenser lens or a condenser lens system (32) is arranged between the optical element (30) providing the common forward illumination optical axis (31) and the sample holder (33). 10. Az 1-9. igénypontok bármelyike szerinti rendszer, azzal jellemezve, hogy a fáziskontraszt objektív (35) és a képfelvevő (50) között leképező lencse (39) vagy leképező lencserendszer van elrendezve.10. The 1-9. A system according to any one of the claims, characterized in that an imaging lens (39) or an imaging lens system is arranged between the phase contrast objective (35) and the image pickup (50). MlMs NN NN NN 11. Képfeldolgozó berendezés, azzal jellemezve, hogy az 1-10. igénypontok bármelyike szerinti mikroszkópiás rendszert tartalmaz.11. Image processing equipment, characterized in that 1-10. Contains a microscopy system according to any one of the claims.
HUP1800198A 2018-06-08 2018-06-08 Combined bright field microscope and phase contrast microscope with image processing unit HU231356B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
HUP1800198A HU231356B1 (en) 2018-06-08 2018-06-08 Combined bright field microscope and phase contrast microscope with image processing unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
HUP1800198A HU231356B1 (en) 2018-06-08 2018-06-08 Combined bright field microscope and phase contrast microscope with image processing unit

Publications (2)

Publication Number Publication Date
HUP1800198A2 HUP1800198A2 (en) 2020-11-30
HU231356B1 true HU231356B1 (en) 2023-02-28

Family

ID=89992708

Family Applications (1)

Application Number Title Priority Date Filing Date
HUP1800198A HU231356B1 (en) 2018-06-08 2018-06-08 Combined bright field microscope and phase contrast microscope with image processing unit

Country Status (1)

Country Link
HU (1) HU231356B1 (en)

Also Published As

Publication number Publication date
HUP1800198A2 (en) 2020-11-30

Similar Documents

Publication Publication Date Title
US10477097B2 (en) Single-frame autofocusing using multi-LED illumination
CN110709749B (en) Combined bright field and phase contrast microscope system and image processing apparatus equipped therewith
WO2010140460A1 (en) Flow type particle image analysis method and device
CN101796391B (en) Blood examination apparatus
US8809809B1 (en) Apparatus and method for focusing in fluorescence microscope
JP5407015B2 (en) Image processing apparatus, image processing method, computer-executable image processing program, and microscope system
JP2000508095A (en) Boundary mapping system and method
US11594051B2 (en) Microscope system and projection unit
WO2017150194A1 (en) Image processing device, image processing method, and program
Liao et al. Deep learning-based single-shot autofocus method for digital microscopy
CN115032196A (en) Full-scribing high-flux color pathological imaging analysis instrument and method
US20220405929A1 (en) Method and system to obtain cytology image in cytopathology
WO2018008136A1 (en) Image processing device and operation method for image processing device
EP1947441B1 (en) Apparatus for determining positions of objects contained in a sample
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
HU231356B1 (en) Combined bright field microscope and phase contrast microscope with image processing unit
CN105308492B (en) Light observes device, the photographic device for it and light observation method
JPH10506710A (en) Method and apparatus for recognizing a modulation pattern on an image plane
CN101583972B (en) Apparatus for determining positions of objects contained in a sample
US20240037755A1 (en) Imaging device and method
JP6975418B2 (en) Area judgment method
WO2023189393A1 (en) Biological sample observation system, information processing device, and image generation method
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
JP2006226916A (en) Quantitative analyzer, analytical method, and analytical program
Bae et al. Embedded deep-learning based sample-to-answer device for on-site malaria diagnosis