FI121400B - Close-up photogrammetry using structural light - Google Patents
Close-up photogrammetry using structural light Download PDFInfo
- Publication number
- FI121400B FI121400B FI20085710A FI20085710A FI121400B FI 121400 B FI121400 B FI 121400B FI 20085710 A FI20085710 A FI 20085710A FI 20085710 A FI20085710 A FI 20085710A FI 121400 B FI121400 B FI 121400B
- Authority
- FI
- Finland
- Prior art keywords
- pattern
- projector
- subject
- led
- sensors
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
RAKENTEELLISTA VALOA KÄYTTÄVÄ LÄHIFOTOGRAMMETRIA KEKSINNÖN TAUSTABACKGROUND OF THE INVENTION USING STRUCTURAL LIGHT PHOTOGRAPHY
Fotogrammetriassa hyödynnetään halutusta koh-5 teestä otettuihin valokuviin perustuvaa kaukokartoi tusta. Lähialueen fotogrammetriaa voidaan soveltaa järjestelmiin, jotka perustuvat tietokonenäköön. Näin saatuja fotometrisiä mittaustuloksia voidaan sitten laajalti käyttää eri sovelluksissa.Photogrammetry utilizes remote sensing based on photographs taken of a desired target. The near-field photogrammetry can be applied to systems based on computer vision. The resulting photometric measurement results can then be widely used in various applications.
10 On olemassa lukuisia sovelluksia, joissa ko nenäön avulla tehtävä kolmiulotteinen kuvantaminen on erittäin hyödyllistä. Yleisesti ottaen tällaiset järjestelmät sisältävät valokennon, kameran, valaistus-laitteen, tietokoneen ja yhteyden ohjausjärjestelmään, 15 joka hallinnoi konenäkölaitteistoa. Tällaisessa jär jestelmässä valokenno laukaisee kameran, kun sopiva kohde saapuu valokennon läheisyyteen. Valaistus tulisi järjestää ympäristön valaistusolosuhteiden mukaan niin, että kohde on riittävän hyvin valaistu, jotta 20 kuvan tehokas jälkikäsittely on mahdollista. Kuvaa voidaan käsitellä tietokoneella esimerkiksi poistamalla kohinaa kuvasta tai yksinkertaistamalla kuvaa jollain tunnetulla tavalla. Tämän jälkeen järjestelmä voi laskea, mitata tai tunnistaa halutut kohteen osat ku-25 vassa. Lopuksi voidaan tehdä luokittelu perustuen mittauksiin tai tunnistamisiin niin, että haluttu suorite voidaan tehdä kohteelle. Yksi esimerkki tällaisesta laitteistosta on pullonpalautuskone.10 There are numerous applications where 3D vision imaging is very useful. In general, such systems include a photocell, a camera, a lighting device, a computer, and a connection to a control system 15 that manages machine vision equipment. In such a system, the photocell triggers the camera when a suitable subject arrives near the photocell. The lighting should be arranged according to the ambient lighting conditions so that the subject is well illuminated to allow effective post-processing of the 20 images. The image can be processed on a computer, for example, by removing noise from the image or by simplifying the image in some known manner. The system can then calculate, measure or identify the desired parts of the object in the image. Finally, classification based on measurements or identifications can be made so that the desired performance can be performed on the subject. One example of such equipment is a bottle recovery machine.
Monia erilaisia koneavusteisen näkemisen jär-30 jestelmiä on esitelty. Esimerkiksi patenttijulkaisussa US 7,032,458 (Tanaka) on kuvattu mobiili mittausjärjestelmä, joka kykenee mittaamaan halutun kohteen kolmiulotteista rakennetta. Liikuteltavaan telineeseen on kiinnitetty valonheitin ja kamera. Välineistön sijain-35 tia voidaan vaihtaa, ja sijaintitietojen sekä valon ja kameran suuntien avulla laskentavälineet voivat tuot- 2 taa kohteen kolmiulotteisen rakenteen. Telineen paikannuksessa käytetään kiihtyvyysantureita ja suunta-kulma-antureita yhdessä pyörän pyöritysanturien kanssa .Many different machine vision systems have been introduced. For example, U.S. Patent No. 7,032,458 to Tanaka discloses a mobile measurement system capable of measuring the three-dimensional structure of a desired object. There is a floodlight and camera mounted on the mobile rack. The location of the equipment can be changed, and with the help of location information and light and camera directions, the computing means can produce a 3D structure of the object. Accelerometers and direction-angle sensors are used in conjunction with wheel rotation sensors to locate the rack.
5 On huomattavaa, että valaistusolosuhteilla on kahdenlaisia vaikutuksia fotogrammetrisiin sovelluksiin. Kun erityisesti projisoitu valo kohti haluttua kohdetta voi olla hyvin hyödyllistä kun valoa mitataan anturilla, ympäristön valo yleensä vaikeuttaa mittaus-10 tehtävää, sillä ympäristön valon voidaan pitää kohinana. Jos projisoitu valo esimerkiksi näkyvää laajakaistaista valoa jota käytetään päiväsaikaan ulkotiloissa, projisoidun valon mittauksesta tulee käytännössä hyödytöntä. Tämä tarkoittaa käytännössä samaa kuin se, 15 että ulkotiloissa valaistaan jotain kohdetta taskulampulla kirkkaana aurinkoisena päivänä.5 Note that lighting conditions have two effects on photogrammetric applications. While specially projected light toward a desired object can be very useful when measuring light with a sensor, ambient light generally complicates the measurement task, since ambient light can be considered as noise. For example, if the projected light is visible broadband light used during the daytime outdoors, measuring the projected light becomes virtually useless. This means practically the same thing as 15 outdoor lighting a flashlight on a bright sunny day.
Lisäksi kuvan analysoinnissa itsessään syntyy merkittäviä ongelmia, jos kuvan laatu on huono esimerkiksi kuvaan vaikuttavien muidenlaisten kohinavaiku-20 tusten takia. Oikeanlainen suodatus, valaistus sekä kameran ja sen asetusten valinta tulevat ratkaisevan tärkeiksi tällaisessa tilanteessa.In addition, the analysis of the image itself poses significant problems if the image quality is poor, for example due to other noise effects on the image. Proper filtering, lighting, and the choice of camera and settings will become crucial in such a situation.
Ympäristöolosuhteiden aikaansaamat vaatimukset vaativat myös laajaa tietämystä kuvantamisteknii-25 koista fotogrammetrisen tietämyksen lisäksi.Ambient conditions also require extensive knowledge of imaging techniques in addition to photogrammetric knowledge.
KEKSINNÖN YHTEENVETOSUMMARY OF THE INVENTION
Esillä oleva keksintö esittää menetelmän tiedon keräämiseksi kohteesta konenäköä käyttäen, jossa 30 menetelmä tunnusmerkkeinään käsittää vaiheet: projisoidaan kuvio olennaisesti monokromaat tista sähkömagneettista säteilyä kohteen pinnalle, jossa kuvio tuotetaan pulssimuotoisesti ainakin yhden LEDin avulla; 35 mitataan kohteen pinnalla olevaa kuviota käyttäen ainakin kahta optista anturia; ja 3 suodatetaan spektraalisesti mitattua kuviota, jotta saadaan selville tietoa kohteesta.The present invention provides a method of collecting subject information using machine vision, the method comprising the steps of: projecting a pattern of substantially monochromatic electromagnetic radiation onto a surface of the subject, wherein the pattern is pulsed by at least one LED; 35 measuring at least two optical sensors on the surface of the object; and 3 filtering the spectrally measured pattern to obtain information about the subject.
Keksinnön eräässä sovelluksessa lähi-infrapuna-alueen säteilyä käytetään mainitussa pro- 5 jisoitavassa kuviossa.In one embodiment of the invention, near-infrared radiation is used in said projected pattern.
Keksinnön eräässä sovelluksessa mainittu ku vio tuotetaan ainakin yhden LEDin pulssimuotoisen toiminnan avulla.In one embodiment of the invention, said pattern is produced by pulsed operation of at least one LED.
Keksinnön eräässä sovelluksessa mainittu ku- 10 vio projisoidaan heijastavalla projektorilla.In one embodiment of the invention, said pattern is projected on a reflective projector.
Keksinnön eräässä sovelluksessa mainittu ku vio projisoidaan käyttäen DMD-teknologiaa (Digital Micromirror Device).In one embodiment of the invention, said image is projected using Digital Micromirror Device (DMD) technology.
Keksinnön eräässä sovelluksessa mainittua ku-15 viota mitataan samanaikaisesti ainakin kahdella kameralla, joilla on kiinteät sijaintipaikat suhteessa projektoriin.In one embodiment of the invention, said pattern is measured simultaneously by at least two cameras having fixed locations relative to the projector.
Keksinnön eräässä sovelluksessa projektoria ja antureita ohjataan niin, että ne ovat suunnatut 20 olennaisesti samaan suuntakulmaan.In one embodiment of the invention, the projector and sensors are controlled such that they are oriented at substantially the same direction.
Keksinnön eräässä sovelluksessa mainittu ainakin yksi LED laukaistaan yhdessä mainittujen optisten anturien kanssa.In one embodiment of the invention, said at least one LED is triggered in conjunction with said optical sensors.
Keksinnön eräässä sovelluksessa menetelmä 25 edelleen käsittää: mitataan kohdetta mainittujen ainakin yhden LEDin ollessa päällä; mitataan uudelleen kohdetta mainittujen ainakin yhden LEDin ollessa pois päältä, käyttäen samoja 30 mittausparametrejä; ja vähennetään toinen kuva ensimmäisestä kuvasta ympäristön valon vaikutuksen minimoimiseksi.In one embodiment of the invention, method 25 further comprises: measuring the target with said at least one LED on; re-measuring the target with said at least one LED off, using the same measurement parameters; and subtracting the second image from the first image to minimize the effect of ambient light.
Keksinnön eräässä sovelluksessa mitattu ja kaistanpäästösuodatettu kuva muunnetaan binääriseksi 35 kuvaksi.In one embodiment of the invention, the measured and bandpass filtered image is converted to a binary 35 image.
Keksinnön eräässä sovelluksessa käytetään sä-teittäisiä viivoja, yhdensuuntaisia viivoja, ristikko- 4 kuviota tai ennalta määrättyä pisteyhdistelmää projisoitavana kuviona.In one embodiment of the invention, radial lines, parallel lines, a grid pattern or a predetermined set of dots are used as the projected pattern.
Keksinnön eräässä sovelluksessa menetelmä käsittää : 5 vaihdetaan projisoitavaa kuviota käytön aika na; ja mitataan kohteen pinnalta kuviota uudelleen.In one embodiment of the invention, the method comprises: changing the projected pattern during use; and re-measuring the pattern on the surface of the object.
Keksinnön eräässä sovelluksessa saavutettua tietoa käytetään kohteen fotogrammetrisessa analyysis-10 sä.In one embodiment of the invention, the information obtained is used in the photogrammetric analysis of the subject.
Keksinnön eräässä sovelluksessa esitettyä tiedonkeräämismenetelmää sovelletaan monitoimimetsäko-neen laitteistoon.The data collection method disclosed in one embodiment of the invention is applied to a multifunctional forest machine apparatus.
Monitoimimetsäkonelaitteiston käsittävässä 15 eräässä sovelluksessa projektori ja mainitut anturit ovat kiinnitetyt monitoimimetsäkoneen harvesteripää-hän.In one embodiment of the multifunctional forest machine, the projector and said sensors are mounted on the harvester head of the multifunctional forest machine.
Monitoimimetsäkonelaitteiston käsittävässä eräässä sovelluksessa mainittu kuvio mitataan puun 20 pinnalta, kun monitoimimetsäkoneen harvesteripää lähestyy mainittua puuta.In one embodiment comprising a multifunctional forest machine, said pattern is measured from the surface of a tree 20 as the harvester head of the multifunctional forest machine approaches said tree.
Keksinnön keksinnöllinen idea käsittää vastaavan järjestelmän tiedon keräämiseksi kohteesta konenäköä käyttäen, jossa järjestelmä käsittää projekto-25 rin, joka on järjestetty projisoimaan kuvio olennaisesti monokromaattista sähkömagneettista säteilyä kohteen pinnalle, jossa projektori on järjestetty tuottamaan kuvio pulssimuotoisesti ainakin yhden LEDin avulla; ainakin kaksi optista anturia, jotka on järjestet-30 ty mittaamaan kohteen pinnalla olevaa kuviota; ja suodattimen, joka on järjestetty suodattamaan spektraali-sesti mitattua kuviota, jotta saadaan selville tietoa kohteesta. Keksinnön muissa sovelluksissa järjestelmän osat on järjestetty suorittamaan aiemmin kuvatut mene-35 telmän vaiheet sovellettavin osin.The inventive idea of the invention comprises a corresponding system for gathering information from a subject using machine vision, the system comprising a projector arranged to project a pattern of substantially monochromatic electromagnetic radiation on a subject surface, wherein the projector is arranged to pulse the pattern with at least one LED; at least two optical sensors arranged to measure the pattern on the surface of the object; and a filter arranged to filter the spectrally measured pattern to obtain information about the subject. In other embodiments of the invention, the system components are arranged to perform the above-described process steps, as applicable.
Edelleen järjestelmän eräässä sovelluksessa se edelleen käsittää kontrollerin, joka on järjestetty 5 huolehtimaan erilaisista ohjaustehtävistä koskien järjestelmän erilaisten osien laukaisemista, valitsemista, suodattamista, mittaamista, laskentaa, liikuttamista tai suuntaamista, tai jotka tehdään mainituissa 5 järjestelmän osissa.In a further embodiment of the system, it further comprises a controller configured to perform various control functions for triggering, selecting, filtering, measuring, calculating, moving or orienting different parts of the system, or to be performed in said parts of the system.
Keksinnön eräässä sovelluksessa tiedonkeruu-järjestelmä on toteutettu esimerkiksi metsäteollisuuden käyttämään monitoimimetsäkonelaitteistoon.In one embodiment of the invention, the data acquisition system is implemented, for example, in multifunctional forest machine equipment used by the forest industry.
Keksinnön eräässä sovelluksessa tiedonkeruu-10 järjestelmää käytetään kolmiulotteisessa skannausso- velluksessa.In one embodiment of the invention, the data acquisition system 10 is used in a three-dimensional scanning application.
Keksinnöllinen idea käsittää myös tietokoneohjelman käytön, jossa ohjelmakoodi kontrolloi laitteiston eri osia aiemmin määriteltyjen menetelmävai-15 heiden mukaan. Keksinnön eräässä sovelluksessa tietokoneohjelma on toteutettu tietokoneen luettavissa olevalle välineelle.The inventive idea also encompasses the use of a computer program in which the program code controls various parts of the hardware according to the previously defined method steps. In one embodiment of the invention, the computer program is implemented on a computer readable medium.
Esillä oleva keksintö ratkaisee aiemmin mainitut ongelmat, jotka aiheutuvat ympäristön valon häi-20 riöistä mittauksissa. Käyttämällä monokromaattista va lonlähdettä, heijastavaa projektoritekniikkaa ja kuvan kaistanpäästösuodatusta ratkaistaan vaikeudet, jotka ovat olleet läsnä tunnetun tekniikan ratkaisuissa.The present invention solves the above-mentioned problems caused by ambient light disturbances in measurements. The use of monochromatic light source, reflective projector technology and image bandpass filtering solves the difficulties that have been present in prior art solutions.
Edelleen, mahdollisuus käyttää ääretöntä mää-25 rää erilaisia kuvioita yhdistettynä pulssimuotoiseen toimintaan korkean ajallisen intensiteetin varmistamiseksi kohteen pinnalle, johtaa laajalti muunneltavissa olevaan järjestelmään, joka antaa mahdollisuuksia toteutuksiin laajalla rintamalla lähialueen fotogrammet-30 rian eri sovellusten alueilla.Further, the ability to use an infinite number of different patterns combined with pulsed action to ensure high temporal intensity on the target surface results in a widely modifiable system that allows for realization on a wide front in a variety of applications in the near range photogrammetry.
KUVIOIDEN LYHYT SELITYSBRIEF DESCRIPTION OF THE FIGURES
Kuvio 1 esittää esimerkkiä keksinnön mukaisesta laitteistosta sivukuvana; 35 Kuvio 2 esittää esimerkkiä keksinnön mukai sesta laitteistosta edestä esitettynä kuvana; 6Figure 1 is a side view of an example of an apparatus according to the invention; Figure 2 shows an example of the apparatus according to the invention in front view; 6
Kuvio 3 esittää havupuun kaarnan spektristä heijastuskykyä;Figure 3 shows the spectral reflectance of a softwood bark;
Kuvio 4 esittää havupuun neulasten spektristä heij astuskykyä; 5 Kuvio 5 kuvaa IBIS5-anturin taajuusvastetta;Figure 4 shows the spectral reflectance of conifer needles; Figure 5 illustrates the frequency response of an IBIS5 sensor;
Kuvio 6 kuvaa H2W5-905 -LEDin spektristä intensiteettiä;Figure 6 illustrates the spectral intensity of H2W5-905 LED;
Kuvio 7 kuvaa 905 nm:llä olevan kaistanpääs-tösuodattimen spektristä läpäisykykyä; 10 Kuvio 8 esittää esimerkkiä LEDin ohjauspii ristä;Figure 7 illustrates the spectral transmittance of a band pass filter at 905 nm; Fig. 8 shows an example of an LED control circuit;
Kuvio 9 esittää testiä, jossa ympäristön valoa eliminoidaan;Figure 9 shows a test in which ambient light is eliminated;
Kuvio 10 kuvaa havupuurunkoa, joka on valais-15 tu DLP-projektorilla; jaFigure 10 illustrates a coniferous frame mounted on a Valais-15 tu DLP projector; and
Kuvio 11 esittää esimerkkiä binäärisestä kuvasta on-line-mittausta varten.Figure 11 shows an example of a binary image for on-line measurement.
KEKSINNÖN YKSITYISKOHTAINEN KUVAUSDETAILED DESCRIPTION OF THE INVENTION
20 Tässä yhteydessä viitataan yksityiskohtaises ti esillä olevan keksinnön sovellusmuotoihin, joista esimerkkejä on kuvattu oheisissa piirustuksissa.Reference is made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings.
Esillä oleva keksintö kuvaa uutta menetelmää tiedon keräämiseksi fotogrammetrista mittausjärjestel-25 mää varten. Tässä esimerkissä tiedonkeruujärjestelmä käsittää kaksi kameraa ja projektorin. Keksinnön eräässä sovelluksessa projektori perustuu ns. DLP-teknologian (Digital Light Processing) käyttöön. Yleisesti ottaen tämän teknologian ydin on ns. digitaali-30 nen mikropeililaite (engl. DMD = Digital Micromirror Device), joka kykenee luomaan erilaisia värejä ja värisävyjä useilla erilaisilla valonlähteillä tai väri-pyörällä yhdessä pienistä peileistä heijastuvan valon kanssa. Esillä olevan keksinnön eräässä sovelluksessa 35 tosin DMD-teknologiaa sovelletaan yksiväriseen lähteeseen, jota toisin sanoen voidaan pitää kapeakaistaisena sähkömagneettisen säteilyn lähteenä. Edullisessa 7 sovelluksessa projisoitu kuvio luodaan olennaisesti monokromaattisen sähkömagneettisen säteilyn lähteestä. Pitämällä kirjaa kameroiden sijaintipaikoista ja suuntimista, ja pitämällä niiden välinen keskinäinen etäi-5 syys vakiona, on mahdollista käyttää projektoria projisoimaan ennalta määrätty kuvio kohteen pinnalle ja käyttää kameroiden tallentamaa kuvatietoa fotogrammetrisiin mittauksiin käyttäen tunnettuja menetelmiä.The present invention describes a novel method for collecting data for a photogrammetric measuring system. In this example, the data acquisition system comprises two cameras and a projector. In one embodiment of the invention, the projector is based on a so-called. For use with DLP (Digital Light Processing) technology. Generally speaking, the core of this technology is the so-called. a digital micromirror device (DMD) capable of creating different colors and shades with a variety of light sources or a color wheel combined with light reflected from small mirrors. However, in one embodiment of the present invention, DMD technology is applied to a monochrome source, that is to say, a narrowband electromagnetic radiation source. In the preferred 7 embodiments, the projected pattern is created from a source of substantially monochromatic electromagnetic radiation. By keeping a record of camera locations and orientations, and keeping a constant distance between them, it is possible to use a projector to project a predetermined pattern onto the surface of the subject and to use the image data recorded by the cameras for photogrammetric measurement using known techniques.
Vaihtoehtoisessa sovelluksessa projektori 10 voidaan sisällyttää järjestelmän suuntimalaitteistoon. Tämä lähestymistapa mahdollistaa virtuaalisen tarkastelupisteen luonnin projektorin sijaintipaikalle ja käyttää myös sitä mittaustehtävään. Näin luodaan tehokas tiedonkeruujärjestelmä sisältäen kolme kameraa.In an alternative embodiment, the projector 10 may be included in the bearing equipment of the system. This approach allows you to create a virtual point of view at the projector location and also use it for a measurement task. This creates an efficient data acquisition system with three cameras.
15 Kohteen luotettava automaattinen mittaus vaa tii joko suuren käsittelytehon tai sopivasti koodatut kohteet. Eräässä menetelmän sovelluksessa tuotetaan kohteesta kuvajoukko binäärisessä muodossa, jossa kohdetta kuvaavat pisteet ovat ykkösiä ja taustan pisteet 20 ovat nollia. Tämä lähestymistapa on samantyyppinen kuin laserjuovapyyhkäisyssä, jossa juovan osana olevat kuvaelementit ovat ykkösiä ja muut nollia. Tässä mielessä on mahdollista laajentaa tunnettuja staattisen strukturoidun valon menetelmiä dynaamiseen järjestel-25 mään. Tämä mahdollistuu DMD-pohjaisella projektorilla, koska tämä kykenee projisoimaan umpimähkäisen kuvion, jolloin juovapyyhkäisy on vain yksi mahdollinen äärettömästä kuvioiden joukosta.15 Reliable automatic target measurement requires either high processing power or appropriately coded targets. In one embodiment of the method, a set of images is produced from a subject in binary form, wherein the points representing the object are one and the background points 20 are zeros. This approach is similar to that of laser line scanning, where the pixels forming part of the line are one and the other zeros. In this sense, it is possible to extend the known methods of static structured light to a dynamic system. This is possible with a DMD-based projector because it is capable of projecting a random pattern, whereby the line sweep is only one of the infinite number of patterns.
Eräässä keksinnön sovelluksessa on mahdollis-30 ta muuttaa projisoitavaa kuviota manuaalisesti tehtävällä valinnalla tai muuttamalla kuviota jaksottaisesti peräkkäin. Tällainen kuvion vaihtelu voidaan jopa tehdä tiedonkeruulaitteen käytön aikana.In one embodiment of the invention, it is possible to manually change the projected pattern or to change the pattern sequentially. Such pattern variation can even be made during operation of the data logger.
Eräässä keksinnön sovelluksessa kamera-35 anturien vastaanottamaan kuvasignaaliin tehdään spekt-raalista suodatusta. Spektraalinen suodatus sisältää aallonpituusalueen selvittämisen, jossa anturin vas- 8 teen, kohteen heijastuskyvyn ja ympäristön valon intensiteetin yhdistelmä tuottaa parhaan mahdollisen kuvan. Näin saadaan aikaan paras mahdollinen kontrasti projisoitujen datapisteiden ja taustan välille.In one embodiment of the invention, the image signal received by the camera-35 sensors is subjected to spectral filtering. Spectral filtering involves determining the wavelength range where a combination of sensor response, object reflectance, and ambient light intensity produces the best possible image. This provides the best possible contrast between the projected data points and the background.
5 Tiedonkeruujärjestelmä mieluiten käsittää kolme osaa sisältäen kaksi kameraa ja projektorin. On myös mahdollista käyttää ainakin yhtä lisäkameraa. Eräässä esimerkissä tiedonkeruulaite on järjestetty liikuteltavaksi ja pyöriteltäväksi laitteeksi, jota 10 voidaan liikuttaa joko manuaalisesti (kuten käsikäyttöistä skanneria) tai koneohjauksen avulla, jolloin tiedonkeruulaite voidaan kiinnittää esimerkiksi ohjattavan "käsivarren" toiseen päähän. Myös projektori ja kamerat voidaan kiinnittää laitepäähän, joka käsittää 15 toiminnallisen työkalun (esimerkiksi tarttumislait-teen) . Tällainen laitepää voidaan sitten sijoittaa tällaisen käsivarren päähän, joista molempia voidaan ohjata. Tavoitteena keksinnön eräässä esimerkissä on saada mahdollisimman suuri välimatka kameroiden välil-20 le, jotta havainnoille saadaan hyvä geometrinen tarkkuus. Projektori voidaan sijoittaa kameroiden väliin tai muuten kameroiden lähietäisyyteen, mutta sen tarkka sijainti ei ole kovin kriittinen ellei sitä ole määritelty toimimaan virtuaalisena kamerana sisällyt-25 tämällä se järjestelmän kalibrointiin. Kun sijoitetaan kamera laitepäähän, saadaan hyvät näkymät alueesta. Koska päätä voidaan liikutella vapaasti, kuvannusjär-jestelmää voidaan pyörittää tarjoten useita näkökulmia paremman geometrisen tarkkuuden aikaansaamiseksi. Toi-30 saalta pään mekaanisen kestävyyden täytyy olla erittäin hyvä, jotta saadaan järjestelmälle aikaan tukeva pohja. Tämä parantaa suhteellisten suuntaamisten vakautta, johtaen harvempaan kalibrointitarpeeseen. Kuitenkin laitepää yhdessä tiedonkeruulaitteen kanssa voi 35 olla altis vastaanottamaan melko voimakkaita iskuja ja tärähdyksiä joidenkin sovellusten käytön aikana. Tämäntyyppiset ympäristön olosuhteet vaativat sen, että 9 kuvannuslaitteiden liikkuvat osat pidetään minimissään ja niiden tulee kestää tärähtelyä ja iskuja. Lisäksi ulko-olosuhteissa järjestelmän tulee kyetä kestämään korkeaa kosteutta ja lämpötilan vaihteluja.5 The data acquisition system preferably comprises three components including two cameras and a projector. It is also possible to use at least one additional camera. In one example, the data acquisition device is arranged as a movable and rotatable device 10 which can be moved either manually (such as a hand-held scanner) or by machine control, whereby the data acquisition device can be mounted at one end of a controllable "arm". The projector and cameras can also be mounted on a head unit comprising 15 functional tools (for example, a gripping device). Such a device end can then be positioned at the end of such an arm, both of which can be guided. It is an object of one example of the invention to provide the widest possible distance between cameras in order to obtain good geometric accuracy for the observations. The projector can be positioned between cameras or otherwise within close range of cameras, but its exact location is not critical unless it is configured to function as a virtual camera by including it in system calibration. Placing the camera on the head of the unit gives a good view of the area. Because the head can be moved freely, the imaging system can be rotated, providing multiple angles for better geometric accuracy. On the other hand, the mechanical endurance of the head must be very good in order to provide a solid base for the system. This improves the stability of relative alignments, resulting in less need for calibration. However, the head of the device together with the data acquisition device may be susceptible to receiving rather severe shocks and vibrations during the use of some applications. These types of environmental conditions require that the moving parts of the imaging equipment 9 be kept to a minimum and must withstand vibrations and shocks. In addition, the system must be able to withstand high humidity and temperature variations in outdoor conditions.
5 Eräässä keksinnön sovelluksessa ainakin yhtä infrapuna-LEDiä ja DMD-teknologiaa ("digitaalinen mik-ropeililaite") käytetään sähkömagneettisen säteilyn lähteenä ja heijastamisvälineenä. Se muodostaa ydinosan ns. DLP-järj estelmästä (digitaalinen valonkäsit-10 tely). DMD-siru käsittää asennelman peilejä, jossa voi olla aina 2 miljoonaan kpl asti saranakiinnitettyjä mikroskooppisen pieniä peilejä. Kukin peili voi joko heijastaa valoa optiikan läpi kohteen pinnalle tai heijastaa valoa jäähdytyslevyyn. Olennaisesti tämä 15 tarkoittaa sitä, että käyttämällä DMD-siruprojektoria on mahdollista suunnata 2 miljoonasta elementistä koostuva umpimähkäinen binäärinen kuvio kohteen pinnalle. Koska peilit ovat heijastavia, järjestelmän va-lohäviöt ovat minimaaliset. Keksinnön eräässä sovel-20 luksessa käytetään kuluttajatason projektoria, jossa on 800x600 elementtiä.In one embodiment of the invention, at least one infrared LED and DMD technology ("digital microplate device") are used as a source and reflector of electromagnetic radiation. It forms the core of the so-called. About the DLP system (digital light-10). The DMD chip includes an assembly of mirrors that can contain up to 2 million microscopically small mirrors mounted on hinges. Each mirror can either reflect light through the optic onto the surface of the object or reflect light to the heat sink. Essentially, this means that by using a DMD chip projector, it is possible to direct an arbitrary binary pattern of 2 million elements onto the surface of an object. Because the mirrors are reflective, the system has minimal light loss. In one embodiment of the invention, a consumer-level projector having 800x600 elements is used.
Kuluttaj amarkkinoilla heij astustekniikan käyttäminen mahdollistaa LED-taustavaloja käyttävän projektorin tuottamisen. Tämä lähestymistapa poistaa 25 värisuodatuspyörän tarpeen värien tuottamiseksi, koska on mahdollista käyttää kolmea LEDiä sopivin spektrio-minaisuuksin värien tuottamiseen. Koska LEDit ovat luonteeltaan suhteellisen monokromaattisia, voidaan valmistaa ihanteellinen projektorinäyttö, joka heijas-30 taa vain valittujen LEDien kapeat aallonpituusalueet.In the consumer market, the use of reflection technology enables the production of a projector using LED backlights. This approach eliminates the need for 25 color filter wheels to produce colors, since it is possible to use three LEDs with suitable spectral features to produce colors. Due to the relatively monochromatic nature of the LEDs, an ideal projector screen can be produced that reflects only narrow wavelength ranges of selected LEDs.
Tästä seuraa kontrastin paraneminen.This results in improved contrast.
Samaa periaatetta voidaan käyttää tieteellisessä kuvantamisessa. Kuluttajatason projektorin LED-taustavalot voidaan korvata sopivilla LEDeillä, kun 35 käytetään kamerassa optista kaistanpäästösuodatusta ympäristön valon vaimentamiseksi valitun kaistan ulkopuolella. Tästä seuraa riittävä kontrasti projisoitu 10 jen datapisteiden ja ylijäämäisen ympäristön valon valaiseman taustan välillä.The same principle can be used in scientific imaging. The consumer-level projector LED backlights can be replaced by suitable LEDs when the camera uses optical bandpass filtering to suppress ambient light outside the selected band. This results in sufficient contrast between the projected data points of 10 J and the background illuminated by the excess ambient light.
Sellaiset näkökohdat kuin käytetyn säteilyn vahingollisuus ja sen vaikutus ympäröivään ympäristöön 5 täytyy myös ottaa huomioon. Näkyvää valoa voidaan käyttää, mutta tiheät valon välähdykset kohteen pinnalla käytön aikana voi häiritä skannerin käyttäjää. Tämän johdosta lähi-infrapuna-aallonpituusalueen (NIR) käyttö on järkevää, koska se on näkymätöntä ihmissil-10 mälle. LEDIen käyttö valonlähteenä laserien sijasta on myös tärkeää silmäturvallisuussyistä. Projektori, joka on varustettu lähi-infrapuna-LED-taustavaloilla, projisoi ei-koherentin valokuvion, joka ei kärsi interferenssistä, ja joka on myös turvallista käyttää.Considerations such as the harmful nature of the radiation used and its effect on the surrounding environment 5 must also be taken into account. Visible light can be used, but dense flashes of light on the surface of the subject during use can distract the scanner user. This makes the use of the near infrared wavelength range (NIR) sensible because it is invisible to the human eye. Using LEDs as a light source instead of lasers is also important for eye safety reasons. The projector, equipped with near-infrared LED backlights, projects a non-coherent, non-interfering pattern that is also safe to use.
15 Tämän johdosta keksinnön eräässä sovellukses sa saatavilla olevat LED-aallonpituudet, jotka soveltuvat skannaussovelluksiin, ovat sähkömagneettisen säteilyn lähi-infrapuna-alueella. Toisin sanoen, säteilylähteinä käytettävien LEDien haluttu aallonpituus-20 alue on 800 nm ... 1100 nm.As a result, in one embodiment of the invention, the available wavelengths of LEDs suitable for scanning applications are in the near infrared range of electromagnetic radiation. In other words, the desired wavelength range of LEDs used as radiation sources is 800 nm to 1100 nm.
Eräässä keksinnön sovelluksessa kontrolleri on järjestetty ohjaamaan järjestelmän osia. Tämä käsittää projektorin valolähdekuvion ohjaamisen, käytettyjen kameroiden ohjaamisen ja eri osien liikuttelun 25 ohjaamisen käytetyssä ympäristössä. Eräässä sovelluk sessa keksintö on toteutettu tietokoneohjelmana, joka ohjaa keksinnön mukaisia eri menetelmävaiheita.In one embodiment of the invention, the controller is arranged to control parts of the system. This includes controlling the projector's light source pattern, controlling the cameras used, and controlling the movement of the various components in the environment used. In one embodiment, the invention is implemented as a computer program that controls the various method steps of the invention.
Keksinnön eräässä sovelluksessa tiedonkeruu-laite on toteutettu metsätyökonelaitteeseen, joka on 30 suunniteltu käsittelemään puunrunkoja metsässä.In one embodiment of the invention, the data acquisition device is implemented in a forestry machine device designed to handle tree trunks in the forest.
Eräs esimerkki, jossa on laitteiston osat ja niiden suhteelliset sijainnit, on kuvattu sivulta Kuviossa 1. Tämä esimerkki käsittelee metsäteollisuudessa käytettävää metsätyökonesovellusta. Laitteistoa 35 voidaan kuitenkin käyttää myös muissa sovelluksissa, joissa tiedonkeruuta tarvitaan fotogrammetrisiin tarkoitusperiin. Kuvion 1 laitteisto sisältää metsätyö- 11 konelaitteen käsivarren 10. Laitteen tarttumis- ja käsittelyosat 11 on sijoitettu käsivarren 10 päähän, jota myöhemmin kutsutaan harvesteripääksi 11. Projektori 12 sijoitetaan linjassa harvesteripään kanssa niin, 5 että projektorin 12 sijainti ja suunta ovat tunnetut koko ajan. Kaksi kameraa 13 sijoitetaan lähelle projektoria 12 niin, että kameroiden välillä on tietty keskinäinen etäisyys. Itse projektorin ja kameroiden sijaintipaikat riippuvat harvesteripään mallista. 10 Avautumiskulma a, jonka molemmat kamerat 13 ja projektori näkevät, on kuvattu merkinnällä 14. Kulma a riippuu käytetyistä laitteista, mutta edullisessa sovelluksessa kulma on välillä 45° ... 90°. Kamerat 13 ja projektori 12 on kiinnitetty harvesteripäähän ja ne 15 ovat tämän johdosta myös toisiinsa keskinäisesti kytketyt ja edelleen tästä johtuen sekä projektorin että kameroiden toiminnat voidaan synkronoida.An example of the hardware components and their relative locations is illustrated on page 1. This example relates to a forestry machine application used in the forest industry. However, the apparatus 35 may also be used in other applications where data acquisition is required for photogrammetric purposes. The apparatus of Figure 1 includes an arm 10 of a forestry machine 11. The gripping and handling portions 11 of the apparatus are disposed at the end of the arm 10, hereinafter referred to as harvester head 11. Projector 12 is positioned in line with harvester head 5. The two cameras 13 are positioned near the projector 12 so that there is a certain distance between the cameras. The locations of the projector and cameras themselves depend on the model of the harvester head. The opening angle α, which can be seen by both cameras 13 and the projector, is denoted by 14. The angle α depends on the equipment used, but in the preferred embodiment the angle is between 45 ° and 90 °. The cameras 13 and the projector 12 are attached to the harvester head and, as a result, they are also interconnected and consequently the functions of both the projector and the cameras can be synchronized.
Kuvio 2 esittää laitteiston rakennetta etupuolelta. Harvesterivarsi 20 on yhdistetty harvesteri-20 päähän 23. Antureina toimivat kamerat 21a, 21b on kiinnitetty harvesteripäähän 23 niin, että kameroiden 21a, 21b välillä on tietty keskinäinen etäisyys. Pro- jektorilaite 22 on kytketty lähelle kameroita, tässä esimerkissä niiden alapuolelle niin, että projektorin 25 22 sijaintipaikka on kiinteä harvesteripäähän 23 näh den. Harvesteripää 23 on pyöritettävissä käsivarren 20 ympäri, mutta ohjauslaite synkronoi kamerat ja projektorin harvesteripään liikkeisiin. Kamerat ja projektori on kukin kytketty ohjauslaitteeseen siten, että ne 30 voidaan käynnistää toistensa kanssa yhteistoiminnassa.Figure 2 is a front view of the structure of the apparatus. The harvester arm 20 is connected to the head 23 of the harvester 20. The cameras 21a, 21b acting as sensors are attached to the head 23 of the harvester so that there is a certain distance between the cameras 21a, 21b. The projector device 22 is connected near the cameras, in this example below them, so that the location of the projector 25 22 is fixed relative to the harvester head 23. The harvester head 23 is rotatable about the arm 20, but the control device synchronizes the cameras and the projector to the movements of the harvester head. The cameras and the projector are each connected to a control device so that they can be triggered in cooperation with each other.
Keksinnön tämän sovellusmuodon mukaisen laitteen motivaationa on se, että laitteen tulisi toimia kunnolla haastavissa metsäolosuhteissa. Tutkimuksen pohjana olevana ydinasiana on kyetä toteuttamaan ko-35 nenäköavusteinen metsätyökonejärjestelmä, joka kykenee toimimaan missä tahansa ympäristöolosuhteissa ilman, että joudutaan tinkimään jo saavutetusta metsätyökö- 12 neen tehokkuudesta. Tavoitteena on kyetä mittaamaan kaikki mahdolliset ominaispiirteet yksittäisestä puunrungosta ennen siihen koskemista. Jos puun kolmiulotteinen malli voidaan mitata sitä lähestyttäessä, mal-5 lia voidaan käyttää apuna päätöksenteossa siitä, kuinka katkaista ja käsitellä puunrunkoa. Mallitietoa voidaan myös käyttää tietokantaan, jossa on kaikki jo katkaistut puunrungot. Tällaisen tietojoukon käyttäminen seuraavan puunkäsittelytyön suunnitteluun on erit-10 täin hyödyllistä.The motivation of the device according to this embodiment of the invention is that the device should function properly in challenging forest conditions. The core of the research is to be able to implement a co-35 vision-driven forestry machine system that can operate in any environmental condition without sacrificing the efficiency of the forestry tool already achieved. The goal is to be able to measure all possible characteristics of a single tree trunk before touching it. If the 3D model of the tree can be measured as it approaches, the mal-5 can be used to assist in deciding how to cut and treat the tree trunk. Model data can also be used for a database containing all truncated tree trunks. Using such a data set to plan your next woodworking job is extremely useful.
Ehdotettu lähestymistapa, jossa hankitaan mittaustietoja fotogrammetrisiin tekniikoihin soveltuvaksi, muodostuu haastavaksi metsätyökoneen toiminta-alueella olevien ympäristöolosuhteiden takia. Ehkä 15 haastavin voitettava näkökohta on valaistus, koska kohteen pinnalle projisoitavan kuvion on oltava voimakkaampi kuin ympäristön valon. Tästä seuraa vaikein tilanne, jossa projisoidun valon intensiteetin tulisi ylittää auringonvalon intensiteetti kirkkaana kesäpäi-20 vänä. Muita ympäristön muuttujia ovat sade, lumi, lehdet, oksat, tärähtelyt jne. Nämä ongelmat ovat pääosin olemassa myös muissa skannauslaitteen ulkoilmasovel-luksissa. Esillä olevan keksinnön eräässä sovelluksessa ongelma ratkaistaan projisoitavan kuvion pulssimuo-25 toisella toiminnalla ja kuvien spektraalisella suodatuksella. Projektorissa käytetään LEDejä, joita ajetaan korkealla sähkövirralla pulssimuotoisen toiminnan aikana, jotta saavutetaan kohteen pinnalle korkea intensiteetti ajan funktiona. Tässä yhteydessä käytetään 30 DMD-pohjaista projektioteknologiaa, koska sen heijastuksiin perustuva toiminta sallii minimaaliset valohä-viöt projisoinnin aikana. Tämä lähestymistapa on tärkeä, koska metsätyökoneen on säilytettävä normaali toimintansa. Tämän johdosta tiedon keräys on tehtävä 35 reaaliajassa, mikä johtaa siihen, että tehokkaaseen liikkeen pysäyttämiseen tarvitaan sekunnin murto-osan mittaisia lyhyitä integrointiaikoja. Lyhyt integroin- 13 tiaika myös parantaa strukturoidun valon suhteellista intensiteettiä verrattuna ympäristön valoon, johtaen tehokkaampaan spektraaliseen suodatukseen. Tätä menettelytapaa voidaan verrata nopeaan salamavalokuvauk-5 seen, jota usein käytetään tuottamaan makrovalokuvauk-sessa mustaa taustaa.The proposed approach to obtain measurement data suitable for photogrammetric techniques becomes challenging due to the environmental conditions in the working range of the forestry machine. Perhaps the 15 most challenging aspects to overcome are lighting because the pattern to be projected onto the surface of the object must be stronger than the ambient light. This results in the most difficult situation where the intensity of the projected light should exceed the intensity of sunlight on a bright summer day. Other environmental variables include rain, snow, leaves, twigs, vibrations, etc. These problems also mainly exist in other outdoor applications of the scanning device. In one embodiment of the present invention, the problem is solved by pulse shape operation of the projected pattern and spectral filtering of the images. The projector employs LEDs driven at high electrical current during pulse-mode operation to achieve high intensity over time on the target surface. 30 DMD-based projection technology is used in this context because its reflection-based operation allows for minimal light loss during projection. This approach is important because the forestry machine must maintain its normal operation. As a result, data collection has to be done in 35 real-time, resulting in short integration times of a fraction of a second to effectively stop motion. The short integration time also improves the relative intensity of the structured light compared to the ambient light, resulting in more efficient spectral filtering. This procedure can be compared to fast flash photography, which is often used to produce a black background in macro photography.
Harvesterisovelluksen tässä sovellusmuodossa tämänlaisen DMD-projektoriin perustuvan järjestelmän toteuttaminen haastavassa ulkoilmaympäristössä on 10 käyttökelpoista, koska DMD-siru on itse asiassa hyvin kestävä. Se kykenee kestämään 20g:n suuruisia värähtelyjä 2000 Hz:n taajuudella ja mekaanisia iskuja aina 1500g:hen asti (ks. Douglass, M., 2003, DMD reliabil ity: a MEMS success story, Texas Instruments). Käytet-15 tyjen kameroiden tulee myös olla kestäviä. Tämä voidaan saavuttaa käyttämällä sähköistä suljinta. Se poistaa mekaanisen sulkimen käytön tarpeen, joka voisi pettää haastavissa olosuhteissa. Lisäksi optiikan tulisi olla kiinnitetty varmistusruuveilla, jotta var-20 mistetaan optiikkajärjestelmän stabiilisuus, ja jotta voidaan vähentää järjestelmän uudelleenkalibroinnin liian tiheää tarvetta.In this embodiment of the harvester application, implementing such a DMD projector based system in a challenging outdoor environment is useful because the DMD chip is in fact very durable. It is capable of withstanding 20g oscillations at 2000Hz and mechanical shocks up to 1500g (see Douglass, M., 2003, DMD Reliabil ity MEMS success story, Texas Instruments). Used cameras must also be durable. This can be achieved by using an electronic shutter. It eliminates the need for a mechanical shutter that could fail in challenging conditions. In addition, the optics should be secured with retaining screws to ensure the stability of the optic system and to reduce the need for system recalibration that is too frequent.
Keksinnön eräässä sovelluksessa sopivat syöt-tötaajuudet ovat 850 nm, 870 nm, 905 nm ja 950 nm. 25 Tässä erityisessä esimerkissä, jota käsitellään seu- raavissa kuvioissa ja kuvauksessa, käytetään aallonpituutta 905 nm. Tässä tapauksessa aallonpituus valitaan vertaamalla anturin taajuusvastetta ja kaarnan sekä neulasten heijastuskykyä. Ihanteellinen tilanne on se, 30 että anturin herkkyys ja kaarnan heijastuskyky ovat korkeita ja neulasten heijastuskyky on matala. Alustavat testit on mitattu ASD Field Spec Pro FR -laitteella ja ne esittävät havupuun kaarnan ja neulasten spektraalista heijastuskykyä vastaavasti Kuvi-35 oissa 3 ja 4.In one embodiment of the invention, suitable input frequencies are 850 nm, 870 nm, 905 nm and 950 nm. In this particular example, which is discussed in the following figures and description, a wavelength of 905 nm is used. In this case, the wavelength is selected by comparing the frequency response of the sensor and the reflectance of the rod and needles. The ideal situation is that the sensor sensitivity and bark reflectivity are high and the needles reflectivity is low. Preliminary tests have been measured on an ASD Field Spec Pro FR and show the spectral reflectance of a conifer bark and needles in Figures 3 and 4, respectively.
Kuvioista 3 ja 4 voidaan nähdä, että neulasten heijastuskyky säilyy varsin samanlaisena NIR- 14 aallonpituusalueella, kun taas kaarnan heijastuskyky näyttää nousevan jatkuvasti. Tästä havainnosta voimme päätellä, että olisi toteuttamiskelpoisempaa käyttää mieluummin 950 nm:n aallonpituutta kuin 905 nm:ä. Kui-5 tenkin anturin herkkyys putoaa nopeasti aallonpituuden funktiona kuten voidaan nähdä valmistajan toimittamasta anturin vastekäyrästä Kuviossa 5. Myös 950 nm:n kaistan suodatus osoittautui vaikeammaksi kuin 905 nm:n kaistan suodatus. Tässä esimerkissä valittu kame-10 ra, SMX-150M-E, käyttää IBIS5B-NIR-anturia, jossa on paranneltu taajuusvaste NIR-alueella paksumman epitak-sisen piikerroksen ansiosta.It can be seen from Figures 3 and 4 that the reflectance of the needles remains quite similar in the NIR-14 wavelength range, while the reflectivity of the bark appears to be constantly increasing. From this observation we can conclude that it would be more feasible to use a wavelength of 950 nm rather than 905 nm. However, the transducer sensitivity drops rapidly as a function of wavelength, as can be seen from the transducer response curve provided by the manufacturer in Figure 5. Also, filtering at 950 nm band proved to be more difficult than filtering at 905 nm. The selected cameo-10 frame, SMX-150M-E, used in this example uses an IBIS5B-NIR sensor with an improved frequency response in the NIR range due to a thicker epitactic silicon layer.
Löytääksemme tälle sovellukselle oikea kais-tanpäästösuodatin, mitataan Roithner Lasertechnics 15 H2W5-905 LEDin taajuusvastetta. Tulokset on esitettyTo find the right bandpass filter for this application, the frequency response of the Roithner Lasertechnics 15 H2W5-905 LED is measured. The results are shown
Kuviossa 6.In Figure 6.
Eräässä keksinnön sovelluksessa on toteuttamiskelpoista tehdä sopiva kaistanpäästösuodatin yhdistämällä lyhytaaltopäästöinen ja pitkäaaltopäästöinen 20 interferenssisuodatin. 905 nm aallonpituudelle käyte tään Edmund optics #48561 ja #47-588 -suodattimia ja mitattu läpäisykyky esitetään Kuviossa 7. Kuviosta 7 nähdään, että päästökaistan keskikohta sijaitsee melko tarkasti 905 nm:n aallonpituudella, ja näin suoda-25 tinyhdistelmä on erittäin soveltuva valitulle LEDille.In one embodiment of the invention, it is feasible to make a suitable band-pass filter by combining a short-wave and a long-wave interference filter. Edmund optics # 48561 and # 47-588 filters are used for the 905 nm wavelength and the measured transmittance is shown in Figure 7. Figure 7 shows that the center of the pass band is located quite accurately at 905 nm and thus the filter-25 combination is very suitable for the selected LED .
Minkä tahansa ulkotilaympäristön valon spekt-raalinen intensiteetti myös vaikuttaa kaistan valintaan. Ilmakehän absorptio vaikuttaa voimakkaasti ympäristön valoon. Vesihöyryn absorptio-ominaisuudet ovat 30 erityisesti tärkeitä, koska ne ovat hyvin korostuneita 905 nm:llä. Tästä seuraa kohteen pinnalla olevan ympäristön valon vaimenemista, josta seuraa strukturoidun valon tehokkaammat käyttömahdollisuudet.The spectral intensity of the light in any outdoor environment also influences the band selection. Atmospheric absorption strongly influences the ambient light. The absorption properties of water vapor are particularly important because they are very pronounced at 905 nm. This results in the attenuation of ambient light on the surface of the subject, resulting in more efficient use of structured light.
LEDin ja kameran käyttämiseksi pulssimuotoi-35 sessa toiminnassa tarvitaan erityinen ajuripiiri. Tar koituksena on ensin sytyttää LED, ja kun se saavuttaa maksimi-intensiteettinsä, integroinnin tulisi alkaa.A special driver circuit is required to operate the LED and the camera in pulse-mode operation. The purpose is first to turn on the LED, and when it reaches its maximum intensity, integration should begin.
1515
Pian sen jälkeen kun asetettu integrointiaika tulee täyteen, LEDin sallitaan mennä pois päältä. Tätä sovellusta varten toteutetaan seuraavanlainen ajurinpii-rin prototyypin suoritusmuoto ja se on esitetty Kuvi-5 ossa 8. Parametriarvoja ei kuitenkaan ole rajoitettu kuviossa esitettyihin arvoihin. Ajuripiiri voi myös olla mikä tahansa muu toimiva piiri, joka kykenee luomaan halutun säteilylähteen riippuen valitusta sovelluksesta .Shortly after the set integration time is reached, the LED is allowed to go off. For this application, the following embodiment of the driver circuit prototype is implemented and is shown in Figure 8 of Figure 5. However, the parameter values are not limited to the values shown in the figure. The driver circuit may also be any other functional circuit capable of generating the desired radiation source depending on the application selected.
10 Kuvio 8 esittää tällaisen piirin, joka käsittää kaksi transistorikytkintä. MJE3055 ohjaa konden saattoriin varastoitua varausta, kun taas BC337 ohjaa signaalia, jota tarvitaan saturoimaan MJE3055:ta varauksen vapauttamiseksi ja LEDin sytyttämiseksi. Piiri 15 on kytketty tietokoneeseen, joka tarjoaa syöttötehon USB-väylän kautta ja ajastussignaalin LPT-portin kautta. LPT-portti on kytketty Dn_out:iin kuten piirikaa-viossa on ilmaistu. 5 V:n USB-syöttölinjaa käytetään varaamaan kondensaattori ja myös saturoimaan MJE3055. 20 BC337 saturoidaan LPT-portin dataliittimen kautta. Sa maa dataliitintä voidaan käyttää SMX-150M-E -kameran ulkoisena laukaisimena. Näin saadaan kameran ja LEDin toiminta synkronoitua. Kapasitanssi Cl voi vaihdella valaistusvaatimusten mukaan. Jotta saadaan ylläpidet-25 tyä korkean virran ajaminen LEDille, nykyinen prototyyppi käyttää neljän kondensaattorin yhdistelmää 19 mF:n suuruisen kokonaiskapasitanssin saavuttamiseksi.Figure 8 shows such a circuit comprising two transistor switches. The MJE3055 controls the charge stored in the condenser, while the BC337 controls the signal required to saturate the MJE3055 to release the charge and turn on the LED. Circuit 15 is connected to a computer providing power through a USB bus and a timing signal through the LPT port. The LPT port is connected to Dn_out as indicated in the circuit diagram. A 5V USB power supply line is used to charge the capacitor and also to saturate the MJE3055. The BC337 is saturated through the LPT port data connector. The same data connector can be used as an external shutter release for the SMX-150M-E. This will synchronize the camera and LED operation. The capacitance Cl may vary according to the lighting requirements. In order to maintain high current driving on the LED, the current prototype uses a combination of four capacitors to achieve a total capacitance of 19 mF.
LEDin teoreettinen huippuohjausvirta voidaan yksinkertaisesti laskea käyttäen Ohmin lakia: 30The theoretical peak control current of an LED can simply be calculated using Ohm's law: 30
!=J! = J
jossa I = virta, U = jännite ja R = resistanssi.where I = current, U = voltage and R = resistance.
Esitellyn suoritusmuodon mukainen piiri on 35 testattu aina 8,3 Ariin asti ulottuvalla teoreettisella huippuvirralla käyttäen Rl:lie arvoa 0,6 Ω. Tämä 16 aikaansaa se, että LEDiä ohjataan selvästi yli spesifikaation olevalla huippuvirralla, joka tuottaa korkeimman mahdollisen ajallisen intensiteetin, parantaen kohteen pinnalla olevan strukturoidun valon näkyvyyt-5 tä. Nykyisellä toteutuksella lyhyin mahdollinen LEDin pulssin kesto on 50 ms, joka takaa sen, että LED on valaistu kameran koko integrointiajan keston ajan, mutta silti aika on riittävän lyhyt, jotta riski lämpötilasta johtuvaan LEDin vikaantumiseen on matala. 10 Toisaalta kameran parametrejä voidaan vapaasti muokata spesifikaatioiden piirissä, antaen lyhyimmäksi integ-rointiajaksi 3 με. Käytännössä järkevin toiminta-alue on 1-10 ms.The circuit according to the present embodiment 35 has been tested with a theoretical peak current up to 8.3 Ar using an Rl value of 0.6 Ω. This 16 causes the LED to be controlled by a peak current well above the specification which produces the highest possible time intensity, improving the visibility of the structured light on the target surface. With the current implementation, the shortest possible LED pulse duration is 50 ms, which ensures that the LED is illuminated throughout the camera integration time, but still short enough to minimize the risk of temperature-induced LED failure. 10 On the other hand, camera parameters can be freely modified within specifications, giving a minimum integration time of 3 με. In practice, the most reasonable operating range is 1-10 ms.
Pulssimuotoista toimintaa on testattu käyttä-15 en esiteltyä pulssiohjauspiiriä yhdessä 905 nm spekt-raalisuodatuksen ja SMX-150M-E -kameran kanssa. H2W5-905 -lediä käytetään pulssimuotoisesti 8,3 A:n teoreettisella huippuvirralla ja käyttäen 50 ms:n kestoista salamaa.Pulse mode operation has been tested using the introduced pulse control circuit in combination with 905 nm spectral filtering and a SMX-150M-E camera. The H2W5-905 LED is operated in a pulsed fashion with a theoretical peak current of 8.3 A and a 50 ms flash.
20 Kameran valotusarvo määritetään ohjaamalla se ottamaan kuva puusta ikkunalasin läpi. Integrointiai-kaa vaihdellaan, kunnes kuva on oikein valottunut, ja näin saadaan korkein luminanssiarvo 240 väliltä 1-255 3 ms:n integrointiajalla. Vastaava pikseli on heijas-25 tus lehtipuun lehdestä aurinkoisena kesäpäivänä.20 The camera's exposure value is determined by directing it to take a picture of a tree through the window glass. The integration time is varied until the image is properly exposed to obtain the highest luminance value of 240 from 1 to 255 at a 3 ms integration time. The corresponding pixel is a reflection of a leaf on a deciduous leaf on a sunny summer day.
Seuraavaksi kamera suunnataan kohti mustaa levyä, jota valaistaan 1000 W:n valokuvakäyttöön tarkoitetulla pistevalolla. Valotusta vaihdellaan muuttamalla pistevalon etäisyyttä mustasta levystä, kunnes 30 korkein tallennettu luminanssin arvo on 240. Kameran parametrit pidetään samoina. Näin saadaan samansuuruinen intensiteetti mustalle levylle kuin edellä mainittu heijastus lehdeltä.Next, the camera is pointing towards a black plate, illuminated by a spotlight for 1000 W photo use. Exposure is varied by changing the spotlight distance from the black plate until the 30 highest stored luminance value is 240. Camera parameters are kept the same. This gives the same intensity on a black plate as the aforementioned reflection from a leaf.
Kamera asetetaan ulkoisen laukaisun moodiin, 35 ja se laukaistaan yhdessä H2W5-905 -LEDin kanssa, joka on suunnattu kohteeseen 250 mm F4 Leitz Telyt-R -linssin avulla, joka tuottaa suunnilleen samanhal- 17 kaisijaisen valonsäteen kuin musta levy. Valotuksen jälkeen sama kuva otetaan uudelleen ilman LEDin laukaisemista. Toista kuvaa pidetään mustana kuvadatana ja se vähennetään ensimmäisestä.The camera is set to external shutter mode, 35, and fired with a H2W5-905 LED aimed at a 250mm F4 Leitz Telyt-R lens, which produces approximately the same diameter as a black plate. After exposure, the same image is taken again without triggering the LED. The second image is considered black image data and subtracted from the first image.
5 Kuviossa 9 nähdään LEDin valaisema musta le vy. Nähtävissä on vielä hieman ylimääräistä ympäristön valoa interferenssirenkaiden muodossa. Nämä jäänteet voitaisiin suodattaa pois jälkikäsittelyssä, mutta ne on jätetty näkyviin havainnollistamismielessä. Otta-10 maila kuva samasta kohteesta synkronisesti kahdella kameralla, tuloksena saatavaa tietoa voitaisiin käyttää fotogrammetrisiin mittaustehtäviin, jos kameroiden suhteelliset ja sisäiset suuntimat on tiedossa.Fig. 9 shows a black le vy illuminated by an LED. A little extra ambient light is still visible in the form of interference rings. These residues could be filtered off after finishing, but have been left for illustrative purposes. An Otta-10 bat image of the same subject synchronously with two cameras, the resulting information could be used for photogrammetric measurement tasks if the relative and internal directions of the cameras are known.
Muokkaamatonta Voigtländer DLP200 -15 projektoria käytetään tässä esimerkissä valaisemaan strukturoidun valon toimintaa. Projektoria käytetään projisoimaan pystysuorien valkoisten valoraitojen mukaista testikuviota havupuun rungon pinnalle pimeissä olosuhteissa. Raidat tallennetaan Olympus E-330 - 20 kameralla, jossa on 11-22 mm Zuiko Digital -linssistö asetettu 11 mm polttovälille. Tämä on esitetty Kuviossa 10.The unmodified Voigtländer DLP200 -15 projector is used in this example to illuminate the function of the structured light. The projector is used to project a test pattern of vertical white light strips on the surface of a softwood frame in dark conditions. Tracks are recorded with the Olympus E-330 - 20 with an 11-22mm Zuiko Digital lens set at 11mm focal length. This is shown in Figure 10.
Valokuvaa sen jälkeen parannetaan hakemalla projisoitujen raitojen reunat ja merkitsemällä kukin 25 raidan osana oleva pikseli "l":llä, ja jättämällä muut "0":ksi.The photograph is then enhanced by retrieving the edges of the projected tracks and marking each pixel as part of the 25 tracks with "l" and leaving the others as "0".
Tuloksena saatava kuva, ks. Kuvio 11, on pystysuorien skannauslinjojen binäärimuotoinen esitys. Tämä esitystapa vähentää suuresti aikaa, joka vaadi-30 taan vastaavien ominaispiirteiden löytämiseen stereo- kuvaparista automaattisten etsintämenetelmien avulla. Tämä tekee automaattisen fotogrammetrisen mittausjärjestelmän toteuttamisen helpommaksi ja antamalla käyttäjälle mahdollisuus valita äärettömästä joukosta pro-35 jisoitavia kuvioita, tehdään järjestelmä erittäin sopivaksi erilaisiin tehtäviin.For the resulting image, see p. Figure 11, is a binary representation of vertical scan lines. This representation greatly reduces the time required to find similar features on a stereo image pair by automatic search methods. This makes the automated photogrammetric measurement system easier to implement and by allowing the user to select from an infinite variety of pro-35 scalable patterns, making the system highly suitable for a variety of applications.
1818
Koko skannauslaitteiston testaus sisältää DLP-projektorin taustavalon korvaamisen korkeatehoi-silla 905 nm:n LEDeillä, joita ohjataan edellä kuvatun piirin avulla, ja kameroiden ja projektorin kiinnittä-5 misen harvesteripäähän. Kameroiden suhteelliset ja sisäiset suuntimat tulisi olla lasketut siinä yhteydessä kun ne kiinnitetään ja varmistetaan.Testing of the entire scanning hardware involves replacing the DLP projector's backlight with high-power 905nm LEDs controlled by the circuit described above and attaching the cameras and the projector to the harvester head. The relative and internal directions of the cameras should be calculated at the time they are mounted and secured.
Toteutuksen pääongelma on ehkäpä valohäviöt, jotka aiheutuvat valokuvion leviämisestä riittävän 10 laajalle näkökulmalle (FOV). Projektorin tulisi tarjota sama näkökulma kuin kameran, jotta saadaan kuvista täysi etu. Tämä kuitenkin rajoittaisi kameran polttovälin valintaa. Tämän ongelman voittamiseksi projektori voidaan varustaa zoomauslinssillä, sallien käyttä-15 jän tuottaa korkeamman intensiteetin neliöyksikköä kohden, mutta silti tarjoten mahdollisuuden valaista laaja näkökulma. Kameroiden ei tulisi olla varustettu zoomauslinssein, koska niillä on tapana menettää ka-librointitietonsa varsin helposti ja jopa parhaassa 20 tapauksessa ne vaativat useita kalibrointiparametri-joukkoja varmistaakseen kunnollisen sisäisen suuntiman polttoväliä vaihdettaessa.The main problem with the implementation is perhaps the loss of light caused by the spread of the pattern over a sufficiently wide angle (FOV). The projector should provide the same perspective as the camera to take full advantage of the pictures. However, this would limit the choice of camera focal length. To overcome this problem, the projector can be equipped with a zoom lens, allowing the user to produce a higher intensity per square unit, while still providing the opportunity to illuminate a wide angle. Cameras should not be equipped with zoom lenses as they tend to lose their calibration data quite easily and even in the best 20 cases they require multiple sets of calibration parameters to ensure proper internal bearing when changing focal length.
Tässä sovellusmuodossa projektoria ei tarvitse sisällyttää järjestelmän kalibrointiin. Koska met-25 sätyökonetta käytetään metsässä, projektorin polttoväliä tulisi muuttaa kohteen etäisyyden mukaan, jotta mahdollistetaan strukturoidusta valosta terävä kuvio kohteen pinnalle. Polttopisteen etäisyys voidaan selvittää käyttämällä metsätyökoneessa jo olemassa olevaa 30 laserskanneria. Jättämällä projektori pois järjestelmän kalibroinnista, sitä voidaan käyttää kamerajärjestelmän kenttäkalibroinnissa projisoimalla kalibrointi-kohdetta projektorilla ja käyttämällä sitä kalibroinnin syöttödatana.In this embodiment, the projector does not need to be included in system calibration. Because the met-25 metering machine is used in the woods, the focal length of the projector should be varied according to the distance of the subject to allow a sharp pattern of structured light on the subject's surface. The focal length can be determined by using an existing 30 laser scanner in the forestry machine. By omitting the projector from system calibration, it can be used to field calibrate the camera system by projecting the calibration target on the projector and using it as input to the calibration.
35 Esillä oleva keksintö voidaan myös toteuttaa useissa muissa sovelluksissa. Tällaisia sovelluksia ovat kolmiulotteiset skannauslaitteet, kuten esimer 19 kiksi lääketieteelliset laitteet, jotka hyödyntävät konenäköä potilaan tutkimisessa.The present invention may also be implemented in a number of other applications. Such applications include three-dimensional Scanning Devices, such as Medical Devices for example 19, which utilize machine vision to examine a patient.
Alan ammattimiehelle on ilmeistä, että tekniikan kehittyessä keksinnön perusidea voidaan toteut-5 taa useilla eri tavoilla. Keksintöä ja sen sovellus-muotoja ei siksi rajata pelkästään edellä esitettyjä esimerkkejä koskevaksi, vaan monet muunnokset ovat mahdollisia pysyttäessä patenttivaatimusten määrittelemän keksinnöllisen ajatuksen puitteissa.It will be apparent to one skilled in the art that as technology advances, the basic concept of the invention can be implemented in a variety of ways. The invention and its embodiments are therefore not limited to the above examples only, but many modifications are possible within the scope of the inventive idea as defined in the claims.
Claims (32)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20085710A FI121400B (en) | 2008-07-07 | 2008-07-07 | Close-up photogrammetry using structural light |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20085710 | 2008-07-07 | ||
FI20085710A FI121400B (en) | 2008-07-07 | 2008-07-07 | Close-up photogrammetry using structural light |
Publications (3)
Publication Number | Publication Date |
---|---|
FI20085710A0 FI20085710A0 (en) | 2008-07-07 |
FI20085710A FI20085710A (en) | 2010-01-08 |
FI121400B true FI121400B (en) | 2010-10-29 |
Family
ID=39677591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FI20085710A FI121400B (en) | 2008-07-07 | 2008-07-07 | Close-up photogrammetry using structural light |
Country Status (1)
Country | Link |
---|---|
FI (1) | FI121400B (en) |
-
2008
- 2008-07-07 FI FI20085710A patent/FI121400B/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
FI20085710A0 (en) | 2008-07-07 |
FI20085710A (en) | 2010-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20090185173A1 (en) | Apparatus and method for determining characteristics of a light source | |
CN1332221C (en) | Method and device for suppressing electromagnetic background radiation in image | |
US10690480B2 (en) | Film thickness measuring method and film thickness measuring device | |
EP3811112A2 (en) | System and method of imaging using multiple illumination pulses | |
CN111465829A (en) | Spectrometer apparatus and system | |
CN111465827A (en) | Spectrometer apparatus and system | |
JP5632060B1 (en) | Hyperspectral camera and hyperspectral camera program | |
CN104024827A (en) | Image processing apparatus, image-capturing method, and vehicle | |
CN102721469A (en) | Multispectral imaging system and method based on two cameras | |
EP3870955B1 (en) | Optical device for measuring the optical properties of materials | |
Sassoon et al. | Flare in interference-based hyperspectral cameras | |
CN109596215A (en) | A kind of portable unit and its spectral method of detection based on smart phone measure spectrum | |
FI121400B (en) | Close-up photogrammetry using structural light | |
Liang et al. | PRISMS: A portable multispectral imaging system for remote in situ examination of wall paintings | |
JP5180736B2 (en) | Evaluation method and apparatus for dull skin | |
Kauhanen | Close range photogrammetry-structured light approach for machine vision aided harvesting | |
KR102525320B1 (en) | Apparatus and method for optically inspecting an object | |
CN106645097A (en) | Optical path system for laser probe component analyzer | |
US20210123806A1 (en) | Spectral imaging device and method | |
JP3803699B2 (en) | Spectral image acquisition device | |
CN111596505A (en) | Portable fingerprint camera device of reflection formation of image | |
RU2356016C1 (en) | Method of determining object color and device to this end | |
CN212808887U (en) | Portable fingerprint photographic device for transmission imaging | |
CN212569393U (en) | Reflection imaging portable fingerprint photographic device | |
JP2004279284A (en) | Laser radar system for monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FG | Patent granted |
Ref document number: 121400 Country of ref document: FI |
|
PC | Transfer of assignment of patent |
Owner name: AALTO-KORKEAKOULUSAEAETIOE Free format text: AALTO-KORKEAKOULUSAEAETIOE |
|
MM | Patent lapsed |