FI117835B - Paikoitusmenetelmä - Google Patents

Paikoitusmenetelmä Download PDF

Info

Publication number
FI117835B
FI117835B FI20050681A FI20050681A FI117835B FI 117835 B FI117835 B FI 117835B FI 20050681 A FI20050681 A FI 20050681A FI 20050681 A FI20050681 A FI 20050681A FI 117835 B FI117835 B FI 117835B
Authority
FI
Finland
Prior art keywords
image
pixel
camera
location
coordinate system
Prior art date
Application number
FI20050681A
Other languages
English (en)
Swedish (sv)
Other versions
FI20050681A0 (fi
FI20050681A (fi
Inventor
Jouni Erikkilae
Original Assignee
Sime Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sime Oy filed Critical Sime Oy
Priority to FI20050681A priority Critical patent/FI117835B/fi
Publication of FI20050681A0 publication Critical patent/FI20050681A0/fi
Priority to PCT/FI2006/000216 priority patent/WO2006136649A1/en
Priority to EP06764442.7A priority patent/EP1934128A4/en
Priority to US11/921,636 priority patent/US8477987B2/en
Publication of FI20050681A publication Critical patent/FI20050681A/fi
Application granted granted Critical
Publication of FI117835B publication Critical patent/FI117835B/fi

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/48Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39046Compare image of plate on robot with reference, move till coincidence, camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39397Map image error directly to robot movement, position with relation to world, base not needed, image based visual servoing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40003Move end effector so that image center is shifted to desired position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Control And Safety Of Cranes (AREA)
  • Studio Devices (AREA)

Description

117835
Paikoitusmenetelmä Tämä keksintö kohdistuu paikoitusmenetelmään ja lähemmin sanottuna menetel-5 mään numeerisesti ohjattavan laitteen uudelleen paikoittamiseksi.
Tavaroiden, esineiden ja muiden kohteiden paikoituksessa käytetään nykyään erilaisia tekniikoita. Yksinkertaisimmillaan se perustuu suoraan näköhavaintoon ja toimimiseen näkökentässä olevien olosuhteiden mukaisesti.
10
Joissakin tilanteissa esimerkiksi nosturin kuljettaja ei näe sitä kohdetta, jonne hänen on sijoitettava taakkansa. Tällaisissa tilanteissa käytetään usein radiopuhe-linyhteyttä nosturin kuljettajan ja kohteessa olevan henkilön välillä. Kohteessa oleva henkilö antaa nosturin kuljettajalle ohjeita taakan sijoittelua varten. Suuntien 15 ja muiden ohjeiden standardisoiminen ohjeiden välityksen oikeellisuutta varten on tärkeää, jotta annetut ohjeet tuottavat hyvän tuloksen kuorman sijoituksen suh- ; teen.
Edellisistä kehittyneempi versio käsittää myös yhden tai useamman kameran, 20 joiden avulla taakka voidaan sijoittaa varsin tarkasti paikalleen.
···**.
• · : Silloin kun puhutaan tietyn paikan uudelleen löytämisestä tai tietyn kappaleen tai : :Y: kohteen uudelleen sijoittamisesta ovat menetelmät vielä kehittyneempiä. Paikan- * · * nukseen käytetään silloin esimerkiksi satelliittipohjaisia paikannusjärjestelmiä.
• · :.· · 25 Eräs esimerkki on esitetty patentissa EP 0 909 394, jossa satelliittipaikannusta * · · käytetään nosturin ohjaamiseksi kulkemaan toisistaan hieman poikkeavia reittejä kulku-uran syntymisen ehkäisemiseksi.
* * • · .·"*> : ·· ;';;ΐ • · · ' '···* Hakijan omassa aikaisemmassa keksinnössä, joka on kuvattu US-patentissa 30 6,256,553, esitetään kuorman siirtojäijestelmä, joka käyttää hyväkseen videoku- • · * i,.,·* vaa ja tiettyjä tunnistettavia referenssipisteitä alku-ja loppusijoituspaikkojen identi- : .·. fioimiseen.
• * * * · • · • · • · * Tämän keksinnön tarkoituksena on laajentaa esimerkiksi kuorman sijoittelua ja 2 1 1 7835 nimenomaan sen uudelleen paikoitusta ja tarkentaa sitä, sekä tuoda käyttöön lukuisia uusia sovelluksia, joita on aikaisemmin ollut mahdotonta käyttää ainakaan riittävällä tarkkuudella.
5 Edellä mainitut ja muut keksinnön hyvät puolet ja edut on aikaansaatu siten, kuin esitetään tunnusomaisiksi oheisissa patenttivaatimuksissa.
Lyhyesti sanottuna keksinnön mukaisessa menetelmässä käytetään erilaisten laitteiden numeerisen paikoituksen kanssa yhtaikaa konenäköä ja nykyaikaiseen 10 tietokantatiedonkäsittelyyn perustuvaa kuvankäsittelytekniikkaa tuotteen tai paikan uudelleenpaikoituksessa. Tällä saavutetaan merkittäviä uusia sovellutusmahdollisuuksia ja tuottavia teknisiä ratkaisuja.
'Λ,
Keksinnössä esitetään myös kuinka kuljettajan näytölle yksinkertaisesti näytetään 15 maalin sijainti suhteessa kuvan reaaliaikaiseen kameranäkymään.
Keksintö soveltuu rakenteensa vuoksi erittäin monelle alalle, sillä menetelmän perusvaatimuksena on tietojen erittelyn mahdollisuus numeerisen tiedon perusteella. Numeerisen tiedon lähteenä voi olla laitteen oma koordinaatiojärjestelmä, 20 satelliittipaikannusjärjestelmät, kuten yhdysvaltalainen Global Positioning System *:**: GPS tai tuleva eurooppalainen GALILEO, tai keksinnössä itsessään käytettävän konenäön avulla luotu paikallinen numeerinen X/Y-kartta siitä tiedosta mitä kame- :Y: ra näkee jollakin hetkellä.
• · · • · • · • ♦ · • · : 25 Keksinnössä oleellista on pystyä erottamaan kukin paikka yksilönä ja kuinka yksi- • * · töllistä paikkaa ja siihen liitettyä kuva-alkiota haetaan muistista uudelleen paikannuksen yhteydessä. Kun kukin paikka on erotettavissa toisesta paikasta, voidaan ·· • ** paikkaan viitata uudelleen paikoituksessa, kun tunnetaan numeerisesti paikoitetun • · · • * ’···* laitteen kulloisetkin koordinaatit. Edellä kuvatut numeeriset paikannuskoordinaatis- • · : 30 tot ja niillä ohjatut laitteet edustavat tyypillistä numeerista ohjausta (Numeric Cont- * · · rols NC). Kun johonkin paikkatietoon liitetään tunnistimen, kameran yksittäisestä • pisteestä näkemä kuvatieto, voidaan kuva-alkion avulla parantaa numeerisesti
··· · -: Y
ohjatun laitteen uudelleen paikoitusta käyttämällä numeerisen ohjauksen rinnalla Ύ ··· keksinnön mukaista kuva-alkiota ja kuva-alkioon liitettyjä numeerisen paikannus- 3 117835 laitteen tilatietoja.
Numeeristen koneiden ja laitteiden ohjaamisessa on erityisesti lähestyttäessä tuotetta tai paikkaa havaittu puutteita, joita ratkaisematta ei pystytä automatisoi-5 maan tulevaisuuden toimintoja. Tunnettua on, että epäjärjestys pyrkii lisääntymään kaikkialla. Perinteisen kameran ja kamerakuvan yksittäisen analyysin, ko- • Ί nenäön osalta on pääsääntöisesti lähdetty asetelmasta, missä opetetaan jokin myöhemmin etsittävä kohde'vakio-olosuhteissa', joissa valaistus, etäisyys ja kuvakulma ovat samat tai lähes vakiot. Nämä perusolettamukset aiheuttavat sen, 10 että konenäön käytettävyys on epäjärjestyksen lisääntyessä laskenut. Konenäkö perinteisesti tunnistaa piirikortilla (PCB) olevia samanlaisia tuotteita toistuvasti, mutta samanlaisten kuljetuksissa käytettävien kuljetuskoneen tunnistamisessa onkin sitten aivan uusia ongelmia värien, kolhujen yms. seikkojen vuoksi.
15 Keksintö perustuu määrätyssä tunnetussa koordinaatiopisteessä olevaan video-tai vastaavaan jatkuvaa kuvavirtaa lähettävään kameraan, millä jostain kameran jatkuvasta kuvavirrasta otetaan ensin yksi kuva, joka tallennetaan tietojärjestelmän muistiin sitomalla kuva laitteen opetuksen hetkiseen paikkaan tai paikkatietoihin (useita). Muistina on tyypillisesti tietokanta (DataBase DB) ja sen taulukon 20 (Table T) rekisterisarjan (RecorSet RS) yhteen rekisteriin (record R) ja siinä rekis-terintietueeseen (item I). Tietojärjestelmien kasvaneen tallennuskapasiteetin myö- : tä rekistereihin voidaan tallentaa myös suuria tietojoukkoja, kuten kuvia.
• · * • · • · · • * · * * l'
Tallennettavaan kuvan rekisteriin tallennetaan ohjattavan laitteelle useita tyypillisiä 25 ominaisuuksia ja tilatietoja, jotta tallennetun kuvan uudelleen paikannus olisi mahdollista.
• · : **· Muistiin kuvatietona tietojärjestelmään tallennetaan esimerkiksi seuraavia tietoja: * * · kuva-informaatio numeerisessa muodossa, kameralähde, zoomobjektiivin tilat, 30 kuvan koko, sijainti koko kuvassa, aika, X/Y/Z/R/S/Q-tilat, GPS- ja/tai GALILEO-’"m[: paikka, lisäksi kompassisuunta, kiinnostus (Region Of Interest ROI)/kiinnostamat- j .·. on (Don't care), nimi ja lisätietoja käyttäjälle, konenäön lisäoptio OCR, MEASURE- • t* · MENT (edge/stripe), sekä käytetäänkö graafista paikannusta numeerisen rinnalla • · · jne...
4 117835
Myöhemmin tultaessa uudelleen lähelle aiempaa tietojärjestelmässä käytettyä numeerista koordinaattia, tietojärjestelmä hakee kulloisenkin paikkatiedon mukaan muististaan lähimmän tai lähimmän ja lähestymissuunnaltaan oikean aiemmin opetetun kuva-alkiotietueen (record) koko kuva-alkiosarjasta (recordset). Kuva-al-5 kiosarjat voivat olla kaikki yhdessä sarjassa tai tallennettuna omiin erillisiin sarjoihin jonkin laatukriteerin mukaan: tuotenumero, pinot, alueet, työkalut jne.
Lähimmän kuvatiedoston etsintä X/Y/Z/R/S-ohjauksessa voidaan käyttää Pythagoraan lauseen johdannaista ja se voi olla muotoa 10 MIN ( ((X kuva—Xnyky,nen ) 2 + ( Ykuva Ynykyinen j 2 + jne ) missä MIN = valitaan pienin arvo 15 Xkuva = paikkatieto X kuvan opetushetkellä ^nykyinen _ paj|<|<atjeto X kameran paikantimella nyt γ*«υν3 = paikkatieto Y kuvan opetushetkellä
Yfy^i”®” = paikkatieto Y kameran paikantimella nyt jne.
20 Jos valitaan vertailtavaksi vain kaksi koordinaattia, X ja Y-koordinaatit, suoritetaan ·:··: valinta tasossa. Jos valintaan lisättäisiin kolmas koordinaatti Z, suoritettaisiin : kuva-alkion valinta kolmiulotteisesta kun tarkoitetaan normaalia laitekoordinaattia.
* * * • · • · · * » · * · GPS-ja GALILEO-paikannuksessa tyypilliset X-ja Y-koordinaatit olisivat latitudi- • · :.· · 25 ja longitudi-arvot, joihin sitten järjestelmien epätarkemman korkeustiedon vuoksi * * * voitaisiin liittää laitteen oma korkeustieto, koska edellä mainittujen paikannusjäijes- - -A» telmien korkeustieto on varsin karkea.
* · • ·· • · · :···: Eräitä keksinnön piirteitä havainnollistetaan oheisten piirustusten avulla. .
30 • · ϊ.„ϊ Kuviossa 1 esitetään kameran näkemä hypoteettinen alue siinä tilanteessa, jossa : se tallennetaan järjestelmän muistiin; ·** * .
* * · ♦ · .:¾ •
Kuviossa 2 esitetään tilanne, jossa mainittua tallennettua näkymää etsitään uudel- 5 117835 5 leenpaikoitusta varten;
Kuvio 3 esittää kuvion 2 mukaista tilannetta, mutta nyt kamera on etsittävän alueen suhteen kiertyneessä asemassa;
Kuviossa 4 esitetään eräs juoksukaavio kuviossa 1 esitetylle tallennustilanteelle; ja
Kuviossa 5 puolestaan esitetään eräs juoksukaavio etsintätilanteelle, 10
Lyhyesti sanottuna kuviossa 1 nähdään eräs kameran näkemä alue 1, jossa on sellaisia piirteitä, joita voidaan tunnistaa. Tällaisia piirteitä ovat esimerkiksi raste-roidut alueet 2 ja 2' valitun kuva-alkion 3 sisällä. Kuva-alkion sisällä oleva piste 4 valitaan kiintopisteeksi. Tässä tapauksessa piste 4 on myös kuvion alkion keski-15 piste, mitä sen ei välttämättä suinkaan tarvitse olla. Tämä kuva on nähtävissä näyttölaitteella ja kuva-alueen valinta ja muut toimenpiteet ovat tehtävissä näytöltä. Tämä kuva tallennetaan järjestelmän muistiin.
Kuviot 2 ja 3 kuvaavat tilanteita, joissa tallennettua kohdetta etsitään uudelleen.
20 Käytännössä tämä tapahtuu siten, että kamera kuvaa koko ajan liikkuessaan ..... (nosturin puomissa tai vaikkapa ajoneuvossa) tallennustilanteen parametrejä * · ..... käyttäen etsien tallennettua kohdetta järjestelmään tallennettujen koordinaattien • · * /.·. mukaisesti kohdetta lähestyen. Kuvioissa 2 ja 3 kohde on löytynyt, kuviossa 2 • * * • · * .·*·. ollaan olennaisesti samassa suunnassa kuin tallennustilanteessa, mutta siitä • · * * * : ;\ 25 sivussa ja kuviossa 3 ollaan sivussa, mutta myös lähestymissuunta poikkeaa « · · · .**·. tallennustilanteesta.
• · *** • Kuvioissa 2 ja 3 on nähtävissä “sauva” 5, jolla järjestelmä ilmoittaa, kuinka paljon *·· · tallennetun kohteen löytyessä ollaan syrjässä tallennustilanteesta. Sauvan 5 ··· . 30 päässä oleva pallukka merkitsee kuvion 1 pistettä 4 ja sauvan toinen pää 6 sijait- ♦ * · .··’. see löydetyn kuvion pistettä 4 vastaavassa pisteessä. On selvää, että tällaisen * · .*·’ havainnollisen kuvion avulla on mahdollista suorittaa uudelleenpaikoitus helposti • · :. ” ja tarkasti.
• ♦ ♦ • ·· • · 6 117835
Kuvioissa 4 ja 5 esitetään, kuten edellä mainittiin, juoksukaaviot sekä tallennusti-lanteelle (kuvio 4) että etsintätilanteelle (kuvio 5). Juoksukaaviot ovat selkeitä ja itse itsensä selittäviä.
5 Keksinnön erityisenä etuna on sen joustavuus etsittävien kuva-alkioiden opettamisessa, sekä karkeankin paikannusjärjestelmän paikannustuloksen laadullinen parantaminen. GPS-järjestelmän paikannustarkkuus on GPS-standardin mukaan huonoimmillaan vaakatasossa 22 metrin luokkaa, mutta tyypillisesti parempi. Paikannustarkkuuteen vaikuttaa järjestelmässä käytettävien satelliittien samanai-10 kainen näkyminen paikannusantennille.
Eurooppalainen GALILEO otetaan käyttöön noin vuonna 2008. GALILEO-jäijestel-män suljettujen palvelutasojen paikoitustarkkuus tarjoaa globaalisen 1 metrin tarkkuuden ja paikallisesti voidaan saavuttaa jopa 0,10 metrin tarkkuusluokka.
15
Julkisten paikannuspalvelujen (OS) tarkkuus on 4 metriä vaakatasossa ja 8 metriä pystytasossa kahdella taajuudella. Galileoita ja keksinnön mukaisella järjestelmällä yhdessä voidaan tyypillisesti rakennustöissä käytettävän torninosturin paikoitta-minen toteuttaa globaalisesti suoraan suunnittelijan piirustusten mukaan.
20
Keksinnöllä pystytään myös parantamaan GPS-paikantimen antamaa paikkaa, • ♦ vaikkapa reittiliikenteessä käytettävän laivan paikoitta m isessa satamapaikkoihin- « · · /,·, sa. Kun vielä käytetään kahta eri kamerakulmaa mitkä ovat kulkusuunnassa sekä • * ♦ .·*·. sivusuunnassa, voidaan GPS-paikantimella suorittaa lähestyminen ja keksinnön • · ··» : 25 mukaisella järjestelmällä tarkka paikoitus, vaikka käyttämällä sataman kiinteitä • · « · .··*. rakennuksien ja laiturielementtien piirteitä. Keksinnön mukaisella järjestelyllä · · voidaan eliminoida myös nousu-ja laskuveden vaihtelut, jolloin laskusiltojen oh- • jausta voidaan automatisoida kasvavien materiaalivirtojen vaatimuksesta.
* * * * • # · * * • * «··* . !·, 30 Lisäksi laivan lastauksessa laivan uppouman muutos voidaan korjata purkaus- * * * .···. ja lastaustyön nopeuttamiseksi. Laivan rantautuessa vihaavassa vedessä, voi- • · • · · ..* daan virran voima eliminoida US 6,256,553 mukaisella kuvankäsittelyllä missä * * ♦ ·* *. . otetaan yksi kuva ja siitä kuva-alkio. Määrätyn ajan kuluttua otetaan toinen kuva • · · • · · , 1 ·,}' ' * ja siitä etsitään em. kuva-alkio. Kuva-alkion löydyttyä voidaan selvittää jälkimmäi- 7 117835 sen kuva-alkion siirtymä matka ja tunnettaessa kahden kuvan ottamisen aikaväli voidaan laivan rantautumista virran mukaan säätää tarkasti.
Satamissa käytetään yhä enenevissä määrin automaattisia tavarakontin käsittely-5 laitteita. Nosturien suuren rakenteen vuoksi, paikoituksen epätarkkuuksien sekä ulkoisten olosuhteiden muutosten vuoksi tuulen, asvaltin pehmenemisen ja urautumisen yms. vuoksi on juuri tuotteeseen paikoittamisessa keksinnön mukaisella järjestelyllä tehtävissä parannuksia ja toimintaa voidaan näin tehostaa. Lisäksi automatisoitaessa satamien suuria nostolaitteita, on laitteiden tukevuutta jouduttu 10 lisäämään koska rakenteiden omat taipumat on pyritty eliminoimaan. Keksinnön mukaisella järjestelmällä saavutetaan parannuksia ja etua niin laitteen rakenteiden keventämisen muodossa kuin juuri tuotteeseen ja paikkaan suoritetussa lähestymisessä, missä kantavien rakenteiden siirrossa käytettyjen moottorien jättämä, rakenteiden taipumat ja konttipinojen mahdollinen perustan kaltevuuden virheitä 15 voidaan korjata keksinnön mukaisella järjestelyllä.
Rakennusten torni-ja mobiilinostureissa kuljettajan jalkojen ja käsien ollessa sidottu nosturin ohjaustyöhön ja kuljettajan keskittyessä seuraamaan tavaran siirtoa joko itse katseellaan seuraten tai odottaen ohjauskäskyjä radioteitse, saa- 20 vutetaan keksinnön mukaisella järjestelyllä ilman kuva-alkion paikoitusominaisuut- ·:*·: takin huomattavaa työn tehostamista sekä työturvallisuuden kasvua kuljettajan : :*: paremman oman havaintomahdollisuuden ansiosta.
• · · • * • · · • · * ' * · :.***: Jos graafinen paikannus on valittu, kuvankäsittelylaitteisto etsii seuraavaa lähintä · 25 tai määrättyä tallennettua kuva-alkiota kameran/paikantimen kuvaamasta reaaliai- φ · · kaisesta kuva-alueesta, kuvavirrasta.
£ φ · *** Kun aikaisemmin kuljettajan opettama kuva-alkio 3 (kuvioissa 1-3) löytyy, näyttää * * · ohjausjärjestelmän näyttöpääte kuljettajalle opetetun ja löydetyn kuva-alkion ero-30 mitan suoraan näyttöpäätteen elävän kuvan kuvavirrassa viivalla 5 (kuvioissa 2 ja 3) näiden kahden pisteen välillä. Viivan toinen pää on opetustilanteen kuva-alkion • määrätyssä pisteessä ja toinen pää on kuvavirrasta löydetyn vastaavan kuva-alki- • · · * ;***: on samassa pisteessä. Viivan näyttö ruudulla on kuljettajalle selkeän yksinkertai- • · · nen tapa paikantaa mihin suuntaan opetetun pisteen saavuttamiseksi hänen tulee 8 ' ' 117835 ohjata nosturia. Kuva-alkion sijainnin kuljettaja voi valita itse, mutta siirrettäessä suurialaista kappaletta, maali-alkion tulee sijaita siten, että haluttu ohjaus-ja säätö on mahdollinen. Toisaalta opetus voidaan tehdä ympäröivästä eniten vakiona pysyvästä rakenteesta. Joissain vaikeissa siirtotehtävissä kuljettaja voi seurata 5 taakan liikettä suhteessa käytettävään nosturiin.
Jos graafista paikannusta ei ole valittu, kameran vaihto toiseen kameraan, aluevalvonnassa käytettävien turvakameroiden käyttömahdollisuus nosturin omien kameroiden rinnalla ja zoomobjektiivin asetus opetustilannetta vastaavaksi jo 10 sinänsä nopeuttavat ja antavat lisäturvallisuutta kuljettajan toimintaan, koska kuljettaja voi keskittyä koko ajan nosturin kuljettamiseen. Kuvakulma on kuljettajan itsensä valitsema optimaalinen kuvakulma ko. paikassa. Zoomobjektiivi säädetään automaattisesti, mikä rajaa oikean kuva-alueen. Mikä tahansa alueen kameroista voidaan valita, myös valvontakamerainformaatio.
15
Kun voidaan käyttää myös aluevalvontakameroita, voi rakennustyömaan portteja valvovia kameroita käyttää nosturin kuljettajan apuvälineenä. Erityinen etu tällä mahdollisuudella on ahtaissa rakennuskohteissa kaupunkien keskustoissa, missä nosturin sijoittelussa on rajoitteita. Tuloporttien valvontakameroille saadaan siis 20 merkittävää lisäarvoa, jos niiden sijoittelussa otetaan keksinnön mukaiset mahdol-lisuudet huomioon. Toisaalta nosturin kuljettajan työmahdollisuudet monipuolistu- • · vat.
• t · • * • · * • * · .·*··. Kun käytetään langattomia kameroiden kuvansiirtomenetelmiä, kaikkien rakennus- • · t** : .*. 25 alueen kameroiden kuvasignaalia voidaan kameroiden antennien sijoittelulla ja
• * * I
.·**. nostureiden vastaanottoantennien sijoittelun huolellisella suunnittelulla saada etua • * · useamman nosturin ohjauksessa. Siis torninosturin kuva olisi hyödynnettävissä • niin työmaan valvontatehtävissä työajan jälkeen kuin keksinnön mukaiseen laitteistoon • * · · sisäänrakennetulla valvontajärjestelmällä.
* * * *. 30 • · * w w • * #
Jos laitteen numeerinen ohjausjärjestelmä on automaattinen, automaatiojärjestel- • » • · · mä saa tiedon ensimmäisellä kerralla opetetun kuva-alkion sijainnista ja suunnas- • · ·. . ta suhteessa opetustilanteeseen reaaliaikaisessa kuvavirrassa. Kun aiemmin • » · ** opetettua kuva-alkiota vastaava löydetty vastaava kuva-alkio on reaaliaikaisen 9 117835 kuvan samassa pisteessä kuin opetustilanteessa, vastaa kameran ja paikantimen sijainti opetusvaihetta.
Teollisuudessa paikoitetuissa automaattinostureissa, joita käytetään sisäisten 5 materiaalivirtojen hallintaan, saavutetaan keksinnön mukaisella järjestelyllä yksilöllisen tuotannon vaatimaa paikoitusta, missä numeerisen paikoituksen lisäksi saadaan tuotteen varastoon jättämisen yhteydessä otetun kuva-alkion avulla varmistetuksi noudon uudelleen paikoitus. Kun käytetään keksinnön mukaista järjestelyä, saavutetaan tarkempi paikoitus ja pienempi riski vahingoittaa tuotetta.
10 • · • 1 • · · • 1 · • · • 1 · • · · * 1 1 ··· · * 1 • · • · · ·····'·; ···-.
• 1 · * · · · *·· • 1 • · ··· · ··· · · · .
*··· • » · « · * · * 1 1 • · · ...
*······ * 1 1 ··1 * 1 • · • · · *· • » • ·♦ « • · · • ·· • ·

Claims (13)

1. Menetelmä numeerisesti ohjattavan laitteen uudelleen paikoittamiseksi käyttämällä kohteesta otettua kuvaa, johon reaaliaikaista kuvaa verrataan, apuna, tun-5 nettu siitä, että opetetaan järjestelmä määrittämällä kameran kuvasta kuva-alkio, muodostamalla alkiolle joko oma koordinaatistonsa tai muualta haettu koordinaatisto ja tallentamalla näin saatu kuva koordinaatteinensa tietojärjestelmään, johon tallenteeseen reaaliaikaista kuvaa verrataan sijainnin määrittämiseksi.
2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että verrataan uudelleenpaikoitustilanteessa reaaliaikaista kuvaa tietojärjestelmän tallennettuun kuva-alkioon kuvausvälineen reaaliaikaisen sijainnin määrittämiseksi suhteessa tallennetun kuva-alkion paikkaan näyttöruudulla ja koordinaatistossa.
3. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että käytetty koordinaatisto on satelliittipaikannuksella haettu koordinaatisto.
4. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että käytetty koordinaatisto on laitteen oma sisäinen koordinaatisto. 20
·:··: 5. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että uudelleenpai- koitustilanteessa opetustilanteessa tallennettua kuvaa etsitään tultaessa lähelle muistiin tallennetun kuvan koordinaattipistettä. • · · ' t · • · *·· • · : 25
6. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että • · · opetustilanteessa tietojärjestelmään tallennetaan kuvainformaation lisäksi ainakin kuvan koko ja sen sijainti koko kuvassa. ·· • · • ·· * · * t
· *·;·* 7. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että • · ·*.*·: 30 uudelleenpaikoitustilanteessa ohjaajalle näytetään näyttöpäätteellä reaaliaikaisen • · * kuvan päällä näkyvää, opetuksen (keski)pisteen ja löytyneen kohteen (kes- i :*: kijpisteen eromittaa ilmaiseva viiva. ···· • · · • · ♦ « ··«
8. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että 11 1 1 7835 lähimmän etsittävän kuvapisteen etäisyyden määritys nykyisen kameran paikkatiedon suhteen määritetään kaavalla MIN ( ((X kuva__Xnykyirien )2+ ( Ykuva_Ynykyinen ) 2 + jne ) ) 5 missä MIN = valitaan pienin arvo Xkuva = paikkatieto X kuvan opetushetkellä ^nykyinen _ paj|<|<atjeto X kameran paikantimella nyt 10 - paikkatieto Y kuvan opetushetkellä ynyky^n = pgjkkatieto Y kameran paikantimella nyt jne.
9. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että opetettu kuva-alkio valitaan miltä tahansa kameran kuvaamalta kuva-alueelta. 15
10. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että menetelmässä käytetään ainakin kahta valinnaista kameraa.
10 1 1 7835
11. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, 20 että menetelmässä käytetään langatonta tiedonsiirtoa sen komponenttien välillä. • · · 1 · • 1 : :1;
12. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, • · · : V: että menetelmässä käytetään kahta tai useampaa kameraa. • 1 * · · < · • · ···.<'
13. Patenttivaatimuksen 12 mukainen menetelmä, tunnettu siitä, että kameroiden kuvalähteen vaihto suoritetaan automaattisesti koordinaattipisteen mukaan. • e • · « · · • · • · ·«· • · • · · *·· • 1 ··· ’ 1 • · * · * 1 · • · 1 ··· ··· 1 φ • ♦ .·! • · .«’ • · · 12 1 1 7835
FI20050681A 2005-06-22 2005-06-22 Paikoitusmenetelmä FI117835B (fi)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FI20050681A FI117835B (fi) 2005-06-22 2005-06-22 Paikoitusmenetelmä
PCT/FI2006/000216 WO2006136649A1 (en) 2005-06-22 2006-06-19 Method for repositioning a numerically controlled device
EP06764442.7A EP1934128A4 (en) 2005-06-22 2006-06-19 Method for repositioning a numerically controlled device
US11/921,636 US8477987B2 (en) 2005-06-22 2006-06-19 Method for repositioning a numerically controlled device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20050681 2005-06-22
FI20050681A FI117835B (fi) 2005-06-22 2005-06-22 Paikoitusmenetelmä

Publications (3)

Publication Number Publication Date
FI20050681A0 FI20050681A0 (fi) 2005-06-22
FI20050681A FI20050681A (fi) 2006-12-23
FI117835B true FI117835B (fi) 2007-03-15

Family

ID=34778393

Family Applications (1)

Application Number Title Priority Date Filing Date
FI20050681A FI117835B (fi) 2005-06-22 2005-06-22 Paikoitusmenetelmä

Country Status (4)

Country Link
US (1) US8477987B2 (fi)
EP (1) EP1934128A4 (fi)
FI (1) FI117835B (fi)
WO (1) WO2006136649A1 (fi)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH705743A2 (de) 2011-11-14 2013-05-15 Illinois Tool Works Umreifungsvorrichtung.
US9529824B2 (en) * 2013-06-05 2016-12-27 Digitalglobe, Inc. System and method for multi resolution and multi temporal image search
EP3170783B1 (en) 2015-11-23 2019-05-29 ABB Schweiz AG Container crane control system
US10642272B1 (en) * 2016-09-28 2020-05-05 Amazon Technologies, Inc. Vehicle navigation with image-aided global positioning system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0243493A1 (en) 1985-10-18 1987-11-04 Caterpillar Inc. Target and control system for positioning an automatically guided vehicle
DE3909762C2 (de) 1989-03-23 2003-02-06 Msts Logistik Gmbh & Co Müllsammelsystem mit einem Müllsammelfahrzeug und Müllbehältern
DE4405683A1 (de) 1994-02-22 1995-08-24 Siemens Ag Verfahren zur Förderung einer Last mittels eines Krans
JPH07291582A (ja) * 1994-04-28 1995-11-07 Hitachi Ltd 位置決め認識装置付きクレーン
US6256553B1 (en) * 1995-11-14 2001-07-03 Sime Oy Method and device to pick up, transport and put down a load
JPH09216736A (ja) 1996-02-14 1997-08-19 Shikoku Electric Power Co Inc アンローダの自動追尾型相対位置検出装置の制御方法及びその装置
DE19725315C2 (de) 1997-06-09 2001-03-22 Mannesmann Ag Kran, insbesondere Hüttenwerkskran
JP4209532B2 (ja) * 1999-03-04 2009-01-14 東芝三菱電機産業システム株式会社 クレーン位置検出システム
US6801653B1 (en) * 1999-08-05 2004-10-05 Sony Corporation Information processing apparatus and method as well as medium
JP2002104771A (ja) * 2000-07-25 2002-04-10 Inst Of Physical & Chemical Res コンテナ位置検出装置
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
JP4672190B2 (ja) * 2001-04-26 2011-04-20 三菱電機株式会社 映像ナビゲーション装置
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
DE102004028763A1 (de) * 2004-06-16 2006-01-19 Daimlerchrysler Ag Andockassistent

Also Published As

Publication number Publication date
US20090129633A1 (en) 2009-05-21
EP1934128A4 (en) 2017-03-29
FI20050681A0 (fi) 2005-06-22
US8477987B2 (en) 2013-07-02
EP1934128A1 (en) 2008-06-25
FI20050681A (fi) 2006-12-23
WO2006136649A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
US11474257B2 (en) GNSS mobile base station and data collector with electronic leveling and hands-free data collection
US10444255B2 (en) Method and system for determining the velocity of a moving fluid surface
CN100565245C (zh) 用于水上运载工具的防撞报警系统以及防撞分析方法
US6563574B2 (en) Surveying apparatus
US7768443B2 (en) Vessel monitoring system
US20140156219A1 (en) Determining tilt angle and tilt direction using image processing
DE102013202393A1 (de) Bestimmen von Neigungswinkel und Neigungsrichtung unter Verwendung von Bildverarbeitung
FI117835B (fi) Paikoitusmenetelmä
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
US20230112788A1 (en) Automated license plate recognition system and related method
CN101499166A (zh) 一种图像拼接方法及装置
CN103791892B (zh) 一种船载视场可调的海面观测装置及方法
CN109632085A (zh) 一种基于单目视觉的低频振动校准方法
CN108846084B (zh) 一种实景地图的生成系统和方法
Honkamaa et al. Interactive outdoor mobile augmentation using markerless tracking and GPS
EP3640588B1 (en) System, method and program for determining the size of a defect
EP2704855A2 (en) Marking methods, apparatus and systems including optical flow-based dead reckoning features
CN107770496A (zh) 全景视频上的飞机智能监视方法、装置及系统
US20220138467A1 (en) Augmented reality utility locating and asset management system
CN109982044A (zh) 一种基于cctv传感网的目标定位跟踪系统的跟踪方法
CN109213156A (zh) 一种用于agv小车的全局引导系统及其方法
WO2009138069A1 (de) Augmented reality fernglas zur navigationsunterstützung
JP6496158B2 (ja) 空中移動体取得情報を用いた変化検出システム及び空中移動体取得情報を用いた変化検出方法並びにそのプログラム
CN105611242A (zh) 一种云台监视地理方位标定的方法
JPH1019562A (ja) 測量装置および測量方法

Legal Events

Date Code Title Description
MM Patent lapsed