NL1006407C2

NL1006407C2 - System for visualizing an environment.

Info

Publication number: NL1006407C2
Application number: NL1006407A
Authority: NL
Inventors: Willem Van Wensveen; Maurice Henk Jan Glandrup; Anne Marie Henriette Va Soelen
Original assignee: Hollandse Signaalapparaten Bv
Priority date: 1997-06-26
Filing date: 1997-06-26
Publication date: 1998-12-29
Also published as: WO1999000982A1; CN1261500A; AU8630498A; KR20010014190A; AU745415B2; EP1016283A1; JP2002511221A; CA2295183A1

Description

Systeem voor het visualiseren van een omgevingSystem for visualizing an environment

De uitvinding heeft betrekking op een systeem voor het visualiseren van een omgeving met behulp van TV camera's en 5 tenminste één beeldscherm. Systemen van dit type zijn bekend. Ze worden bijvoorbeeld gebruikt voor bewakings-doeleinden. Hierbij wordt een beperkt aantal azimuth-richtingen bewaakt met behulp van enkele TV camera's. Beelden afkomstig van deze TV camera's worden gelijktijdig 10 op enkele beeldschermen zichtbaar gemaakt of er is maar één beeldscherm en een keuzeschakelaar waarmee een TV camera kan worden geselecteerd.The invention relates to a system for visualizing an environment using TV cameras and at least one screen. Systems of this type are known. They are used, for example, for surveillance purposes. A limited number of azimuth directions are monitored using a few TV cameras. Images from these TV cameras are simultaneously displayed on a few screens or there is only one screen and a selector switch with which a TV camera can be selected.

Een nadeel van de bekende systemen is dat op deze wijze een 15 totaaloverzicht van het te bewaken gebied niet roogelijk is. Voor een situatie waarbij maar één beeldscherm voorhanden is spreekt dit vanzelf. Als men over meer beeldschermen beschikt blijft de situatie onbevredigend. Zo kan bijvoorbeeld een doel uit het blikveld van een TV camera 20 verdwijnen en niet in het blikveld van een andere TV camera verschijnen.A drawback of the known systems is that in this way a total overview of the area to be monitored is not very reasonable. This goes without saying for a situation where only one screen is available. If one has more screens, the situation remains unsatisfactory. For example, a target may disappear from the field of view of a TV camera 20 and not appear in the field of view of another TV camera.

Het systeem volgens de uitvinding kent dit nadeel niet en heeft als kenmerk, dat is voorzien in een stelsel van TV 25 camera's voor het althans in hoofdzaak gelijktijdig visualiseren van elke azimuthrichting van de omgeving.The system according to the invention does not have this drawback and is characterized in that a system of TV cameras is provided for visualizing each azimuth direction of the environment at least substantially simultaneously.

Een kompakte uitvoeringsvorm van de uitvinding heeft als kenmerk, dat het stelsel van TV camera's in één vlak 30 althans in hoofdzaak in een cirkel is opgesteld.A compact embodiment of the invention is characterized in that the system of TV cameras in one plane 30 is arranged at least substantially in a circle.

Een verdere gunstige uitvoeringsvorm, waarbij het optreden van dode hoeken uitgesloten is heeft als kenmerk, dat elke TV camera van het stelsel van TV camera's een apertuur 35 bezit zodanig dat elke azimuthrichting met behulp van 1006407 2 tenminste één TV camera kan worden waargenomen. Het is hierbij mogelijk om elke TV camera een individueel gekozen apertuur te geven, bijvoorbeeld op basis van een gewenste resolutie in een bepaalde azimuthrichting. Volgens een 5 gunstige uitvoeringsvorm van de uitvinding bezit elke TV camera een identieke apertuur, wat het samenvoegen van subbeelden van naburig opgestelde TV camera's vereenvoudigt.A further favorable embodiment, in which the occurrence of blind spots is excluded, is characterized in that each TV camera of the system of TV cameras has an aperture 35 such that each azimuth direction can be observed using 1006407 2 at least one TV camera. It is hereby possible to give each TV camera an individually chosen aperture, for example based on a desired resolution in a specific azimuth direction. According to a favorable embodiment of the invention, each TV camera has an identical aperture, which simplifies the merging of sub-images of neighboring TV cameras.

10 Het blijkt in de praktijk niet mogelijk de TV camera's zodanig precies uit te lijnen dat de subbeelden van naburig opgestelde TV camera's precies aansluiten. Een verdere gunstige uitvoeringsvorm van de uitvinding heeft daarom als kenmerk, dat de aperturen van naburig opgestelde TV 15 camera's althans in azimuthrichting enigszins overlappen.10 In practice it appears not possible to align the TV cameras so precisely that the sub-images of neighboring TV cameras connect exactly. A further favorable embodiment of the invention is therefore characterized in that the apertures of neighboring TV 15 cameras at least slightly overlap in the azimuth direction.

Een nog verdere gunstige uitvoeringsvorm van de uitvinding heeft als kenmerk, dat het systeem een beeldverwerker omvat voor het samenvoegen van met behulp van het stelsel van TV 20 camera's verkregen subbeelden tot één panoramisch beeld.A still further favorable embodiment of the invention is characterized in that the system comprises an image processor for combining sub-images obtained with the aid of the system of TV cameras into one panoramic image.

Dit is in wezen eenvoudig als men er van uitgaat dat de subbeelden in de beeldverwerker aanwezig zijn in de vorm van matrices van N rijen in elevatierichting en M kolommen im azimuthrichting. Het samenvoegen houdt dan enkel in dat 25 in een uitlijnprocedure eenmalig de onderlinge rijnummers worden bijgesteld, zodat horizontaal verlopende lijnen niet verspringen, en dat de kolomnummers worden doorgenummerd.This is essentially simple assuming that the sub-images in the image processor are in the form of arrays of N rows in elevation direction and M columns in azimuth direction. The merging then only means that in an alignment procedure the row numbers are adjusted once, so that horizontally extending lines do not jump, and that the column numbers are numbered further.

Een mogelijk probleem bij de uitlijning wordt gevormd door 30 de overlap in azimuthrichting. Een nog verdere gunstige uitvoeringsvorm van de uitvinding heeft daarom als kenmerk, dat de beeldverwerker tevens is ingericht voor het uit twee overeenkomstige beeldpunten in overlappende subbeelden bepalen van één nieuw beeldpunt. Dit kan bijvoorbeeld op 35 basis van puntsgewijze lineaire interpolatie gebeuren.A possible problem with the alignment is the overlap in the azimuth direction. A still further favorable embodiment of the invention is therefore characterized in that the image processor is also arranged for determining one new pixel from two corresponding pixels in overlapping sub-images. This can for instance take place on the basis of pointwise linear interpolation.

1006407 31006407 3

Een verdere gunstige uitvoeringsvorm van de uitvinding heeft als kenmerk, dat het beeldscherm is ingericht voor het vertonen van althans een deel van het panoramische beeld, gecentreerd rond een gekozen azimuthrichting. Op 5 deze wijze kan een potentieel doel dat in azimuthrichting van het beeldscherm dreigt te verdwijnen eenvoudig worden gevolgd door een andere azimuthrichting te kiezen. Voor het kiezen van een azimutrichting kan het beeldscherm zijn voorzien van een keuzeorgaan, bijvoorbeeld een draaiknop.A further favorable embodiment of the invention is characterized in that the screen is adapted to display at least a part of the panoramic image, centered around a chosen azimuth direction. In this way, a potential target that threatens to disappear from the display in the azimuth direction can be easily followed by selecting another azimuth direction. For choosing an azimuth direction, the screen can be provided with a selector, for example a rotary knob.

1010

Een zeer gunstige uitvoeringsvorm van de uitvinding heeft als kenmerk, dat het beeldscherm tenminste één helmet-mounted display omvat en dat de gekozen azimuthrichting overeenkomt met een kijkrichting van de drager van het 15 helmet-mounted display. Met een dergelijk display is het mogelijk de omgeving te bekijken vanuit een volledig geblindeerde ruimte. Dit is bijvoorbeeld van belang bij een vaartuig dat is gebouwd om de radar-reflectie te minimaliseren, waardoor een klassieke scheepsbrug of enige 20 andere superstructuur niet langer toelaatbaar is. Volgens de uitvinding wordt een stelsel van TV camera's op het vaartuig geplaatst, wat mogelijk is zonder de radar cross-sectie noemenswaardig te vergroten, en wordt de brug onder de waterlijn geplaatst, waarbij bemanningsleden ongehinderd 25 en onafhankelijk van elkaar de omgeving kunnen observeren met behulp van een helmet-mounted display. Wel dient het helmet-mounted display voorzien te zijn van een opnemer voor het bepalen van de kijkrichting, maar opnemers van dit type zijn in het vakgebied welbekend.A very favorable embodiment of the invention is characterized in that the screen comprises at least one helmet-mounted display and the chosen azimuth direction corresponds to a viewing direction of the wearer of the helmet-mounted display. With such a display it is possible to view the environment from a completely blinded room. This is important, for example, with a vessel built to minimize radar reflectance, so that a classic ship's bridge or any other superstructure is no longer permissible. According to the invention, a system of TV cameras is placed on the vessel, which is possible without significantly increasing the radar cross-section, and the bridge is placed below the waterline, allowing crew members to observe the environment unobstructed and independently using of a helmet-mounted display. The helmet-mounted display must have a sensor for determining the viewing direction, but sensors of this type are well known in the art.

3030

Een verdere, zeer gunstige uitvoeringsvorm van de uitvinding heeft als kenmerk, dat het stelsel van TV camera's een even substelsel en een oneven substelsel omvat, waarbij elk substelsel is ingericht voor het althans 35 in hoofdzaak gelijktijdig visualiseren van elke 1006407 1 4 azimuthrichting van de omgeving en waarbij steeds één TV camera van het even substelsel en één TV camera van het oneven substelsel een identieke uitlijning in azimuthrichting hebben, waardoor een stereoscopisch effect 5 kan worden verkregen.A further, very favorable embodiment of the invention is characterized in that the system of TV cameras comprises an even sub-system and an odd sub-system, each sub-system being arranged for visualizing each azimuth direction of the environment at least substantially simultaneously at least 35 simultaneously. and wherein one TV camera of the even subsystem and one TV camera of the odd subsystem have identical alignment in azimuth direction, whereby a stereoscopic effect can be obtained.

Een nog verdere gunstige uitvoeringsvorm heeft als kenmerk, dat beide substelsels elk een beeldverwerker omvatten voor het samenvoegen van met behulp van een substelsel verkregen 10 subbeelden tot één panoramisch beeld en dat is voorzien in een stereoscopisch beeldscherm voor het stereoscopisch vertonen van althans een deel van de panoramische beelden, gecentreerd rond een gekozen azimuthrichting.A still further favorable embodiment is characterized in that both subsystems each comprise an image processor for combining sub images obtained by means of a subsystem into one panoramic image and that a stereoscopic screen is provided for stereoscopic display of at least a part of the panoramic images centered around a chosen azimuth direction.

15 Een zeer gunstige realisatie van de uitvinding heeft als kenmerk, dat het beeldscherm een helmet-mounted display omvat en dat de gekozen azimuthrichting overeenkomt met een kijkrichting van een drager van het helmet-mounted display.A very favorable realization of the invention is characterized in that the screen comprises a helmet-mounted display and that the chosen azimuth direction corresponds to a viewing direction of a wearer of the helmet-mounted display.

20 Vooral bij toepassing op een vaartuig dient de apertuur van de TV camera's zó groot te worden gekozen dat steeds een gekozen elevatierichting, bijvoorbeeld de horizon, zichtbaar blijft, onafhankelijk van de rol- en stamp-bewegingen van het vaartuig. Een nog verdere uitvoerings-25 vorm van de uitvinding, waarbij deze beperking geen rol speelt, heeft als kenmerk dat het systeem is voorzien van stabilisatiemiddelen voor het steeds horizontaal houden van het vlak waarin het stelsel van TV camera's is opgesteld.Especially when used on a vessel, the aperture of the TV cameras should be chosen so large that a selected elevation direction, for example the horizon, always remains visible, independent of the rolling and stamping movements of the vessel. A still further embodiment of the invention, in which this limitation does not play a role, is characterized in that the system is provided with stabilizing means for keeping the plane in which the system of TV cameras is always horizontal.

30 Een zo gestabiliseerd beeld, waarbij bovendien de apertuur klein kan worden gekozen, is zeer geschikt voor het automatisch opsporen van doelen, omdat de scheepsbewegingen geen invloed meer hebben op de schijnbare positie van een doel. Een nog verdere gunstige uitvoeringsvorm van de 35 uitvinding heeft daarom als kenmerk, dat het systeem is30 An image stabilized in this way, in which the aperture can also be chosen small, is very suitable for the automatic detection of targets, because the ship's movements no longer influence the apparent position of a target. A still further favorable embodiment of the invention is therefore characterized in that the system is

1006407 I1006407 I.

5 voorzien van een op de beeldbewerker aangesloten doelsextractor, voor het initiëren en onderhouden van tracks van potentiële doelen en voor het afgeven van azimuth- en elevatiewaarden van deze potentiële doelen.5 provided with a target extractor connected to the image editor, for initiating and maintaining tracks of potential targets and for delivering azimuth and elevation values of these potential targets.

55

Een in het vakgebied welbekend nadeel van een optronisch systeem is het ontbreken van afstandinformatie voor een doel. Een zeer gunstige uitvoeringsvorm, die aan dit bezwaar althans ten dele tegemoet komt, heeft daarom als 10 kenmerk, dat het systeem is voorzien van twee boven elkaar geplaatste stelsels van TV camera's, elk voorzien van een beeldverwerker voor het genereren van een panoramisch beeld en dat verder is voorzien in twee op de beeldverwerker aangesloten doelsextractoren, voor het initiëren en 15 onderhouden van tracks van potentiële doelen en voor het afgeven van azimuth- en elevatiewaarden van deze potentiële doelen alsmede afstandsinformatie op basis van per potentieel doel bepaalde parallaxverschuiving. Afstandsinformatie is met name belangrijk voor het 20 elimineren van vogels, in die zin dat wordt voorkomen dat hiervoor een track wordt opgebouwd.A disadvantage of a fonctonic system well known in the art is the lack of distance information for a target. A very favorable embodiment, which at least partly meets this drawback, is therefore characterized in that the system is provided with two superimposed systems of TV cameras, each provided with an image processor for generating a panoramic image and that two target extractors connected to the image processor are also provided, for initiating and maintaining tracks of potential targets and for providing azimuth and elevation values of these potential targets as well as distance information based on parallax shift determined for each potential target. Distance information is particularly important for eliminating birds, in that a track is not built up for this.

De uitvinding zal nu nader worden verklaard aan de hand van de volgende figuren, waarbij: 25 Fig. IA in bovenaanzicht schematisch een stelsel van TV camera's volgens de uitvinding weergeeft;The invention will now be explained in more detail with reference to the following figures, in which: Fig. IA schematically shows a system of TV cameras according to the invention in top view;

Fig. 1B in zijaanzicht schematisch een stelsel van TV camera's volgens de uitvinding weergeeft;Fig. 1B schematically shows a system of TV cameras according to the invention in side view;

Fig. 2 een blokschema van een ongestabiliseerd systeem 30 weergeeft;Fig. 2 shows a block diagram of an unstabilized system 30;

Fig. 3 een blokschema van een gestabiliseerd systeem weergeeft.Fig. 3 shows a block diagram of a stabilized system.

1006407 61006407 6

Fig. IA geeft in bovenaanzicht een stelsel van 18 in een cirkel geplaatste TV camera's 1 weer, die elk een apertuur van 24 graden hebben en dus 18 beelden steeds met een overlap van 4 graden afgeven. Elke TV camera 1 is met 5 behulp van een scharnier 2 scharnierend geplaatst op een fundatiering 3 en is bovendien voorzien van een hefboom 4, eindigend in een tweede scharnier 5, dat samenwerkt met een in verticale zin verplaatsbare schijf 6, waarmee de tilt van alle TV camera's 1 gelijktijdig kan worden ingesteld.Fig. IA shows in top view a system of 18 TV cameras 1 placed in a circle, each of which has an aperture of 24 degrees and thus always outputs 18 images with an overlap of 4 degrees. Each TV camera 1 is hinged on a foundation ring 3 by means of a hinge 2 and is furthermore provided with a lever 4, ending in a second hinge 5, which cooperates with a vertically movable disc 6, with which the tilt of all TV cameras 1 can be set simultaneously.

1010

Fig. 1B geeft in zijaanzicht hetzelfde stelsel met dezelfde samenstellende delen aan. Bovendien is zichtbaar een beschermkap 7, die om het stelsel van TV camera's kan worden geplaatst, welke beschermkap 7 steeds ter plaatse 15 van een TV camera transparant is voor de gebruikte golflengte. Voor toepassingen waarbij dit van belang is kan de beschermkap bedekt zijn met een materiaal dat radarstraling absorbeert en kan ook de vorm zodanig zijn gekozen dat de beschermkap moeilijk is waar te nemen voor 20 een radarapparaat. De gebruikte TV camera's 1 zijn geschikt voor zichtbaar licht of voor infraroodstraling. In dat laatste geval zijn ze van een soort die koeling tot vloeibare stikstof temperatuur onnodig maakt, bijvoorbeeld op basis van in het vakgebied welbekende pyro-electrische 25 detectoren of bolometer arrays.Fig. 1B shows in side view the same system with the same constituent parts. Moreover, a protective cover 7 is visible, which can be placed around the system of TV cameras, which protective cover 7 is always transparent at the location of a TV camera for the wavelength used. For applications where this is important, the guard may be covered with a material that absorbs radar radiation and the shape may also be chosen such that the guard is difficult to detect for a radar device. The TV cameras 1 used are suitable for visible light or for infrared radiation. In the latter case, they are of a kind which makes cooling to liquid nitrogen temperature unnecessary, for example on the basis of pyroelectric detectors or bolometer arrays well known in the art.

Fig. 2 geeft een blokschema van een ongestabiliseerd systeem weer, waarbij 18 camera's 1.1,...,1.18 zijn aangesloten op een beeldverwerker 8, die is uitgevoerd als 30 een snelle computer voorzien van DSP's. Beeldverwerker 8 ontvangt elke 20 milliseconden 18 subbeelden in de vorm van beeldmatrixen met rijen en kolommen. Elk subbeeld heeft een horizontale apertuur van 12 graden; de hoofdtaak van beeldverwerker 8 is om uit deze 18 subbeelden elke 20 35 milliseconden één beeld met een horizontale apertuur van 1006407 7 360 graden te maken. Daarnaast is het de taak van beeldverwerker 8 om periodiek, bijvoorbeeld na een onderhoudsbeeld, bijvoorbeeld met behulp van een rond het stelsel van TV camera's geplaatst meetraster, de onderlinge 5 uitlijning van de 18 subbeelden in kaart te brengen. Uitlijnfouten omvatten een mogelijke translatie in horizontale en verticale richting en een mogelijke rotatie. Rotatiefouten kunnen op een op zich bekende wijze per subbeeld worden gecorrigeerd door de bij het subbeeld 10 behorende beeldmatrix te roteren, zodanig dat horizontaal verlopende lijnen in het meetraster ook horizontaal worden waargenomen. Translaties in verticale richting zijn eenvoudig te corrigeren door per subbeeld de rijnummers van een beeldmatrix iets aan te passen. Hiermee gaan weliswaar 15 enige beeldlijnen aan de bovenzijde of de onderzijde van een subbeeld verloren, maar dit geldt als acceptabel. Translaties in horizontale zin verstoren de continuïteit in het verkregen totaalbeeld en moeten daarom worden gecorrigeerd. Dit is eenvoudig mogelijk omdat de subbeelden 20 in azimuthrichting enige overlap hebben. Dit betekent dat voor twee naburige subbeelden een aantal kolommen overeenkomen, iets wat door beeldverwerker 8 met behulp van het meetraster eenvoudig in kaart kan worden gebracht. Het feitelijke aaneenvoegen van de subbeelden komt dan neer op 25 het per subbeeld over een vaste hoek draaien van dit subbeeld, het per subbeeld aanpassen van de rijnummers en tenslotte het voor de overeenkomstige kolommen selecteren of interpoleren. Hierbij is interpolatie iets in het voordeel omdat dit de signaal-ruisverhouding enigszins 30 verbetert. De feitelijke horizontale aaneenvoeging van de subbeelden is dan eenvoudig het hernummeren van de kolommen. Als bijvoorbeeld een subbeeld 1024 pixels in azimuth heeft, dan blijven daar na samenvoeging, afhankelijk van de correctie, bijvoorbeeld 820 pixels van 35 over, genummerd 1,2,..820. Het eerste pixel van het 1006407 δ aansluitende beeld krijgt dan nummer 821, met andere woorden, alle kolomnummers worden hier met 820 opgehoogd.Fig. 2 shows a block diagram of an unstabilized system, in which 18 cameras 1.1, ..., 1.18 are connected to an image processor 8, which is designed as a fast computer equipped with DSPs. Image processor 8 receives 18 subimages every 20 milliseconds in the form of image matrices with rows and columns. Each sub-picture has a horizontal aperture of 12 degrees; the main task of image processor 8 is to make one image with a horizontal aperture of 1006407 7 360 degrees from these 18 sub-images every 20 35 milliseconds. In addition, it is the task of image processor 8 to periodically, for example after a maintenance image, for example with the aid of a measuring grid placed around the system of TV cameras, to map the mutual alignment of the 18 sub-images. Alignment errors include possible translation in horizontal and vertical directions and possible rotation. Rotational errors can be corrected per sub-picture in a manner known per se by rotating the image matrix associated with sub-picture 10, such that horizontally extending lines in the measuring grid are also observed horizontally. Vertical translations can be easily corrected by slightly adjusting the row numbers of an image matrix for each sub-image. With this, some image lines on the top or bottom of a sub-picture are lost, but this is considered acceptable. Horizontal translations disturb continuity in the overall picture obtained and therefore need to be corrected. This is easily possible because the sub-images 20 have some overlap in the azimuth direction. This means that a number of columns correspond for two neighboring sub-images, something which can be easily mapped by image processor 8 using the measuring grid. The actual joining of the sub-pictures then boils down to rotating this sub-picture at a fixed angle per sub-picture, adjusting the row numbers per sub-picture and finally selecting or interpolating for the corresponding columns. Interpolation is slightly advantageous here because it slightly improves the signal-to-noise ratio. The actual horizontal concatenation of the subimages is then simply renumbering the columns. For example, if a sub-picture has 1024 pixels in azimuth, then after merging, depending on the correction, there would remain, for example, 820 pixels of 35, numbered 1,2, .. 820. The first pixel of the 1006407 δ contiguous image will then be numbered 821, in other words, all column numbers will be increased by 820 here.

Na de initiële uitlijning is bekend hoeveel kolommen er in 5 het samengevoegde beeld zitten. Bij een op bijvoorbeeld een vaartuig geplaatst systeem is dan ook bekend welke azimuth-richting overeenkomt met welk kolomnummer. Wil men in een bepaalde richting kijken, dan kunnen bijvoorbeeld 1024 kolommen, gecentreerd rond de gewenste kijkrichting naar 10 een tussengeheugen 9 worden geschreven en op een verder welbekende wijze zichtbaar worden gemaakt op een beeldscherm 10. Voor het selecteren van de kijkrichting is op de beeldverwerker 8 een keuzeorgaan 11 aangesloten, bijvoorbeeld een draaiknop. Ook kan men beeldscherm 10 15 uitvoeren als een helmet-mounted display en het keuzeorgaan als een in het vakgebied welbekende helmet-mounted angle sensor. Een dergelijk systeem geeft de illusie dat men dwars door bijvoorbeeld een scheepswand of een tankwand heenkijkt, wat het mogelijk maakt bijvoorbeeld de 20 scheepsbrug met zijn grote radar cross-sectie te elimineren. Bovendien kan in een zo verkregen beeld eenvoudig andere informatie worden bijgemengd, zoals radarinformatie, wat de besluitvorming betreffende bijvoorbeeld het inzetten van een wapen aanzienlijk kan 25 verbeteren.After the initial alignment, it is known how many columns there are in the merged image. In a system placed on, for example, a vessel, it is therefore known which azimuth direction corresponds to which column number. If one wishes to look in a particular direction, then for example 1024 columns, centered around the desired viewing direction, can be written to an intermediate memory 9 and made visible in a further well-known manner on a screen 10. For selecting the viewing direction, the image processor 8 a selector 11 is connected, for example a rotary knob. Screen 10 can also be designed as a helmet-mounted display and the selector as a helmet-mounted angle sensor well known in the art. Such a system gives the illusion of looking straight through, for example, a ship's wall or a tank wall, which makes it possible, for example, to eliminate the ship's bridge with its large radar cross section. Moreover, in an image thus obtained, other information can easily be mixed in, such as radar information, which can considerably improve the decision-making regarding, for example, the deployment of a weapon.

Het is ook mogelijk de in Fig. 1 getoonde 18 TV camera's te vervangen door 18 paren van TV camera's, waarbij elk paar een stereobeeld genereert. Beelden van de linker TV 30 camera's van alle paren kunnen weer met behulp van een beeldverwerker worden samengevoegd tot één panoramisch beeld en beelden van de rechter TV camera's evenzo. Dit levert twee panoramische beelden op, waaruit een richting kan worden gekozen en het beeld in die richting panoramisch 35 kan worden weergegeven op een op zich bekende wijze, 100 640 7 9 bijvoorbeeld roet een helmet-mounted display. Als de richting wordt bepaald door de kijkrichting van de drager van het helmet-mounted display levert dit een zeer spectaculair en bruikbaar systeem voor het besturen van een 5 voertuig of vaartuig zonder dat het feitelijk fysiek mogelijk is de omgeving waar te nemen.It is also possible to use the ones shown in FIG. 1 shown to replace 18 TV cameras by 18 pairs of TV cameras, each pair generating a stereo image. Images from the left TV 30 cameras of all pairs can again be combined with one image processor into one panoramic image and images from the right TV cameras likewise. This yields two panoramic images, from which a direction can be selected and the image in that direction can be displayed in a panoramic manner known per se, for example a helmet-mounted display. If the direction is determined by the viewing direction of the helmet-mounted display wearer, this provides a very spectacular and useful system for driving a vehicle or vessel without actually being physically able to perceive the surroundings.

Fig. 3 geeft een blokschema van een gestabiliseerd systeem weer, waarbij de 18 camera's 1.1,...,1.18 zijn geplaatst op 10 een in het vakgebied welbekend gestabiliseerd platform, zodat scheepsbewegingen met uitzondering van de ships heading geen invloed meer hebben op het systeem. De 18 camera's 1.1,...,1.18 zijn weer aangesloten op een beeldverwerker 8 die bijvoorbeeld elke 20 milliseconden uit 15 de 18 subbeelden één beeld met een horizontale apertuur van 360 graden maakt, één en ander overeenkomstig het bij Fig.Fig. 3 shows a block diagram of a stabilized system, the 18 cameras 1.1, ..., 1.18 being placed on a stabilized platform well known in the art, so that ship movements with the exception of the ships heading no longer affect the system. The 18 cameras 1.1, ..., 1.18 are again connected to an image processor 8 which, for example, makes one image with a horizontal aperture of 360 degrees from the 18 sub-images every 20 milliseconds, in accordance with the procedure shown in FIG.

2 beschreven systeem. In een gestabiliseerd systeem zal een doel steeds, dus bijvoorbeeld elke 20 milliseconden, op vrijwel dezelfde plaats in beeld komen. Van bijzonder 20 belang is een aan de horizon opdoemend puntdoel, zoals een missile of een klein, snel vaartuigje. Voor het detecteren van een puntdoel is daarom op beeldverwerker 8 een puntdoelextractor 12 aangesloten, die per pixel de intensiteit van dat pixel vergelijkt met de intensiteit van 25 naburige pixels en op basis daarvan besluit of er een puntdoel wordt waargenomen. Puntdoelextractor 12 geeft gedetecteerde puntdoelen door aan een tracker 13 maar zal dit pas doen als een puntdoel in een aantal opeenvolgend gegenereerde beelden is waargenomen. Daarnaast kan 30 puntdoelextractor 12 nog verdere in het vakgebied bekende middelen bevatten om de vals alarm kans terug te dringen, bijvoorbeeld edge detectors, die randen van bijvoorbeeld man made structures of van wolken detecteren en voorkomen dat in die gebieden puntdoelen worden gedetecteerd. Tracker 35 13 start voor elke ontvangen detectie een tentative track, 1006407 1 10 welk tentative track na een zeker aantal detecties overgaat in een confirmed track en vervolgens zichtbaar wordt gemaakt op een beeldscherm 10.2 described system. In a stabilized system, a target will always appear in almost the same place, for example every 20 milliseconds. Of particular interest is a point target looming on the horizon, such as a missile or a small fast craft. For detecting a point target, therefore, a point target extractor 12 is connected to image processor 8, which compares the intensity of that pixel per pixel with the intensity of neighboring pixels and on this basis decides whether a point target is observed. Point target extractor 12 passes detected point targets to a tracker 13 but will not do so until a point target has been detected in a number of sequentially generated images. In addition, point target extractor 12 may contain still further means known in the art to reduce false alarm probabilities, for example edge detectors, which detect edges of, for example, man-made structures or clouds and prevent point targets from being detected in those areas. Tracker 35 13 starts a tentative track for each received detection, 1006407 1 10, which tentative track changes into a confirmed track after a certain number of detections and is then displayed on a screen 10.

5 Naast detecties ontvangt puntdoelextractor 12 nog de ships heading 14, waarmee eenvoudig, op basis van gewijzigde kolomnummers, een koersverandering van het schip wordt gecorrigeerd, één en ander zodanig dat een doel in het beeld schijnbaar niet beweegt tengevolge van de 10 koersverandering.In addition to detections, point target extractor 12 also receives the ships heading 14, with which, based on changed column numbers, a course change of the ship is simply corrected, such that a target in the image apparently does not move due to the course change.

Vogels in de nabijheid van het systeem hebben alle features van een puntdoel en zullen onvermijdelijk tracks genereren. Om vogels als zodanig te herkennen kan met voordeel een 15 tweede systeem worden toegevoegd aan het reeds aanwezige systeem, welk tweede systeem boven of onder het aanwezige systeem wordt geplaatst. De door beide systemen afgegeven tracks worden naar één beeldscherm 10 gevoerd en in verschillende kleuren weergegeven. Voor een vogel in de 20 nabijheid van de systemen is er sprake van een significant parallaxverschil en zullen de sporen parallel maar niet overlappend verlopen. Voor een puntdoel aan de horizon is er geen waarneembaar parallaxverschil; zo'n doel wordt als één spoor met een afwijkende mengkleur weergegeven.Birds in the vicinity of the system have all the features of a point target and will inevitably generate tracks. In order to recognize birds as such, a second system can advantageously be added to the existing system, which second system is placed above or below the present system. The tracks output by both systems are fed to one screen 10 and displayed in different colors. For a bird in the vicinity of the systems there is a significant parallax difference and the tracks will run parallel but not overlapping. For a point target on the horizon, there is no discernible parallax difference; such a target is represented as one track with a different mixing color.

2525

Het parallaxverschil kan natuurlijk ook met een geschikt computerprogramma worden waargenomen. Op die wijze kan worden voorkomen dat tracks afkomstig van vogels het beeldscherm bereiken.The parallax difference can of course also be observed with a suitable computer program. In this way it can be prevented that tracks from birds reach the screen.

10064071006407

Claims

1. System for visualizing an environment using TV cameras and at least one screen, characterized in that the system comprises a system of TV cameras for visualizing at least substantially simultaneously each azimuth direction of the environment.

2. System according to claim 1, characterized in that the system of TV cameras is arranged in one plane at least substantially in a circle.

System according to claim 2, characterized in that each TV camera of the system of TV cameras has an aperture 15 such that each azimuth direction can be observed with at least one TV camera.

System according to claim 3, characterized in that each TV camera has an at least substantially identical aperture.

System according to claim 3 or 4, characterized in that the apertures of neighboring TV cameras overlap at least slightly in the azimuth direction. 25

System according to claim 5, characterized in that the system comprises an image processor for combining sub-images obtained with the aid of the system of TV cameras into one panoramic image. 30

System according to claim 6, characterized in that the image processor is also arranged for determining one new pixel from two corresponding pixels in overlapping sub-images. 35 1006407

System according to claim 6 or 7, characterized in that the screen is arranged to display at least a part of the panoramic image, centered around a chosen azimuth direction. 5

System according to claim 8, characterized in that the screen is provided with a selector for selecting an azimuth device.

System according to claim 8, characterized in that the screen comprises at least a helmet-mounted display and that the chosen azimuth direction corresponds to a viewing direction of a wearer of the helmet-mounted display.

System according to claim 4, characterized in that the system of TV cameras comprises an even sub-system and an odd sub-system, each sub-system being arranged for visualizing each azimuth direction of the environment at least substantially simultaneously and in each case one TV 20 even subsystem camera and one odd subsystem camera have identical azimuth alignment.

12. System according to claim 11, characterized in that both subsystems each comprise an image processor for merging sub-images obtained with the aid of a sub-system of TV cameras into one panoramic image.

13. System according to claim 12, characterized in that a stereoscopic display is provided for stereoscopic display of at least a part of the panoramic images, centered around a chosen azimuth direction. 100 64 0 7

System according to claim 13, characterized in that the display comprises a helmet-mounted display and that the chosen azimuth direction corresponds to a viewing direction of a wearer of the helmet-mounted display. 5

System according to claim 6 or 7, characterized in that the system is provided with stabilizing means for always keeping the plane in which the system of TV cameras is arranged horizontal. 10

System according to claim 16, characterized in that the system is provided with a target extractor connected to the image processor, for initiating and maintaining tracks of potential targets and for delivering azimuth and elevation values of these potential targets.

System according to claim 16, characterized in that the system is provided with two superimposed sets of TV cameras, each provided with an image processor for generating a panoramic image and further comprising two connected to the image processor target extractors, for initiating and maintaining tracks of potential targets and for providing azimuth and elevation values of these potential targets as well as distance information based on parallax shift determined for each potential target. 1006407 1