BE1018413A3

BE1018413A3 - METHOD AND APPARATUS FOR DETERMINING IMAGE QUALITY.

Info

Publication number: BE1018413A3
Application number: BE2010/0046A
Authority: BE
Inventors: Wouter Favoreel
Original assignee: Traficon Nv
Priority date: 2010-01-28
Filing date: 2010-01-28
Publication date: 2010-11-09

Abstract

Deze uitvinding betreft enerzijds een toestel voor automatische bepalingvan de beeldkwaliteit, omvattende beeldregistratie middelen (S1) voorzien voor het opvangen van signalen en een verwerkingseenheid (S3) voor verwerking van signalen opgevangen door genoemde beeldregistratie middelen (S1). Anderzijds betreft deze uitvinding een werkwijze voor automatische bepaling van de beeldkwaliteit met behulp van dergelijk toestel.This invention relates on the one hand to a device for automatically determining the image quality, comprising image recording means (S1) provided for receiving signals and a processing unit (S3) for processing signals received by said image recording means (S1). On the other hand, this invention relates to a method for automatically determining the image quality with the aid of such a device.

Description

METHODE EN TOESTEL VOOR HET BEPALEN VANBEELDKWALITEITMETHOD AND APPARATUS FOR DETERMINING IMAGE QUALITY

Deze uitvinding betreft enerzijds een toestel voor automatische bepaling van debeeldkwaliteit, omvattende beeldregistratie middelen voorzien voor het opvangenvan signalen en een verwerkingseenheid voor verwerking van signalen opgevangendoor genoemde beeldregistratie middelen. Anderzijds betreft deze uitvinding eenwerkwijze voor automatische bepaling van de beeldkwaliteit met behulp vandergelijk toestel.This invention relates on the one hand to an apparatus for automatically determining the image quality, comprising image recording means provided for receiving signals and a processing unit for processing signals received by said image recording means. On the other hand, this invention relates to a method for automatically determining the image quality with the aid of such a device.

Deze uitvinding betreft in het bijzonder een werkwijze en toestel voor deautomatische bepaling van de kwaliteit van een camera beeld met het oog op videodetectie toepassingen.This invention relates in particular to a method and apparatus for the automatic determination of the quality of a camera image for the purpose of video detection applications.

Video detectie is een techniek waarbij camera beelden door een computer eenheidautomatisch verwerkt worden met als doel om bepaalde informatie uit deze beeldente kunnen halen. Er bestaan vele toepassingsdomeinen waaronder camera bewaking,automatische incident detectie (AID) in verkeerstoepassingen, industriële inspectie,enz.Video detection is a technique in which camera images are automatically processed by a computer with the aim of being able to extract certain information from these images. There are many application domains including camera surveillance, automatic incident detection (AID) in traffic applications, industrial inspection, etc.

Belangrijk bij video detectie is dat de kwaliteit van het beeld goed genoeg is. Anderskunnen de resultaten gegenereerd door de video detectie niet als betrouwbaarbeschouwd worden. Vooral bij buitensituaties, waar de licht- enweersomstandigheden niet gecontroleerd zijn, is het belangrijk dat de kwaliteit vanhet beeld voldoende is. Sneeuw, regen, dag / nacht cycli, mist, enz kunnen ertoebijdragen dat de zichtbaarheid, en dus ook de beeldkwaliteit, drastisch naar benedengaan. Belangrijk hierbij is dat indien het beeld niet meer goed genoeg is om eenbetrouwbare video detectie te kunnen garanderen dit ook effectief gemeld wordt. Zokan een operator de gepaste acties ondernemen om het onbetrouwbare systeem teomzeilen.With video detection it is important that the quality of the image is good enough. Otherwise, the results generated by the video detection cannot be considered reliable. Especially in outdoor situations, where the light and weather conditions are not controlled, it is important that the quality of the image is sufficient. Snow, rain, day / night cycles, fog, etc. can contribute to drastically reducing visibility, and therefore also image quality. It is important that if the image is no longer good enough to guarantee reliable video detection, this will also be reported effectively. Zokan an operator take the appropriate actions to bypass the unreliable system.

Onderhavige uitvinding heeft tot doel een methode en een toestel te verschaffenwaarmee op een automatische manier de kwaliteit van een beeld kan gemetenworden en zo de geschiktheid voor gebruik bij video detectie te bepalen.The present invention has for its object to provide a method and an apparatus with which the quality of an image can be measured in an automatic manner and thus determine the suitability for use in video detection.

Het doel van de uitvinding wordt bereikt door te voorzien in een toestel voorautomatische bepaling van de beeldkwaliteit, omvattende beeldregistratie middelenvoorzien voor het opvangen van signalen en een verwerkingseenheid voorverwerking van signalen opgevangen door genoemde beeldregistratie middelen,waarbij de verwerkingseenheid voorzien is voor het genereren van een setindicatoren die een maat zijn voor de kwaliteit van het beeld.The object of the invention is achieved by providing a device for automatic determination of image quality, comprising image recording means provided for receiving signals and a processing unit for processing signals received by said image recording means, the processing unit being provided for generating a set of indicators that are a measure of the quality of the image.

In een voorkeurdragende uitvoering van het toestel volgens de uitvinding omvattende beeldregistratie middelen één of meerdere videosensoren. Deze beeldregistratiemiddelen, in het bijzonder de één of meerdere videosensoren, kunnen ofwel in hettoestel geïntegreerd zijn ofwel bestaan uit afzonderlijk beeldregistratie middelen,zoals bijv. een videocamera, die in verbinding (al dan niet draadloos) staan met hettoestel.In a preferred embodiment of the device according to the invention, image recording means comprise one or more video sensors. These image recording means, in particular the one or more video sensors, can either be integrated in the device or consist of separate image recording means, such as e.g. a video camera, which are connected (wirelessly or otherwise) to the device.

Volgens een meer voorkeurdragende uitvoering van het toestel overeenkomstig deuitvinding is de beeldkwaliteit bepaald door de verwerkingseenheid, bepalend voorde geschiktheid van het beeld voor video detectie volgens een alarmcriterium.According to a more preferred embodiment of the device according to the invention, the image quality is determined by the processing unit, determining the suitability of the image for video detection according to an alarm criterion.

In een bijzondere uitvoeringsvorm van het toestel volgens de uitvinding omvat hettoestel middelen om een alarm te genereren indien de beeldkwaliteit onder eeninstelbare drempel zakt. Meer in het bijzonder zijn de genoemde alarmmiddelenvoorzien om een alarmsignaal te sturen naar de gebruiker van het toestel.In a special embodiment of the device according to the invention, the device comprises means for generating an alarm if the image quality falls below an adjustable threshold. More in particular, said alarm means are provided to send an alarm signal to the user of the device.

Een ander onderwerp van deze uitvinding betreft een werkwijze voor automatischebepaling van de beeldkwaliteit door middel van beeldregistratie middelen voorzienvoor het opvangen van signalen en een verwerkingseenheid voor verwerking vansignalen opgevangen door genoemde beeldregistratie middelen, waarbij de beeldkwaliteit bepaald wordt door het beeld op te splitsen in een aantal blokken, enwaarbij de kwaliteit van het beeld van elk blok berekend wordt uit het contrast en decorrelatie van het blokAnother subject of this invention relates to a method for automatically determining image quality by means of image recording means provided for receiving signals and a processing unit for processing signals received by said image recording means, wherein the image quality is determined by dividing the image into a number of blocks, where the quality of the image of each block is calculated from the contrast and decor relationship of the block

Het beeld dat gebruikt wordt door de verwerkingseenheid moet digitaal zijn. Indiennodig moeten de beelden dus eerst gedigitaliseerd worden. Dit is bijvoorbeeld hetgeval bij het gebruik van een analoge camera als videosensor.The image used by the processing unit must be digital. If necessary, the images must therefore be digitized first. This is, for example, the case when using an analog camera as a video sensor.

In de verwerkingseenheid wordt vervolgens de beeldkwaliteit van de beeldenbepaald. Dit gebeurt door gebruik te maken van digitale beeldverwerkingsmethodes.Het resultaat hiervan is een set van indices (indicatoren) die een maat zijn voor dekwaliteit van het beeld. Deze indices worden vervolgens gebruikt in een alarmcriterium voor de beeldkwaliteit. Indien de indices aan bepaalde instelbarevoorwaarden voldoen wordt een beeldkwaliteitsalarm naar de gebruikers van hetsysteem gestuurd.The image quality of the images is then determined in the processing unit. This is done by using digital image processing methods. The result is a set of indices (indicators) that are a measure of the quality of the image. These indices are then used in an image quality alarm criterion. If the indices meet certain adjustable conditions, an image quality alarm is sent to the users of the system.

De gebruiker kan zowel een menselijke operator zijn maar kan eveneens een anderebeeldverwerkingseenheid zijn: een menselijke operator kan in het geval van een beeldkwaliteitsalarm bepaaldeacties ondernemen. Bij tunnelbewaking kan de tunnel bijvoorbeeld geslotenworden of kunnen bestuurders dmv tekstborden gewaarschuwd worden;een andere beeldverwerkingseenheid kan in het geval van eenbeeldkwaliteitsalarm eveneens bepaald acties ondernemen. Een typischvoorbeeld is de toepassing waarbij deze andere beeldverwerkingseenheid deaanwezigheid van voertuigen aan verkeerslichten moet detecteren. Bij eenbeeldkwaliteitsalarm wordt verondersteld dat deze beeldverwerkingseenheid nietmeer voldoende goed werkt. In dat geval kan deze besluiten dat er altijd eenvoertuig aanwezig is om zeker te zijn dat geen enkel voertuig gemist wordt.The user can be either a human operator but can also be another image processing unit: a human operator can take certain actions in the case of an image quality alarm. In tunnel monitoring, for example, the tunnel can be closed or drivers can be warned by means of text signs, while another image processing unit can also take specific actions in the case of an image quality alarm. A typical example is the application in which this other image processing unit is to detect the presence of vehicles at traffic lights. With an image quality alarm it is assumed that this image processing unit no longer works sufficiently well. In that case, it may decide that a vehicle is always present to ensure that no vehicle is missed.

Om de eigenschappen van deze uitvinding verder te verduidelijken en ombijkomende voordelen en bijzonderheden ervan aan te duiden volgt nu een meer gedetailleerde beschrijving van het toestel en werkwijze overeenkomstig dezeuitvinding. Het weze duidelijk dat niets in de hierna volgende beschrijving kangeïnterpreteerd worden als een beperking van de in de conclusies opgeëistebescherming voor deze uitvinding.In order to further clarify the features of this invention and to indicate additional advantages and details thereof, a more detailed description of the device and method according to the present invention now follows. It is to be understood that nothing in the following description can be interpreted as a limitation of the protection claimed in the claims for this invention.

In deze beschrijving wordt door middel van referentiecijfers verwezen naar de hierbijgevoegde tekeningen waarbij: figuur 1: illustreert in een blokschema de werkwijze volgens de uitvinding;figuur 2: illustreert in een blokschema de werking van het beeldkwaliteitalgoritme; figuur 3: de opsplitsing van het beeld toont in een aantal kleinere blokken.In this description reference is made to the accompanying drawings by reference numerals, in which: figure 1: illustrates in a block diagram the method according to the invention; figure 2: illustrates in a block diagram the operation of the image quality algorithm; figure 3: shows the division of the image into a number of smaller blocks.

De uitvinding wordt geïmplementeerd op een rekeneenheid die als ingang de beeldenvan de videosensor(en) bevat en als uitgang een communicatie kanaal naar degebruiker. Dit communicatie kanaal kan gebeuren door middel van het sluiten vaneen contact of via elk ander communicatiemedium.The invention is implemented on a computer unit which contains the images of the video sensor (s) as input and a communication channel to the user as output. This communication channel can be done by closing a contact or via any other communication medium.

Figuur 2 schets de werking van de beeldverwerkingseenheid. Dezebeeldverwerkingseenheid maakt voor het bepalen van de beeldkwaliteit gebruik vangedigitaliseerde videobeelden. Van het beeld wordt eerst de achtergrond berekend.Hiervoor wordt gebruik gemaakt van standaard beeldanalyse technieken (TODOreferenties). Het resultaat is een nieuw beeld dat eruit ziet als het oorspronkelijkebeeld maar waaruit de voertuigen en andere bewegende objecten verwijderd zijn.Door de dag nacht cycli en wijzigende weersomstandigheden verandert hetachtergrond beeld echter voortdurend. Het achtergrond beeld wordt dus ook constantaangepast aan de gewijzigde situatie.Figure 2 outlines the operation of the image processing unit. This image processing unit uses digitized video images to determine the image quality. The background of the image is first calculated. For this purpose, standard image analysis techniques (TOD References) are used. The result is a new image that looks like the original image but from which the vehicles and other moving objects are removed. However, the background image changes constantly during day-night cycles and changing weather conditions. The background image is therefore constantly adjusted to the changed situation.

Vervolgens worden van dit achtergrond beeld verschillende kopijen vanverschillende tijdstippen opgeslaan in het geheugen van de beeldverwerkingseenheid.Deze tijdstippen moeten minstens gespreid zijn over een volledige dag d.w.z. 24u.Subsequently, different copies of different times of this background image are stored in the memory of the image processing unit. These times must at least be spread over a full day, i.e. 24 hours.

Bijvoorbeeld gedurende 24u wordt elk uur het achtergrondbeeld van dat uuropgeslaan. Uiteraard kan de opslag frequentie ook hoger of lager. De opslag periodehoeft ook niet noodzakelijk constant te zijn. Zo kan bij de overgang van dag naarnacht en omgekeerd de opslag frequentie hoger zijn door de snel veranderdeachtergrond. Om het geheugen van de beeldverwerkingseenheid te sparen kan heteen optie zijn om de achtergrond beelden aan een verminderde resolutie op te slaan.De volgende stap in het berekenen van de beeldkwaliteit is het bepalen van edgebeelden. Een edge beeld wordt berekend uit het gewone grijswaarden beeld en is eenvoorstelling van hoe sterk de grijswaarden in het beeld veranderen. Rond duidelijklijnen en contouren van voorwerpen zal een edgebeeld dus duidelijk zichtbaar zijnterwijl het op egale oppervlakken donker is. Het voordeel van een edge beeld isdaarom dat het onafhankelijker is van licht- en weersomstandigheden dan hetoriginele grijswaarden beeld. Deze eigenschap is interessant bij de bepaling van debeeldkwaliteit in de volgende stap van de methode. Hierbij wordt het edge beeld vanhet huidige beeld vergeleken met het edge beeld van achtergrond beeld van dattijdstip. De techniek die hiervoor gebruikt wordt bestaat erin om beide edge beeldenin een aantal delen op te splitsen. Een voorbeeld kan zijn om het beeld op te delen ineen raster van n x m en zo n x m gelijke rechthoekige blokken te verkrijgen (zie Fig.3). Voor elk van deze blokken wordt vervolgens een aantal waarden berekend: - De correlatie Cor tussen het edge beeld en het achtergrond edge beeld. Dezecorrelatie wordt berekend als de genormaliseerde som van de absolutewaarden van de verschillen tussen beide edge beelden. De correlatie is eenwaarde die tussen 0 en 1 ligt.For example, for 24 hours, the background image of that hour is saved every hour. The storage frequency can of course also be higher or lower. The storage period does not necessarily have to be constant either. For example, during the transition from day to night and vice versa, the storage frequency may be higher due to the rapidly changed background. To save the memory of the image processing unit, it may be an option to save the background images at a reduced resolution. The next step in calculating the image quality is to determine edge images. An edge image is calculated from the normal grayscale image and is a representation of how strongly the gray values in the image change. An edge image will therefore be clearly visible around clear lines and contours of objects, while it is dark on even surfaces. The advantage of an edge image is therefore that it is more independent of light and weather conditions than the original gray scale image. This property is interesting in determining the image quality in the next step of the method. Hereby the edge image of the current image is compared with the edge image of background image of that time. The technique used for this is to split both edge images into a number of parts. An example can be to divide the image into a grid of n x m and obtain n x m equal rectangular blocks (see Fig. 3). A number of values are then calculated for each of these blocks: - The correlation Cor between the edge image and the background edge image. This correlation is calculated as the normalized sum of the absolute values of the differences between both edge images. The correlation is a value that is between 0 and 1.

- Het constrast Con van het edge beeld en het contrast in het achtergrond edgebeeld. Dit contrast wordt berekend als de genormaliseerde som van de edgewaarden. Het contrast ligt eveneens tussen 0 en 1.- The contrast of the edge image and the contrast in the background edge image. This contrast is calculated as the normalized sum of the ed values. The contrast is also between 0 and 1.

Voor elk blok wordt tenslotte een waarde berekend uit het contrast en de correlatiedie representatief is voor de kwaliteit K van dit blok. De kwaliteit Ki van blok i iseen waarde tussen 0 en 1.Finally, for each block, a value is calculated from the contrast and the correlation that is representative of the quality K of this block. The quality Ki of block i is a value between 0 and 1.

Het alarmcriterium neemt uiteindelijk de beslissing of de beeldkwaliteit onvoldoendeis en er dus een alarm moet gegenereerd worden. Dit alarmcriterium is afhankelijkvan de alarmtoestand van elk individueel blok. Indien de kwaliteit Ki van blok ionder een instelbare drempel Ai gaat is dit blok in de alarmtoestand. Aan hetalarmcriterium voor de volledige beeldkwaliteit is voldaan indien het aantal blokkendat zich in de alarmtoestand bevindt groter is dan X% van alle blokken.The alarm criterion ultimately decides whether the image quality is insufficient and therefore an alarm must be generated. This alarm criterion depends on the alarm condition of each individual block. If the quality Ki of the block goes beyond an adjustable threshold Ai, this block is in the alarm condition. The full image quality alarm criterion is met if the number of blocks that are in the alarm condition is greater than X% of all blocks.

Claims

Apparatus for automatically determining the image quality, comprising image recording means (S1) provided for receiving signals and a processing unit (S3) for processing signals received by said image recording means (S1), characterized in that the processing unit (S3) is provided for generating a set of indicators that are a measure of the quality of the image.

Device according to claim 1, characterized in that the image recording means comprise one or more video sensors.

Device according to claim 1 or 2, characterized in that the image quality determined by the processing unit determines the suitability of the image for video detection according to an alarm criterion (S4).

Device according to one of the preceding claims, characterized in that the device comprises means for generating an alarm (S5) if the image quality falls below an adjustable threshold (S4).

Device according to claim 4, characterized in that said alarm means are provided for sending an alarm signal to the user of the device.

6. Method for automatically determining the image quality by means of image recording means (S1) provided for receiving signals and a processing unit (S3) for processing signals received by said image recording means (S1), characterized in that the image quality is determined by the image on to split into a number of blocks, and wherein the quality of the image of each block is calculated from the contrast and the correlation of the block.