EP1366619A1 - Device for the extraction of freely-definable image segments from an image sensor - Google Patents

Device for the extraction of freely-definable image segments from an image sensor

Info

Publication number
EP1366619A1
EP1366619A1 EP02701140A EP02701140A EP1366619A1 EP 1366619 A1 EP1366619 A1 EP 1366619A1 EP 02701140 A EP02701140 A EP 02701140A EP 02701140 A EP02701140 A EP 02701140A EP 1366619 A1 EP1366619 A1 EP 1366619A1
Authority
EP
European Patent Office
Prior art keywords
image
electronic device
reading unit
named
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02701140A
Other languages
German (de)
French (fr)
Inventor
Nikolaus Schibli
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fastcom Tech SA
Original Assignee
Fastcom Tech SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fastcom Tech SA filed Critical Fastcom Tech SA
Publication of EP1366619A1 publication Critical patent/EP1366619A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Definitions

  • the present invention relates to an electronic device, in particular an intelligent numerical camera, with which freely definable image sections can be extracted from an image sensor.
  • Such a system consists of an image sensor which is provided with optics.
  • This image sensor is able to take pictures and store them in a digital memory.
  • the pixel signals generated by the image sensor are converted into digital image data using an analog-digital converter.
  • the image sensor (for example in CDD, CMOS or CID technology) has to be controlled with special signals in order to extract the pixel values.
  • a processor is often available, which can process the digital image data with algorithms and programs.
  • the result of the image data processing is transmitted to an external computing unit via a communication interface (for example to a control system, an actuator, etc.).
  • a communication interface for example to a control system, an actuator, etc.
  • Such camera systems that are equipped with a processor that can process image data are referred to as intelligent cameras.
  • Smart cameras are often used as smart sensors in a closed loop.
  • the result of the image data processing must be able to be delivered to a process computer in the shortest possible cycle time, which can influence the filmed system.
  • Another object of the invention is to provide a new electronic device with which the compromise between resolution and speed can be changed by the user at any time.
  • the new electronic device provides only the necessary image data (instead of all image data from the image sensor) as quickly as possible at any time.
  • Special predefined image shapes e.g. rectangles, circles, lines, patterns, etc.
  • the image data can be read and processed much faster without having to accept a reduction in the image quality for the selected image part.
  • an electronic device which comprises the following components: an image reading unit which is equipped with one or more image sensors, at least one image sensor allowing individual pixel accesses, the named image reading unit being designed such that it Can receive and execute image acquisition commands, the in at least one named image acquisition command
  • Shape of the image section which must be extracted is defined, and that the named image reading unit only the pixels of the named image sensor, which of those defined in the named image acquisition command
  • Form corresponds to reads and provides.
  • An external electronic device which requires image data can thus determine the shape and size of the recorded image section itself with corresponding image acquisition commands and in this way influence the speed of the image data processing.
  • the electronic device preferably uses at least one image sensor that allows single pixel access.
  • Image sensors with single pixel access are already known as such and are even available on the market.
  • An example of such a sensor is described, inter alia, in patent application EP-A2-935880, which proposes a semiconductor circuit in order to read individual pixels quickly.
  • Another example is described in US5933190.
  • an image sensor topology of CMOS technology is described, which also allows access to individual pixels instead of just entire images.
  • an external device In order to access a section of an image (image area) with such a sensor, an external device must address each pixel of the image section separately, which requires a high computing power of the named external device.
  • US5146340 describes an image reading and processing system which enables an electronic image sensor to be read in at two different speeds. This is done in order to read in a desired image zone at the correct speed, while the rest of the image is read in at an increased speed in order to get to the interesting part of the image more quickly. The unnecessary sections of the image are not digitized. With this method, the clock frequency of the image reading process can be increased. The scanned image is saved in an image memory stored. This image memory can be read in and processed by a processor after switching the buses. All pixels, even those that are not required at all, are read in.
  • US5060074 proposes an image reading unit for a video camera which, as in patent US 5146340, enables the image field to be read in at two different speeds. This is done in order to read an interesting image zone faster than the entire image. This can compensate for vibrations in the image caused by the camera user.
  • the interesting image zone can be displayed without vertical or horizontal shift. Here too, however, all pixels are always read.
  • FIG. 1 shows a simple schematic representation of a device according to the invention, divided into an image reading unit, a storage unit and an external electronic device.
  • Fig. 2 is a schematic representation of a first embodiment of a device according to the invention.
  • Fig. 3 is a schematic representation of a second embodiment of a device according to the invention (in this example as an intelligent camera).
  • FIG. 4 shows a schematic illustration of a third embodiment of a device according to the invention, with a PC which is equipped with a frame grabber card with DMA PC memory access and with a single-pixel access camera.
  • FIG. 5 shows a schematic representation of a fourth embodiment of a device according to the invention, with a single-pixel access camera with a fast communication interface, which sends the requested pixels directly and without intermediate storage to an external electronic device.
  • Fig. 6 is a schematic representation of a fifth embodiment of a device according to the invention, with a PC which is equipped with a frame grabber card with its own buffer memory and with a single-pixel access camera.
  • FIG. 7 shows a schematic representation of the parameters which are required in an image acquisition command in order to define a rectangular image section.
  • FIG. 8 shows a schematic illustration of the parameters which are required in an image acquisition command in order to define a parallelogram-shaped image section.
  • FIG. 9 shows a schematic representation of the parameters which are required in an image acquisition command in order to define an elliptical image section.
  • FIG. 1 shows an image signal processing system with three elements 1, 2 and 3.
  • An image reading unit is shown schematically at 1, which can write video image data recorded by means of an optical system 4 into a storage unit 2.
  • the image reading unit 1 can preferably also read the content of the storage unit 2.
  • the image reading unit 1, the optics 4 and the storage unit 2 are preferably housed in the same (not shown) camera housing.
  • An external electronic device 3 for example a PC, a video recorder or a process computer
  • the external electronic device 3 can be issued with commands which are written into the storage unit and / or with a synchronization signal via the communication interface 14 from the image reading device.
  • Unit 1 require that it write a portion of the entire image to the storage unit 2 with a defined shape. Synchronization signals can also come from any external device 15.
  • the image reading unit has an image sensor that can directly access every single pixel. The image reading unit can thus store special image shapes such as rectangular shapes, circles, several parallel lines and any other image shapes in the storage unit 2 without having to read in unused pixels. Since only the required pixels are read in, the reading and processing time of the image reading unit can be significantly reduced.
  • the camera with the units 2 and 3 thus only makes available those pixels that belong to the image form that was determined by the external device 3, 15.
  • the frame rate depends on the size and type of the shape required, so that an external device 3, 15 can increase the frame rate itself, for example by having a smaller image section extracted.
  • the image reading unit 1 has programmable data processing means described below for generating the address and timing signals, which control the driver of the image sensor as a function of the required image section. These processing means can preferably also be used for certain image processing algorithms
  • the processing means in the image reading unit preferably comprise a microprocessor and / or a digital signal processor (DSP) in order to carry out these algorithms.
  • New programs can be loaded via the storage unit 2, via another interface or onto a data carrier (for example a PC card).
  • a calibration image stored in an electronic memory can be used for the calibration.
  • FIG. 2 shows a detailed illustration of a first embodiment of a device according to the invention.
  • the image reading unit 1 with data processing means 8, 9 and the storage unit 2 are preferably integrated in a common housing. Such a combination is called an intelligent camera because the camera can perform certain image signal processing steps without an external processor.
  • the image reading unit 1 consists of an image sensor 6 with single pixel access from optics 4 to focus the light, a driver 5 and an analog-digital converter 7.
  • Programmable data processing means 8 (for example one or more processors and / or DSP, or an FPGA circuit) generate the addresses and the timing signals which control the driver 5 in such a way that only the required pixels in the image sensor 6 are read.
  • Other image processing operations can be performed (for example, image calibration, binarization of the image, calculation of the contours, high or low pass filtering, or the sequence of objects on successive images of an image sequence).
  • the data processing means 8 use a local electronic memory 9 (for example a RAM) to execute the various programs.
  • the memory unit 2 consists of a plurality of memory modules 21.
  • the image reading unit 1 can thus access a memory module while the electronic device 3 simultaneously accesses another module.
  • Driver 5 read in and digitized with the AD converter 7 and either written into the internal memory 9 or directly into a memory 21 of the memory unit 2.
  • the image is recorded on a command or a synchronization signal 14 to the processor 8.
  • This command can come from the processor 11 of the external device 3, but also from another external device 15.
  • the external electronic device 3 here consists of a processor system which reads and processes the desired image data from the memory modules 21 of the memory unit 2.
  • This processor system 3 can tell the image reading unit 1 via the communication interface 14 or via commands stored in the storage unit 2 which image section is required.
  • the image acquisition commands can come from another, external device 15, or for them to be generated by the image reading unit 1 itself.
  • the image processing unit 3 can read the image data in the storage unit 2 and store it in a local storage area 12. Further digital processing means 11 are preferably provided in order to manage the image data and to send them to an external device 16 via a communication interface 13.
  • a command interpreter interprets these commands and accesses the pixels of image sensor 6 belonging to the desired image section by generating the addresses and timing signals for driver 6 in real time for pixel extraction.
  • the image reading unit 1 can support at least the following image reading modes. Each mode is started with a corresponding image acquisition command:
  • This reading mode is shown schematically in FIG. 7.
  • the pixels 60 will have to be read in focus while other pixels 61 are shown in white.
  • This mode allows a certain number (1 to a maximum number) of rectangular image areas to be read in from the image sensor 6.
  • the entire image area can also be read in this mode. All pixels of the rectangles can be read; as a variant, however, a certain number of rows or columns can also be omitted at regular intervals in the horizontal X or vertical Y direction. In the example shown, only every second column and only every row of the second largest rectangle is read. These gaps allow the desired image sections to be read in with a reduced resolution.
  • the resolution of each image section can be selected differently.
  • the ratio between the number of skipped and read pixels in each direction is defined as the downsampling factor.
  • This reading mode is shown schematically in FIG. 8. This mode allows a certain number (1 to a maximum number) of parallel lines to be read in from the image sensor 6 in any direction. As in rectangular mode, a downsampling factor can be defined in the horizontal and vertical directions.
  • This reading mode is shown schematically in FIG. 9.
  • This mode allows a certain number (1 to a maximum number) of elliptical (for example circular) image sections to be read in from the image sensor 6.
  • elliptical for example circular
  • only concentric ellipses are defined.
  • image acquisition commands with which non-concentric ellipses in which a downsampling factor in the horizontal and in the vertical direction may also be defined.
  • orientation of the large semiaxis if it is not horizontal.
  • a faster image reading can be achieved if all ellipses are concentric and if the ratio of small semiaxis to larger semiaxis is the same for all ellipses during an image acquisition.
  • the image reading unit 1 itself to determine the number, the size, the position, the vertical and horizontal resolution and the shape of the scanned image sections on the basis of more abstract commands. These parameters can also be adjusted dynamically (for example in real time and / or between each image).
  • a program executed by the data processing means determines at any time which area of the image sensor 6 must be read. The following conditions can cause adjustments to the image section:
  • the data processing means 8 of the image reading unit 1 can execute an image object tracking algorithm in order to identify and track an identical object on successive images of an image sequence.
  • the image reading unit can only extract the pixels belonging to the tracked object from the image sensor and make them available.
  • the shape of the The scanned image section can be dynamically adapted to the shape of the object and is not limited to rectangles, parallelograms and ellipses.
  • the resolution can be adjusted to the quality of the optics, to the focals used, to the zoom factor, to the opening of the
  • Diaphragm, to the focus setting, etc., are automatically adjusted.
  • the image sections in particular the resolution of the image sections, can be adjusted if, for example, zoom, panning or tilt movements are carried out, or if the focus setting is changed automatically or manually.
  • the camera can contain an interface to receive external trigger signals.
  • the read-in parameters can be changed automatically when a new trigger signal is received. This means that the import conditions can be adapted to external events,
  • the resolution, the scanned image section etc. can be automatically dynamically adjusted if the content of the recorded images changes. For example, it is possible to automatically extract a new image section when an event is detected in this image section.
  • the image reading unit can be informed with a command what is required for an image section.
  • at least certain of the following parameters can be entered in at least certain image acquisition commands:
  • the command interpreter can always automatically select the fastest possible sampling time for the desired image shape.
  • the same image area is always read, and the
  • Image recording is clocked by the external synchronization signal 14.
  • Control signals for the lens 4 such as zoom setting, iris and focus.
  • the preprocessing can include algorithms such as edge detection, high and low pass filtering, etc.
  • FIG. 2 A second embodiment of a device according to the invention is shown in FIG. In this variant, all components which were described earlier in connection with FIG. 2 are integrated in a single housing. Such a device can be referred to as an intelligent camera and can be connected to external devices 16 via an interface 13. Several of the components 8, 21, etc. described here can be integrated in a single integrated circuit.
  • FIG. 1 A third embodiment of a device according to the invention is shown in FIG.
  • the image reading unit 1 and the storage unit 2 are integrated in a common housing 17.
  • Such a device can be referred to as a single-pixel access camera.
  • the image reading unit comprises the same components as the variant in FIG. 2.
  • a communication interface 19 is implemented with a communication processor, which enables the image data from the single-pixel access camera 17 via a "frame grabber 27 (data receiving unit) to an external device 3.
  • the external electronic device 3 can be a processor system (for example a PC) in which the frame grabber card 27 is installed.
  • the image data read in by the image reading unit are sent to the frame grabber 27 via a fast data bus.
  • the frame grabber 27 has a second communication interface with a communication processor 22 in order to receive this data.
  • the image data are then temporarily stored in a FIFO memory 23 and written into the electronic memory 12 of the PC 3 via a direct memory access circuit (DMA) 24 and a communication interface 25.
  • the processor 11 of the PC 3 is used for the actual image signal processing.
  • the image acquisition commands 14 can originate from the processor 11 (via a communication interface 13) or from an external device 15. Again, several can of the components 8, 21, 19, etc. described here can be integrated in the camera 17 in a single integrated circuit.
  • FIG. 5 A fourth embodiment of a device according to the invention is shown in FIG. 5.
  • the external image processing unit 3 does not read the desired image data from a storage unit 2, but directly from the image reading unit 1.
  • the image reading unit 1 has a suitable communication interface 19 which directly connects to the storage unit 10 Image reading unit 1 can access.
  • the communication processor 19 itself can still have a local memory.
  • This processor sends the data to the external device 3 via a communication interface 22.
  • the external device 3 is also equipped with a communication processor 22 in order to receive the data correctly and to write them into an electronic memory 12.
  • Further digital image processing means 11 are preferably provided in order to manage the image data and to send them to an external device 16 via a communication interface 13.
  • FIG. 1 A fifth embodiment of a device according to the invention is shown in FIG.
  • a single-pixel access camera 17 is also used, which sends the image data to a frame grabber 27 via a communication interface 19.
  • the frame grabber 27 receives the desired image data and is connected to an external image processing unit 3.
  • the image data are now received by a communication processor 22 in the frame grabber 27 and can be temporarily stored in a FIFO memory 23.
  • a processor 26 on the frame grabber card 27 can process the received image data and write it to the local memory 21 of the frame grabber 27.
  • the communication processor 22 can preferably also write image data directly into the memory 21. This relieves the load on the processor 11 and the memory 12 of the external device 3.
  • the processor 11 can access the image data of the frame grabber 27 as required in order to further process and archive them via a network To send communication element 13 etc. and can also write this locally into its electronic memory 12.
  • Commands or synchronization signals 14 for the image recording can either come from an external device 15, from the frame grabber 27, or from the external device 3, or can be generated internally in the single-pixel access camera.
  • the invention also relates to new programs that can be loaded in such a camera for image acquisition commands in which the shape, size, position, To interpret and implement the resolution and / or the number of image areas that have to be read in from an image sensor with single pixel access.
  • Such programs can be sold as computer products, in particular as programmed data storage media.
  • the invention also relates to programs which are carried out by an external device 3, 14 in order to send such commands to an electronic device according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)

Abstract

The invention relates to an electronic device (for example camera) comprising the following components: an image reader unit (1), provided with one or several image sensors (6), whereby at least one image sensor permits access to individual pixels. Said image reader unit (1) is embodied such as to be able to receive and carry out image-taking commands. In at least one of said image-taking commands the form of the image segment (60), to be read from said image sensor (6), is freely definable. Said image reader unit (1) only reads and makes available from the image sensor (6), those image segments (60) from said image sensor (6) which correspond to the freely-definable form from the said image taking command.

Description

Einrichtung für das Extrahieren von frei definierbaren Bildabschnitten aus einem Bildsensor Device for extracting freely definable image sections from an image sensor
Die vorliegende Erfindung betrifft eine elektronische Einrichtung, insbesondere eine intelligente numerische Kamera, mit welcher frei definierbare Bildabschnitte aus einem Bildsensor extrahiert werden können.The present invention relates to an electronic device, in particular an intelligent numerical camera, with which freely definable image sections can be extracted from an image sensor.
Für die digitale Verarbeitung von Bildern für Industrieprozesse, Medizinaltechnik, Videosysteme, etc. werden heutzutage spezielle Kamerasysteme eingesetzt, die aus mehreren Elementen bestehen. Ein solches System besteht aus einem Bildsensor, der mit einer Optik versehen ist. Dieser Bildsensor ist in der Lage, Bilder aufzunehmen und diese in einen digitalen Speicher abzulegen. Dabei werden die Pixelsignale die vom Bildsensor erzeugt werden über einen Analog-Digital-Wandler in digitale Bilddaten umgewandelt. Der Bildsensor(zum Beispiel in CDD, CMOS oder CID-Technik) muss mit speziellen Signalen angesteuert werden, um die Pixelwerte zu extrahieren. Oft ist ein Prozessor vorhanden, welcher die digitalen Bilddaten mit Algorithmen und Programmen verarbeiten kann. Das Ergebnis der Bilddatenverarbeitung wird über eine Kommunikationsschnittstelle an eine externe Recheneinheit übertragen (zum Beispiel an ein Steuersystem, einen Aktuator, u.s.w.). Solche Kamerasysteme, die mit einem Prozessor ausgestattet sind, welcher Bilddaten verarbeiten kann, werden als intelligente Kamera bezeichnet.Nowadays, special camera systems that consist of several elements are used for the digital processing of images for industrial processes, medical technology, video systems, etc. Such a system consists of an image sensor which is provided with optics. This image sensor is able to take pictures and store them in a digital memory. The pixel signals generated by the image sensor are converted into digital image data using an analog-digital converter. The image sensor (for example in CDD, CMOS or CID technology) has to be controlled with special signals in order to extract the pixel values. A processor is often available, which can process the digital image data with algorithms and programs. The result of the image data processing is transmitted to an external computing unit via a communication interface (for example to a control system, an actuator, etc.). Such camera systems that are equipped with a processor that can process image data are referred to as intelligent cameras.
Intelligente Kameras werden oft als intelligente Sensoren in einem geschlossenen Regelkreis verwendet. Das Ergebnis der Bilddaten- Verarbeitung muss dabei in einer möglichst kurzen Durchlaufzeit einem Prozessrechner abgeliefert werden können, der das verfilmte System beeinflussen kann. Je kürzer die Durchlaufzeit und die Prozessrechenzeit ist, um so kürzer können die Abtastzeiten des Regelsystems gewählt werden. Dadurch wird das Regelsystem leistungsfähiger und schneller.Smart cameras are often used as smart sensors in a closed loop. The result of the image data processing must be able to be delivered to a process computer in the shortest possible cycle time, which can influence the filmed system. The shorter the throughput time and the process computing time, the shorter the sampling times of the control system can be selected. This makes the control system more efficient and faster.
Für die intelligente Kamera bedeutet dies dass der Prozessor dieFor the intelligent camera, this means that the processor
Bilddaten so schnell wie möglich verarbeiten muss. Die Verarbeitungszeit ist jedoch von der Menge der Bilddaten die verarbeitet werden müssen abhängig. Wird die Auflösung und/oder die Grosse des Bildsensors erhöht, muss oft mit einer langsameren Bilddatenverarbeitung gerechnet werden. Es muss daher ein Kompromiss zwischen der Auflösung der Kamera (Anzahl der übermittelten Pixel), der Durchlaufzeit und dem Preis gefunden werden. Bestehende intelligente Kameras haben entweder eine niedrige Auflösung (Bildqualität), eine langsame Geschwindigkeit (Durchlaufzeit) und/oder einen hohen Preis und eignen sich jeweils nur für bestimmte Zwecke.Process image data as quickly as possible. The processing time depends on the amount of image data that has to be processed. If the resolution and / or the size of the image sensor is increased, slower image data processing must often be expected. A compromise must therefore be found between the resolution of the camera (number of transmitted pixels), the throughput time and the price. Existing intelligent cameras have either a low resolution (image quality), a slow speed (throughput time) and / or a high price and are only suitable for certain purposes.
Es ist daher ein Ziel der Erfindung, eine neue elektronischeIt is therefore an object of the invention to develop a new electronic
Einrichtung anzubieten, insbesondere eine Kamera, mit welcher ein besserer Kompromiss zwischen Auflösung, Geschwindigkeit und Preis erreicht wird.To offer facility, in particular a camera with which a better compromise between resolution, speed and price is achieved.
Ein anderes Ziel der Erfindung ist es, eine neue elektronische Einrichtung anzubieten, mit welcher der Kompromiss zwischen Auflösung und Geschwindigkeit zu jeder Zeit vom Benutzer geändert werden kann.Another object of the invention is to provide a new electronic device with which the compromise between resolution and speed can be changed by the user at any time.
Erfindungsgemäss werden diese Ziele erreicht, indem die neue elektronische Einrichtung zu jeder Zeit möglichst schnell nur die notwendigen Bilddaten (statt alle Bilddaten vom Bildsensor) zur Verfügung stellt. Dabei können spezielle vordefinierte Bildformen (zum Beispiel Rechtecke, Kreise, Linien, Muster, usw.) extrahiert werden. Indem man nicht das gesamte Bild aus dem Bildsensor extrahiert, sondern nur frei definierbare Bildabschnitte, können die Bilddaten wesentlich schneller gelesen und weiterverarbeitet werden, ohne dass dabei eine Verminderung der Bildqualität für das ausgewählte Bildteil in Kauf genommen werden muss.According to the invention, these goals are achieved in that the new electronic device provides only the necessary image data (instead of all image data from the image sensor) as quickly as possible at any time. Special predefined image shapes (e.g. rectangles, circles, lines, patterns, etc.) can be extracted. By not extracting the entire image from the image sensor, but only freely definable image sections, the image data can be read and processed much faster without having to accept a reduction in the image quality for the selected image part.
Diese Ziele ergeben sich auch aus einer elektronischen Einrichtung, die folgende Bauteile umfasst: eine Bildlese-Einheit, die mit einem oder mehreren Bildsensoren aus- gestattet ist, wobei mindestens ein Bildsensor Einzelpixelzugriffe erlaubt, wobei die benannte Bildlese-Einheit derart ausgestaltet ist, dass sie Bildaufnahme-Befehle empfangen und ausführen kann, wobei in mindestens einem benannten Bildaufnahme-Befehl dieThese goals also result from an electronic device which comprises the following components: an image reading unit which is equipped with one or more image sensors, at least one image sensor allowing individual pixel accesses, the named image reading unit being designed such that it Can receive and execute image acquisition commands, the in at least one named image acquisition command
Form des Bildabschnitts welcher extrahiert werden muss, definiert ist, und dass die benannte Bildlese-Einheit nur die Pixel des benannten Bildsensors, welcher der im benannten Bildaufnahme-Befehl definiertenShape of the image section which must be extracted is defined, and that the named image reading unit only the pixels of the named image sensor, which of those defined in the named image acquisition command
Form entspricht einliest und zur Verfügung stellt.Form corresponds to reads and provides.
Somit kann eine externe elektronische Einrichtung welche Bilddaten verlangt mit entsprechenden Bildaufnahme-Befehlen die Form und Grosse des aufgenommen Bildabschnitts selbst bestimmen und auf diese Weise die Geschwindigkeit der Bilddatenverarbeitung beeinflussen.An external electronic device which requires image data can thus determine the shape and size of the recorded image section itself with corresponding image acquisition commands and in this way influence the speed of the image data processing.
Die elektronische Einrichtung gemäss der Erfindung verwendet vorzugsweise mindestens einen Bildsensor der Einzelpixelzugriffe erlaubt. Bildsensoren mit Einzelpixel-Zugriff sind als solche bereits bekannt und sogar auf dem Markt erhältlich. Ein Beispiel eines solchen Sensors wird unter anderem in der Patentanmeldung EP-A2-935880 beschrieben, die eine Halbleiter-Schaltung vorschlägt, um einzelne Pixels schnell einzulesen. Ein anderes Beispiel ist im Patent US5933190 beschrieben. In diesem Dokument wird eine Bildsensortopologie der CMOS-Technik beschrieben, die auch den Zugriff auf einzelne Pixel erlaubt, statt nur auf ganze Bilder. Um mit einem solchen Sensor auf einen Abschnitt eines Bildes (Bildbereich) zuzugreifen, muss eine externe Vorrichtung jedes Pixel des Bildabschnitts separat adressieren, was eine hohe Rechenleistung der benannten externen Vorrichtung voraussetzt.The electronic device according to the invention preferably uses at least one image sensor that allows single pixel access. Image sensors with single pixel access are already known as such and are even available on the market. An example of such a sensor is described, inter alia, in patent application EP-A2-935880, which proposes a semiconductor circuit in order to read individual pixels quickly. Another example is described in US5933190. In this document, an image sensor topology of CMOS technology is described, which also allows access to individual pixels instead of just entire images. In order to access a section of an image (image area) with such a sensor, an external device must address each pixel of the image section separately, which requires a high computing power of the named external device.
US5146340 beschreibt ein Bildlese- und Verarbeitungssystem, welches ermöglicht einen elektronischen Bildsensor mit zwei unterschiedlichen Geschwindigkeiten einzulesen. Dies wird gemacht, um eine gewünschte Bildzone mit der korrekten Geschwindigkeit einzulesen, während der Rest des Bildes mit einer erhöhten Geschwindigkeit eingelesen wird um dadurch schneller an den interessanten Bildteil heranzukommen. Die unbenötigten Abschnitte des Bildes werden nicht digitalisiert. Mit dieser Methode kann die Taktfrequenz des Bildeinlese- Prozesses erhöht werden. Das eingelesene Bild wird in einen Bildspeicher abgelegt. Dieser Bildspeicher kann nach dem Umschalten der Busse durch einen Prozessor eingelesen und verarbeitet werden. Alle Pixel, auch die gar nicht benötigten, werden eingelesen.US5146340 describes an image reading and processing system which enables an electronic image sensor to be read in at two different speeds. This is done in order to read in a desired image zone at the correct speed, while the rest of the image is read in at an increased speed in order to get to the interesting part of the image more quickly. The unnecessary sections of the image are not digitized. With this method, the clock frequency of the image reading process can be increased. The scanned image is saved in an image memory stored. This image memory can be read in and processed by a processor after switching the buses. All pixels, even those that are not required at all, are read in.
US5060074 schlägt eine Bildlese-Einheit für eine Videokamera vor, welche wie in Patent US 5146340 ermöglicht, das Bildfeld in zwei verschiedenen Geschwindigkeiten einzulesen. Dies wird gemacht um eine interessante Bildzone schneller einzulesen als das gesamte Bild. Damit können durch den Kamerabenutzer verursachten Vibrationen des Bildes wurden ausgeglichen werden. Die interessante Bildzone kann ohne vertikale oder horizontale Verschiebung dargestellt werden. Auch hier werden aber stets alle Pixel eingelesen.US5060074 proposes an image reading unit for a video camera which, as in patent US 5146340, enables the image field to be read in at two different speeds. This is done in order to read an interesting image zone faster than the entire image. This can compensate for vibrations in the image caused by the camera user. The interesting image zone can be displayed without vertical or horizontal shift. Here too, however, all pixels are always read.
Im folgenden werden anhand der beigefügten Zeichnungen bevorzugte Ausführungsbeispiele der Erfindung näher beschrieben. Es zeigen:Preferred exemplary embodiments of the invention are described in more detail below with reference to the accompanying drawings. Show it:
Fig. 1 eine einfache schematische Darstellung einer Ein- richtung gemäss der Erfindung, aufgeteilt in eine Bildlese-Einheit, eine Speichereinheit und eine externe elektronische Einrichtung.1 shows a simple schematic representation of a device according to the invention, divided into an image reading unit, a storage unit and an external electronic device.
Fig. 2 eine schematische Darstellung einer ersten Ausführungsform einer Einrichtung gemäss der Erfindung.Fig. 2 is a schematic representation of a first embodiment of a device according to the invention.
Fig. 3 eine schematische Darstellung einer zweiten Ausführungsform einer Einrichtung gemäss der Erfindung (in diesem Beispiel als intelligente Kamera).Fig. 3 is a schematic representation of a second embodiment of a device according to the invention (in this example as an intelligent camera).
Fig. 4 eine schematische Darstellung einer dritten Ausführungsform einer Einπchtung gemäss der Erfindung, mit einem PC welcher mit einer Framegrabber-Karte mit DMA PC-Speicher-Zugriff ausgerüstet ist und mit einer Einzel-Pixel-Zugriff Kamera.4 shows a schematic illustration of a third embodiment of a device according to the invention, with a PC which is equipped with a frame grabber card with DMA PC memory access and with a single-pixel access camera.
Fig. 5 eine schematische Darstellung einer vierten Ausführungsform einer Einrichtung gemäss der Erfindung, mit einer Einzel- Pixel-Zugriff-Kamera mit einer schnellen Kommunikationsschnittstelle, welche die verlangten Pixel direkt und ohne Zwischenspeicherung an eine externe elektronische Einπchtung sendet.5 shows a schematic representation of a fourth embodiment of a device according to the invention, with a single-pixel access camera with a fast communication interface, which sends the requested pixels directly and without intermediate storage to an external electronic device.
Fig. 6 eine schematische Darstellung einer fünften Ausführungsform einer Einrichtung gemäss der Erfindung, mit einem PC welcher mit einer Framegrabber-Karte mit eigenem Buffer Speicher ausgerüstet ist und mit einer Einzel-Pixel-Zugriff Kamera.Fig. 6 is a schematic representation of a fifth embodiment of a device according to the invention, with a PC which is equipped with a frame grabber card with its own buffer memory and with a single-pixel access camera.
Fig. 7 eine schematische Darstellung der Parameter, die in einem Bildaufnahme-Befehl benötigt werden um einen rechteckigen Bildabschnitt zu definieren.7 shows a schematic representation of the parameters which are required in an image acquisition command in order to define a rectangular image section.
Fig. 8 eine schematische Darstellung der Parameter, die in einem Bildaufnahme-Befehl benötigt werden, um einen parallelogramm- förmigen Bildabschnitt zu definieren.8 shows a schematic illustration of the parameters which are required in an image acquisition command in order to define a parallelogram-shaped image section.
Fig. 9 eine schematische Darstellung der Parameter, die in einem Bildaufnahme-Befehl benötigt werden um einen elliptischen Bildabschnitt zu definieren.9 shows a schematic representation of the parameters which are required in an image acquisition command in order to define an elliptical image section.
Die Figur 1 zeigt ein Bildsignal-Verarbeitungssystem mit drei Elementen 1, 2 und 3. Mit 1 ist eine Bildlese-Einheit schematisch dargestellt, die mittels einer Optik 4 aufgenommene Video Bilddaten in eine Speichereinheit 2 schreiben kann. Die Bildlese-Einheit 1 kann vorzugsweise auch den Inhalt der Speichereinheit 2 lesen. Die Bildlese-Einheit 1, die Optik 4 und die Speichereinheit 2 sind vorzugsweise im selben (nicht dargestellten) Kamera-Gehäuse untergebracht. Eine externe elektronische Einrichtung 3 (zum Beispiel ein PC, ein Video-Recorder oder ein Prozessrechner) kann über eine Kommunikationsschnittstelle auf die Bilddaten in der Speichereinheit 2 zugreifen und vorzugsweise auch Daten (unter anderem Bildaufnahme-Befehle) in diese Einheit schreiben.FIG. 1 shows an image signal processing system with three elements 1, 2 and 3. An image reading unit is shown schematically at 1, which can write video image data recorded by means of an optical system 4 into a storage unit 2. The image reading unit 1 can preferably also read the content of the storage unit 2. The image reading unit 1, the optics 4 and the storage unit 2 are preferably housed in the same (not shown) camera housing. An external electronic device 3 (for example a PC, a video recorder or a process computer) can access the image data in the storage unit 2 via a communication interface and preferably also write data (including image acquisition commands) into this unit.
Die externe elektronische Einrichtung 3 kann mit Befehlen die in die Speichereinheit geschrieben werden und/oder mit einem Synchronisationssignal über die Kommunikationsschnittstelle 14 von der Bildlese- Einheit 1 verlangen, dass sie einen Abschnitt des gesamten Bildes mit einer definierten Form in die Speichereinheit 2 schreibt. Synchronisationssignale können auch von einem beliebigen externen Gerät 15 stammen. Die Bildlese-Einheit verfügt über einen Bildsensor, der auf jedes einzelne Pixel direkt zugreifen kann. Damit kann die Bildlese-Einheit spezielle Bildformen wie rechteckige Formen, Kreise, mehrere parallele Linien und beliebige andere Bildformen in die Speichereinheit 2 ablegen, ohne das unbenutzte Pixel eingelesen werden müssen. Da nur die benötigten Pixel eingelesen werden, kann die Einlese- und Verarbeitungszeit der Bildlese-Einheit wesentlich reduziert werden. Die Kamera mit den Einheiten 2 und 3 stellt somit nur jene Pixel zur Verfügung die zur Bildform gehören, die von der externen Einrichtung 3, 15 bestimmt wurde. Die Bildfrequenz ist von der Grosse und Art der verlangten Form abhängig, so dass eine externe Vorrichtung 3, 15 die Bildfrequenz selbst erhöhen kann, indem sie beispielsweise einen kleineren Bildabschnitt extrahieren lässt.The external electronic device 3 can be issued with commands which are written into the storage unit and / or with a synchronization signal via the communication interface 14 from the image reading device. Unit 1 require that it write a portion of the entire image to the storage unit 2 with a defined shape. Synchronization signals can also come from any external device 15. The image reading unit has an image sensor that can directly access every single pixel. The image reading unit can thus store special image shapes such as rectangular shapes, circles, several parallel lines and any other image shapes in the storage unit 2 without having to read in unused pixels. Since only the required pixels are read in, the reading and processing time of the image reading unit can be significantly reduced. The camera with the units 2 and 3 thus only makes available those pixels that belong to the image form that was determined by the external device 3, 15. The frame rate depends on the size and type of the shape required, so that an external device 3, 15 can increase the frame rate itself, for example by having a smaller image section extracted.
Die Bildlese-Einheit 1 verfügt über weiter unten beschriebene programmierbare Datenverarbeitungsmittel zur Erzeugung der Adressen- und Timing-Signale, die den Treiber des Bildsensors in Abhängigkeit vom der verlangten Bildabschnitt steuern. Diese Verarbeitungsmittel können vorzugsweise auch gewisse Bildverarbeitungs-Algorithmen zurThe image reading unit 1 has programmable data processing means described below for generating the address and timing signals, which control the driver of the image sensor as a function of the required image section. These processing means can preferably also be used for certain image processing algorithms
Bilderverarbeitung einsetzen, beispielsweise um Bilder zu kalibrieren, um ein Festrauschen zu eliminieren, um Bilder mit einem Schwellwert zu binarisieren, um Konturen im Bild zu ermitteln, oder um Objekten in einer Bildsequenz zu folgen. Die Verarbeitungsmittel in der Bildlese-Einheit umfassen vorzugsweise einen Mikroprozessor und/oder einen digitalen Signalprozessor (DSP), um diese Algorithmen durchzuführen. Neue Programme können über die Speichereinheit 2, über eine andere Schnittstelle oder auf einen Datenträger (zum Beispiel eine PC-Card) geladen werden. Für die Kalibrierung kann ein in einem elektronischem Speicher gespeichertes Kalibrierungsbild verwendet werden. Wenn ein Befehl oder Synchronisationssignal zur Bildaufnahme empfangen wird, werden die gewünschten Bilddaten adressiert und mit dem Kalibrierungsbild kalibriert, bevor die neuen Bilddaten als kalibrierte Bilder zur Verfügung gestellt werden. Die Figur 2 zeigt eine detaillierte Darstellung einer ersten Ausführungsform einer Einrichtung gemäss der Erfindung. Die Bildlese-Einheit 1 mit Datenverarbeitungsmitteln 8,9 und die Speichereinheit 2 sind vorzugsweise in ein gemeinsames Gehäuse integriert. Eine solche Kombination wird als intelligente Kamera bezeichnet, da die Kamera gewisse Bildsignal-Verarbeitungsschritte ohne externen Prozessor ausführen kann.Use image processing, for example to calibrate images, to eliminate fixed noise, to binarize images with a threshold value, to determine contours in the image or to follow objects in an image sequence. The processing means in the image reading unit preferably comprise a microprocessor and / or a digital signal processor (DSP) in order to carry out these algorithms. New programs can be loaded via the storage unit 2, via another interface or onto a data carrier (for example a PC card). A calibration image stored in an electronic memory can be used for the calibration. When a command or synchronization signal for image acquisition is received, the desired image data are addressed and calibrated with the calibration image before the new image data are made available as calibrated images. FIG. 2 shows a detailed illustration of a first embodiment of a device according to the invention. The image reading unit 1 with data processing means 8, 9 and the storage unit 2 are preferably integrated in a common housing. Such a combination is called an intelligent camera because the camera can perform certain image signal processing steps without an external processor.
Die Bildlese-Einheit 1 besteht aus einem Bildsensor 6 mit Einzelpixelzugriff aus einer Optik 4 um das Licht zu fokussieren, aus einem Treiber 5 und aus einem analog-digital Wandler 7. Programmierbare Datenverarbeitungsmittel 8 (zum Beispiel ein oder mehrere Prozessoren und/oder DSP, oder eine FPGA-Schaltung) generieren die Adressen und die Timing-Signale die den Treiber 5 derart steuern, dass nur die benötigten Pixel im Bildsensor 6 gelesen werden. Andere Bildverarbeitungsoperationen können durchgeführt werden (beispielsweise eine Bildkalibrierung, die Binarisierung des Bildes, die Berechnung der Konturen, eine Hoch- oder Tiefpass-Filterung, oder die Folge von Objekten auf nacheinanderfolgenden Bildern einer Bildsequenz). Die Datenverabeitungs- mittel 8 verwenden einen lokalen elektronischen Speicher 9 (zum Beispiel eine RAM), um die verschiedenen Programme auszuführen.The image reading unit 1 consists of an image sensor 6 with single pixel access from optics 4 to focus the light, a driver 5 and an analog-digital converter 7. Programmable data processing means 8 (for example one or more processors and / or DSP, or an FPGA circuit) generate the addresses and the timing signals which control the driver 5 in such a way that only the required pixels in the image sensor 6 are read. Other image processing operations can be performed (for example, image calibration, binarization of the image, calculation of the contours, high or low pass filtering, or the sequence of objects on successive images of an image sequence). The data processing means 8 use a local electronic memory 9 (for example a RAM) to execute the various programs.
Die Speichereinheit 2 besteht in dieser Ausführungsform aus mehreren Speichermodulen 21. Damit kann die Bildlese-Einheit 1 auf ein Speichermodul zugreifen, während die elektronische Einrichtung 3 gleichzeitig auf ein anderes Modul zurückgreift.In this embodiment, the memory unit 2 consists of a plurality of memory modules 21. The image reading unit 1 can thus access a memory module while the electronic device 3 simultaneously accesses another module.
Nur die benötigten Pixel werden vom Bildsensor 6 mit demOnly the required pixels are from the image sensor 6 with the
Treiber 5 eingelesen und mit dem AD-Wandler 7 digitalisiert und entweder in den internen Speicher 9 oder direkt in einen Speicher 21 der Speichereinheit 2 geschrieben. Die Bildaufnahme erfolgt auf einen Befehl oder ein Synchronisationssignal 14 an den Prozessor 8. Dieser Befehl kann vom Prozessor 1 1 der externen Einrichtung 3 stammen, aber auch von einem anderen externen Gerät 15. Die externe elektronische Einrichtung 3 besteht hier aus einem Prozessorsystem, welches die gewünschten Bilderdaten von den Speichermodulen 21 der Speichereinheit 2 liest und weiterverarbeitet. Dieses Prozessorsystem 3 kann die Bildlese-Einheit 1 über die Kommunikations- Schnittstelle 14 oder über in der Speichereinheit 2 gespeicherte Befehle mitteilen, welcher Bildabschnitt benötigt wird. Es ist aber auch möglich, dass die Bildaufnahme-Befehle von einer anderen, externen Einrichtung 15 kommen, oder dass sie von der Bildlese-Einheit 1 selber generiert werden. Die Bildverarbeitungseinheit 3 kann die Bilddaten in der Speichereinheit 2 lesen und in einen lokalen Speicherbereich 12 speichern 12. Weitere digitale Verarbeitungsmitteln 1 1 sind vorzugsweise vorhanden, um die Bilddaten zu verwalten und um diese über eine Kommunikationsschnittstelle 13 an eine externe Vorrichtung 16 zu senden.Driver 5 read in and digitized with the AD converter 7 and either written into the internal memory 9 or directly into a memory 21 of the memory unit 2. The image is recorded on a command or a synchronization signal 14 to the processor 8. This command can come from the processor 11 of the external device 3, but also from another external device 15. The external electronic device 3 here consists of a processor system which reads and processes the desired image data from the memory modules 21 of the memory unit 2. This processor system 3 can tell the image reading unit 1 via the communication interface 14 or via commands stored in the storage unit 2 which image section is required. However, it is also possible for the image acquisition commands to come from another, external device 15, or for them to be generated by the image reading unit 1 itself. The image processing unit 3 can read the image data in the storage unit 2 and store it in a local storage area 12. Further digital processing means 11 are preferably provided in order to manage the image data and to send them to an external device 16 via a communication interface 13.
Vorzugsweise besteht ein Kommunikationsprotokoll, um die Bildaufnahme-Befehle zu definieren welche von der externen elektronischen Einrichtung 3 an die Bildlese-Einheit 1 gesendet werden, um auf einen bestimmten Bereich des Bildsensors 6 zuzugreifen. Diese Befehle sollen flexibel, für den Programmierer leicht zu verstehen und von den Datenverarbeitungsmitteln 8 rasch interpretierbar sein. Mit diesen Befehlen sollen alle von der Bildlese-Einheit 1 unterstützen Bildaquisitionsmodi eingegeben werden können. Ein Befehlinterpretierer (zum Beispiel ein geeignetes vom Prozessor 8 ausgeführtes Programm) interpretiert diese Befehle und greift auf die den gewünschten Bildabschnitt zugehörigen Pixels des Bildsensors 6 zu, indem es in Echtzeit zur Pixelextrahierung die Adressen und Timingsignale für den Treiber 6 generiert.There is preferably a communication protocol to define the image acquisition commands which are sent from the external electronic device 3 to the image reading unit 1 in order to access a specific area of the image sensor 6. These commands should be flexible, easy for the programmer to understand and quick to interpret by the data processing means 8. All commands supported by the image reading unit 1 should be able to be entered with these commands. A command interpreter (for example a suitable program executed by processor 8) interprets these commands and accesses the pixels of image sensor 6 belonging to the desired image section by generating the addresses and timing signals for driver 6 in real time for pixel extraction.
Die Bildlese-Einheit 1 kann mindestens folgende Bildeinlesemodi unterstützen. Jeder Modus wird mit einem entsprechenden Bildaufnahme- Befehl gestartet:The image reading unit 1 can support at least the following image reading modes. Each mode is started with a corresponding image acquisition command:
1. Extrahieren von rechteckigen Bildfenstern im rechteck-Modus1. Extract rectangular picture windows in rectangle mode
Dieser Einlesemodus ist auf der Figur 7 schematisch dargestellt.This reading mode is shown schematically in FIG. 7.
Auf dieser Figur werden die Pixels 60 die eingelesen werden müssen scharfiert während andere Pixels 61 weiss dargestellt sind. Dieser Modus erlaubt, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von rechteckigen Bildflächen aus dem Bildsensor 6 einzulesen. In diesem Modus kann auch die gesamte Bildfläche eingelesen werden. Alle Pixel der Rechtecke können eingelesen werden; als Variante können aber auch in regelmässigen Intervallen in der horizontalen X bzw. vertikalen Y Richtung eine gewisse Anzahl von Zeilen bzw. Spalten ausgelassen werden. Im dargestellten Beispiel wird nur jede zweite Spalte und nur jede Zeile des zweitgrössten Rechtecks eingelesen. Diese Lücken erlauben, die gewünschten Bilderabschnitte mit einer reduzierten Auflösung einzulesen. Dabei kann die Auflösung jedes Bildabschnitts unterschiedlich gewählt werden. Das Verhältnis zwischen der Anzahl ausgelassener und gelesener Pixel in jeder Richtung wird als Downsampling-Faktor definiert.In this figure, the pixels 60 will have to be read in focus while other pixels 61 are shown in white. This mode allows a certain number (1 to a maximum number) of rectangular image areas to be read in from the image sensor 6. The entire image area can also be read in this mode. All pixels of the rectangles can be read; as a variant, however, a certain number of rows or columns can also be omitted at regular intervals in the horizontal X or vertical Y direction. In the example shown, only every second column and only every row of the second largest rectangle is read. These gaps allow the desired image sections to be read in with a reduced resolution. The resolution of each image section can be selected differently. The ratio between the number of skipped and read pixels in each direction is defined as the downsampling factor.
Solche Parameter können in den Bildaufnahme-Befehlen eingegeben werden, um das Einlesen im Rechteck-Modus anzuwählen:Such parameters can be entered in the image acquisition commands to select reading in rectangular mode:
1. Anzahl einzulesender Rechtecke (im dargestellten Beispiel 2)1. Number of rectangles to be imported (in the example shown 2)
2. Horizontale Koordinaten Pxi des ersten Pixels (ein Eckpixel des Rechtecks) von jedem Rechteck i.2. Horizontal coordinates Pxi of the first pixel (a corner pixel of the rectangle) of each rectangle i.
3. Vertikale Koordinaten Pyi des ersten Pixels (ein Eckpixel des Rechtecks) von jedem Rechteck i.3. Vertical coordinates Pyi of the first pixel (a corner pixel of the rectangle) of each rectangle i.
4. Anzahl ai gelesene Zeilen in der horizontalen Richtung X für jedes Rechteck i. Der Parameter ai muss grösser als Null sein.4. Number ai read lines in the horizontal direction X for each rectangle i. The parameter ai must be greater than zero.
5. Anzahl di ungelesener Zeilen in der horizontalen Richtung5. Number of unread lines in the horizontal direction
X für jedes Rechteck i. 6. Anzahl bi gelesene Spalten in der vertikalen Richtung X für jedes Rechteck i. Der Parameter bi muss grösser als Null sein.X for each rectangle i. 6. Number of bi-read columns in the vertical direction X for each rectangle i. The parameter bi must be greater than zero.
7. Anzahl ci nicht gelesener Spalten in der vertikalen Richtung X für jedes Rechteck i.7. Number ci of unread columns in the vertical direction X for each rectangle i.
2. Extrahieren von einem paralleloqramm-förmiqen Bildfenster im Parallelogramm-Modus.2. Extract from a paralleloqram-shaped image window in parallelogram mode.
Dieser Einlesemodus ist auf der Figur 8 schematisch dargestellt. Dieser Modus erlaubt es, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von parallelen Linien in jeder beliebigen Richtung aus dem Bildsensor 6 einzulesen. Wie im Rechteckmodus kann auch hier ein Downsampling-Faktor in der horizontalen und in der vertikalen Richtung definiert werden.This reading mode is shown schematically in FIG. 8. This mode allows a certain number (1 to a maximum number) of parallel lines to be read in from the image sensor 6 in any direction. As in rectangular mode, a downsampling factor can be defined in the horizontal and vertical directions.
Folgenden Parameter können verwendet werden, um das Einlesen im Parallelogramm-Modus anzuwählen:The following parameters can be used to select reading in parallelogram mode:
1. Anzahl einzulesender Parallelogramme (im dargestellten Beispiel 1)1. Number of parallelograms to be read (1 in the example shown)
2. Horizontale Koordinaten Px des ersten Pixels (ein Eckpixel des Parallelogramms) von jedem Parallelogramm.2. Horizontal coordinates Px of the first pixel (a corner pixel of the parallelogram) of each parallelogram.
3. Vertikale Koordinaten Py des ersten Pixels (ein Eckpixel des3. Vertical coordinates Py of the first pixel (a corner pixel of the
Parallelogramms) von jedem Parallelogramm.Parallelogram) of each parallelogram.
4. Anzahl a nicht gelesener Pixel zwischen jeder gelesenen Spalte in der horizontalen Richtung.4. Number a of unread pixels between each column read in the horizontal direction.
5. Anzahl b der Pixel in jeder gelesenen Spalte.5. Number b of pixels in each column read.
6. Anzahl c der gelesenen Spalten 7. Anzahl d nicht gelesener Pixel zwischen jeder gelesenen Zeile in der vertikalen Richtung.6. Number c of columns read 7. Number d of unread pixels between each line read in the vertical direction.
8. Anzahl e der Pixel in jeder gelesenen Zeile.8. Number e of pixels in each line read.
9. Anzahl f der gelesenen Zeilen9. Number f of lines read
10. Verschiebung g des Parallelogramms in der horizontalen10. Shift g of the parallelogram in the horizontal
Richtung. Ist der Parameter g negativ, so ist das Parallelogramm von links unten nach rechts oben orientiert. Mit g=0 können rechteckige Bildformen eingelesen werden. Ist der Parameter g positiv, so ist das Parallelogramm von links oben nach rechts unten orientiert, wie in der Figur 8Direction. If the parameter g is negative, the parallelogram is oriented from the bottom left to the top right. Rectangular image shapes can be read in with g = 0. If the parameter g is positive, the parallelogram is oriented from top left to bottom right, as in FIG. 8
3. Extrahieren von einer oder mehreren Ellipsen, im elliptischen3. Extract one or more ellipses, in elliptical
Modus.Mode.
Dieser Einlesemodus ist auf der Figur 9 schematisch dargestellt. Dieser Modus erlaubt, eine gewisse Anzahl (1 bis zu einer maximalen Anzahl) von elliptischen (zum Beispiel kreisförmigen) Bildabschnitten aus dem Bildsensor 6 einzulesen. Im dargestellten Beispiel werden nur konzentrische Ellipsen definiert. Es wäre aber auch möglich, Bildaufnahme- Befehle vorzusehen, mit welchen nicht-konzentrische Ellipsen in welchen eventuell auch ein Downsampling-Faktor in der horizontalen und in der vertikalen Richtung definiert ist, angegeben werden könnten.This reading mode is shown schematically in FIG. 9. This mode allows a certain number (1 to a maximum number) of elliptical (for example circular) image sections to be read in from the image sensor 6. In the example shown, only concentric ellipses are defined. However, it would also be possible to provide image acquisition commands with which non-concentric ellipses in which a downsampling factor in the horizontal and in the vertical direction may also be defined.
Folgenden Parameter können verwendet werden, um das Einlesen im elliptischen Modus anzuwählen:The following parameters can be used to select reading in elliptical mode:
1. Anzahl a einzulesender konzentrischer Ellipsen (im dargestellten Beispiel 2)1. Number a of concentric ellipses to be read in (in the example shown 2)
1. Horizontale Adresse Px des Mittelpunkts aller konzentrischen Ellipsen. 2. Vertikale Adresse Py des Mittelpunkts aller konzentrischen Ellipsen.1. Horizontal address Px of the center of all concentric ellipses. 2. Vertical address Py of the center of all concentric ellipses.
3. Anzahl bi der Pixel in der grossen Halbachse aller Ellipsen.3. Number bi of pixels in the large semiaxis of all ellipses.
4. Anzahl ci der Pixel in der kleinen Halbachse aller Ellipsen.4. Number ci of pixels in the small semiaxis of all ellipses.
5. Als Option: Orientierung der grossen Halbachse, wenn diese nicht horizontal ist.5. As an option: orientation of the large semiaxis if it is not horizontal.
6. Als Option: Downsampling-Faktor in der horizontalen und vertikalen Richtung.6. As an option: downsampling factor in the horizontal and vertical direction.
Eine schnellere Bildeinlese kann erreicht werden, wenn alle Ellipsen konzentrisch sind und wenn da Verhältnis kleine Halbachse zu grösser Halbachse während einer Bildaquisition für alle Ellipsen gleich ist.A faster image reading can be achieved if all ellipses are concentric and if the ratio of small semiaxis to larger semiaxis is the same for all ellipses during an image acquisition.
2. Von der Bildlese-Einheit definierte Einlesemodi2. Read-in modes defined by the image reading unit
Um die Speichereinheit 2 und die externe Einrichtung 3 weiter zu entlasten ist es auch möglich, dass die Bildlese-Einheit 1 selber die Anzahl, die Grosse, die Position, die vertikale und horizontale Auflösung und die Form der eingelesenen Bildabschnitten anhand von abstrakteren Befehlen bestimmt. Diese Parameter können auch dynamisch (zum Beispiel in Echtzeit und/oder zwischen jedem Bild) angepasst werden. Ein von den Datenverarbeitungsmitteln ausgeführtes Programm bestimmt zu jeder Zeit, welcher Bereich des Bildsensors 6 eingelesen werden muss. Folgende Bedingungen können Anpassungen des Bildabschnitts verursachen:In order to further relieve the memory unit 2 and the external device 3, it is also possible for the image reading unit 1 itself to determine the number, the size, the position, the vertical and horizontal resolution and the shape of the scanned image sections on the basis of more abstract commands. These parameters can also be adjusted dynamically (for example in real time and / or between each image). A program executed by the data processing means determines at any time which area of the image sensor 6 must be read. The following conditions can cause adjustments to the image section:
Bildobjekt-Verfolgung: Die Datenverarbeitungsmittel 8 der Bildlese-Einheit 1 können einen Bildobjekt-Verfolgungsalgorithmus ausführen, um ein gleiches Objekt auf nacheinanderfolgenden Bildern einer Bildsequenz zu identifizieren und zu verfolgen. Die Bildlese-Einheit kann dabei nur die Pixel die zum verfolgten Objekt gehören aus dem Bildsensor extrahieren und zur Verfügung stellen. Die Form des eingelesenen Bildabschnitts kann dynamisch an die Form des Objekts angepasst werden und ist nicht auf Rechtecke, Parallelogramme und Ellipsen begrenzt.Image object tracking: The data processing means 8 of the image reading unit 1 can execute an image object tracking algorithm in order to identify and track an identical object on successive images of an image sequence. The image reading unit can only extract the pixels belonging to the tracked object from the image sensor and make them available. The shape of the The scanned image section can be dynamically adapted to the shape of the object and is not limited to rectangles, parallelograms and ellipses.
Anpassung an die Optik: Die Auflösung kann an die Qualität der Optik, an die verwendeten Fokale, an den Zoomfaktor, an die Öffnung desAdaptation to the optics: The resolution can be adjusted to the quality of the optics, to the focals used, to the zoom factor, to the opening of the
Diaphragmas, an die Fokuseinstellung usw, automatisch angepasst werden.Diaphragm, to the focus setting, etc., are automatically adjusted.
Anpassung in Abhängigkeit von Kamera-Steuerunqsbefehlen: die Bildabschnitte, insbesondere die Auflösung der Bildabschnitten, können angepasst werden, wenn zum Beispiel Zoom-, Panning- oder Tilt- Bewegungen durchgeführt werden, oder wenn die Fokuseinstellung automatisch oder manuell geändert wird.Adjustment depending on camera control commands: the image sections, in particular the resolution of the image sections, can be adjusted if, for example, zoom, panning or tilt movements are carried out, or if the focus setting is changed automatically or manually.
Anpassung in Abhängigkeit von Triggern, die von externen Trigqerqeräten erzeugt werden: Die Kamera kann eine Schnittstelle enthalten, um externe Triggersignale zu empfangen. Die Einleseparameter können automatisch geändert werden, wenn ein neues Triggersignal empfangen wird. Damit können die Einlesebedingungen an externe Ereignisse angepasst werden,Adaptation depending on triggers that are generated by external trigger devices: The camera can contain an interface to receive external trigger signals. The read-in parameters can be changed automatically when a new trigger signal is received. This means that the import conditions can be adapted to external events,
Anpassung an den Inhalt des Bildes: Die Auflösung, der eingelesene Bildabschnitt usw, können automatisch dynamisch angepasst werden, wenn sich der Inhalt der aufgenommenen Bilder ändert. Es ist beispielsweise möglich, automatisch einen neuen Bildabschnitt zu extrahieren, wenn ein Ereignis in diesem Bildabschnitt detektiert wird.Adaptation to the content of the image: The resolution, the scanned image section etc. can be automatically dynamically adjusted if the content of the recorded images changes. For example, it is possible to automatically extract a new image section when an event is detected in this image section.
Um auf Ereignisse zu reagieren, die in zusätzlichen nicht extrahierten Bildabschnitten passieren, ist es in einer Ausführungsform möglich, diese zusätzliche Bildabschnitte mit einer langsameren Abtast- Frequenz einzulesen und die dabei erhaltenen zusätzlichen Bilddaten für die Überwachung von Ereignissen zu verwenden, ohne sie ausserhalb der Bildlese-Einheit zur Verfügung zu stellen. Mit diesen Bildmodi kann der Bildlese-Einheit mit einem Befehl mitgeteilt werden, was für einen Bildabschnitt benötigt wird. In einer bevorzugten Ausführungsform können mindestens gewisse der folgenden Parameter in mindestens gewissen Bildaufnahme-Befehlen eingegeben werden:In order to react to events that occur in additional non-extracted image sections, it is possible in one embodiment to read in these additional image sections with a slower sampling frequency and to use the additional image data obtained thereby for the monitoring of events without them outside of the image reading -Unit to provide. With these image modes, the image reading unit can be informed with a command what is required for an image section. In a preferred embodiment, at least certain of the following parameters can be entered in at least certain image acquisition commands:
■ Abtastzeit (100ns, 200ns usw.). Als Variante oder für bestimmte Befehle kann der Befehl-Interpretierer stets automatisch die schnellst mögliche Abtastzeit für die gewünschte Bildform auswählen. Als andere Variante wird immer denselben Bildbereich gelesen, und die ■ Sampling time (100ns, 200ns, etc.). As a variant or for certain commands, the command interpreter can always automatically select the fastest possible sampling time for the desired image shape. As another variant, the same image area is always read, and the
Bildaufnahme wird durch das externe Synchronisationssignal 14 getaktet.Image recording is clocked by the external synchronization signal 14.
■ Auflösung des AD-Wandlers 7 (6, 8, 10 oder 12 Bit usw.). ■ Resolution of AD converter 7 (6, 8, 10 or 12 bits, etc.).
■ Integrationszeit der Pixel (10μs, 100μs, 1 ms usw.). ■ integration time of the pixels (10us, 100us, 1 ms, etc.).
■ Mit oder ohne elektronischen Shutter. ■ With or without electronic shutter.
■ Steuersignale für einen eventuellen mechanischen Shutter. ■ Control signals for a possible mechanical shutter.
■ Steuersignale für das Objektiv 4 wie Zoomeinstellung, Iris und Fokus. Control signals for the lens 4 such as zoom setting, iris and focus.
■ Lineare oder logarithmische Antwortkurve (Auslese- Spannung in Abhängigkeit der Lichtintensität) der Pixel. ■ Linear or logarithmic response curve (readout voltage depending on the light intensity) of the pixels.
■ Mit oder ohne Bildkalibrierung (um das Festrauschen zu limitieren usw.). ■ With or without image calibration (to limit the fixed noise, etc.).
■ Mit oder ohne Vorverarbeitung der zu lesenden Bilddaten, die Vorverarbeitung kann Algorithmen beinhalten wie Kantendetektion, Hoch- und Tiefpassfilterung usw. Eine zweite Ausführungsform einer Einrichtung gemäss der Erfindung ist auf der Figur 3 dargestellt. In dieser Variante sind alle Komponenten, die früher in Zusammenhang mit der Figur 2 beschrieben wurden, in einem einzigen Gehäuse integriert. Eine solche Vorrichtung kann als intelligente Kamera bezeichnet werden und kann durch eine Schnittstelle 13 mit externen Geräten 16 verbunden werden. Dabei können mehreren der hier beschriebenen Komponenten 8, 21, usw., in einer einzigen integrierten Schaltung integriert werden. ■ With or without preprocessing of the image data to be read, the preprocessing can include algorithms such as edge detection, high and low pass filtering, etc. A second embodiment of a device according to the invention is shown in FIG. In this variant, all components which were described earlier in connection with FIG. 2 are integrated in a single housing. Such a device can be referred to as an intelligent camera and can be connected to external devices 16 via an interface 13. Several of the components 8, 21, etc. described here can be integrated in a single integrated circuit.
Eine dritte Ausführungsform einer Einrichtung gemäss der Erfin- düng ist auf der Figur 4 dargestellt. In dieser Variante sind die Bildlese- Einheit 1 und die Speichereinheit 2 in ein gemeinsames Gehäuse 17 integriert. Eine solche Einrichtung kann als Einzel-Pixel-Zugriff-Kamera bezeichnet werden. Die Bildlese-Einheit umfasst die gleichen Komponenten wie die Variante der Figur 2. Zusätzlich zur Bildlese-Einheit 1 und zur Speichereinheit 2 ist eine Kommunikationsschnittstelle 19 mit einem Kommunikationsprozessor implementiert, welcher es ermöglicht, die Bilddaten von der Einzel-Pixel-Zugriff-Kamera 17 über einen "Framegrabber 27 (Datenempfangseinheit) an eine externe Einrichtung 3 zu senden. Die externe elektronische Einrichtung 3 kann ein Prozessorsystem sein (beispielsweise ein PC), in welchem die Framegrabber- Karte 27 installiert ist.A third embodiment of a device according to the invention is shown in FIG. In this variant, the image reading unit 1 and the storage unit 2 are integrated in a common housing 17. Such a device can be referred to as a single-pixel access camera. The image reading unit comprises the same components as the variant in FIG. 2. In addition to the image reading unit 1 and the storage unit 2, a communication interface 19 is implemented with a communication processor, which enables the image data from the single-pixel access camera 17 via a "frame grabber 27 (data receiving unit) to an external device 3. The external electronic device 3 can be a processor system (for example a PC) in which the frame grabber card 27 is installed.
Die von der Bildlese-Einheit eingelesenen Bilddaten werden über einen schnellen Datenbus an den Framegrabber 27 gesendet. Der Framegrabber 27 verfügt über eine zweite Kommunikationsschnittstelle mit einem Kommunikationsprozessor 22, um diese Daten zu empfangen. Die Bilddaten werden dann in einen FIFO-Speicher 23 zwischengespeichert und über eine direkte Speicherzugriffschaltung (DMA) 24 und eine Kommunikationsschnittstelle 25 in den elektronischen Speicher 12 des PC 3 geschrieben. Der Prozessor 11 des PC's 3 wird dabei für die eigentliche Bildsignalverarbeitung verwendet. Die Bildaufnahme-Befehle 14 können vom Prozessor 11 (über eine Kommunikationsschnittstelle 13) oder auch von einer externen Einrichtung 15 stammen. Auch hier können mehreren der hier beschriebenen Komponenten 8, 21, 19, usw. in der Kamera 17 in einer einzigen integrierten Schaltung integriert werden.The image data read in by the image reading unit are sent to the frame grabber 27 via a fast data bus. The frame grabber 27 has a second communication interface with a communication processor 22 in order to receive this data. The image data are then temporarily stored in a FIFO memory 23 and written into the electronic memory 12 of the PC 3 via a direct memory access circuit (DMA) 24 and a communication interface 25. The processor 11 of the PC 3 is used for the actual image signal processing. The image acquisition commands 14 can originate from the processor 11 (via a communication interface 13) or from an external device 15. Again, several can of the components 8, 21, 19, etc. described here can be integrated in the camera 17 in a single integrated circuit.
Eine vierte Ausführungsform einer Einrichtung gemäss der Erfindung ist auf der Figur 5 dargestellt. In dieser Variante liest die externe Bildverarbeitungs-Einheit 3 die gewünschten Bilddaten nicht aus einer Speichereinheit 2, sondern direkt aus der Bildlese-Einheit 1. Zu diesem Zweck verfügt die Bildlese-Einheit 1 über eine geeignete Kommunikationsschnittstelle 19, die direkt auf die Speichereinheit 10 der Bildlese-Einheit 1 zugreifen kann. Der Kommunikationsprozessor 19 kann selber noch über einen lokalen Speicher verfügen. Dieser Prozessor sendet die Daten über eine Kommunikationsschnittstelle 22 an die externe Einrichtung 3. Die externe Einrichtung 3 ist auch mit einem Kommunikationsprozessor 22 ausgestattet, um die Daten korrekt zu empfangen und sie in einen elektronischen Speicher 12 zu schreiben. Weitere digitale Bilderverarbeitungsmittel 11 sind vorzugsweise vorhanden, um die Bilddaten zu verwalten und um diese über eine Kommunikationsschnittstelle 13 an eine externe Vorrichtung 16 zu senden.A fourth embodiment of a device according to the invention is shown in FIG. 5. In this variant, the external image processing unit 3 does not read the desired image data from a storage unit 2, but directly from the image reading unit 1. For this purpose, the image reading unit 1 has a suitable communication interface 19 which directly connects to the storage unit 10 Image reading unit 1 can access. The communication processor 19 itself can still have a local memory. This processor sends the data to the external device 3 via a communication interface 22. The external device 3 is also equipped with a communication processor 22 in order to receive the data correctly and to write them into an electronic memory 12. Further digital image processing means 11 are preferably provided in order to manage the image data and to send them to an external device 16 via a communication interface 13.
Eine fünfte Ausführungsform einer Einrichtung gemäss der Erfindung ist auf der Figur 6 dargestellt. In dieser Variante wird auch eine Einzel-Pixel-Zugriff-Kamera 17 verwendet, welche die Bilddaten über eine Kommunikationsschnittstelle 19 an einen Framegrabber 27 sendet. Der Framegrabber 27 empfängt die gewünschten Bilddaten und ist mit einer externen Bildverarbeitungseinheit 3 verbunden. Die Bilddaten werden nun von einem Kommunikationsprozessor 22 im Framegrabber 27 empfangen und können temporär in einem FIFO-Speicher 23 zwischengespeichert werden. Ein Prozessor 26 auf der Framegrabberkarte 27 kann die empfangenen Bilddaten verarbeiten und in den lokalen Speicher 21 des Framegrabbers 27 schreiben. Vorzugsweise kann auch der Kommunikationsprozessor 22 Bilddaten direkt in den Speicher 21 schreiben. Damit wird der Prozessor 11 und der Speicher 12 der externen Einrichtung 3 entlastet. Der Prozessor 11 kann nach Bedarf auf die Bilddaten des Framegrabbers 27 zurückgreifen, um diese weiter zu verarbeiten, zu archivieren, über ein Netzwerk an ein Kommunikationselement 13 zu senden usw. und kann diese auch lokal in seinen elektronischen Speicher 12 schreiben.A fifth embodiment of a device according to the invention is shown in FIG. In this variant, a single-pixel access camera 17 is also used, which sends the image data to a frame grabber 27 via a communication interface 19. The frame grabber 27 receives the desired image data and is connected to an external image processing unit 3. The image data are now received by a communication processor 22 in the frame grabber 27 and can be temporarily stored in a FIFO memory 23. A processor 26 on the frame grabber card 27 can process the received image data and write it to the local memory 21 of the frame grabber 27. The communication processor 22 can preferably also write image data directly into the memory 21. This relieves the load on the processor 11 and the memory 12 of the external device 3. The processor 11 can access the image data of the frame grabber 27 as required in order to further process and archive them via a network To send communication element 13 etc. and can also write this locally into its electronic memory 12.
Befehle oder Synchronisationssignale 14 für die Bildaufnahme können entweder von einer externen Einrichtung 15, vom Framegrabber 27, oder von der externen Einrichtung 3 stammen, oder intern in der Einzel- Pixel-Zugriff-Kamera generiert werden.Commands or synchronization signals 14 for the image recording can either come from an external device 15, from the frame grabber 27, or from the external device 3, or can be generated internally in the single-pixel access camera.
Neben die neue Einrichtung 1, 2, beispielsweise in der Form einer neuen intelligenten Kamera, betrifft die Erfindung auch neue Programme, die in einer solchen Kamera geladen werden können, um Bildaufnahme- Befehle, in welchen die Form, die Grosse, die Position, die Auflösung und/oder die Anzahl von Bildbereichen, die aus einem Bildsensor mit Einzelpixelzugriff eingelesen werden müssen, zu interpretieren und durchzuführen. Solche Programme können als Computerprodukten, insbesondere als programmierte Datenspeichermedien, vertrieben werden. Die Erfindung betrifft ebenfalls Programme, die von einer externen Vorrichtung 3, 14 durchgeführt werden, um solche Befehle an eine elektronische Einrichtung gemäss der Erfindung zu senden. In addition to the new device 1, 2, for example in the form of a new intelligent camera, the invention also relates to new programs that can be loaded in such a camera for image acquisition commands in which the shape, size, position, To interpret and implement the resolution and / or the number of image areas that have to be read in from an image sensor with single pixel access. Such programs can be sold as computer products, in particular as programmed data storage media. The invention also relates to programs which are carried out by an external device 3, 14 in order to send such commands to an electronic device according to the invention.

Claims

Ansprüche Expectations
1. Elektronische Einrichtung, die folgende Komponenten umfasst: eine mit einem oder mehreren Bildsensoren (6) ausgestattete Bildlese- Einheit (1), wobei mindestens ein Bildsensor den Zugriff auf einzelne Pixels erlaubt, wobei die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle empfangen und ausführen kann, dadurch gekennzeichnet, dass in mindestens einem benannten Bildaufnahme-Befehl die Form des Bildabschnitts (60), welcher aus dem benannten Bildsensor (6) eingelesen werden muss, frei definierbar ist, und dass die benannte Bildlese-Einheit (1) nur die Bildabschnitte (60) des benannten Bildsensors (6), die der im benannten Bildaufnahme-Befehl frei definierten Form entsprechen, aus dem benannten Bildsensor (6) einliest und zur Verfügung stellt.Electronic device comprising the following components: an image reading unit (1) equipped with one or more image sensors (6), at least one image sensor allowing access to individual pixels, the named image reading unit (1) being designed in this way that it can receive and execute image acquisition commands, characterized in that in at least one named image acquisition instruction the shape of the image section (60) which has to be read in from the named image sensor (6) can be freely defined, and that the named one Image reading unit (1) only reads the image sections (60) of the named image sensor (6), which correspond to the form freely defined in the named image acquisition command, from the named image sensor (6) and makes them available.
2. Elektronische Einrichtung gemäss Anspruch 1, mit einer von der benannten Bildlese-Einheit (1) beschreibbaren und von einer externen elektronischen Einrichtung (3) lesbaren Speichereinheit (2) um die aus dem benannten Bildsensor (6) eingelesenen Bildabschnitte zu speichern.2. Electronic device according to claim 1, with a writable by said image reading unit (1) and readable by an external electronic device (3) storage unit (2) in order to store the image sections read from said image sensor (6).
3. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 2, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle von einer externen Einrichtung (3) empfangen kann.3. Electronic device according to one of claims 1 to 2, in which said image reading unit (1) is designed such that it can receive image acquisition commands from an external device (3).
4. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 3, in welcher die benannte Bildlese-Einheit (1) Bildaufnahme-Befehle selber erzeugen kann.4. Electronic device according to one of claims 1 to 3, in which said image reading unit (1) can generate image acquisition commands itself.
5. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 4, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Bildaufnahme-Befehle die Bildabschnitte mit mehreren Pixels enthalten, ausführen kann. 5. Electronic device according to one of claims 1 to 4, in which said image reading unit (1) is designed in such a way that it can execute image acquisition commands which contain image sections with a plurality of pixels.
6. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 5, in welcher die Grosse, die Position, die Auflösung und/oder die Anzahl der aus dem benannten Bildsensor (6) eingelesenen Bildabschnitte (60) im benannten Bildaufnahme-Befehl frei definierbar sind.6. Electronic device according to one of claims 1 to 5, in which the size, the position, the resolution and / or the number of image sections (60) read in from the named image sensor (6) can be freely defined in the named image acquisition command.
7. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 6, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von frei definierbaren rechteckigen Bildabschnitten aus dem benannten Bildsensor (6) interpretieren und durchführen kann.7. Electronic device according to one of claims 1 to 6, in which said image reading unit (1) is designed such that it can interpret and execute commands for reading freely definable rectangular image sections from said image sensor (6).
8. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 7, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie8. Electronic device according to one of claims 1 to 7, in which said image reading unit (1) is designed such that it
Befehle zum Lesen von frei definierbaren Parallelogrammen aus dem benannten Bildsensor (6) interpretieren und durchführen kann.Can interpret and execute commands for reading freely definable parallelograms from the named image sensor (6).
9. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 8, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von frei definierbaren Ellipsen aus dem benannten Bildsensor (6) interpretieren und durchführen kann.9. Electronic device according to one of claims 1 to 8, in which said image reading unit (1) is designed such that it can interpret and execute commands for reading freely definable ellipses from said image sensor (6).
10. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis 9, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von frei definierbaren Bildabschnitten mit einer frei definierbaren Auflösung interpretieren und durchführen kann.10. Electronic device according to one of claims 1 to 9, in which said image reading unit (1) is designed such that it can interpret and execute commands for reading freely definable image sections with a freely definable resolution.
11. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis11. Electronic device according to one of claims 1 to
10, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie Befehle zum Lesen von einer frei definierbaren Anzahl von getrennten Bildabschnitten interpretieren und durchführen kann.10, in which the named image reading unit (1) is designed in such a way that it can interpret and execute commands for reading a freely definable number of separate image sections.
12. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis12. Electronic device according to one of claims 1 to
1 1, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie die Form, die Position, die Grosse, die Auflösung und/oder die Anzahl des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) an den Inhalt des Bildes selbst anpassen kann. 1 1, in which the named image reading unit (1) is designed such that the content, the shape, the position, the size, the resolution and / or the number of the image section (60) read from the image sensor (6) can adjust the image itself.
13. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis13. Electronic device according to one of claims 1 to
12, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie die Form, die Position, die Grosse, die Auflösung und/oder die Anzahl des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) an die Optik (4) selbst anpassen kann.12, in which the named image reading unit (1) is designed such that it transmits the shape, the position, the size, the resolution and / or the number of the image section (60) read from the image sensor (6) to the optics ( 4) can customize.
14. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis14. Electronic device according to one of claims 1 to
13, in welcher die benannte Bildlese-Einheit (1) derart ausgestaltet ist, dass sie die Form, die Position, die Grosse, die Auflösung und/oder die Anzahl des aus dem Bildsensor (6) gelesenen Bildabschnitts (60) selbst anpassen kann, wenn externe Triggersignale empfangen werden.13, in which the named image reading unit (1) is designed such that it can adapt the shape, the position, the size, the resolution and / or the number of the image section (60) read from the image sensor (6) itself, when external trigger signals are received.
15. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis15. Electronic device according to one of claims 1 to
14, mit einem Kommunikationsprozessor (19), um die aus dem benannten Bildsensor gelesenen Bilddaten einer externen Vorrichtung (2, 3) zur Verfügung zu stellen.14, with a communication processor (19) in order to make the image data read from the named image sensor available to an external device (2, 3).
16. Elektronische Einrichtung gemäss einem der Ansprüche 1 bis16. Electronic device according to one of claims 1 to
15, mit Bilddatenverarbeitungsmitteln (8), um aus dem benannten Bildsensor (6) gelesene Bilddaten zu verarbeiten.15, with image data processing means (8) to process image data read from said image sensor (6).
17. Elektronische Einrichtung gemäss dem Anspruch 16, in welcher die benannten Datenverarbeitungsmittel derart ausgestaltet sind, dass sie mindestens gewisse der folgenden Bildverarbeitungsoperationen durchführen können: Kalibrieren mit einem Kalibrierungsbild, Binarisierung mit einem Schwellwert, Kantendetektion, Filtrierung.17. Electronic device according to claim 16, in which the said data processing means are designed such that they can perform at least certain of the following image processing operations: calibration with a calibration image, binarization with a threshold value, edge detection, filtering.
18. Computerprogrammprodukt, das in den Speicher (9) einer elektronischen Einrichtung gemäss einem der Ansprüche 1 bis 17 ladbar ist, und welches Softwarekodeportionen umfasst, um Bildaufnahme-Befehle zu empfangen und derart zu interpretieren, dass nur die Bildabschnitte eines Bildsensors (6) adressiert werden, die der in diesen Bildaufnahme-Befehlen definierten Form entsprechen. 18. Computer program product which can be loaded into the memory (9) of an electronic device according to one of claims 1 to 17 and which comprises software code portions for receiving and interpreting image acquisition commands such that only the image sections of an image sensor (6) are addressed that correspond to the form defined in these image acquisition commands.
19. Computerprogrammprodukt, das in den Speicher einer elektronischen Einrichtung (3; 16; 15) ladbar ist, und welches Softwarekodeportionen umfasst, um Bildaufnahme-Befehle zu erzeugen, die an elektronische Einrichtungen gemäss einem der Ansprüche 1 bis 17 gesendet werden können, um die Form eines Bildabschnitts (60) zu definieren, welche von dieser Einrichtung zur Verfügung gestellt werden muss. 19. Computer program product which can be loaded into the memory of an electronic device (3; 16; 15) and which comprises software code portions for generating image acquisition commands which can be sent to electronic devices according to one of claims 1 to 17 in order to Define the shape of an image section (60), which must be provided by this device.
EP02701140A 2001-03-09 2002-03-07 Device for the extraction of freely-definable image segments from an image sensor Withdrawn EP1366619A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH4362001 2001-03-09
CH436012001 2001-03-09
PCT/CH2002/000140 WO2002073951A1 (en) 2001-03-09 2002-03-07 Device for the extraction of freely-definable image segments from an image sensor

Publications (1)

Publication Number Publication Date
EP1366619A1 true EP1366619A1 (en) 2003-12-03

Family

ID=4515078

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02701140A Withdrawn EP1366619A1 (en) 2001-03-09 2002-03-07 Device for the extraction of freely-definable image segments from an image sensor

Country Status (3)

Country Link
US (1) US20040041916A1 (en)
EP (1) EP1366619A1 (en)
WO (1) WO2002073951A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE429779T1 (en) * 2003-02-03 2009-05-15 Goodrich Corp IMAGE SENSOR WITH RANDOM ACCESS
CN101156434B (en) * 2004-05-01 2010-06-02 雅各布·伊莱泽 Digital camera with non-uniform image resolution
KR20180092621A (en) * 2017-02-10 2018-08-20 엘지전자 주식회사 Terminal and method for controlling the same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060074A (en) * 1989-10-18 1991-10-22 Hitachi, Ltd. Video imaging apparatus
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
US5146340A (en) * 1991-06-17 1992-09-08 Georgia Tech Research Corporation Image data reading and processing apparatus
US5452004A (en) * 1993-06-17 1995-09-19 Litton Systems, Inc. Focal plane array imaging device with random access architecture
EP0739039A3 (en) * 1995-04-18 1998-03-04 Interuniversitair Micro-Elektronica Centrum Vzw Pixel structure, image sensor using such pixel, structure and corresponding peripheric circuitry
JP4229481B2 (en) * 1996-07-31 2009-02-25 オリンパス株式会社 Imaging display system
EP0935880B1 (en) * 1996-10-31 2002-02-13 Institut Für Mikroelektronik Stuttgart Circuit and method for rapid reading of an image cell
CA2282499A1 (en) * 1997-02-21 1998-08-27 The Board Of Regents Of The University And Community College System Of N Evada On Behalf Of The University Of Nevada-Reno Method and system for computerized high-rate image processing
US6646757B1 (en) * 1997-07-15 2003-11-11 Silverbrook Research Pty Ltd Garment design and fabric printing system utilizing digitally encoded design cards
JP4443735B2 (en) * 2000-07-11 2010-03-31 富士フイルム株式会社 Imaging apparatus and operation control method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO02073951A1 *

Also Published As

Publication number Publication date
US20040041916A1 (en) 2004-03-04
WO2002073951A1 (en) 2002-09-19

Similar Documents

Publication Publication Date Title
DE3111027C2 (en)
DE60123088T2 (en) AUTOMATIC EXPOSURE CONTROL METHOD
DE69901878T2 (en) METHOD AND DEVICE FOR DETECTING THE SLIP OF THE DRIVER
DE3855171T2 (en) Imaging system with programmable control system
DE69834918T2 (en) Arrangement for automatic detection and processing of optical codes
DE19983806B4 (en) An auto focus algorithm using discrete wavelet transform
US5068906A (en) Processor for extracting and memorizing cell images
DE60123534T2 (en) Device for tracking a moving object
EP1583022A2 (en) Process and apparatus for acquiring regions of interest of moving objects
DE3305710A1 (en) Circuit arrangement for obtaining characteristics
DE69904056T2 (en) IMAGE PROCESSING DEVICE AND METHOD
DE3851264T2 (en) Image processing.
DE69203785T2 (en) Distance measuring device using two-dimensional images.
DE60103131T2 (en) METHOD AND DEVICE FOR AUTOMATED PERCEPTION
DE112020006938T5 (en) CAMERA MULTILINE TIME-DIVISION EXPOSURE PROCESSING METHOD AND SYSTEM
DE69324781T2 (en) Computer operation of a video camera
EP0298250A1 (en) Versatile recognition of object structures in colour and grey value images
DE69901030T2 (en) IMAGING DEVICE INSPECTION
EP1366619A1 (en) Device for the extraction of freely-definable image segments from an image sensor
DE69014840T2 (en) Digital circuit for checking a movement.
DE102014209623B4 (en) Image processing device, control method, and program
DE69317247T2 (en) Automatic focusing for a video camera
DE68920903T2 (en) Image processing.
DE2817341A1 (en) OPTICAL HAND READER FOR MACHINE CHARACTER RECOGNITION
DE69833295T2 (en) System and method for controlling an application specific integrated circuit

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030910

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SCHIBLI, NIKOLAUS C/O PATENTS & TECHNOLOGY

17Q First examination report despatched

Effective date: 20070928

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20080209