EP3412024A2 - Verfahren zur zeilenweisen bildabtastung - Google Patents

Verfahren zur zeilenweisen bildabtastung

Info

Publication number
EP3412024A2
EP3412024A2 EP17724732.7A EP17724732A EP3412024A2 EP 3412024 A2 EP3412024 A2 EP 3412024A2 EP 17724732 A EP17724732 A EP 17724732A EP 3412024 A2 EP3412024 A2 EP 3412024A2
Authority
EP
European Patent Office
Prior art keywords
image
pixels
pixel
picture elements
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17724732.7A
Other languages
English (en)
French (fr)
Inventor
Krisztina Tichawa
Nikolaus Tichawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tichawa Vision GmbH
Original Assignee
Tichawa Vision GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tichawa Vision GmbH filed Critical Tichawa Vision GmbH
Publication of EP3412024A2 publication Critical patent/EP3412024A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
    • H04N1/0408—Different densities of dots per unit length
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
    • H04N1/042—Details of the method used
    • H04N1/0455—Details of the method used using a single set of scanning elements, e.g. the whole of and a part of an array respectively for different formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/0402—Scanning different formats; Scanning with different densities of dots per unit length, e.g. different numbers of dots per inch (dpi); Conversion of scanning standards
    • H04N1/042—Details of the method used
    • H04N1/0455—Details of the method used using a single set of scanning elements, e.g. the whole of and a part of an array respectively for different formats
    • H04N1/0458—Details of the method used using a single set of scanning elements, e.g. the whole of and a part of an array respectively for different formats using different portions of the scanning elements for different formats or densities of dots

Definitions

  • the invention relates to a method for line-by-line image scanning, and more particularly relates to a method for line-wise image scanning with an integrated dynamic lens function using pixels with size-independent sensitivity.
  • CCD sensors are brightness or light-sensitive electronic components, which are based on the internal photoelectric effect occurring in semiconductors, and in the area of the image sensors primarily on the subsequent accumulation of photon-generated electron-hole pairs in pixels.
  • CCD sensors are predominantly surface sensors, in which the readouts of the sensor stored in a potential well are taken over by the photodiodes in numerous vertical CCDs (vertical shift register) and then shifted vertically in line with the line frequency.
  • each CCD column passes into one or more horizontal CCDs (horizontal shift registers) which are rapidly shifted (video bandwidth defining pixel frequency).
  • a readout structure typically a charging capacitor, a reset or discharge switch and a single or multi-stage source follower as an impedance converter.
  • the CCD shift register structures usually provide no noise contribution, the amplifying output structure, however, already.
  • CMOS sensors active pixel sensors or active pixel sensors
  • An active CMOS pixel sensor is a semiconductor detector for light measurement, which is made in CMOS technology and in which each pixel has an amplifier circuit for reading the signal, so therefore usually not single amplifier as in CCD sensors for several Pixels must be used (passive CMOS pixels are no longer common due to their poor characteristics).
  • each amplifier can be operated at a lower bandwidth and lower intrinsic noise.
  • CMOS technology further functions, such as exposure control, contrast correction or analog-to-digital conversion, can also be integrated into a sensor chip.
  • CMOS sensors are advantageous in comparison with CCD sensors in that the signal of each individual pixel can be read out more quickly and more flexibly by directly addressing the individual pixels and thereby eliminating the charge shifts. Further advantages include high dynamics, the ability to detect high-contrast and bright objects, and a lower power consumption compared to CCD sensors. In addition, they are highly resistant to blooming.
  • image sensor is photodiode arrays (PDA) of CCD or CMOS sensors, which as such form the shape of an n * 1 image sensor, i. in which the individual photosensitive semiconductor pixels are arranged in rows.
  • PDA photodiode arrays
  • Such arrangements can be used to fabricate line sensors or photodiode arrays as optoelectronic sensors.
  • the pixel size determines the resolution, the number of pixels in turn being dependent on the length of the scan line and the pixel size. Depending on the application, the resolution can be between a few pixels per inch (dpi) or cm and up to several thousand pixels per inch.
  • the number of lines is typically between one line for monochrome applications and up to 4 lines for color (RGBIR or RGBSW) applications and up to 128 lines for so-called TDI (Time Delay and Integration) sensors with particularly high photosensitivity and for 3D sensors with spatially structured lighting.
  • TDI Time Delay and Integration
  • Line sensors are particularly suitable for use as so-called CCD lines or (in the case of CMOS) contact image sensors (CIS) in devices in which they scan an object, preferably already moved, line by line.
  • CIS contact image sensors
  • the sensor area is illuminated with a light strip.
  • the reflected light is imaged on the line sensor for line scan cameras with an objective, for CIS sensors with a GRIN (Graded Index) lens array (SELFOC), detected by the line sensor as an analog signal, and then in an A / D - Converter converted into a digital signal.
  • CIS sensors achieve with up to 100,000 pixels per line a higher spatial resolution than line scan cameras and have degrees of freedom in favor of a distortion-free optics and high clock rates.
  • CCD sensors of the aforementioned type are clocked during reading so that even on a sensor array (sensor chip) pixel charges are summed (for example, by analog addition of the brightness values by physical charge addition and charge transport on the image sensor itself to the local line amplifier) and thereby a two-dimensional locally variable resolution is achieved.
  • pixel charges for example, by analog addition of the brightness values by physical charge addition and charge transport on the image sensor itself to the local line amplifier.
  • the possibility of summation of charges is an inherent feature of CCD sensors.
  • a combination of adjacent pixels or (single) pixels within a row and / or a column to a virtual pixel is also referred to as binning.
  • Variants of Binning include horizontal or vertical binning (one-dimensional horizontal or vertical) and full binning (two-dimensional).
  • binning can reduce the bandwidth during transmission to a subsequent further processing, in particular if high-resolution sensors are used and if a high dynamic range is required.
  • binning of, for example, (linear) 8: 1 for 8-bit gray values requires a dynamic of 64 x 256 or 16384 (2 14 brightness values corresponding to 84 dB).
  • the risk of Bloom effects increases.
  • CMOS sensors In contrast to CCD sensors, CMOS sensors not only have no intrinsic binning mechanism, the active pixels are particularly poorly suited to supporting time and locally variable analog binning due to the fluctuating threshold voltage of the amplifier transistors and the low output impedance as well as the lack of accurate resistors.
  • digital binning - as shown in simulations - leads to enormously complex summation structures with extreme power losses.
  • the prior art is also the use of shutters or exposure electrodes for controlling the accumulation of photoelectrons on the one hand and of pulsed light sources on the other. It seems in the CCD area rather the use of shutters and exposure electrodes usual, in the CIS area rather the use of pulsed light sources. Both - shutter like pulsed light sources - can be used in addition to the same bright images at different transport speeds and to control the pixel size in the direction of rotation, possibly also by multiple flashes.
  • the effective pixel height results essentially as a convolution integral from the geometric pixel height on the sensor and from the region recorded on the original (flash duration or shutter shutter duration multiplied by the feed rate).
  • the reading of color images by means of LED multiplex is also widespread, for example in ATMs or CIS-based desktop scanners.
  • the invention is based on the general idea, by means of an image sensor, preferably a line sensor, to allow at least one locally magnified image detail for closer inspection of details of a scanned object or object without significant or negligible bandwidth increase.
  • an image sensor preferably a line sensor
  • local magnification zoom
  • ROI region of interest
  • the inventive method solves at least three different ways application-specific problems with an object to be examined, specifically those of a predefined fixed geometry (type and / or location of a region of interest are known, for example, a predetermined large barcode or a connection structure such as a weld at a predetermined location of the object), a predefined variable geometry (Type and / or location of a region of interest may vary, for example different bar codes at different locations depending on the object), and / or a previously unknown variable geometry (type and / or location of a region of interest are initially indefinite and can be recorded from a current image acquisition, for example, irregular defects, holes, cracks, inclusions and the like).
  • a predefined fixed geometry type and / or location of a region of interest are known, for example, a predetermined large barcode or a connection structure such as a weld at a predetermined location of the object
  • a predefined variable geometry Type and / or location of a region of interest may vary, for example different bar codes at different locations depending
  • a sensitivity which is constant or constant in accordance with the invention in that both "small" picture elements or pixels (without binning) and "large” picture elements or pixels (with binning) are fully controlled at the same or the same luminance can be fully controlled by using the charge generating photodiode can be achieved as a charging capacitor, whereby pixels are obtained, which are fully controlled in this way, regardless of a current pixel area at the same luminance. These pixels can then simultaneously capture at the same location and by the same imaging optics any image sections with the same or different resolutions.
  • elementary pixels are controllably locally combined to form larger pixels via analog switching devices (analog switches or binning switches in the form of, for example, suitable transistors) in the X and / or Y direction.
  • constant sensitivity can be achieved by adjusting the charge capacity of an integrator to the pixel size, and the pixel size control signals can simultaneously control the charge capacitor so that the pixels are fully driven at the same luminance regardless of the current pixel area.
  • constant sensitivity can be achieved by parallel paths, and if there is a charge amplifier to each of elementary pixels, simultaneously with the parallel switching of predetermined elementary pixels to larger pixels, the amplifiers will also be (re) switched and thereby the pixels independent of the current one Pixel area can be fully controlled at the same luminance.
  • constant sensitivity can be achieved by averaging, where large pixels are formed by averaging small pixels, such as resistor networks, and all pixels are fully driven at the same luminance regardless of the current pixel area.
  • large pixels can be formed by averaging small pixels, for example, by arranging switches and capacitors in the manner of advanced switched capacitor technology in filters and ADCs.
  • constant sensitivity can be achieved by averaging in the digital domain where large pixels are formed by digital averaging of small pixels and all pixels are fully driven at the same luminance regardless of the current pixel area.
  • constant feed-forward sensitivity can be achieved by a suitable combined sensor and light control in which the light intensity is proportionally increased for lines of low pixel height and consequently low line time, such that all lines are the same product of luminous flux and light regardless of the actual line duration Exposure time can be applied.
  • a constant sensitivity can be achieved by combining two or more of the methods according to the invention.
  • an analog averaging can be combined transversely to the transport direction with exposure and sensor control and subsequent locally variable summation in the transport direction.
  • pixels of different sizes can be operated locally partially overlapping or spatially separated.
  • Local separation in the sense of the invention is herein understood to mean a position of individual pixels at different positions in the transport direction of a scanned object, but within the imaging field or imaging region of the same optics (lenses, lens arrangement (array), illumination or the like).
  • a large pixel can be formed additively from a plurality of small pixels, or can be multiply non-reactive Readable, large pixel limited aperture are read out several times to achieve smaller effective pixels.
  • the separately arranged pixels can be brought to local coverage via delay stages operating in synchrony with an object feed in the sensor electronics.
  • the pixels or picture elements according to the invention thus provide an image with locally different sized picture elements with uniform modulation in the case of locally homogeneous illumination. Advantages are therefore to be achieved according to the invention wherever images or objects with a basic optical resolution have zones of higher optical resolution, such as banknotes or identification papers with security features, printed matters with 1 D or 2D barcodes, materials with seams or welds and the like.
  • static or dynamic zones ie static or dynamic window-like regions or windows as regions of interest (ROI) of higher one-dimensional resolution for detecting line defects, for example in digital printing (nozzle calibration) or in laser-processed materials (eg battery foils) are further examples , Solar cells), static zones, ie in a field of view immovable windows (ROI), higher two-dimensional resolution for the targeted evaluation of more critical, mainly rectangular image sections, such as security features in ID cards or banknotes, address fields, 2D barcodes in printed matter, printed circuits or similar products, test structures on semiconductor wafers, in digital printing or in laser-processed materials (eg battery foils, solar cells), dynamic zones, ie movable or variably positionable windows (ROI) of higher resolution to the pendulum like, in oscillating motion or displacement of the windows, taking place inspection of all kinds of web material, comparable to a mechanically traversing camera or the use of a magnifying glass by a human observer, dynamic zones, ie higher resolution moving
  • the object is achieved in detail advantageously by a method for line-by-line image-sensing scanning of an object by means of an image sensor, the image sensor having a plurality of first charge-generating elements as first picture elements having a first element surface, with light remaining the same on the first picture elements Luminance, and on the basis of charges output by the image sensor, an image of the scanned object is generated including: dynamically controllable combining predetermined adjacent pixels to at least a second pixel having a larger pixel than the first pixel and a second one opposite to the second pixel first element surface forms larger element surface; and fully driving the at least one second picture element including the combined first picture elements and remaining first picture elements for equal sensitivity at the constant luminance and independent of the size of the first and second element surfaces, and optionally appropriate sensor and light source control
  • combining includes controlling by means of signals to control the size of a pixel.
  • pixels of size-independent sensitivity are combined and in a field generated by the image-enhancing scan, a positionally variable or positionally fixed region of interest of higher one-dimensional resolution is generated which provides an enlarged image section of the image produced by the scan of the object.
  • pixels with size-independent sensitivity are combined and are generated in one by the image-enhancing scan Image field generates a positionally variable or positionally fixed interesting region of higher two-dimensional resolution, which provides an enlarged image section of the image generated by the scanning of the object.
  • image-enhancing scan Image field generates a positionally variable or positionally fixed interesting region of higher two-dimensional resolution, which provides an enlarged image section of the image generated by the scanning of the object.
  • the merging captures at least a portion of a width of the image sensor and is performed within at least one of successive scan lines of the line-by-line scan.
  • first picture elements and / or second picture elements of different sizes locally overlap at least partially, for example completely or partially.
  • first picture elements and / or second picture elements of different size are spatially separated at different positions in the transport direction of the scanned object.
  • charge-generating photodiodes are preferably driven as the charge-generating elements and used as a charging capacitor.
  • a charge capacitance and / or an integrator is preferably matched to the current size of the pixel, whereby an associated charge capacitor can also be simultaneously controlled by means of the signals for controlling the size of a pixel.
  • predetermined first image elements which form elementary pixels and at the same time a parallel amplifier are connected to each of elementary pixels.
  • averaging is preferred performed, wherein the averaging second picture elements are formed by averaging of first picture elements.
  • the averaging is performed using a resistor network or by arrangements of switches and capacitors in the manner of sophisticated "switched capacitor” technology in filters and analog-to-digital converters or converters (ADCs; Analog Digital Converter).
  • averaging is preferably carried out, with second picture elements being formed by averaging from first picture elements during averaging.
  • the averaging is done by averaging in the digital domain, in which large pixels are formed by digital averaging of small pixels
  • a suitable combined control of sensor and light source is made to obtain in the transport direction independently of a respective element surface with constant luminance fully controllable pixels in which the light intensity is increased proportionally for lines with low pixel height and consequently low line time, so that all lines independently be acted upon by the current line duration with the same product of light flux and exposure time.
  • an analog averaging can be combined transversely to the transport direction with exposure and sensor control and subsequent locally variable summation in the transport direction.
  • pixels of size independent sensitivity are combined and a positionally varying or positionally fixed region of interest of higher two-dimensional resolution is generated in an image field generated by the image-obtaining scan, which provides an enlarged image section of the image generated by the scanning of the object.
  • a positionally varying or positionally fixed region of interest of higher two-dimensional resolution is generated in an image field generated by the image-obtaining scan, which provides an enlarged image section of the image generated by the scanning of the object.
  • FIG. 1 is a simplified sectional view of a contact image sensor usable for the line-by-line image scanning method of an object according to an embodiment
  • FIG. 2 is a fragmentary, exemplary illustration of an image obtained using the contact image sensor of FIG. 1 with a locally magnified image detail for closer inspection of details of the scanned object;
  • 3 shows a schematic representation of pixel arrangements of different sizes and in each case the same sensitivity
  • Fig. 4 is a view schematically illustrating a comparison of bandwidths required for various resolutions of a predetermined region of interest.
  • Fig. 5 is a schematic representation of an example of a combination of two or more methods for achieving a constant sensitivity.
  • the senor should be capable of multiplexing color images and have a low image lag (shadow effect of the previous image).
  • CMOS image sensors do not meet requirements e), f) and g).
  • conventional CMOS image sensors with active pixels and global shutter or shutter can certainly meet the requirements b) to i) when well designed.
  • common active pixels are equally sensitive in the sense described above because the charge and charge capacitance increase simultaneously with the pixel area.
  • these active pixels can not be combined in a conventional readout structure, so that in the following also only the above-mentioned brooding force approach remains.
  • Sub-sampling CMOS sensors are capable of satisfying requirement a), but not requirement c). As a result, dropped pixels that form blind spots or spots and interference noise occur.
  • FIG. 1 is a simplified sectional view of a contact image sensor (CIS) or contact image sensor 100 useful for the method of scanning an object line by line according to one embodiment.
  • CIS contact image sensor
  • the CIS 100 is preferably equipped with CMOS ICs, depending on the application, however, other sensors can be used, such as CCD elements.
  • CCD elements such as CCD elements.
  • the CIS 100 used by way of example in this embodiment may be of a single-line type, i. have a juxtaposition of multiple sensor chips or sensor ICs across its width, or be of a multicellular type, i. have across its width several rows of aligned sensor modules. These can be used as color lines in the manner of a trilinear or quadrilinear sensor, as a TDI (Time Delay and Integration) sensor with high sensitivity or for obtaining 3D images by means of locally structured illumination.
  • a sensor IC includes on one of its surfaces a predetermined number of elementary charge generating pixels, also referred to as pixels.
  • the CIS 100 shown in Fig. 1 may be basically constructed as follows using sensor ICs of the aforementioned type and arrangement.
  • a support frame 1 10 arranged to receive and / or support additional components of the CIS 100, and a light emitting diode or LED frame 120 arranged to Receiving and / or supporting a light source board 130, on which at least one light emitting diode 132 serving as a light source is electrically connected, each form a lower part and an upper part of a box-like outer structure of the CIS 100.
  • the support frame 110 is preferably formed as a one-piece profile with recesses for receiving the other components and extends upwardly tapering in the height direction.
  • the LED frame 120 is formed in this embodiment by two identical profile structures, which are each set on opposite sides of a tapered in the height direction extending portion of the support frame 1 10 that they form with this an object-side recess.
  • the light source board 130 with the at least one light emitting diode 132 mounted thereon is arranged on an inclined partial surface of each of the LED frame 120 forming the light emitted from the light emitting diode 132 through the object side recess to the outside and on a fall from the CIS 100 object to be scanned (not shown) and can be reflected there.
  • a rod-shaped lens 140 which may preferably be a self-focusing (SELFOC) and / or a graded index (GRIN) lens.
  • a sensor IC 160 which is arranged on a sensor board 150 and electrically connected.
  • the sensor board 150 is arranged on a lower portion of the support frame 110 and fixed to this, or connected thereto, which is opposite to the object-side recess.
  • a signal processing board 170 can additionally be fixed to the sensor board 150, electrically connected thereto and arranged for signal processing components that are not already integrated into the sensor IC 160 and / or at least one interface, for example one in CIS widespread CameraLinkO interface for controlling the CIS and for occurring data transfer.
  • Covers 180, 190 which may for example be made of glass, protect the interior of the CIS 100 from its surroundings.
  • the above briefly circumscribed and known as such CIS 100 is representative of commercially available line sensors. It should be understood that there is no limitation to this CIS 100 in terms of a number and arrangement of built-in light sources and / or sensor circuits, and / or configured rows of the CIS 100, but correspondingly application-related to the object sensing and imaging detection assembly modified or replaced by an alternative arrangement.
  • image sensor devices of the aforementioned kind are predominantly used to scan, record and process object objects or their surfaces and to provide an image of the object or its surface, or corresponding image data, for a closer examination, such as described above .
  • Common scenarios are, for example, a two-dimensional or two-dimensional detection by means of illuminating surface cameras, or a line-by-line detection by means of a fixed CIS 100, in which an object to be scanned is transported close to a CIS 100.
  • Line-by-line detection can also be carried out and evaluated one-dimensionally or, if the components involved are appropriately designed and controlled, in two dimensions.
  • FIG. 2 is a fragmentary, exemplary illustration of an image obtained using the CIS 100 of FIG. 1, with a locally magnified image detail for closer inspection of details of the scanned object.
  • the representation of an electronic circuit arrangement on a card or circuit board shown in FIG. 2, for example, can be generated by passing the card or circuit board past a detection area of the CIS 100.
  • the transport usually takes place synchronously with the control of the CIS 100, so that it can detect the object to be scanned without gaps.
  • the charge-generating elements of the sensor ICs in the line direction dynamically at least from (image) line to (image) line, ie in the width direction of the CIS 100, controlled such that at least one dynamic switching of the resolution of Line to line is achievable. If the resolution remains constant in the line, a line-by-line enlargement of the captured image can be displayed.
  • the charge-generating elements of the sensor ICs are dynamically controllable in the column direction as well (in the transport direction of the object) that a dynamic switching of the resolution over (image) lines in the transport direction of the object can be achieved, corresponding to a two-dimensionally locally variable one Resolution with which optionally an enlarged image section (region of interest or interest, ROI) can be generated.
  • An essential feature according to the invention is therefore a locally controllable enlargement (zoom) with which one or more windows of higher resolution than areas of interest (ROI) are optionally firmly anchored or movably implemented in an image field.
  • ROI areas of interest
  • the charge-generating photodiodes in the sensor ICs are used as a charging capacitor and thereby fully controlled independently of the pixel area at the same luminance, and / or the charge capacitance or the integrator on the Matched pixel size, wherein the signals to control the pixel size simultaneously control the charging capacitor, so that the pixels are fully controlled regardless of the pixel area at the same luminance, and / or (if there is a charge amplifier to each elementary pixel) elemental pixels connected in parallel and simultaneously Paralleling the elementary pixels to larger pixels and the charge amplifiers are switched so that the pixels are fully controlled regardless of the current pixel area at the same luminance, and / or large pixels by averaging out small pixels are generated, for example, by resistor networks, wherein all pixels are fully controlled independently of the pixel area at the same luminance.
  • Fig. 4 is a view schematically illustrating a comparison of bandwidths required for various resolutions of a predetermined region of interest.
  • the (video) bandwidth in megapixels is plotted along the ordinate, and four example cases and Comparative Examples A, B, C, and D are plotted along the abscissa for different dissolution scenarios, respectively.
  • the example cases A and B relate to a comparison with known resolution change, and the example cases C and D represent contrast, which can be achieved using the method according to the embodiment.
  • the bandwidth in example case B increases considerably compared to example case A, but in the example cases C and D it remains approximately on the bandwidth of example case A, ie. not or only slightly increases.
  • Table 1 illustrates this in conjunction with Fig. 3, which is a partial schematic representation of pixel arrays of different sizes and the same sensitivity, indicating each of the pixel array size in ⁇ , the total diode capacity, the quantum efficiency, the saturation level, the saturation charge and the saturation flux of electrons / photons in comparison to a base or useful pixel of size 1 ⁇ 1, a relationship between pixel arrangements (3 ⁇ 3 pixels vertically and horizontally, 3 ⁇ 1 pixels horizontally and 1 ⁇ 3 pixels vertically) and a resulting arithmetically each same saturation flux in photons per ⁇ 2 .
  • Size of diode quantum satur. Sttt. Saturation flow saturation flux ⁇ capacity yield level charge El./Phot. Phot./mm 2
  • Fig. 4 clearly shows, on the basis of the considerable differences, the effect according to the invention of an extraordinary reduction of the required bandwidth in the immediate vicinity of the bandwidth which is required anyway without a change in resolution.
  • the graph in Fig. 4 refers to the bandwidth needed to resolve a 1.27 cm x 1.27 cm (ROI) area of interest for a total image size of 20.32 cm by 30.48 cm ,
  • Example Case A refers to an unexpanded ROI at a resolution of 400 dpi.
  • the bandwidth required for this purpose is shown in FIG. 4 about 16 megapixels.
  • Example B refers to a fully magnified overall image at a resolution of 2400 dpi. The bandwidth required in this case increases compared to example case A to thirty-six times of over 500 megapixels.
  • Example C relates to a ROI at a resolution of 400, increased by one-dimensional dynamic line-to-line switching in only one direction, for example an x-direction with respect to the transport direction of the object (see Fig. 2) dpi.
  • the bandwidth required compared to example case A remains essentially unchanged or increases only insignificantly.
  • Example case D according to the present embodiment refers to a two-dimensional dynamic switching in the x-direction (transverse to the transport direction of the object) and in the y-direction (in the transport direction of the object) increased ROI at a resolution then switched to 2400 dpi resolution.
  • the bandwidth required compared to example case A remains essentially unchanged or increases only insignificantly.
  • FIG. 5 shows a schematic representation of an example of a combination of two or more methods for achieving a constant sensitivity based on an embodiment of a combination of analog averaging transversely to the transport direction with exposure and sensor control and subsequent locally variable summation in the transport direction.
  • pixels of size-independent sensitivity are combined and in a field generated by the image-acquiring scan, a positionally varying or positionally fixed region of interest of higher two-dimensional resolution is generated which provides an enlarged image section of the image produced by the scanning of the object.
  • suitable control of sensor and / or light source is advantageous for two-dimensional imaging.
  • a line scan may be replaced by a single CIS sensor by means of cameras scanning one or more area scan areas.
  • the foregoing has been a method for line-by-line image-sensing scanning of an object by means of an image sensor, wherein the image sensor has a plurality of first charge-generating elements as first picture elements having a first element area, on which first picture elements light of a constant luminance is incident, and on the basis of Image sensor output charges an image of the scanned object is generated described.
  • the method comprises a dynamically controllable combination of predetermined neighboring picture elements to at least one second picture element, which forms a larger picture element with respect to the first picture element with a second element surface larger with respect to the first element surface, and a full control of the at least one second picture element, which comprises the combined first picture elements and remaining first picture elements for equal sensitivity at the constant luminance and independent of the size of the first and the second element surface.
  • the method provides a constant sensitivity which results in bandwidth increasing only insignificantly when increasing Both small (unassembled) and large (combined) pixels are fully controlled at the same luminance, also with the aid of suitable sensor and light control.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

Ein Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beinhaltet ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet, und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche. Das Verfahren stellt durch Vollaussteuern sowohl kleiner als auch großer Pixel bei derselben Leuchtdichte eine konstante Empfindlichkeit bereit, die auch bei Vergrößerung eines Bildausschnitts zu einer interessierenden Region in nur unwesentlich ansteigender Bandbreite resultiert.

Description

BESCHREIBUNG
TITEL
VERFAHREN ZUR ZEILENWEISEN BILDABTASTUNG
HINTERGRUND
Die Erfindung betrifft ein Verfahren zur zeilenweisen Bildabtastung, und bezieht sich insbesondere auf ein Verfahren zur zeilenweisen Bildabtastung mit einer integrierten dynamischen Linsenfunktion unter Verwendung von Pixeln mit größenunabhängiger Empfindlichkeit.
STAND DER TECHNIK
Bislang sind auf dem Gebiet der Bildabtastung Zeilen- und Flächenkameras mit statisch umschaltbarer Auflösung bekannt. In Kameras dieser Art werden als optoelektronische Sensoren häufig CCD (Charged Coupled Device)-Sensoren eingesetzt. CCD-Sensoren sind helligkeits- bzw. lichtempfindliche elektronische Bauelemente, die auf dem bei Halbleitern auftretenden inneren Photoeffekt, im Bereich der Bildsensoren vorwiegend auf der anschließenden Akkumulation der von Photonen erzeugten Elektron-Loch-Paaren in Pixeln beruhen. CCD-Sensoren sind vorwiegend Flächensensoren, bei welchen für das Auslesen des Sensors die in einem Potentialtopf zwischengespeicherten Ladungen der Photodioden in zahlreiche vertikale CCDs (vertikales Schieberegister) übernommen und dann im Takt der Zeilenfrequenz vertikal verschoben wird. Die jeweils aus jeder CCD- Spalte austretende Ladung gelangt in ein oder mehrere horizontale CCD (horizontale Schieberegister), welche schnell verschoben werden (Videobandbreite bestimmende Pixelfrequenz). Am Ausgang der horizontalen Schieberegister sitzt jeweils eine Auslesestruktur, typisch ein Ladekondensator, ein Reset- oder Entladeschalter und ein ein- oder mehrstufiger Source Follower als Impedanzwandler. Die CCD Schieberegisterstrukturen liefern in aller Regel keinen Rauschbeitrag, die verstärkende Ausgangsstruktur dagegen schon.
Alternativ werden als optoelektronische Sensoren CMOS-Sensoren (Active Pixel Sensoren bzw aktive Pixelsensoren) eingesetzt. Ein aktiver CMOS-Pixelsensor ist ein Halbleiterdetektor zur Lichtmessung, der in CMOS-Technik hergestellt ist und bei dem jedes Bildelement eine Verstärkerschaltung für das Auslesen des Signals aufweist, sodass daher in der Regel nicht einzelne Verstärker wie bei CCD-Sensoren für mehrere Pixel genutzt werden müssen (passive CMOS-Pixel sind ihrer schlechten Kennwerte wegen nicht mehr üblich). Dadurch kann bei einer gegebenen Pixelrate jeder Verstärker mit einer geringeren Bandbreite und geringerem Eigenrauschen betrieben werden. Bei CMOS-Technik sind ferner weitere Funktionen, wie beispielsweise eine Belichtungssteuerung, eine Kontrastkorrektur oder eine Analog-Digitalwandlung, in einen Sensorchip integrierbar.
CMOS-Sensoren sind gegenüber CCD-Sensoren dahingehend vorteilhaft, dass durch direktes Adressieren der einzelnen Pixel und dadurch Entfall der Ladungsverschiebungen das Signal jedes einzelnen Pixels schneller und flexibler auslesbar ist. Weitere Vorteile beinhalten eine hohe Dynamik, die Erfassbarkeit kontrastreicher und heller Objekte, und eine gegenüber CCD-Sensoren einfachere Versorgung mit geringerer Leistungsaufnahme. Darüber hinaus sind sie hochgradig unempfindlich gegen Blooming.
Eine spezielle Form von Bildsensoren stellen Photodioden-Anordnungen bzw. Arrays (PDA) aus CCD- oder CMOS-Sensoren dar, die als solche die Form eines n* 1- Bildsensors ausbilden, d.h. bei denen die einzelnen lichtempfindlichen Halbleiterpixel in Reihen angeordnet sind. Derartige Anordnungen können zur Herstellung von Zeilensensoren oder Photodiodenzeilen als optoelektronische Sensoren verwendet werden. Dabei bestimmt die Pixelgröße die Auflösung, wobei die Pixelanzahl wiederum von der Länge der Abtastzeile und der Pixelgröße abhängig ist. Anwendungsbezogen kann hierbei die Auflösung zwischen einigen wenigen Bildpunkten pro Zoll (dpi) bzw. cm und bis zu mehreren tausend Bildpunkten pro Zoll betragen. Die Zeilenzahl beträgt typisch zwischen einer Zeile für Monochrom-Anwendungen und bis zu 4 Zeilen für Färb (RGBIR oder RGBSW)-Anwendungen bzw. bis zu 128 Zeilen für sogenannte TDI (Time Delay and Integration) Sensoren mit besonders hoher Lichtempfindlichkeit sowie für 3D Sensoren mit räumlich strukturierter Beleuchtung.
Zeilensensoren sind insbesondere zur Verwendung als so genannte CCD-Zeilen oder (bei CMOS) Kontaktbildsensoren (CIS; Contact Image Sensor) in Geräten geeignet, in denen sie ein - vorzugsweise bereits bewegtes - Objekt zeilenweise abtasten. Beim Abtastvorgang wird der Sensorbereich mit einem Lichtstreifen beleuchtet. Das reflektierte Licht wird - für Zeilenkameras mit einem Objektiv, für CIS-Sensoren mit einem GRIN (Graded Index)-Linsenarray (SELFOC; SELf FOCusing) - auf den Zeilensensor abgebildet, von dem Zeilensensor als analoges Signal erfasst und sodann in einem A/D- Wandler in ein digitales Signal gewandelt. Insbesondere CIS-Sensoren erreichen mit bis zu 100000 Pixeln pro Zeile eine höhere Ortsauflösung als Zeilenkameras und weisen Freiheitsgrade zugunsten einer verzeichnungsfreien Optik und hoher Taktrate auf.
In einem bekannten Verfahren werden CCD-Sensoren der vorgenannten Art beim Auslesen so getaktet, dass noch auf einer Sensoranordnung (Sensorchip) Pixelladungen aufsummiert werden (beispielsweise durch analoge Addition der Helligkeitswerte durch physikalische Ladungsaddition und Ladungstransport auf dem Bildsensor selbst hin zum lokalen Zeilenverstärker) und dadurch eine zweidimensional lokal variable Auflösung erzielt wird. Die Möglichkeit der Summation von Ladungen ist ein inhärentes Merkmal von CCD Sensoren. Nachteilig sind hierbei jedoch auftretende Dynamikprobleme, weil - vereinfacht ausgedrückt - sowohl die noch auf der Sensoranordnung aufsummierten (und ein Vielfaches einer Einzelpixelladungsmenge darstellenden) Summenpixelladungen als auch Einzelpixelladungen durch dieselbe Auslesestruktur geführt werden und die Auslesestruktur einen entsprechend großen Dynamikbereich bereitstellen muss, damit Summenpixelladungen beispielsweise nicht ausblühen oder Einzelpixelladungen nicht in beispielsweise Rauschen untergehen. Außerdem ist dieses auf CCD-Technik basierende bekannte Verfahren mit lokal variablem Binning im CCD entweder auf Monochrom- Kameras beschränkt, weil benachbarte Pixel unterschiedliche Farben haben und nicht sinnvoll aufaddiert werden können, oder auf sehr aufwändige und damit teure 3-Chip- Kameras. Es wird angemerkt, dass das bekannte Verfahren grundsätzlich auch mit einem trilinearen Sensor möglich wäre. Jedoch sind dem Anmelder bislang keine trilinearen Sensoren mit der erforderlichen separaten Clock- bzw. Taktansteuerung bekannt, die jedenfalls benötigt werden, da sich die drei Sensoren an geometrisch verschiedenen Orten befinden und demzufolge daher auch zu verschiedenen Zeitpunkten die Auflösung umschalten müssen.
Bei der digitalen Bildgewinnung mit optoelektronischen Sensoren wird ein Zusammenfassen benachbarter Bildelemente bzw. (Einzel)Pixel innerhalb einer Zeile und/oder einer Spalte zu einem virtuellen Bildpunkt auch als Binning bezeichnet. Varianten des Binnings beinhalten horizontales oder vertikales Binning (eindimensional horizontal oder vertikal) sowie Vollbinning (zweidimensional). Durch das Zusammenfassen und dadurch Bilden von Pixelblöcken wird eine höhere Lichtempfindlichkeit pro einem virtuellen Bildpunkt erreicht, und verbessert sich der Signal-Rauschabstand aufgrund des statistisch verteilten Rauschens. Nachteilig reduziert sich jedoch die Bildauflösung entsprechend der Anzahl der zusammengefassten Pixel. Der Vollständigkeit halber wird angemerkt, dass bei Zeilensensoren die wirksame Pixelhöhe durch eine Mischfunktion aus geometrischer Pixelhöhe einerseits und dem Quotienten aus Vorschubgeschwindigkeit und Zeilenrate andererseits gegeben ist.
Binning kann somit zwar insbesondere dann, wenn hochauflösende Sensoren genutzt werden und wenn ein hoher Dynamikumfang erforderlich ist, die Bandbreite bei der Übertragung an eine nachfolgende Weiterverarbeitung reduzieren. Allerdings erfordert bereits ein Binning von beispielsweise (linear) 8: 1 für 8 Bit Grauwerte eine Dynamik von 64 x 256 oder 16384 (214 Helligkeitswerte entsprechend 84 dB). Gleichzeitig steigt das Risiko von Bloom ingeffekten. Zwar sind Mechanismen zur Reduktion von Blooming bekannt, diese reduzieren aber wieder zwangsläufig den Dynamikbereich um bis zu fast eine Größenordnung
Wesentliche Nachteile bisher bekannter Anordnungen und Verfahren unter Verwendung von CCD-Sensoren bestehen insoweit in entweder lediglich statischer Umschaltbarkeit der Auflösung und/oder darin, dass bei konstantem Beleuchtungsfluss und zweidimensional lokal variabler Auflösung das Pixelsignal mit dem Quadrat der Pixelabmessung zunimmt und einen außerordentlich hohen Dynamikbereich erfordert, der als solcher häufig nicht realisierbar ist und/oder extrem hohe Beleuchtungsintensitäten erfordert. Bei CCD Sensoren entstehen zusätzliche Probleme durch die Anfälligkeit für Blooming: Einzelne Glanzpunkte führen zu lokaler Übersteuerung. Im Schieberegister fließt dann überschüssige Ladung in zu den Nachbarpixeln gehörigen Potentialtöpfe über, der Glanzpunkt erscheint örtlich verschmiert, bedingt durch die vorstehend beschriebene Auslesestruktur vorwiegend in vertikaler Richtung:
CMOS Sensoren weisen im Gegensatz zu CCD-Sensoren nicht nur keinen intrinsischen Binningmechanismus auf, die aktiven Pixel sind durch die schwankende Schwellspannung der Verstärkertransistoren und die niedrige Ausgangsimpedanz sowie durch das Fehlen genauer Widerstände sogar besonders schlecht geeignet, zeitlich und lokal variables analoges Binning zu unterstützen. Digitales Binning hingegen führt - wie in Simulationen aufgezeigt wurde - zu enorm aufwendigen Summationsstrukturen mit extremen Verlustleistungen.
Stand der Technik ist auch der Einsatz von Shuttern bzw. Belichtungselektroden zur Steuerung der Akkumulation von Photoelektronen einerseits sowie von gepulsten Lichtquellen andererseits. Dabei scheint im CCD Bereich eher der Einsatz von Shuttern und Belichtungselektroden üblich, im CIS Bereich eher der Einsatz gepulster Lichtquellen. Beides - Shutter wie gepulste Lichtquellen - kann neben der Gewinnung gleich heller Bilder bei unterschiedlichen Transportgeschwindigkeiten auch zur Steuerung der Pixelgröße in Laufrichtung genutzt werden, gegebenenfalls auch durch Mehrfachblitzen. Die effektive Pixelhöhe ergibt sich im Wesentlichen als Faltungsintegral aus der geometrischen Pixelhöhe auf dem Sensor und aus dem - per Blitzdauer oder per Shutteröffnungsdauer multipliziert mit der Vorschubgeschwindigkeit - erfassten Bereich auf der Vorlage. Im CIS Bereich ist neben herkömmlichen trilinearen Sensoren mit Farbfiltern auch das Einlesen von Farbbildern mittels LED Multiplex weit verbreitet, beispielsweise in Bankomaten oder CIS basierten Desktop Scannern.
KURZBESCHREIBUNG DER ERFINDUNG
Der Erfindung liegt daher als eine Aufgabe zugrunde, die vorstehenden Nachteile zu überwinden und für Bildsensoren ein Verfahren zur zeilenweisen Bildabtastung mit dynamischer Umschaltbarkeit der Auflösung bei geringstmöglichen Kosten der Verarbeitungsstufen bereitzustellen.
Darüber hinaus soll ein solches Verfahren für eine Zeilenkamera und/oder einen Kontaktbildsensor bzw. CIS-Sensor bereitgestellt werden.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur zeilenweisen Bildabtastung mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der beigefügten Unteransprüche.
Der Erfindung liegt die allgemeine Idee zugrunde, mittels eines Bildsensors, vorzugsweise eines Zeilensensors, zumindest einen lokal vergrößerten Bildausschnitt zur näheren Betrachtung von Einzelheiten eines abgetasteten Gegenstands oder Objekts ohne nennenswerten bzw. bei vernachlässigbarem Bandbreitenanstieg zu ermöglichen. Erfindungsgemäß wird hierzu eine dynamisch verfügbare, das heißt bei laufender Erfassung einer Bildaufnahme von Zeile zu Zeile in dem erfassten Bild umschaltbare lokale Vergrößerung (Zoom) vorgeschlagen, mit welcher in einem Bildfeld ein oder mehrere Fenster höherer Auflösung als interessierende Region (ROI, Region of Interest) wahlweise fest im Bild verankert oder beweglich derart implementiert wird/werden, dass die Videobandbreite dennoch nicht oder nur unwesentlich ansteigt. Das erfindungsgemäße Verfahren löst dabei zumindest drei unterschiedliche Arten anwendungsspezifischer Probleme bei einem zu untersuchenden Objekt, genauer solche einer vordefinierten festen Geometrie (Art und/oder Ort einer interessierenden Region sind bekannt, beispielsweise ein vorbestimmt großer Barcode oder eine Verbindungsstruktur wie etwa eine Verschweißung an einer vorbestimmten Stelle des Objekts), einer vordefinierten variablen Geometrie (Art und/oder Ort einer interessierenden Region können variieren, beispielsweise objektabhängig unterschiedlich große Barcodes an unterschiedlichen Orten), und/oder einer vorab unbekannten variable Geometrie (Art und/oder Ort einer interessierenden Region sind zunächst unbestimmt und aus einer laufenden Bildaufnahme zu erfassen, beispielsweise unregelmäßig auftretende Fehlerstellen, Löcher, Risse, Einschlüsse und dergleichen).
Eine dazu erfindungsgemäß konstante bzw. gleichbleibende Empfindlichkeit dahingehend, dass sowohl „kleine" Bildelemente bzw. Pixel (ohne Binning) als auch „große" Bildelemente bzw. Pixel (mit Binning) bei derselben bzw. gleicher Leuchtdichte voll ausgesteuert werden, kann durch Verwendung der ladungserzeugenden Photodiode als Ladekondensator erreicht werden, wodurch Pixel erhalten werden, die auf diese Weise unabhängig von einer aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert sind. Diese Pixel können dann simultan am selben Aufnahmeort und durch dieselbe Abbildungsoptik beliebige Bildausschnitte mit gleichen oder unterschiedlichen Auflösungen erfassen. In einer praktischen Ausführung werden dazu beispielsweise Elementarpixel über analoge Schalteinrichtungen (Analogschalter bzw. Binningschalter in Form beispielsweise geeigneter Transistoren) in X- und/oder Y-Richtung steuerbar lokal zu größeren Pixeln zusammengefasst.
Alternativ kann eine konstante Empfindlichkeit durch Abstimmen der Ladekapazität bzw. eines Integrators auf die Pixelgröße erreicht werden, wobei die Signale zur Steuerung der Pixelgröße gleichzeitig den Ladekondensator steuern können, sodass die Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden.
Weiter alternativ kann eine konstante Empfindlichkeit durch parallele Pfade erreicht werden, wobei dann, wenn zu jedem von Elementarpixeln ein Ladungsverstärker vorhanden ist, gleichzeitig mit dem Parallelschalten vorbestimmter Elementarpixel zu größeren Pixeln auch die Verstärker mit (um)geschaltet und dadurch die Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden können. Weiter alternativ kann eine konstante Empfindlichkeit durch eine Mittelwertbildung erreicht werden, bei der große Pixel durch Mittelwertbildung aus kleinen Pixeln, beispielsweise durch Widerstandsnetzwerke gebildet werden und alle Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden. Außerdem alternativ können große Pixel durch Mittelwertbildung aus kleinen Pixeln beispielsweise durch Anordnungen von Schaltern und Kondensatoren in Art der hochentwickelten„switched capacitor" Technologie in Filtern und ADCs gebildet werden.
Weiter alternativ kann - in bestimmten Grenzen - eine konstante Empfindlichkeit durch eine Mittelwertbildung im Digitalbereich erreicht werden, bei der große Pixel durch digitale Mittelwertbildung aus kleinen Pixeln gebildet werden und alle Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden.
Weiter alternativ kann eine konstante Empfindlichkeit in Vorschubrichtung durch eine geeignete kombinierte Sensor- und Lichtsteuerung erreicht werden, bei der für Zeilen mit geringer Pixelhöhe und folglich niedriger Zeilenzeit die Lichtintensität proportional angehoben wird, sodass alle Zeilen unabhängig von der aktuellen Zeilendauer mit gleichem Produkt aus Lichtfluss und Belichtungszeit beaufschlagt werden.
Weiter alternativ kann eine konstante Empfindlichkeit durch Kombination zweier oder mehrerer der erfindungsgemäßen Verfahren erreicht werden. So kann zum Beispiel eine analoge Mittelwertbildung quer zur Transportrichtung mit Belichtungs- und Sensorsteuerung und anschließender lokal variabler Summation in Transportrichtung kombiniert werden.
Unabhängig von den vorgenannten Maßnahmen zur Erzielung der konstanten Empfindlichkeit sowohl ohne als auch mit Binning können Pixel unterschiedlicher Größe örtlich teilweise überlappend oder örtlich getrennt betrieben werden. Unter örtlicher Trennung im erfindungsgemäßen Sinne ist hierin eine Lage einzelner Pixel an in Transportrichtung eines abgetasteten Objekts unterschiedlichen Positionen, jedoch innerhalb des Abbildungsfelds oder Abbildungsbereichs derselben Optik (Linsen, Linsenanordnung (Array), Beleuchtung oder dergleichen) zu verstehen.
Im Fall der örtlich teilweisen Überlappung kann beispielsweise ein großes Pixel additiv aus mehreren kleinen Pixeln gebildet werden, oder kann ein rückwirkungsfrei mehrfach auslesbares, großes Pixel begrenzter Apertur mehrmals ausgelesen werden, um kleinere effektive Pixel zu erzielen. Im Fall der örtlichen Trennung können die separat angeordneten Pixel über synchron zu einem Objektvorschub arbeitende Verzögerungsstufen in der Sensorelektronik zu örtlicher Deckung gebracht werden.
Vorteilhaft steigen aufgrund der nur unwesentlich ansteigenden Videobandbreite Aufwand und/oder Kosten in den zugrundeliegenden Verarbeitungsstufen nicht oder nur unerheblich an, und kann mit Pixeln der vorgenannten Art bei homogener Beleuchtung ein Bild mit zwar lokal unterschiedlich großen Pixeln, jedoch gleichmäßiger Aussteuerung aufgenommen werden. Konkrete Einsparungen sind im Sensor selbst in Bezug auf die Lichtmenge und die Analog-Digital-Wandler-Verlustleistung und auf der Ü bertrag ungsstrecke sowie im Auswerterechner in Bezug auf die erforderliche Bandbreite erzielbar.
Die erfindungsgemäßen Pixel bzw. Bildelemente stellen somit bei örtlich homogener Beleuchtung ein Bild mit lokal unterschiedlich großen Bildelementen bei gleichmäßiger Aussteuerung bereit. Erfindungsgemäß sind daher Vorteile überall dort zu erzielen, wo Bilder oder Objekte mit einer optischen Basisauflösung Zonen höherer optischer Auflösung aufweisen, wie etwa Banknoten oder Ausweispapiere mit Sicherheitsmerkmalen, Drucksachen mit 1 D- oder 2D- Barcodes, Materialien mit Nähten oder Schweißnähten und dergleichen.
Weiterführend sind dazu beispielsweise statische oder dynamische Zonen, d.h. in einem Bildfeld unbewegte bzw. bewegte fensterartige Bereiche oder Fenster als interessierende Regionen (ROI) höherer eindimensionaler Auflösung zur Erkennung von Liniendefekten beispielsweise im Digitaldruck (Düsenkalibrierung) oder bei laserbearbeiteten Materialien (z. B. Batteriefolien, Solarzellen), statische Zonen, d.h. in einem Bildfeld unbewegte Fenster (ROI), höherer zweidimensionaler Auflösung zur gezielten Auswertung von kritischeren, vorwiegend rechteckigen Bildausschnitten, wie beispielsweise Sicherheitsmerkmale in Ausweisen oder auf Banknoten, Adressfelder, 2D-Barcodes in Druckerzeugnissen, gedruckten Schaltungen oder ähnlichen Produkten, Teststrukturen auf Halbleiterwafern, im Digitaldruck oder bei laserbearbeiteten Materialien (z. B. Batteriefolien, Solarzellen), dynamische Zonen, d.h. in einem Bildfeld bewegliche bzw. veränderlich positionierbare Fenster (ROI) höherer Auflösung zur pendelartigen, d.h. in pendelnder Bewegung bzw. Verlagerung der Fenster, erfolgenden Inspektion von Bahnware jeglicher Art, vergleichbar zu einer mechanisch traversierenden Kamera oder der Verwendung einer Lupe durch einen menschlichen Betrachter, dynamische Zonen, d.h. in einem Bildfeld bewegliche Fenster (ROI) höherer Auflösung zur Inspektion komplex geformter, vordefinierter Zonen und/oder in einem Bildfeld auf der Grundlage des Bildinhalts gesteuerte bewegte Fenster (ROI) höherer Auflösung zur Inspektion komplex geformter, nicht vordefinierter Zonen, wie beispielsweise eine rein sensorbasierte Verfolgung oder Nachführung von Nähten auf Airbags oder die Verfolgung oder Nachführung von Schweißnähten oder Prägenähten beispielsweise auf Behältern in der Lebensmittelindustrie zu nennen.
In Übereinstimmung mit dem Vorstehenden wird die Aufgabe im Einzelnen vorteilhaft gelöst durch ein Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beinhaltend: ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet; und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche sowie gegebenenfalls eine passende Steuerung von Sensor und Lichtquelle
Bevorzugt beinhaltet das Zusammenfassen ein Steuern mittels Signalen zur Steuerung der Größe eines Bildelements.
Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positioneil veränderlicher oder positioneil feststehender interessierender Bereich höherer eindimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt.
Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt. Für die zweidimensionale Bildgebung ist eine geeignete Steuerung von Sensor und/oder Lichtquelle vorteilhaft.
Bevorzugt erfasst das Zusammenfassen zumindest einen Teil einer Breite des Bildsensors und wird innerhalb zumindest einer von aufeinander folgenden Abtastzeilen der zeilenweisen Abtastung durchgeführt.
Bevorzugt überlappen sich erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe örtlich zumindest teilweise, beispielsweise ganz oder teilweise.
Bevorzugt sind erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe an in Transportrichtung des abgetasteten Objekts unterschiedlichen Positionen örtlich getrennt.
Bevorzugt werden zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen ladungserzeugende Photodioden als die ladungserzeugenden Elemente angesteuert und als Ladekondensator verwendet.
Bevorzugt wird zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Ladekapazität und/oder ein Integrator auf die aktuelle Größe des Bildelements abgestimmt, wobei mittels der Signale zur Steuerung der Größe eines Bildelements auch gleichzeitig ein zugeordneter Ladekondensator steuerbar ist.
Bevorzugt werden zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen dann, wenn zu jedem von Elementarpixeln ein Ladungsverstärker vorhanden ist, gleichzeitig vorbestimmte erste Bildelemente, die Elementarpixel bilden, und diesen zugeordnete Verstärker parallel geschaltet.
Bevorzugt wird zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Mittelwertbildung durchgeführt, wobei bei der Mittelwertbildung zweite Bildelemente durch Mittelwertbildung aus ersten Bildelementen gebildet werden. Vorteilhaft erfolgt dazu die Mittelwertbildung unter Verwendung eines Widerstandsnetzwerks oder durch Anordnungen von Schaltern und Kondensatoren in Art der hochentwickelten „switched capacitor" Technologie in Filtern und Analog-Digital-Wandlern bzw. -Umsetzern (ADCs; Analog Digital Converter).
Bevorzugt wird zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Mittelwertbildung durchgeführt, wobei bei der Mittelwertbildung zweite Bildelemente durch Mittelwertbildung aus ersten Bildelementen gebildet werden. Vorteilhaft erfolgt dazu die Mittelwertbildung durch eine Mittelwertbildung im Digitalbereich, bei der große Pixel durch digitale Mittelwertbildung aus kleinen Pixeln gebildet werden
Bevorzugt wird zum Erhalt von in der Transportrichtung unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine geeignete kombinierte Steuerung von Sensor und Lichtquelle vorgenommen, bei der für Zeilen mit geringer Pixelhöhe und folglich niedriger Zeilenzeit die Lichtintensität proportional angehoben wird, sodass alle Zeilen unabhängig von der aktuellen Zeilendauer mit gleichem Produkt aus Lichtfluss und Belichtungszeit beaufschlagt werden.
Bevorzugt wird zum Erhalt von in der Transportrichtung unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Kombination zweier oder mehrerer der bereits genannten Verfahren. So kann zum Beispiel eine analoge Mittelwertbildung quer zur Transportrichtung mit Belichtungs- und Sensorsteuerung und anschließender lokal variabler Summation in Transportrichtung kombiniert werden.
Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt. Für die zweidimensionale Bildgebung ist eine geeignete Steuerung von Sensor und/oder Lichtquelle vorteilhaft. Die Erfindung wird nachstehend anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnung näher beschrieben. Es zeigen:
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Fig. 1 in einer vereinfachten Schnittansicht einen Kontaktbildsensor, der für das Verfahren zur zeilenweisen Bildabtastung eines Objekts gemäß einem Ausführungsbeispiel verwendbar ist;
Fig. 2 eine ausschnittsweise, beispielhafte Darstellung eines unter Verwendung des Kontaktbildsensors nach Fig. 1 gewonnenen Bilds mit einem lokal vergrößerten Bildausschnitt zur näheren Betrachtung von Einzelheiten des abgetasteten Objekts;
Fig. 3 eine schematische Darstellung von Pixelanordnungen unterschiedlicher Größe und jeweils gleicher Empfindlichkeit;
Fig. 4 eine Ansicht, die schematisch einen Vergleich von Bandbreiten darstellt, die für verschiedene Auflösungen eines vorbestimmten interessierenden Bereichs erforderlich sind; und
Fig. 5 eine schematische Darstellung eines Beispiels einer Kombination zweier oder mehrerer Verfahren zur Erzielung einer konstanten Empfindlichkeit.
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
Es wird angemerkt, dass in der Zeichnung äquivalente oder gleich wirkende Elemente dieselben oder zumindest ähnliche Bezugszeichen tragen können und in diesem Fall jeweils nicht nochmals beschrieben werden.
Praktische Anwendungen erfordern häufig, Bilder mit lokal variabler Auflösung in eine Bildverarbeitungsstruktur einzulesen. Typische Beispiele sind etwa Textdokumente mit eingebetteten Barcodes, Leiterplatten mit hochgenauen Passmarken, Banknoten und ähnliche Dokumente mit Sicherheitsmerkmalen, eine Prüfung von Nähten, und dergleichen. Bislang ist es nicht möglich, derartige Bilder mit nur einer einzigen Kamera einzuziehen bzw. zu erfassen. Dafür ist ein bildgebendes Element erforderlich, das zumindest a) ein Pixelgitter lokal verändern kann, vorteilhafterweise bei laufender Bildaufnahme, b) dabei die Empfindlichkeit in dem Sinne konstant hält, dass dieselbe Leuchtdichte große und kleine Pixel nahezu identisch aussteuert, c) stets einen hohen Füllfaktor sicherstellt, um die für ein rasterbasiertes System typischen Interferenzen zu minimieren, und d) ein verzerrungsfreies Bild auch und gerade von bewegten Objekten liefert. Gleichzeitig sollen für ein Bilderfassungssystem üblichen Anforderungen wie beispielsweise e) eine hohe Empfindlichkeit, f) ein hoher Dynamikbereich, g) eine gute Linearität, h) kein Blooming, und i) eine Lichtmenge und eine Leistungsaufnahme, die einen zuverlässigen und wirtschaftlichen Betrieb erlauben, erfüllt werden. Zusätzlich soll der Sensor für die Gewinnung von Farbbildern multiplexfähig sein und niedrigen Image Lag (Schattenwirkung des vorhergehenden Bildes) aufweisen.
Bislang erfüllen keine bekannten Anordnungen alle der vorgenannten Anforderungen a) bis i) gleichermaßen. Beispielsweise wird in einem so genannten "Brüte Force"-Ansatz das gesamte Bild mit der höchsten erforderlichen Auflösung eingelesen und anschließend komprimiert, wo dies zulässig ist. Dieser Ansatz kann bei guter Auslegung zwar die vorgenannten Anforderungen a) bis h) erfüllen, nicht jedoch die Anforderung i), da Leistungsverbrauch und Systemkosten beispielsweise für eine Variation der Auflösung von 2400 dpi zu 300 dpi bzw. 8: 1 um den Faktor 64, das heißt auf das 64-fache des Basissystems, ansteigen. Bekannte CMOS-Bildsensoren, die nach dem Prinzip eines Rollverschlusses (Rolling Shutter) arbeiten, erfüllen nicht die Anforderung d). CMOS- Bildsensoren mit passiven Pixeln erfüllen nicht die Anforderungen e), f) und g). Gebräuchliche CMOS-Bildsensoren mit aktiven Pixeln und globalem Verschluss bzw. Shutter können zwar bei guter Auslegung durchaus die Anforderungen b) bis i) erfüllen. Solche üblichen aktiven Pixel sind jedoch von vornherein im vorstehend beschrieben Sinne gleich empfindlich, weil mit der Pixelfläche Ladung und Ladekapazität simultan zunehmen. Ebendiese aktiven Pixel können aber in einer üblichen Auslesestruktur nicht zusammengefasst werden, sodass im Weiteren ebenfalls nur der vorstehend erwähnte Brüte Force-Ansatz verbleibt. CMOS-Sensoren mit Unterabtastung bzw. Subsampling sind in der Lage, zwar Anforderung a) zu erfüllen, dann jedoch nicht die Anforderung c). Es treten in der Folge ausgelassene Pixel, die blinde Stellen oder Flecken bilden, sowie Interferenzstörungen auf. CCD-Sensoren mit lokal veränderlichem Binning müssen wie vorstehend erwähnt große Ladungsmengen aus großen Pixeln und kleine Ladungsmengen aus kleinen Pixeln zur Umsetzung von Ladung auf Spannung über denselben Umsetzer führen. Infolgedessen wird bei Binning der Dynamikbereich drastisch eingeschränkt, und sind die vorgenannten Anforderungen b), f), 9) und h) nicht erfüllbar. Um sämtliche der neun vorgenannten Anforderungen a) bis i) gleichzeitig zu erfüllen, wird in den nachstehenden Ausführungsbeispielen die Summation von Pixelladungen vorverlegt und derart unabhängig von der tatsächlichen (d.h. gebinnten oder ungebinnten) Pixelgröße durchgeführt, dass der resultierende Signalpegel in der Auslesestruktur unabhängig von der Pixelgröße und somit mit im Wesentlichen unveränderter Bandbreite weiterverarbeitbar ist.
Fig. 1 zeigt in einer vereinfachten Schnittansicht einen CIS (Contact Image Sensor) oder Kontaktbildsensor 100, der für das Verfahren zur zeilenweisen Bildabtastung eines Objekts gemäß einem Ausführungsbeispiel verwendbar ist.
In diesem Ausführungsbeispiel ist der CIS 100 bevorzugt mit CMOS-ICs bestückt, anwendungsabhängig können jedoch auch andere Sensoren eingesetzt werden, wie beispielsweise CCD-Elemente. Eine grundlegende Beschränkung der Erfindung auf einen bestimmten Sensortyp oder eine bestimmte Sensoranordnung besteht nicht.
Ferner kann der in diesem Ausführungsbeispiel beispielhaft verwendete CIS 100 von einer einzeiligen Bauart sein, d.h. über seine Breite hinweg eine Nebeneinanderordnung von mehreren Sensorbausteinen bzw. Sensor-ICs aufweisen, oder von einer mehrzelligen Bauart sein, d.h. über seine Breite hinweg mehrere Zeilen aneinandergereihter Sensorbausteine aufweisen. Diese können als Farbzeilen in Art eines trilinearen oder quadrilinearen Sensors, als TDI (Time Delay and Integration) Sensor mit hoher Empfindlichkeit oder zur Gewinnung von 3D Bildern mittels örtlich strukturierter Beleuchtung genutzt werden. Ein Sensor-IC beinhaltet auf einer seiner Oberflächen eine vorbestimmte Anzahl von elementaren ladungserzeugenden Bildelementen, die auch als Pixel bezeichnet werden. In der Aneinanderreihung mehrerer Sensor-ICs sind eindimensionale (1 Zeile x n Bildelemente) oder zweidimensionale (m Zeilen x n Bildelemente) Anordnungen bzw. Strukturen der Bildelemente erzeugbar. CCD- und CMOS-Bildsensoren sind im Übrigen als solche gut bekannt, sodass auf weitere Einzelheiten an dieser Stelle nicht weiter eingegangen wird.
Der in Fig. 1 gezeigte CIS 100 kann unter Verwendung von Sensor-ICs der vorgenannten Art und Anordnung grundlegend wie folgt aufgebaut sein. Ein Trägerrahmen 1 10, der dazu angeordnet ist, weitere Komponenten des CIS 100 aufzunehmen und/oder abzustützen, und ein Leuchtdioden- bzw. LED-Rahmen 120, der dazu angeordnet ist, eine Lichtquellenplatine 130 aufzunehmen und/oder abzustützen, auf der zumindest eine als Lichtquelle dienende Leuchtdiode 132 angebracht und elektrisch verbunden ist, bilden jeweils einen unteren Teil und einen oberen Teil einer gehäuseartigen, äußeren Struktur des CIS 100.
Der Trägerrahmen 110 ist vorzugsweise als einstückiges Profil mit Ausnehmungen zur Aufnahme der weiteren Komponenten ausgeformt und erstreckt sich aufwärts verjüngend in der Höhenrichtung. Der LED-Rahmen 120 wird in diesem Ausführungsbeispiel durch zwei gleiche Profilstrukturen gebildet, die jeweils so an gegenüberliegenden Seiten eines sich verjüngt in Höhenrichtung erstreckenden Abschnitts des Trägerrahmens 1 10 festgelegt sind, dass sie mit diesem eine objektseitige Ausnehmung ausbilden.
In dieser objektseitigen Ausnehmung ist an einer geneigten Teilfläche jeder der den LED- Rahmen 120 bildenden Profilstrukturen die Lichtquellenplatine 130 mit der darauf verbauten, zumindest einen Leuchtdiode 132 so angeordnet, dass von der Leuchtdiode 132 emittiertes Licht durch die objektseitige Ausnehmung nach außerhalb austritt und auf ein von dem CIS 100 abzutastendes Objekt (nicht dargestellt) fallen und dort reflektiert werden kann.
Von einem abgetasteten Objekt reflektiertes Licht wird zu dem CIS 100 zurückgeworfen, tritt wieder in die objektseitige Ausnehmung ein und fällt durch eine beispielsweise stabförmige Linse 140, die vorzugsweise eine selbst fokussierende (SELFOC) und/oder eine Graded Index (GRIN) Linse sein kann, auf zumindest ein Sensor-IC 160, das auf einer Sensorplatine 150 angeordnet und elektrisch verbunden ist. Die Sensorplatine 150 ist dazu an einem unteren Abschnitt des Trägerrahmens 110 angeordnet und an diesem festgelegt, bzw. mit diesem verbunden, der der objektseitigen Ausnehmung gegenüberliegt. Unterseitig der Sensorplatine 150 kann zusätzlich eine Signalverarbeitungsplatine 170 an der Sensorplatine 150 festgelegt, elektrisch mit dieser verbunden und dazu angeordnet sein, signalverarbeitende Komponenten, die nicht bereits in das Sensor-IC 160 integriert sind, und/oder zumindest eine Schnittstelle, beispielsweise eine bei CIS verbreitete CameraLinkO-Schnittstelle zur Ansteuerung des CIS und für auftretenden Datentransfer, aufzunehmen.
Abdeckungen 180, 190, die beispielsweise aus einem Glas bestehen können, schließen das Innere des CIS 100 gegenüber dessen Umgebung schützend ab. Der vorstehend kurz umschriebene und als solcher bekannte CIS 100 steht stellvertretend für handelsüblich verfügbare Zeilensensoren. Es versteht sich, dass keine Beschränkung auf diesen CIS 100, im Hinblick auf eine Anzahl und die Anordnung verbauter Lichtquellen und/oder Sensorschaltkreise, und/oder konfigurierter Zeilen des CIS 100 besteht, sondern die das Objekt abtastende und abbildende Erfassungsanordnung bzw. Bildsensorvorrichtung anwendungsbezogen entsprechend modifiziert oder durch eine alternative Anordnung ersetzt sein kann.
In beispielsweise der industriellen Bildverarbeitung werden Bildsensorvorrichtungen der vorgenannten Art vorwiegend dazu verwendet, gegenständliche Objekte bzw. deren Oberflächen abzutasten, zu erfassen, aufzubereiten und ein Bild des Objekts bzw. dessen Oberfläche, oder diesem entsprechende Bilddaten, für eine nähere Untersuchung wie etwa eingangs beschrieben bereitzustellen. Gängige Szenarien sind beispielsweise eine flächige bzw. zweidimensionale Erfassung mittels ablichtenden Flächenkameras, oder eine zeilenweise Erfassung mittels eines feststehenden CIS 100, bei welcher ein abzutastendes Objekt nahe an einem CIS 100 vorbeitransportiert wird. Eine zeilenweise Erfassung kann eindimensional oder bei entsprechender Auslegung und Ansteuerung beteiligter Komponenten ebenfalls zweidimensional erfolgen und ausgewertet werden.
Fig. 2 zeigt eine ausschnittsweise, beispielhafte Darstellung eines unter Verwendung des CIS 100 nach Fig. 1 gewonnenen Bilds, mit einem lokal vergrößerten Bildausschnitt zur näheren Betrachtung von Einzelheiten des abgetasteten Objekts.
Die in Fig. 2 gezeigte Darstellung beispielsweise einer elektronischen Schaltungsanordnung auf einer Karte oder Platine kann durch Vorbeiführen bzw. Vorbeitransportieren der Karte oder Platine an einem Erfassungsbereich des CIS 100 erzeugt werden. Der Transport erfolgt hierbei in der Regel synchron zu der Ansteuerung des CIS 100, sodass dieser das abzutastende Objekt lückenlos erfassen kann.
Erfindungsgemäß sind hierbei die ladungserzeugenden Elemente der Sensor-ICs in Zeilenrichtung (quer zur Transportrichtung des Objekts) dynamisch zumindest von (Bild)Zeile zu (Bild)Zeile, d.h. in Breitenrichtung des CIS 100, derart ansteuerbar, dass zumindest eine dynamische Umschaltung der Auflösung von Zeile zu Zeile erzielbar ist. Bleibt dabei die Auflösung in der Zeile konstant, ist eine zeilenweise Ausschnittvergrößerung des erfassten Bilds darstellbar. Weiter erfindungsgemäß sind die ladungserzeugenden Elemente der Sensor-ICs darüber hinaus auch in Spaltenrichtung (in Transportrichtung des Objekts) dynamisch derart ansteuerbar, dass ferner eine dynamische Umschaltung der Auflösung über (Bild)Zeilen hinweg in Transportrichtung des Objekts erzielbar ist, entsprechend einer zweidimensional lokal variablen Auflösung, mit welcher wahlfrei ein vergrößerter Bildausschnitt (interessierender Bereich oder Region of Interest, ROI) erzeugbar ist.
Erfindungsgemäß wesentliches Merkmal ist daher eine lokal einsteuerbare Vergrößerung (Zoom), mit dem in einem Bildfeld ein oder mehrere Fenster höherer Auflösung als interessierende Bereiche (ROI) wahlweise fest im Bild verankert oder beweglich implementiert werden.
Damit, wie in der noch zu beschreibenden Fig. 4 dargestellt, dabei die Videobandbreite und dadurch bedingt die Kosten beteiligter Verarbeitungsstufen anders als bisher nicht oder nur unerheblich ansteigen, muss eine konstante Empfindlichkeit über alle Bildelemente bzw. Pixel hinweg, d.h. für "kleine" Pixel (ohne Vergrößerung) ebenso wie für "große" Pixel (mit Vergrößerung) erzielt werden, und müssen daher alle Bildelemente oder Pixel bei derselben örtlichen Leuchtdichte voll ausgesteuert werden.
Um dies zu erreichen, werden in dem dem vorliegenden Ausführungsbeispiel zugrundeliegenden Verfahren zur zeilenweisen Bildabtastung die ladungserzeugenden Photodioden in den Sensor-ICs als Ladekondensator verwendet und dadurch unabhängig von der Pixelfläche bei derselben Leuchtdichte voll ausgesteuert, und/oder die Ladekapazität bzw. der Integrators auf die Pixelgröße abgestimmt, wobei die Signale zur Steuerung der Pixelgröße gleichzeitig den Ladekondensator steuern, sodass die Pixel unabhängig von der Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden, und/oder (falls zu jedem Elementarpixel ein Ladungsverstärker vorhanden ist), Elementarpixel parallel geschaltet und gleichzeitig mit dem Parallelschalten der Elementarpixel zu größeren Pixeln auch die Ladungsverstärker mit umgeschaltet werden, sodass die Pixel unabhängig von der aktuellen Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden, und/oder große Pixel durch Mittelwertbildung aus kleinen Pixeln, beispielsweise durch Widerstandsnetzwerke erzeugt werden, wobei alle Pixel unabhängig von der Pixelfläche bei derselben Leuchtdichte voll ausgesteuert werden. Fig. 4 zeigt eine Ansicht, die schematisch einen Vergleich von Bandbreiten darstellt, die für verschiedene Auflösungen eines vorbestimmten interessierenden Bereichs erforderlich sind.
In dem in Fig. 4 dargestellten Diagramm ist entlang der Ordinate die (Video)Bandbreite in Megapixeln abgetragen, und sind entlang der Abszisse vier Beispielfälle bzw. Vergleichsbeispiele A, B, C und D für jeweils unterschiedliche Auflösungsszenarien im Vergleich aufgezeichnet. Es wird angemerkt, dass die Darstellung in Fig. 4 nicht maßstäblich ist. Die Beispielfälle A und B betreffen einen Vergleich bei bekannter Auflösungsänderung, und die Beispielfälle C und D stellen demgegenüber Verhältnisse dar, die unter Verwendung des Verfahrens gemäß dem Ausführungsbeispiel erzielbar sind. Weiteren Ausführungen vorgreifend ist unmittelbar ersichtlich, dass die Bandbreite in Beispielfall B gegenüber Beispielfall A erheblich zunimmt, in den Beispielfällen C und D jedoch näherungsweise auf der Bandbreite des Beispielfalls A verbleibt, d.h. nicht oder nur unwesentlich ansteigt.
Es wird angemerkt, dass im Sinne der vorliegenden Offenbarung "näherungsweise", "unwesentlich" und/oder "mit im Wesentlichen unveränderter" Bandbreite dahingehend zu verstehen ist, dass Schaltvorgänge (beispielsweise der Ansteuerstrom eines Transistors) und dergleichen innerhalb der Verarbeitungskette bereits zu geringfügigen Ladungsinjektionen führen können, die sich zu der Pixelladung addieren und sich ausgangsseitig geringfügig bandbreitenerhöhend auswirken können.
Die nachstehende Tabelle 1 veranschaulicht dazu in Verbindung mit Fig. 3, die eine auszugsweise schematische Darstellung von Pixelanordnungen unterschiedlicher Größe und jeweils gleicher Empfindlichkeit darstellt, unter Angabe jeweils der Pixelanordnungsgröße in μηι, der Gesamtdiodenkapazität, der Quantenausbeute, des Sättigungsniveaus, der Sättigungsladung und des Sättigungsflusses von Elektronen/Photonen in Gegenüberstellung zu einem Basis- oder Nutzpixel der Größe 1 x 1 einen Zusammenhang zwischen Pixelanordnungen bzw. gebinnten Pixeln (3 x 3 Pixeln vertikal und horizontal, 3 x 1 Pixeln horizontal und 1 x 3 Pixeln vertikal) und einem resultierenden, rechnerisch jeweils gleichen Sättigungsfluss in Photonen pro μηι2. Größe DiodenQuantenSätt. Sätt. Sätt.fluss Sätt.fluss μηι kapazität ausbeute niveau ladung El./Phot. Phot./Mm2
Nutzpixel 60x60 270 fF 0,5 2 V 540 fC/ 3375000/ 1875 3 x 3 3375000 e" 6750000
Nutzpixel 60x20 90 fF 0,5 2 V 180 fC/ 1 125000/ 1875 3 x 1 1 125000 e" 2250000
Nutzpixel 20x60 90 fF 0,5 2 V 180 fC/ 1 125000/ 1875 1 x 3 1 125000 e" 2250000
Basispixel/ 20x20 30 fF 0,5 2 V 60 fC 750000/ 1875 Nutzpixel 750000 e" 1500000
1 x 1
Tabelle 1 : Pixelanordnungen unterschiedlicher Größe mit gleicher Empfindlichkeit
Fig. 4 zeigt jedoch anhand der erheblichen Unterschiede deutlich die erfindungsgemäße Wirkung einer außerordentlichen Verringerung der erforderlichen Bandbreite in die unmittelbare Nähe derjenigen Bandbreite, die auch ohne Auflösungsänderung ohnehin benötigt wird.
Genauer bezieht sich die Darstellung in Fig. 4 auf die Bandbreite, die zur Auflösung bzw. Vergrößerung eines 1 ,27 cm x 1 ,27 cm großen interessierenden Bereichs (ROI) bei einer Gesamtbildgröße von 20,32 cm x 30,48 cm benötigt wird.
Beispielfall A bezieht sich auf einen unvergrößerten ROI bei einer Auflösung von 400 dpi. Die hierfür benötigte Bandbreite liegt gemäß Fig. 4 etwa 16 Megapixel. Beispielfall B bezieht sich auf ein vollvergrößertes Gesamtbild bei einer Auflösung von 2400 dpi. Die in diesem Fall benötigte Bandbreite steigt gegenüber Beispielfall A auf das sechsunddreißigfache von über 500 Megapixel an.
Beispielfall C gemäß dem vorliegenden Ausführungsbeispiel bezieht sich auf einen durch eindimensionale dynamische Umschaltung von Zeile zu Zeile nur in einer Richtung, beispielsweise einer x-Richtung in Bezug auf die Transportrichtung des Objekts (vgl. Fig. 2), vergrößerten ROI bei einer Auflösung von 400 dpi. Hierbei bleibt die gegenüber Beispielfall A benötigte Bandbreite im Wesentlichen unverändert bzw. steigt nur unwesentlich an. Beispielfall D gemäß dem vorliegenden Ausführungsbeispiel bezieht sich auf einen durch zweidimensionale dynamische Umschaltung in der x-Richtung (quer zu der Transportrichtung des Objekts) und in der y-Richtung (in Transportrichtung des Objekts) vergrößerten ROI bei einer auf dann 2400 dpi umgeschalteten Auflösung. Auch in diesem Fall bleibt die gegenüber Beispielfall A benötigte Bandbreite im Wesentlichen unverändert bzw. steigt nur unwesentlich an.
Fig. 5 zeigt eine schematische Darstellung eines Beispiels einer Kombination zweier oder mehrerer Verfahren zur Erzielung einer konstanten Empfindlichkeit anhand eines Ausführungsbeispiels einer Kombination aus analoger Mittelwertbildung quer zur Transportrichtung mit Belichtungs- und Sensorsteuerung und anschließender lokal variabler Summation in Transportrichtung. Bevorzugt werden Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst und wird in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positioneil veränderlicher oder positioneil feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt. Wie in Fig. 5 angedeutet, ist für die zweidimensionale Bildgebung ist eine geeignete Steuerung von Sensor und/oder Lichtquelle vorteilhaft. Mit dem in Fig. 5 gezeigten Beispiel ist beispielsweise eine Zeilenabtastung mittels bzw. mit einer oder mehreren Flächen- bzw. Bereiche abtastenden Kameras durch einen einzelnen CIS-Sensor ersetzbar.
Vorstehend wurde somit ein Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beschrieben. Das Verfahren beinhaltet ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet, und ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche.
In anderen Worten stellt das Verfahren eine konstante Empfindlichkeit, die in auch bei Vergrößerung nur unwesentlich ansteigender Bandbreite resultiert, dadurch bereit, dass sowohl kleine (nicht zusammengefasste) als auch große (zusammengefasste) Pixel bei derselben Leuchtdichte voll ausgesteuert werden, und zwar auch unter Zuhilfenahme geeigneter Sensorshutter- und Lichtsteuerung.
Es versteht sich, dass die Erfindung nicht auf das vorstehend konkret beschriebene Ausführungsbeispiel beschränkt ist, sondern dass Modifikationen, die in äquivalenten, vergleichbaren oder ähnlichen Konfigurationen resultieren, für den Fachmann ohne weiteres ersichtlich und daher nicht als Abweichen vom Gegenstand der Erfindung wie in den nachfolgenden Ansprüchen definiert zu werten sind. Modifikationen können beispielsweise in einer Ausführung wahlweise in monochrom, mit Farbe als Filter vor oder auf den Pixeln oder in Farbe mittels LED-Multiplexern bestehen.

Claims

ANSPRÜCHE
1. Verfahren zur zeilenweise bildgewinnenden Abtastung eines Objekts mittels eines Bildsensors, wobei der Bildsensor eine Vielzahl von ersten ladungserzeugenden Elementen als erste Bildelemente mit einer ersten Elementfläche aufweist, auf die ersten Bildelemente Licht mit gleichbleibender Leuchtdichte einfällt, und auf der Grundlage von von dem Bildsensor ausgegebenen Ladungen ein Bild des abgetasteten Objekts erzeugt wird, beinhaltend:
ein dynamisch einsteuerbares Zusammenfassen vorbestimmter benachbarter Bildelemente zu zumindest einem zweiten Bildelement, das ein gegenüber dem ersten Bildelement größeres Bildelement mit einer zweiten, gegenüber der ersten Elementfläche größeren Elementfläche bildet; und
ein Vollaussteuern des zumindest einen zweiten Bildelements, das die zusammengefassten ersten Bildelemente beinhaltet, und verbleibender erster Bildelemente auf gleiche Empfindlichkeit bei der gleichbleibenden Leuchtdichte und unabhängig von der Größe der ersten und der zweiten Elementfläche.
2. Verfahren nach Anspruch 1 , bei dem das Zusammenfassen ein Steuern mittels Signalen zur Steuerung der Größe eines Bildelements beinhaltet.
3. Verfahren nach Anspruch 1 oder 2, bei dem Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst werden und in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer eindimensionaler Auflösung erzeugt wird, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt.
4. Verfahren nach Anspruch 1 oder 2, bei dem Bildelemente mit größenunabhängiger Empfindlichkeit zusammengefasst werden und in einem durch die bildgewinnende Abtastung erzeugten Bildfeld ein positionell veränderlicher oder positionell feststehender interessierender Bereich höherer zweidimensionaler Auflösung erzeugt wird, der einen vergrößerten Bildausschnitt des durch die Abtastung des Objekts erzeugten Bilds bereitstellt.
5. Verfahren nach einem der vorangehenden Ansprüche, bei dem das Zusammenfassen zumindest einen Teil einer Breite des Bildsensors erfasst und innerhalb zumindest einer von aufeinander folgenden Abtastzeilen der zeilenweisen Abtastung durchgeführt wird.
6. Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen ladungserzeugende Photodioden als die ladungserzeugenden Elemente angesteuert und als Ladekondensator verwendet werden.
7. Verfahren nach einem der vorangehenden Ansprüche, bei dem sich erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe örtlich teilweise überlappen.
8. Verfahren nach einem der vorangehenden Ansprüche, bei dem erste Bildelemente und/oder zweite Bildelemente unterschiedlicher Größe an in Transportrichtung des abgetasteten Objekts unterschiedlichen Positionen örtlich getrennt sind.
9. Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Ladekapazität und/oder ein Integrator auf die Größe des Bildelements abgestimmt wird, wobei mittels den Signalen zur Steuerung der Größe eines Bildelements auch gleichzeitig ein zugeordneter Ladekondensator steuerbar ist.
10. Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen dann, wenn zu jedem von Elementarpixeln ein Ladungsverstärker vorhanden ist, gleichzeitig vorbestimmte erste Bildelemente, die Elementarpixel bilden, und diesen zugeordnete Verstärker parallel geschaltet werden.
11. Verfahren nach einem der vorangehenden Ansprüche, bei dem zum Erhalt von unabhängig von einer jeweiligen Elementfläche bei gleichbleibender Leuchtdichte voll aussteuerbaren Bildelementen eine Mittelwertbildung durchgeführt wird, wobei bei der Mittelwertbildung zweite Bildelemente durch Mittelwertbildung aus ersten Bildelementen gebildet werden.
12. Verfahren nach Anspruch 11 , bei dem die Mittelwertbildung unter Verwendung eines Widerstandsnetzwerks erfolgt.
EP17724732.7A 2016-02-07 2017-02-06 Verfahren zur zeilenweisen bildabtastung Withdrawn EP3412024A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016102110.5A DE102016102110A1 (de) 2016-02-07 2016-02-07 Verfahren zur zeilenweisen Bildabtastung
PCT/DE2017/100087 WO2017133736A2 (de) 2016-02-07 2017-02-06 Verfahren zur zeilenweisen bildabtastung

Publications (1)

Publication Number Publication Date
EP3412024A2 true EP3412024A2 (de) 2018-12-12

Family

ID=58094114

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17724732.7A Withdrawn EP3412024A2 (de) 2016-02-07 2017-02-06 Verfahren zur zeilenweisen bildabtastung

Country Status (3)

Country Link
EP (1) EP3412024A2 (de)
DE (1) DE102016102110A1 (de)
WO (1) WO2017133736A2 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905185B (zh) * 2021-10-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999048281A1 (en) * 1998-03-16 1999-09-23 California Institute Of Technology Cmos integration sensor with fully differential column readout circuit for light adaptive imaging
US7554067B2 (en) * 2001-05-07 2009-06-30 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels
US6914227B2 (en) * 2001-06-25 2005-07-05 Canon Kabushiki Kaisha Image sensing apparatus capable of outputting image by converting resolution by adding and reading out a plurality of pixels, its control method, and image sensing system
US7084973B1 (en) * 2002-06-11 2006-08-01 Dalsa Inc. Variable binning CCD for spectroscopy
IL158245A0 (en) * 2003-10-02 2004-08-31 Opgal Ltd A flir camera having fov vs. sensitivity control
US7705900B2 (en) * 2005-06-01 2010-04-27 Eastman Kodak Company CMOS image sensor pixel with selectable binning and conversion gain
US20070201066A1 (en) * 2005-10-30 2007-08-30 Asa Ziv Density measurement, colorimetric data, and inspection of printed sheet using contact image sensor
US9052759B2 (en) * 2007-04-11 2015-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Dynamically reconfigurable pixel array for optical navigation
US8786732B2 (en) * 2012-10-31 2014-07-22 Pixon Imaging, Inc. Device and method for extending dynamic range in an image sensor

Also Published As

Publication number Publication date
WO2017133736A3 (de) 2017-09-28
DE102016102110A1 (de) 2017-08-10
WO2017133736A2 (de) 2017-08-10

Similar Documents

Publication Publication Date Title
DE102007030985B4 (de) Bildsensor, Verfahren zum Betreiben eines Bildsensors und Computerprogramm
EP1586193B1 (de) Kamera und verfahren zur optischen aufnahme eines schirms
DE69729648T2 (de) Aktivpixelsensormatrix mit mehrfachauflösungsausgabe
DE69827529T2 (de) Entfernungsmessung mittels kamera
DE60030802T2 (de) Bildsensor mit Messsung der Sättigungszeitmessung zur Erweiterung des Dynamikbereichs
DE19839135C2 (de) Verbessertes Photozellenlayout für schnelle Mikrochips für die optische Navigation und Verfahren zur Anordnung eines Arrays von Photoelementen
EP0878091B1 (de) Farbbildsensor für kurzzeitbelichtung
DE202017102626U1 (de) Doppel-Photodioden-Bildpixel
DE112018005773B4 (de) Intensitätsnormierte bildsensoren
DE102011053219B4 (de) Kombiniertes Pixel mit phasensensitivem und farbselektivem Subpixel
DE69930286T2 (de) Bildgerät mit Time Delay Integration und Strahlungstrefferzahlen
DE102019113278B4 (de) Bildsensoren mit ladungsüberlauffähigkeiten
DE102010028746B4 (de) Bildsensor und Verfahren zum Aufnehmen eines Bildes
DE19533061C2 (de) Photoelektrische Halbleiter-Lichterfassungseinrichtung mit programmierbarem Offset-Strom und Bildsensor mit einer solchen Einrichtung
DE102005012509A1 (de) Bildsensor und Pixelabtastverfahren
DE10222685C1 (de) Einrichtung und Verfahren zum Abtasten einer Vorlage
DE102011081405B4 (de) Bildsensor, Abbildungsvorrichtung und Verfahren für einen Bildsensor
EP3412024A2 (de) Verfahren zur zeilenweisen bildabtastung
EP4033744B1 (de) Vorrichtung und verfahren zum verbessern der reproduzierbarkeit von aufnahmen
EP1821509B1 (de) Vorrichtung, Mikroskop mit Vorrichtung und Verfahren zum Kalibrieren eines Photosensor-Chips
DE69817901T2 (de) Bildsensor mit integrierter Signaldigitalisierung für Bewegungserfassung
EP4270917B1 (de) Kamera und verfahren zur erfassung eines objekts
DE112022000917T5 (de) Erkennen von lichtquellenverzerrungen in einem bildgebungssystem
DE102014218243A1 (de) Tdi-hochgeschwindigkeits-zeilensensor
EP0948817A1 (de) Farbbildsensor in ladungsverschiebetechnik

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180904

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200922

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20210202