EP2064672A2 - Verfahren und vorrichtung zur bildverarbeitung - Google Patents

Verfahren und vorrichtung zur bildverarbeitung

Info

Publication number
EP2064672A2
EP2064672A2 EP07818245A EP07818245A EP2064672A2 EP 2064672 A2 EP2064672 A2 EP 2064672A2 EP 07818245 A EP07818245 A EP 07818245A EP 07818245 A EP07818245 A EP 07818245A EP 2064672 A2 EP2064672 A2 EP 2064672A2
Authority
EP
European Patent Office
Prior art keywords
contour
points
point
image processing
contour points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07818245A
Other languages
English (en)
French (fr)
Inventor
Lars Beikirch
Joachim Ihlefeld
Oliver Vietze
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baumer Optronic GmbH
Original Assignee
Baumer Optronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baumer Optronic GmbH filed Critical Baumer Optronic GmbH
Publication of EP2064672A2 publication Critical patent/EP2064672A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Definitions

  • the invention generally relates to apparatus and methods for image processing.
  • the invention relates to a method and an apparatus for image processing in which the image data
  • the invention is therefore based on the object to provide a technical solution, with the image recognition can be done in real time and with little or no a priori information is able to perform a true and reliable detection of objects.
  • This object is already achieved in a surprisingly simple manner by a device and a method as indicated in the independent claims.
  • Advantageous embodiments and further developments of the invention are specified in the respective dependent claims.
  • an image processing device with a device integrated in the form of hardware for segmenting image data and also in the form of hardware integrated device for the determination and processing of contour points, characterized in that the means for segmentation of image data means for determining vertices of contours from list data having contour points provided by said means for determining and processing contour points, said means for determining vertices of contours comprising means for performing the following algorithm: -for each point p of a set of successive ones
  • Contour points of a contour are formed by triplets with points (p ⁇ , p, P + ), where the points p " , p + represent contour points which are spaced in both directions along the contour from the point p, to which points it is tested the conditions : i) d 2 min ⁇ I pP + I 2 ⁇ d 2
  • An adjacent point p ' is understood to be a point which is arranged within a predetermined environment around the point p along the contour. For example, can be set as a condition
  • the parameter d 2 max specifies the resolution with which the contour or the contour points are scanned.
  • the parameters d max , d, m n and ⁇ ma ⁇ need not be fixed by the hardware, but the
  • Image processing device also be designed to set at least one of these parameters selectable or variable.
  • the algorithm according to the invention can be implemented particularly simply and effectively in hardware, preferably in FPGA or ASIC modules.
  • the required memory is comparatively small. This, taken together, leads to a very rapid recognition of vertices of objects between rectilinear segments and further segmentation possible using these points. In particular, connections between the vertices can then also be formed and processed further quickly.
  • triples (p, p +, p ⁇ ) For the selection of the triples or the points p + p "can be used different selection rules. Particularly effective, especially with regard to the number of required adders and multiplexers, it is, however, triples (p, p +, p ⁇ ) sequentially with
  • Contour points p + , p are formed and tested for satisfaction of conditions (i), (ii), and (iii) that are progressively farther away from the contour point p along the contour, while still favoring the computational speed with sufficient accuracy the determination of vertices when the test of conditions (i), (ii), and (iii) for a given contour point p is aborted, as soon as one of the conditions (i), (ii), and (iii) is no longer satisfied for a triple (p, p + , p ⁇ ).
  • the computational effort for determining the minimum opening angle for the contour point p increases. It is therefore advantageous for the computational complexity and the speed of analysis of the corner points, when the device for determining corner points of contours is formed, for a given contour point p to each side along a contour at most 7 contour points for the tests of the conditions (i) , (ii) and (iii). In other words, the test is aborted if the contour points p +, p- are each seven contour points away from the point p.
  • the invention provides a preferably integrated image processing device with one or more image memories and at least one integrated hardware unit which is set up to scan the data of a digital image stored in the image memory and to determine contour points with subpixel accuracy and as continuous list data in a memory store.
  • the image processing device further has a computing unit, which is set up from the list data stored in the memory by means of a Calculation unit to determine the connection probabilities between each two contour points, taking into account the distance of the points to each other.
  • at least one arithmetic unit which is referred to below as a classifier, is provided, which from subsets of calculated connection probabilities subsets with at least three
  • Connection probabilities for possible connections between at least three adjacent contour points selects and sorted out for each subset that to the central contour point, or central point adjacent contour point, which has a possible connection with the lowest connection probability to an adjacent contour point, if the connection does not connect two points adjacent to the central point and subsequently enters in a contour point list the non-sorted contour points with connectors which characterize the remaining connections to the central point.
  • the invention also provides a method for determining contiguous contours in image data, which can be carried out in particular in an image processing device as described above, in which contour points are determined from the image data and the connection probabilities of possible connections of contour points to adjacent contour points are calculated, and wherein a quantity of such connection probabilities, one or more subsets having at least three connection probabilities for possible connections between at least two contour points and an adjacent selected central contour point are analyzed, and in each case that one of the central contour point adjacent contour points is sorted out; possible connection with the least
  • adjacent contour points do not mean, for example, contour points to pixels directly adjoining one another, but rather all contour points within a given environment around the central point. For example, this may be a 5 ⁇ 5 environment with the respective considered central point in its center. This amount of contour points is then also referred to as neighborhood.
  • the determination of the position of contour points with subpixel accuracy to a pixel is carried out by calculation of the position of the pixel and other surrounding pixels.
  • the inventive selection process in which each contour points are sorted out of a set, which have the lowest connection probability to the central point, offers the advantage of requiring very little memory.
  • the processing can be done on the basis of continuous list data.
  • the low memory requirement required for this even allows processing with little effort on hardware to be used Real time.
  • the processes described above can be easily implemented in hardware components without expensive software and peripheral circuitry.
  • the device according to the invention can therefore be implemented very simply as a very compact integrated hardware image processing device.
  • further processing of the contour points in the form of continuous list data is particularly advantageous. These list data preferably contain only the
  • the purpose of sorting out is to determine those contour points that belong to the same contour together with the respectively considered central point.
  • contour points with the lowest connection probability to the central point can also be illustrated as follows:
  • Polygons are now formed which contain as vertices the central point and at least two further contour points adjacent to the central point. Subsequently, that of the points adjacent to the central point is removed, from which the longest connection to another point of the polygon emanates.
  • This method can then be repeated for all contour points adjacent to the central point, depending on the number of adjacent contour points, until a certain number of contour points, depending on the arrangement of the points, possibly only two points, including the central point, remain and polygons can no longer be formed. in which further deletions of elements take place.
  • This selection process of the classifier can be carried out particularly effectively with few arithmetic operations and little expenditure on hardware, if from the set of contour points of the neighborhood of the central point, or the contour points adjacent to the central point, in each case one subset as a triple with the central point and two further contour points with the associated Connection probabilities is formed and preferably determined by three comparators for the connection probabilities least likely and each of the
  • Connection does not connect two adjacent to the central contour point contour points.
  • the connectors that the classifier leaves after sorting out in the neighborhood are entered in a contour point list and can then contain the indices of adjacent contour points and the connection probabilities to neighboring contour points as well as further neighborhood information (direction DIR, contrast cont, color). If the contour points are again considered to be arranged on a plane with coordinates modified by the connection probabilities, this procedure corresponds to the formation of triplets of contour points whose connections accordingly form a triangle. In this triangle, the longest side is determined and the contour point adjacent to the central point, from which the longest side originates, is deleted.
  • the process of sorting out or selecting the remaining contour points is preferably repeated at least once for the set of non-sorted contour points.
  • the image processing device in particular the classifier, consisting of at least three
  • Elements for connections of at least two contour points to a selected central contour point in each case sorted out the connection with the lowest connection probability can be set up in particular for the selection process in which contour points with possible connections with the lowest
  • connection probability should be sorted out for each selected central contour point until no further contour points adjacent to the central contour point can be deleted or sorted out.
  • each triple of contour points, or associated connection probabilities for possible connections formed and observed a suitable read sequence of the contour points, in which the subsets are formed so that only nearest neighbors of contour points, or the connection probabilities between these points.
  • ambiguities may result that cause, for example, in a triple of contour points, the classifier for the connection probabilities not sort out a contour point, even though the longest connections, or the lowest
  • Connection probabilities exist in each case for connections to the central point. This is especially the case when the points with through
  • Connection probabilities modified coordinates form an isosceles triangle or even an equilateral triangle. Although all contour points could be adopted here, it has surprisingly been found that a much better neighborhood definition reduced by artifacts occurs when a modulation is impressed on the connection probability which corresponds to a positional shift of contour points which is smaller than the pixel pitch.
  • connection probabilities of contour points can be determined based on the distance of these points from each other. The farther two contour points are apart, the lower their connection probability. However, it is preferred to capture further attributes of the contour points and into the
  • the arithmetic unit calculates the connection probabilities between contour points on the basis of the distance between the points
  • Contour points and at least one of the attributes contrast, color and direction are calculated.
  • the arithmetic unit which is set up to determine the connection probabilities between contour points from the list data stored in the memory, the connection probabilities between contour points on the basis of the distance between the contour points and at least one of the attributes contrast, color and direction calculated.
  • One possibility is, for example, to use one or more attributes to calculate the value of a function of the values of this attribute and to calculate a connection probability only if the value of the function exceeds or falls below a threshold value depending on the type of function.
  • an attribute can be, for example, the mean point direction output by the contour point processor (the maximum gray value contrast lies in a sense direction).
  • the center point direction is defined as the sum of the direction vectors of both contour points belonging to a connector and is usually in a good approximation perpendicular to the direction of the connector itself. If two contour points have a similar direction of the contour, the corresponding increases
  • Connection probability ie the probability that the two points actually belong to a common contour.
  • Another feature is the angle between the center point direction and the direction of the connector. This angle can be calculated in a particularly simple manner via the scalar product of the two vectors and included in the connection probability.
  • the contrast may be the brightness difference of regions adjacent to the contour point, which are separated by the contour line. If two contour points have such a similar contrast, the probability increases accordingly that the two contour points lie on a common contour line. If the contrast is inverse, then it is usually a thin line, whose normally parallel running at a small distance contours may not be connected, i. that in this case the connection probability is set to zero.
  • the integrated computing unit configured to scan the data of a digital image stored in the image memory and to determine contour points with subpixel accuracy and as continuous list data in one Store memory, be set up to calculate at least one other attribute of the contour point in addition to the position of a contour point and save in the continuous list data.
  • the integrated computing unit for a
  • Contour point generates an attribute vector with at least 24 bits in length, preferably at least 36 bits in length and stored in the continuous list data.
  • connection probabilities between contour points can then calculate connection probabilities between contour points on the basis of the distance between the contour points and at least one further attribute.
  • the image data be read out in a plurality of strips each having a width of more than 1 pixel, preferably at least 16 Pixel, more preferably 26 or 32 pixels.
  • the image data are successively read out in strips which overlap by more than one pixel, preferably by at least 4 pixels, particularly preferably by at least 8 pixels. Due to this overlap, connectors in the overlap area may be calculated twice, but this additional overhead is overcompensated by the fact that the individual contours determined can be put together more easily and without errors.
  • the image processing device is furthermore preferably set up for real-time image processing. This means that within the image transfer a complete Determination of objects that describe the contours takes place. This real-time processing is made possible in particular by the very simple calculation of the connectors for the contour points.
  • the device comprises dual-port RAM memory and means for simultaneously storing and reading out list data from the dual-port RAM memory.
  • This memory not only allows very short access times, in particular, the various image processing processes can also simultaneously access the data in the same memory. While a first process writes list data to memory, another process may already retrieve list data from memory at the same time. However, such memories are generally very small, for example on an FPGA. Typically, memories in the range of 4 kbytes are available. Only the processing of list data instead of the mapping of entire images or image areas in the memory also allows the restriction to such small memory.
  • Morphology filter provided.
  • the term morphology filter is used in this context to denote the smoothing effect of the filter operation, although topoiogical properties are also exploited in this boundary region.
  • the image processing device has a morphology filter computing device which is adapted to at least make up the contour point list with connectors to filter one of the properties:
  • a device for generating rank vectors for contour points which reads out the contour point list with connector structure and in each case reads in the connector structure of all neighboring points from a central point via the connectors and a Rank vector is generated, which contains the number of branches of the neighboring points and the central point itself.
  • the connector structure is scanned in time delay for entering connectors into the contour point list. The time delay is provided so that data is already present in the relevant dual-port RAM, in which both the list data entered with the connectors, and are read out to form rank vectors.
  • the rank vector can be mapped via a table or Boolean functions to a preferably scalar potential function and artifacts can be sorted out by means of the potential function.
  • means may be provided for reading the contour point list in ordered order as an ordered series of contour points be provided, wherein successive list entries belong to successive contour points along a contour. This device can determine contiguous contour points in particular on the basis of the respective connectors stored in the contour point list.
  • Such an ordered list of contour points is also referred to as a "chain.”
  • the chains generated in the segmentation process thus represent a sequence of ordered contour points that reach an end point starting from a starting point
  • Process attributes including the scan direction as well as the contrast, are assigned along the scan direction.
  • the contrast coating is particularly advantageous to also store the contrast coating as an attribute of a chain, or a set of contour points belonging to a common contour.
  • the calculation of the contrast coating can be carried out particularly advantageously by calculating a respective scanning direction for the contour point.
  • This scanning direction regardless of the sign of the contrast, is the direction along which the maximum contrast occurs locally in the image environment.
  • the scanning directions need not be the exact directions of the maximum contrast change in the environment around the contour point. Rather, the particular scan direction may be selected from a narrow set of possible directions to limit computational effort. For example, at most 16, preferably 8 or even more preferably only 4 possible directions can be used, which accordingly can be represented with correspondingly few bits.
  • the contrast values of the individual contour points can then be accumulated in accordance with their counting direction.
  • the counting direction is determined as a function of the scanning direction and the direction vector of the contour at the contour point and indicates whether the contrast value belonging to the contour point and in turn signed is added or subtracted during accumulation.
  • the direction vector can be as well as the scanning direction advantageously limited to a few directions, or a few options. As with the scan direction, at most 16, about 8, or even 4 different possible directions may be used for the direction vector to calculate the count direction.
  • the sorting out of low-contrast chains takes place in a development of the invention with a data filter device, also referred to below as a "chain filter” sorts out sets of contour points belonging to a common contour if the set of contour points satisfies at least one of the following conditions: a) the length of the contour is less than a predetermined value, preferably 10 pixels, and both the start and end points the contour have degree 1, ie are not part of a further contour, b) the length of the contour is smaller than a predetermined value, preferably 10 pixels, and either the start point or the end point of the contour have a degree> 2 on, c) start and end point are identical and the length of the contour is smaller than a predetermined value, preferably 10 pixels, d) the amount of the contrast coating is smaller than a predetermined value.
  • filtering is carried out not only on the basis of the accumulated contrast, but also on the basis of further criteria, in particular the structure size.
  • chain filter chains or chain segments are to be sorted out, which belong to contours, which arisen by artifacts, for example by noise and describe no meaningful structures.
  • the chain filter complements the filtering described by the morphology filter described above.
  • Connection probabilities for possible connections between contour points upstream sorting device which outputs list data of adjacent to a selected central contour point contour points respectively corresponding to an order obtained when scanning an environment of the central contour point by successively exclusively adjacent points of the environment are read out.
  • This is for example a difference to image data in conventional image formats.
  • the data are arranged line by line. Although within a line consecutive data of the image file then belong to successive, ie also adjacent pixels, this is no longer valid at the end of the line.
  • contour points with subpixel accuracy appears to contain redundant or superfluous information, thus slowing down or complicating the subsequent calculations.
  • additional points are not calculated, but rather, preferably, for each contour point in the raster of the image data determined at most one contour point with subpixel accuracy.
  • the invention allows a very economical storage use. According to a further aspect of the invention, therefore, a device according to the invention can also be integrated
  • Image processing device can be realized, which one or more image memory and at least one integrated hardware unit for determining contour points from image data, one of the integrated hardware unit for determining contour points downstream hardware unit for determining belonging to a contour connections between contour points, one of the hardware unit for determining connections downstream Morphology processor for determining the number of outgoing from contour points connections of contours to adjacent contour points, as well as a means for segmentation, by means of which the data on the contour points and their connections to other contour points objects are created, which describe the contours of the image data, the Hardware unit for determining connections belonging to a contour between contour points is assigned a memory or memory area whose size is at most 20 Pr ozent the total memory for the processing of the image data to the contour descriptive objects except the or the image memory is.
  • FIG. 1 shows the architecture of a real-time integrated image processing system (IEBVS)
  • FIG. 3 is a schematic view of an area of a contour with contour points, connectors and point directions;
  • FIG. 7 shows an arrangement of adjacent contour points in the sub-pixel grid
  • Fig. 8 the position of the contour points in the original grid
  • Figs. 9A to 9C tables with coordinate values and distances of contour points demonstrate
  • 12 shows a representation of a larger image detail with contour points and connections determined by sorting out
  • 13 shows the data structure of the data stored by the SNNC for further processing.
  • FIG. 14 is a block diagram of a morphological filter device for generating rank vectors.
  • 16 shows an example of a data structure of a contour point list for storing the data of singular points with a rank greater than or equal to 3,
  • Fig. 17 shows a device for reading a
  • Contour point list in ordered order as an ordered series of contour points
  • FIG. 22 and 23 sections of a contour with contour points, and parameters for the determination of vertices.
  • FIG. 1 shows the structure or architecture of a device 1 according to the invention in the form of an integrated real-time image processing system IEBVS.
  • This IEBVS comprises an image interface to which one or more image sources 3, for example CCD cameras, can be connected and which stores the image data as a digital image in an image memory 4.
  • image memory 4 accesses a contour point processor 5 in the form of an integrated hardware unit which is adapted to scan the stored in the image memory 4 data of a digital image and contour points with subpixel accuracy to determine and store as a continuous list data in a memory.
  • the contour point processor 5 provides the coordinates and selected features of contour points in list form. Characteristics are eg gray values or colors of the adjoining regions, contrasts or directions.
  • the coordinates become subpixel accurate within "Regions of Interest", e.g. output from horizontally arranged strips.
  • Regularly valid e.g., to process images is first the segmentation, i. the division of the image in regions with homogeneous features advantageous, then the interpretation of these features.
  • Fig. 2 shows a graphical representation of the contour point list.
  • contours lying between the individual regions in an ordered sequence as a concatenated sequence of points by hardware in real time, in order to use them in a further step software or other hardware through digital geometric objects, in particular distances, circles, polynomials, etc., to approximate and then recognize.
  • This object of the invention is now achieved, in particular, by first determining the neighborhood of contour points in a statistical nearest neighbor classifier 7 (SNNC).
  • This SNNC 7 comprises a computation unit, which uses the arithmetic unit from the list data stored in the memory
  • connection probabilities between contour points taking into account the distance of the points to each other, and a classifier selecting from sets of calculated connection probabilities subsets with at least three connection probabilities for possible connections between at least three adjacent contour points, one of which is a predetermined central contour point, and for each subset those which have a possible connection with the lowest connection probability to an adjacent contour point, unless the connection connects two points adjacent to the central point, and subsequently enters the non-sorted contour points with connectors in a contour point list, which the mark remaining connections to the central point.
  • This memory 9 is particularly preferably a dual-port RAM.
  • the contours are arranged in ordered order as linked objects or "chains" read. Based on these chains, segmentation is then performed by another hardware unit. By means of a microcontroller 15, the process flow in the device 1 is controlled.
  • the achievable degree of integration is also determined in particular by the power loss, which in turn from the
  • the task of the Statistical Nearest Neighborhood Processor 7 is to connect contour points to contours. To determine the neighborhood of points P [j] with respect to a central point P [i], first, the connection probability P C onn [i, j] of the point set is calculated and then classified.
  • a point belongs to the neighborhood NBD when p Con n [i »j] exceeds a threshold. Further neighborhood measures can be formed by Pconnfi / j] with formed from the scan directions DIR and / or contr contrs
  • the decision can be significantly improved by making the threshold for the connection decision P as a function of these parameters and as a table and / or ALU according to the following Function is performed:
  • ⁇ x, ⁇ y denote the components of the vector representation of a compound and X DIR , YDI R - the components of the middle point direction.
  • the argument of the function f becomes maximum when the angle ⁇ is 90 °.
  • FIG. 3 shows an area of a contour 16 on which contour points 26 lie for clarification purposes.
  • the connections 24 between nearest adjacent contour points 26 are shown as dashed lines.
  • the middle dot directions 22 of the contour points 26 are shown as arrows.
  • the middle score directions can be characterized, for example, by the numbers indicated on the arrows.
  • the contour points 26 have three of the eight possible punctuation directions used here, corresponding to the numbers 0 to 7.
  • the angle ⁇ is in each case the angle enclosed between the central point direction 22 and the connection 24 between two contour points 26.
  • each central point usually has only one predecessor and one successor with one
  • the task of the SNNC is, among other things, to connect contour points that indicate a distance measure that is greater than the pixel spacing of the sampling grid.
  • the optimum dimension depends on the specific conditions, but it has been found that a value of 2 to 2.5 pixel pitch results in a significant improvement in contour quality. The price for this, however, is an increase in the number of possible candidates for a neighborhood, which are processed in real time.
  • SNNC 7 now has the task of determining the topologically relevant neighbors within the neighborhood NBD.
  • this object is now achieved by forming from the set NBD tripels consisting of the central point Pi and any combination of two further points Pji and Pj 2 from NBD and that the connection probabilities,
  • connection probability is above a predetermined threshold "Threshold”, then the triple is analyzed and the compound with the smallest probability deleted.
  • the hardware realization also provides for an efficient sorting machine, which first determines triangles. Because of the test condition, however, only the triangles with the shortest distances are on the outer polygon, or the nearest neighbors of the contour points relevant. Therefore, by applying ordering principles, operations can be saved.
  • FIG. 4 shows a diagram of how list data of contour points adjacent to a selected central contour point are read out by means of a suitable sorting device.
  • the currently selected central contour point is labeled "CP”.
  • the contour points are with
  • Contour points within a 5x5 environment with list data reflected are thus read in the order from the image area of an environment with a maximum of 2 pixels distance to the central point, as indicated by the numbers indicated in the pixels, and list data of contour points are output according to this order. Accordingly, first the pixel labeled "1" is read, then the pixel labeled "2", and so on until the last pixel "24" of that environment. Thus, successively only adjacent points of the surroundings of the central point are read out.
  • FIG. 5 An embodiment of such a sorting device 17 is shown in Fig. 5.
  • a sorting device 17 For addressing, e.g. one
  • Shift registers are used for the indices (addresses) of the contour points in a DualportRAM. Whenever a positive decision for a pixel is given as a contour point, this contour point receives the next following address in the DualPortRAM, which in turn is used as an index (part of the address). is inserted into a shift register. If the next pixel is not a contour point, a zero is entered in the shift register.
  • This shift register with a length of nxm eg 5x24 can thus store 120 indices. Due to the fact that contour points are rare, a few bits, eg 6-8 bit word width are sufficient.
  • FIG. 6 An example of a distribution of contour points in the 5x5 environment of a central contour point is shown in Fig. 6.
  • the entries labeled "Index" indicate that the pixel in question is a contour point.
  • a local 5x5 environment is made in a known manner by tapping on the respective registers.
  • These registers are now read via inputs 20 of a suitably connected multiplexer 19 so that the sequence shown in Fig. 4 at the output of the register 23 is formed. This process is started if and only if the central point CP is non-zero, i. when a neighborhood to be analyzed is represented in the register file and the point CP is a contour point.
  • the index is shifted to an output register 23 which directly addresses data from the DualPortRAM. Whether the output value of the multiplexer 19 is not equal to zero is determined by means of a comparator 21 acting on the output register 23.
  • FIFO buffers or registers typically 8 to 12 contour points
  • further FIFO buffers or registers can be inserted into the output data stream, which can then also read out the contour points belonging to a neighborhood in a repetitive manner, so that all the contour point combinations required for the sorting process can be provided. It is also possible in principle to speed up this sorting process by parallelization, for example by connecting two or more multiplexers in parallel.
  • FIG. 7 the position of a central contour point 25 and adjacent contour points 26 with possible connections 27 of a contour in the subpixel grid is shown first.
  • the indices of the pixels are plotted on the axes of the diagram.
  • Fig. 8 shows the same dots in the original raster of the image data. With reference to FIG. 8, it becomes clear that the relevant contiguous contour points, which belong together with the central point to form a contour, can be seen significantly poorer in the original grid and form graphs.
  • the left-hand table (FIG. 9A) shows the sub-pixel coordinates (columns X, Y) of the contour point arrangement shown in the upper part.
  • the table starts with the central point CP.
  • the subpixel coordinates of the contour points are entered, as they result from the scan according to FIG. 4 for the environment shown in FIG.
  • the DualPort RAM the following contour point sequence is addressed in the example: CP, 7, 9, 13, 18, 19, 22, 24, 7.
  • the main direction 29 of all contour points of the environment of the central axis, and the punctuation 30 are shown.
  • the relative distances [Xrel, Yrel] to the central point are calculated, as listed in the tables of Fig. 9B. This in turn becomes the distance p to the central point.
  • the pixels with the indices 7, 9, 13, 18, 19, 22, 24, 7 form a polygon in the middle of which the central point CP stands.
  • the sides of the polygon [X_Poly, Y_Poly] form with the connections to the central point triangles, e.g. the triangle ⁇ CP ,, "Field” 7, “Field” 9>.
  • the longest side is 8,602 subpixels long and thus longer than the other two sides with lengths 5,385 and 3,606, so this is the longest
  • Page represents the lowest connection probability between the three contour points. This deletes the longest page from the list of contour points to be joined. This operation is performed on all triangles. In doing so, two more, ie a total of three points, will be deleted. From this Aussortierprozeß especially the contour points with the indices 9, 18 and 24 are concerned. There are four non-sorted connectors, with one connector connecting the beginning and the end of the polygon. The remaining contour points are listed in the table of FIG. 9C. The sorting process is now repeated for the remaining connectors or contour points. In the case of repeated sorting, the contour point with the index 12 or the first contour point listed in the table of FIG. 9C is also omitted.
  • This connector is to be examined at the end of the analysis, this eliminates the need for another connector. It then remains the three connectors 28 in Fig. 7, which are stored in the list data. Accordingly, as a result of the calculation in this example, the connectors from the central point as a contour point to the three other remaining points represent the one or more contours to which the central point belongs. Accordingly, after passing through this filter described above with reference to FIGS. 7, 9A to 9C, the SNNC 7 has, via the information, which contour points from the contour point list are connected to the central point.
  • the method of sorting out has been described on the basis of a very simple classifier for the connection probability, namely a classifier which only depends on the distance of the contour points from one another.
  • a very simple classifier for the connection probability namely a classifier which only depends on the distance of the contour points from one another.
  • the recognition of the relevant connections between contour points can be significantly improved if additional attributes of the
  • Contour points are used.
  • the direction may, for example, be a direction vector which lies perpendicular to the edge in the image data whose contour is to be determined.
  • the angle ⁇ between the stored middle Dot direction and the connector can be determined.
  • a classifier for the connection probability for example, a function of the angle ⁇ , for example, its sinus or cosine, and the distance of the points can be set.
  • connection probability can further with a
  • Contours over low-contrast ones e.g. a multiplication by the amount of the average dot contrast of the connection element is used to classify the connection probability. This is particularly advantageous for low-contrast scenes or thin lines.
  • FIG. 10 shows a circuit diagram of an SNNC 7 for determining connectors. Based on this figure, the operation of the SNNC 7 can be explained in more detail.
  • the contour points can be addressed in the required order.
  • the data input 71 of the SNNC is the information about the coordinates, a contrast and the direction of the dot [x, y, cont, DIR] before, the data is read into register 72, 73, 74 with 32-bit word width.
  • An arithmetic unit 75 which calculates the connection probability between the three contour points of a triangle. For this purpose, a central point is selected by address decoding. In the example shown in FIG. 10, the data of the central point is loaded in the register 74. New incoming contour points are read into the two registers 72 and 73. The three possible combinations of Connection probabilities are analyzed by means of the comparators 761, 762, 763 and the downstream decoder 77. If the least
  • Connection probability between the central point and one of the two points is on the polygon, or no connection to the central point, the relevant connection is deleted by either the bit EN_CLK_RG1 or the bit EN_CLK_RG2 depending on which of the two adjacent to the central point contour points Outputs 78, or 79 is set.
  • the indices of the considered three points are stored in parallel to the data.
  • the index of the undeleted point is transferred to a shift register, for this purpose the index difference to the central point is calculated and stored with the next following cycle.
  • the computing units CaIc Pconn 751, 752, 753 receive the sequence of the contour points addressed with the register output 23 Fig. 5 with their attributes and calculate the connection probabilities and compare them with each other in conjunction with the comparators 761, 762, 763 and decide in the decoder 77 for each Tripel analyzed the compounds to be painted.
  • the signals EN CLK RGl and EN CLK RG2 for the contour points Pl and P2 are supplied, which control the deletion of connections. Subsequently, further triples are analyzed. After a sufficient number of processed triplets remain unmarked connections, which as a result connectors containing the indices of adjacent contour points and the connection probability of the contour point i with the central point CP and with the next neighbor i + 1.
  • connection probabilities can lead to ambiguities caused by isosceles or equilateral triangles are expressed.
  • a computing device for impressing a modulation on the comparators of the classifier for example a modulation in the form of a pseudo-stochastic geometric noise, can advantageously be added, which produces the impression of a not quite regular grid .
  • a marginal noise component is added via a table, eg with 10% of the pixel spacing to the coordinate difference for the relative distances ⁇ x and / or ⁇ y to the central point.
  • Fig. 11 shows a further arrangement of adjacent contour points in sub-pixel raster, which were obtained from image data of another location of the digital image.
  • Fig. 11 shows a further arrangement of adjacent contour points in sub-pixel raster, which were obtained from image data of another location of the digital image.
  • only two relevant connectors 28 have been determined by sorting out of the possible connections 27.
  • FIG. 12 shows a representation with contour points and connections determined by sorting that represents a larger image detail. For clarity, only the compounds 28 are shown. As can be seen from this figure, the juxtaposed result
  • Connectors 28 the course of contours in the digital image.
  • two cutouts 31, 32 are marked with circles.
  • the detail 31 identifies the three connectors 28 determined from the environment shown in FIG. 7 with a branch originating from the central point.
  • the cutout 32 identifies the connectors 28 of the environment shown in FIG.
  • the dashed circle indicates the area with the environment of all drawn in Fig. 7 contour points.
  • FIG. 13 shows the data structure of the data with connectors which are preferably stored in a further dual-port RAM by the SNNC 7 for further processing, or information about the connections of the respective punks to further contour points.
  • the information about the links with neighboring points will also be referred to as "link info" below.
  • the index of the central point i forms the address under which the link info is stored in a DualPort RAM (see below).
  • Each permitted contour point (EN I) yields another index j (pointer), the difference
  • LINK With knowledge of the LINKs, all neighbors in the contour point list can be addressed from a central point. Due to the structure of the SNNC, a maximum of 4 LINKs per central point can arise, five or more neighbors are resolved into several neighborhoods. The mask MASK indicates whether the relevant LINK is set or not. At the same time, in the same memory, the attributes were given by the contour point processor stored so that the coordinates as well as gray scale and if necessary color information are available.
  • the clearly connected contour points can not yet be read out as objects because two prerequisites are missing.
  • the start and end points of the contours are not yet defined, second, there are a variety of artifacts that would unnecessarily burden resources for the object segmentation. Therefore, the morphology of neighboring points is examined by means of the morphological filter 11 before the points are combined into objects by means of the connectors.
  • the morphological filter 11 is now adapted to filter the contour point list with connectors with regard to at least one of the properties: contour points to chains of at most three contour points are deleted,
  • Contour points which form branch points of at least two chains are marked in the contour point list, coincidences are corrected, and
  • RankFilter a function implemented in the filter 11, hereinafter referred to as "RankFilter" is first used.
  • Rank vectors are formed for contour points.
  • the contour point list of the data structure with connector structure shown in FIG. 13 is read out and the connector structure of all neighboring points is read from a central point via the connectors and a rank vector is generated which contains the number of branches of the neighboring points and of the central point itself.
  • the RankFilter thus determines the number of connections originating from a contour point, here by forming the sum of the set bits of the mask MASK.
  • the RankFilter addresses the neighboring MASK-approved LINKs and thus determines the rank for each contour point of the neighborhood. From the ranks thus determined, a rank vector is formed which contains the structure information about the number of branches of the neighboring points.
  • FIG. 14 A particularly advantageous implementation of a rank filter 35, preferably as part of the morphological filter 11, is shown in FIG. 14. From the rank filter 35, the link information of the central point with the address Ptr [0] in the DualPortRAM is first read from the data structure 37 from the DualPortRAM 9, as also shown in FIG. 13, into the input register of the rank filter. Subsequently, the LINKs 1-4 are addressed via a multiplexer 39, the addresses Ptr [1..4] are calculated by addition and called in sequence. Unnecessary LINKs, characterized by a zero on the assigned bit of the MASK mask, can be skipped. To the relatively stored LINKs, the pointer address of the central point is added by means of the adder 45, then directly the list can be addressed.
  • the connected comparators 40, 41, 42, 43 of the morphological filter 11 and of the implemented rank filter 35 compare the LINKs of the contour point addressed by Ptr [i] with the LINK [i] of the central point.
  • Four (3) comparators compare the respective LINK 's. If one of the pairs is complementary to one another, the relevant comparator 40, 41, 42, 43 generates a signal CMP_LINK [1..4], so that the linkAdr can be decoded therefrom by means of the decoder 44.
  • the rank RANK [I..4] can also be determined and compiled into a rank vector ⁇ RANK [1], RANK [2], RANK [3], RANK [4]> by using the mask bits by means of the adder 46 be added.
  • the rank vector becomes a binary within the morphological filter Decision on the further approval of a previously declared validated connection processed and stored in the structure MASK.
  • the morphological filter eliminates perturbations in the contours associated as described above, resulting in particular in high resolution and / or sensitivity in a series of small artifacts that would be segmented into objects due to their arrangement. This is disadvantageous for the efficiency of the subsequent processing steps. Therefore, with the morphological filter, minor perturbations are eliminated even before object segmentation.
  • MASK [Ptr [0], 2]: 0: end: The central point has the rank 1 and is ranked first in the RankVector.
  • LINK [I] of the central point points to a contour point with the rank 3.
  • the LinkAdr [Ptr [0], 1] indicates where on the contour point with the rank 3 the inverse LINK can be found on the central point.
  • Ptr [l] addresses the contour point with rank 3, so the operation clears
  • the LINK on the single contour point the rank is reduced from 3 to 2. Therefore, the singular point then behaves like a normal part of a concatenated list, i. there is no branching. For subsequent processing, two fewer objects are generated, eliminating the union of two valid longer objects to one object.
  • Another example is a contour point with a
  • Rank vector ⁇ 2,3, l, 0> This is an appendix with two contour points.
  • the two contour points are connected to the main contour via a connection of rank 2 and a singular point, or a branch of rank 3.
  • Such an appendix can with a
  • the edge point with the rank 1 stands on LINK [2], LinkAdr [Ptr [2], 1] points to the inverse LINK on Ptr [O] (this is the next point seen from the edge). Since Ptr [0] has the rank 2, the other LINK (L) must point to the singular point Ptr [l] of the main contour with the rank 3. Consequently, the function clears
  • MASK [Ptr [1], LinkAdr [Ptr [0], L]]: 0: the LINK from Ptr [l] to Ptr [0] and reduce the rank from 3 to 2, the connection is deleted.
  • the MorphFilter function can provide additional information that is important for segmentation by analyzing the rank vector:
  • the rank vector is mapped to the target function via a table or Boolean logic.
  • this is marked by setting appropriate bits.
  • Particularly advantageous here is the in
  • Fig. 15 has shown data structure for connectors after filtering by Morph filter. For rank points of rank 2, a maximum of 3 LINKs are needed, since the removal of appendices is only allowed for points of rank 3.
  • MASKl corresponds to the bits 0 to 2 of MASK
  • LinkAdr corresponds to the above described LinkAdr [0 - 2], the fourth one is not needed
  • Singular points with a rank greater than or equal to 3 can be encoded with the data structure shown in FIG.
  • the entry CONN33 designates a connector matrix for the connection of singular points of the rank 3 or 4.
  • the format shown in FIG. 16 is recognized by decoding the rank of MASK (rank greater than 2).
  • MorphFilter stores the structure in RAM.
  • the thus prepared information of the contour point list can be read directly from the memory in ordered order as an ordered series of contour points, which is also referred to as "chain” below, so that successive list entries belong to successive contour points along a contour.
  • the chains are determined using a structure called GetNextCP.
  • GetNextCP reads the link info of the central point in a process delayed to the MorphFilter. The delay is typically 8 columns, but can be larger for larger memories.
  • GetNextCP uses MASK to determine the area of responsibility defined by a table stored in a decoder.
  • the table returns the number of neighbors and the locations that can be accessed. From the link info in the contour point list, the pointers to the neighbors and the addresses of the two LINKs are calculated.
  • GetNextCP structure 50 is shown in FIG.
  • the decoder 52 the above table is deposited.
  • the decoder 52 selects both possible links, decodes the link with a non-rank 2 neighbor, and Sets the start point of a chain to this contour point by generating the value PTR_Start.
  • the other link is passed via the multiplexer 53 and the adder 54 as a new pointer PTR_new.
  • the pointer addresses are constantly monitored.
  • a signal comes out_of_range i. if the allowable index leaves the given lower or upper bound
  • the process is aborted.
  • the C-bit (continue) is set on the corresponding contour point and the segment number is saved. If, on repeated reading, the pointer is within the allowed range, the process can continue.
  • a sequence of pointers is created for each segment. Since the corresponding contour point attributes were stored correlated to these pointers, the attributes can be read out directly.
  • none of the starting points is processed because either the object has none (such as a circle or a closed contour) or because the starting points are far in front of the current scanning position so that they can not be detected,
  • the chains collide with two different segment numbers, but they do not converge, because the mask bits prevent this.
  • the device can detect that it is a so-called coincidence.
  • the relevant rank 2 of the point of coincidence is treated as a singular point connecting segments, except here that there is only one object.
  • Edge points that can occur between consecutive strips are treated as coincidence points with rank 2 and then referenced to each other.
  • the contour point processor supplies a current data stream of attributed contour points via a first port; in the worst case, approximately 20 to 25% of the pixels are stored as contour points in the case of very finely resolved gray value images.
  • the following is an implementation for a usually small DualPortRAM of Ik x 36 bit will be described, which can also process such a set of contour points. With this DualPortRAM an image extract with 512 contour points including the additional information and attributes can be buffered, this corresponds in the example to a minimum pixel block of the size 70 x 26 pixels.
  • the contour point processor reads out the image data in a plurality of strips each having a width of more than 1 pixel, preferably at least 16 pixels, particularly preferably 26 or 32 pixels. In the following example, strips of 26 pixels in height are read out meandering over the entire image width, followed by the next strip. The data is saved as a list, in the attribute the coordinates are kept.
  • the contour point processor 5 starts storing the contour points. After 5 columns have run in, the SNNC 7 can begin to work, the contour point processor 5 continues to run.
  • the maximum pointer address can be calculated exactly.
  • the address index is stored with each column jump and read out delayed by 5 columns; in practice, a constant offset, e.g. -32, because the memory is big enough.
  • the SNNC 7 first reads out 5x5 neighborhoods from the DualPortRAM and stores attributes of the relevant contour points in a register set.
  • the MorphFilter process of the morphological filter 11 requires fully stored and filtered links, therefore a safety margin of 3 columns is used to process the data by the SNNC 7.
  • the segmentation process requires an even greater distance. The reason for this is the more computationally intensive contour following method. In order to avoid a complicated composition of contours, the contours should be able to be tracked undisturbed on as long a length as possible. A typical value for this is 8 columns. Whenever a start point or a set continue bit has been found from a previous operation, the GetNextCP structure 50 is triggered.
  • the control for this purpose will not be realized via the DualPortRAM but a separate simple shift register structure, in order to save memory bandwidth.
  • the SNNC is finished with its process after processing about 3 columns after the contour point processor 5 has stored. As a result, the information needed for MorphFilter is approximately 6 after the processing
  • the thus preprocessed contour data can be written back to the main memory of the IEBVS 1 and then formatted by the microcontroller and adopted for the subsequent processing.
  • the chains have to take the form of a series of ordered contour points that reach an end point starting from a starting point, with an upstream Process attributes are assigned.
  • the scan direction is also saved as an attribute.
  • Fig. 18 shows a chain segment with the points PO to P8 whose scanning directions are indicated by arrows.
  • Each contour point is assigned one of the four scanning directions Dir0, Dirl, Dir2, Dir3 shown in FIG.
  • the maximum contrast occurs locally along the respective scanning directions.
  • Table 1 below lists the contour points and their scan directions, the other columns are explained below.
  • the column "Counting direction” in Table 2 describes the condition to be satisfied for a positive counting direction of the contrast contribution of the current contour point:
  • FIG. 20 shows the hardware implementation of a contrast accumulator 80 for determining the contrast coating a contour, or the associated chain.
  • a first stage consisting of two comparators 81, 82 and two adders 83, 84 determines the signs of the terms ⁇ x, ⁇ y, ⁇ x + ⁇ y and ⁇ x - ⁇ y.
  • a small local memory 85 (LUT) or equivalent logic circuit decodes the relevant sign according to the direction Dir0, ..., Dir3 of the current contour point.
  • the contrast values Conti are added with the correct sign in an accumulator 86 so that the contrast coating ⁇ CO n t can be taken from the accumulator 86 as the sum of the individual contrast values and stored as an attribute of the contour at the end point of the contour.
  • the contrast coating ⁇ CO n t thus represents a good approximation for the integral of the differences of the left and right gray and / or color values viewed from the contour and thus describes the significance of a contour element.
  • the contrast mapping is then used in a chain filter for filtering artifacts.
  • This filter also uses the degree of start and end point already known from chain processing, as well as the number of contour points on a chain. These characteristics are called and classified as chain attributes.
  • a classifier of the chain filter has the task of deciding on the basis of the features mentioned, whether the current chain segment is a sensible structure or an artefact created, for example, due to noise. This, or the zuge Anlagenoge chain is then deleted to reduce the volume of data in the further processing steps.
  • Table 3 lists conditions of a simple one
  • a function of length and contrast coating is calculated in each case and then quantized in such a way that the respective chain can be further processed in a topological filter.
  • chains are sorted out, in which the length of the contour is smaller than a predetermined value, in this case especially smaller than 10 pixels, whereby both the start point and the end point of the contour have the degree 1. Accordingly, here is a very short, isolated contour.
  • the chain represents a self-contained curve, such as a circle. If such a curve is too small, it is filtered out in accordance with the fourth condition of the table, in which case in turn chains of contours with a dimension of at most 10 pixels are deleted.
  • the last four conditions apply to contours whose contour points have a contrast assignment with a summed absolute contrast value less than 320.
  • This example shows that the evaluation of the relevance of the contrast can advantageously also include the length of the contour. If a contour with a low contrast is comparatively long, then the accumulated amount of the contrast can nevertheless exceed the threshold value, and the contour or the associated chain is evaluated as relevant and not sorted out.
  • the total memory 60 is divided into a memory area 61 for the determination of contour points, a memory area 62, which is used by the SNNC 7, a memory area 63 for the morphological filter 11 and a much larger memory area 64 for the segmentation.
  • the SNNC 7 as a hardware unit for determining connections belonging to a contour between contour points is assigned a memory or memory area whose size amounts to at most 20 percent of the total memory for processing the image data to objects describing the contours, except for the image memory (s).
  • a section of a contour 26 with contour points 26 is shown.
  • the method for determining curvatures, in particular corner points of contours 16, performed by the segmentation unit 13 of the basic configuration is based on the fact that at a point p of the contour points 26 of a contour 16 Triples with points (p ⁇ , p, p + ) are formed, wherein the points p ⁇ , p + represent contour points, which are spaced in both directions along the contour of the point p.
  • a is the distance of points p and p +
  • b is the distance of points p and p ⁇
  • c is the distance of points p + and p ⁇ .
  • Conditions (i) to (iii) are successively tested for the nearest neighbors of point p, then the next nearest neighbors of point p, and so on. If one of the conditions (i), (ii) / (iü) is not fulfilled for a triplet of points (p ⁇ , p, p + ), the test is aborted. Of the opening angles ⁇ of the triples with contour point p, which satisfy the conditions (i) - (iii), the smallest opening angle is selected and assigned to the point p.
  • the test of conditions (i) - (iii) is aborted, then the next contour point along contour 16 is selected as point p and the process repeated.
  • the termination may occur on the one hand, if the conditions (i) - (iii) for a triple are not met, or if a predetermined number of adjacent contour points 26 has been investigated.
  • the test is aborted after triples having seven points 26 on either side of point p have been examined. Depending on the requirement, a smaller number of maximum triples to be examined can also be defined.
  • this point is sorted out from the outset and no longer taken into account when determining a vertex.
  • a further sorting takes place if at a point p an adjacent point p 'exists for which the conditions (i), (ii) and (iii) are fulfilled and which has a smaller aperture angle ⁇ 1 .
  • the opening angle ⁇ 'of the triple with point p' is smaller than the opening angle ⁇ of the triple with point p.
  • the invention as described above can be implemented in a compact device to realize the recognition of patterning.
  • raster or form fields in image data can be detected and assigned independently of deformations in this way. This allows for quick recognition and evaluation of forms, such as filled lottery tickets with a handy device.
  • Detection also succeeds even if the form kinks or bulges, even if the image, for example by means of a hand-held scanner at an angle and is correspondingly distorted.
  • the recognition of completed forms is particularly suitable for the invention, since the form data are entered at predetermined locations, so that a simple detection, even without expensive, software-based evaluation can be done.
  • the otherwise very complex assignment and identification of patterns, such as the one grid on a lottery ticket can be realized here completely in the form of hardware by means of pipeline processing and object segmentation. It will be apparent to those skilled in the art that the invention is not limited to the embodiments described above, but rather can be varied in many ways. In particular, the features of the embodiments can also be combined with each other.

Abstract

Die Erfindung betrifft eine Bildverarbeitungsvorrichtung, mit der eine Bilderkennung in Echtzeit erfolgen kann und die mit nur sehr wenig oder sogar keinerlei a-priori-Information in der Lage ist, eine zutreffende und zuverlässige Erkennung von Objekten durchzuführen. Dazu werden mittels eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander ermittelt. Weiterhin ist zumindest ein Klassif ikator vorgesehen, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und im Anschluss daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen.

Description

Verfahren und Vorrichtung zur Bildverarbeitung
Beschreibung
Die Erfindung betrifft allgemein Vorrichtungen und Verfahren zur Bildverarbeitung. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur Bildverarbeitung, bei welcher aus den Bilddaten
Konturpunkte ermittelt und anhand der Konturpunkte eine Segmentierung vorgenommen wird, bei welcher zusammengehörende Konturpunkte für die Weiterverarbeitung zu Objekten zusammengefasst werden.
Für verschiedenste technische Anwendungen werden heutzutage Bildverarbeitungssysteme eingesetzt, um eine automatische Objekterkennung zu realisieren. Beispielsweise orientieren sich Industrieroboter vielfach anhand von verarbeiteten Bilddaten, welche es einem Roboter ermöglichen, ein Objekt und dessen Lage und Position zu erkennen. Um eine zuverlässige Erkennung von Objekten zu gewährleisten, wird jedoch bisher eine große Menge an "a priori"-Wissen über die zu erkennenden Objekte benötigt. Damit geht auch oft einher, daß für das jeweilige technische Einsatzgebiet speziell zugeschnittene Software-Lösungen erstellt werden. Es ist offensichtlich, daß eine derartige Herangehensweise sehr aufwendig und entsprechend teuer ist. Vielfach schließen sich dabei auch an eine technische Umsetzung auch noch langwierige Lernprozesse an, mit welchen das System für die Erkennung ausgewählter Objekte trainiert wird. Noch ein weiteres Manko ist, daß für die Bilderkennung speicherintensive und komplizierte Berechnungen erforderlich sind. Eine Echtzeit-Erkennung ist auf diese Weise daher kaum zu realisieren.
Der Erfindung liegt daher die Aufgabe zugrunde, eine technische Lösung bereitzustellen, mit der eine Bilderkennung in Echtzeit erfolgen kann und die mit nur sehr wenig oder sogar keinerlei a-priori-Information in der Lage ist, eine zutreffende und zuverlässige Erkennung von Objekten durchzuführen. Diese Aufgabe wird bereits in höchst überraschend einfacher Weise durch eine Vorrichtung und ein Verfahren, wie sie in den unabhängigen Ansprüchen angegeben sind, gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den jeweiligen abhängigen Ansprüchen angegeben.
Dazu ist eine Bildverarbeitungsvorrichtung mit einer in Form von Hardware integrierter Einrichtung zur Segmentierung von Bilddaten und einer ebenfalls in Form von Hardware integrierter Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten, dadurch gekennzeichnet, daß die Einrichtung zur Segmentierung von Bilddaten eine Einrichtung zur Bestimmung von Eckpunkten von Konturen aus von der Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten bereitgestellten Listendaten mit Konturpunkten umfasst, wobei die Einrichtung zur Bestimmung von Eckpunkten von Konturen eine Einrichtung zur Durchführung des folgenden Algorithmus umfasst: -zu jedem Punkt p einer Menge aufeinanderfolgender
Konturpunkte einer Kontur werden Tripel mit Punkten (p~, p, P+) gebildet, wobei die Punkte p", p+ Konturpunkte darstellen, die in beiden Richtungen entlang der Kontur vom Punkt p beabstandet sind, -zu diesen Punkten wird getestet, ob die Bedingungen : i ) d2 min < I p-P+ I 2 ≤ d2
( ü ) d min < I p-P" I 2 < d2 und
( üi ) α < Cmax erfüllt sind, wobei d2 min, d2 max und αmax gesetzte vorbestimmte Parameter sind, und wobei für den Öffnungswinkel α gilt: wobei a den Abstand der Punkte p und p+, b den Abstand der Punkte p und p~, und c den Abstand der Punkte p+ und p~ bezeichnen, und wobei die Bedingungen (i), (ii) und (iii) für eine Reihe von zu p beiderseits benachbarten Punkten getestet werden,
-der kleinste Öffnungswinkel α oder eine daraus abgeleitete Größe aus der Menge der getesteten Tripel mit Punkten (p~, p, p+), welche alle Bedingungen (i) , (ii) und (iii) erfüllen, wird ausgewählt und dem Punkt p zugeordnet, -ein Punkt p wird aussortiert, wenn zu diesem dieser ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i), (ii) und (iii) erfüllt sind und einen kleineren Öffnungswinkel α aufweist.
Unter einem benachbarten Punkt p' wird dabei ein Punkt verstanden, welcher innerhalb einer vorbestimmten Umgebung um den Punkt p entlang der Kontur angeordnet ist. Beispielsweise kann als Bedingung gesetzt werden
!p2-p'2!< d^ax-
Durch Setzen des Parameters d2 max wird vermieden, daß vermeintlich kleine Öffnungswinkel zwischen weit entfernten Punkten bei stark gekrümmten Konturen zugeordnet werden. Der Parameter d2 min gibt die Auflösung an, mit welcher die Kontur, beziehungsweise die Konturpunkte abgetastet wird. Ein günstiger zulässiger Bereich für |p-p+|2 zur Erzielung einer effektiven Abtastung wird weiterhin erreicht, wenn dmax ≥ dmin + 1, etwa zum Beispiel dmax = dmin + 2 gesetzt wird. Die Parameter dmax, d,mn und αmaχ müssen nicht fest durch die Hardware vorgegeben sein, vielmehr kann die
Bildverarbeitungsvorrichtung auch dazu ausgebildet sein, wenigstens einen dieser Parameter wählbar oder variierbar zu setzen.
Es hat sich gezeigt, daß der erfindungsgemäße Algorithmus besonders einfach und effektiv in Hardware, vorzugsweise in FPGA- oder ASIC-Bausteine implementiert werden kann. Insbesondere ist auch der benötigte Speicher vergleichsweise klein. Dies zusammengenommen führt zu einer sehr schnellen Erkennung von Eckpunkten von Objekten zwischen geradlinigen Segmenten und einer unter Verwendung dieser Punkte möglichen weitergehenden Segmentierung. Insbesondere können dann auch schnell Verbindungen zwischen den Eckpunkten gebildet und weiterverarbeitet werden.
Für die Auswahl der Tripel, beziehungsweise der Punkte p+, p" können verschiedene Auswahlvorschriften eingesetzt werden. Besonders effektiv, insbesondere auch hinsichtlich der Anzahl der benötigten Addierer und Multiplexer ist es jedoch, wenn Tripel (p, p+, p~) nacheinander mit
Konturpunkten p+, p" gebildet und auf Erfüllung der Bedingungen (i), (ii), und (iii) getestet werden, die entlang der Kontur fortschreitend weiter vom Konturpunkt p entfernt sind. Dabei ist es weiterhin günstig für die Rechengeschwindigkeit bei ausreichender Genauigkeit der Bestimmung von Eckpunkten, wenn der Test der Bedingungen (i) , (ii) , und (iii) für einen gegebenen Konturpunkt p abgebrochen wird, sobald eine der Bedingungen (i), (ii), und (iii) für ein Tripel (p, p+, p~) nicht mehr erfüllt ist.
Als vorteilhaft für eine fehlerarme Segmentierung für eine Vielzahl von Bedingungen hinsichtlich der Bildauflösung und des Bildkontrasts hat es sich weiterhin erwiesen, wenn in der Einrichtung zur Bestimmung von Eckpunkten von Konturen der Parameter d^n auf einen Wert von d^n ≥ 4 gesetzt ist. Für den Parameter αmax sind weiterhin Werte von αmax < 160° günstig.
Wenn die Bedingungen (i) bis (iii) für eine große Anzahl benachbarter Konturpunkte erfüllt bleibt, steigt der Rechenaufwand zur Bestimmung des minimalen Öffnungswinkel für den Konturpunkt p. Es ist daher von Vorteil für den Rechenaufwand und die Geschwindigkeit der Analyse der Eckpunkte, wenn die Einrichtung zur Bestimmung von Eckpunkten von Konturen ausgebildet ist, für einen gegebenen Konturpunkt p zu jeder Seite entlang einer Kontur höchstens 7 Konturpunkte für die Tests der Bedingungen (i), (ii) und (iii) einzubeziehen. Mit anderen Worten wird der Test abgebrochen, wenn die Konturpunkte p+, p- jeweils sieben Konturpunkte vom Punkt p entfernt sind.
Unabhängig von der Objektsegmentierung sieht die Erfindung eine vorzugsweise integrierte Bildverarbeitungsvorrichtung mit einem oder mehreren Bildspeichern und zumindest einer integrierten Hardwareeinheit vor, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen. Die Bildverarbeitungsvorrichtung weist weiterhin eine Recheneinheit auf, welche eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln. Außerdem ist zumindest eine Recheneinheit, die nachfolgend als Klassifikator bezeichnet wird, vorgesehen, welche aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei
Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt, beziehungsweise Zentralpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen.
Die Erfindung sieht außerdem ein Verfahren zur Ermittlung zusammenhängender Konturen in Bilddaten vor, welches insbesondere in einer wie vorstehend beschriebenen Bildverarbeitungsvorrichtung durchführbar ist, bei welchem aus den Bilddaten Konturpunkte ermittelt und die Verbindungswahrscheinlichkeiten möglicher Verbindungen von Konturpunkten zu benachbarten Konturpunkten errechnet werden, und wobei aus einer Menge von solchen Verbindungswahrscheinlichkeiten ein oder mehrere Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest zwei Konturpunkten und einem benachbarten ausgewählten zentralen Konturpunkt analysiert und jeweils derjenige der zentralen Konturpunkt benachbarten Konturpunkte aussortiert wird, der eine mögliche Verbindung mit der geringsten
Verbindungswahrscheinlichkeit zu einem der anderen Punkte aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet, und nach Abschluß dieser Analyse der Teilmengen in eine Liste in einem elektronischen Speicher Konturpunktdaten einträgt, welche Konnektoren umfassen, die zu einer Kontur gehörende Verbindungen zum Zentralpunkt kennzeichnen. Diese Konnektoren können dann weiterverarbeitet werden, indem anhand der Konnektoren die Konturpunkte zu Kontursegmenten zusammengefasst werden, die für die Objektverarbeitung und Objekterkennung dienen.
Unter benachbarten Konturpunkten werden im Sinne der Erfindung nicht etwa Konturpunkte zu direkt aneinandergrenzenden Pixeln verstanden, sondern vielmehr alle Konturpunkte innerhalb einer vorgegebenen Umgebung um den Zentralpunkt. Beispielsweise kann dies eine 5 x 5- Umgebung mit dem jeweiligen betrachteten Zentralpunkt in dessen Zentrum sein. Diese Menge an Konturpunkten wird dann auch als Nachbarschaft bezeichnet.
Die Ermittlung der Lage von Konturpunkten mit Subpixel- Genauigkeit zu einem Bildpunkt erfolgt dabei durch Berechnung aus der Lage des Bildpunktes und weiterer umgebender Bildpunkte.
Der erfindungsgemäße Auswahlvorgang, bei welchem jeweils Konturpunkte aus einer Menge aussortiert werden, welche die geringste Verbindungswahrscheinlichkeit zum Zentralpunkt aufweisen, bietet den Vorteil, sehr wenig Speicher zu benötigen. Insbesondere kann die Verarbeitung anhand von fortlaufenden Listendaten erfolgen. Der hierfür benötigte geringe Speicherbedarf ermöglicht mit geringem Aufwand an einzusetzender Hardware sogar eine Verarbeitung in Echtzeit. Zudem lassen sich die oben beschriebenen Prozesse aufgrund ihrer Einfachheit leicht in Hardware-Bausteinen ohne aufwendige Software und periphere Beschaltung implementieren. Die erfindungsgemäße Vorrichtung kann daher sehr einfach als sehr kompakte integrierte Hardware- Bildverarbeitungsvorrichtung ausgeführt werden. Um den benötigten Speicher zu reduzieren, ist insbesondere auch die Weiterverarbeitung der Konturpunkte in Form von fortlaufenden Listendaten besonders vorteilhaft. Diese Listendaten enthalten vorzugsweise nur die
Bildpunktkoordinaten von relevanten Konturpunkten sowie Attributen der Umgebung und somit lediglich die für die Konturerkennung relevanten Daten. Demgemäß wird die Datenmenge auf diese Weise gegenüber den Originaldaten des Bildes auf ein Minimum reduziert. Das Aussortieren hat das Ziel, diejenigen Konturpunkte zu ermitteln, die zusammen mit dem jeweils betrachteten Zentralpunkt zur gleichen Kontur gehören.
Der Schritt des Auswählens von Konturpunkten für die
Weiterverarbeitung durch Aussortieren von Konturpunkten mit der geringsten Verbindungswahrscheinlichkeit zum Zentralpunkt kann auch folgendermassen veranschaulicht werden: Die Menge der um einen Zentralpunkt gruppierten Konturpunkte (=Nachbarschaftskandidaten) kann in einer Ebene bildhaft veranschaulicht werden, indem die Verbindungswahrscheinlichkeiten zwischen Konturpunkten durch Strecken dargestellt werden, wobei die Länge einer Strecke indirekt proportional zur Verbindungswahrscheinlichkeit ist. Es werden nun Polygone gebildet, welche als Eckpunkte den Zentralpunkt und zumindest zwei zum Zentralpunkt benachbarte weitere Konturpunkte enthalten. Anschließend wird derjenige der zum Zentralpunkt benachbarten Punkte entfernt, von welchem die längste Verbindung zu einem weiteren Punkt des Polygons ausgeht. Dieses Verfahren kann dann je nach Anzahl der benachbarten Konturpunkte für alle zum Zentralpunkt benachbarten Konturpunkte wiederholt werden, bis eine gewisse Anzahl von Konturpunkten, je nach Anordnung der Punkte unter Umständen auch nur zwei Punkte inklusive des Zentralpunkts übrigbleibt und es sich keine Polygone mehr bilden lassen, in denen weitere Streichungen von Elementen stattfinden .
Dieser Auswahlvorgang des Klassifikators läßt sich besonders effektiv mit wenigen Rechenoperationen und geringem Aufwand an Hardware durchführen, wenn aus der Menge der Konturpunkte der Nachbarschaft des Zentralpunkts, beziehungsweise der zum Zentralpunkt benachbarten Konturpunkte jeweils eine Teilmenge als Tripel mit dem Zentralpunkt und zwei weiteren Konturpunkten mit den zugeordneten Verbindungswahrscheinlichkeiten gebildet wird und vorzugsweise von drei Komparatoren für die Verbindungswahrscheinlichkeiten die geringste Wahrscheinlichkeit ermittelt und jeweils der zum
Zentralpunkt benachbarte Konturpunkt, von welchem die Verbindung mit der geringsten Verbindungswahrscheinlichkeit innerhalb des Tripels ausgeht, aus einer Nachbarschaftsmenge der zum Zentralpunkt benachbarten Konturpunkte aussortiert wird, sofern die zugehörige
Verbindung nicht zwei zum zentralen Konturpunkt benachbarte Konturpunkte verbindet.
Die Konnektoren, die der Klassifikator nach dem Aussortieren in der Nachbarschaft belässt, werden in eine Konturpunktliste eingetragen und können dann die Indizes benachbarter Konturpunkte und die Verbindungswahrscheinlichkeiten zu benachbarten Konturpunkten sowie weitere Nachbarschaftsinformationen (Richtung DIR, Kontrast cont, Farbe) enthalten. Werden die Konturpunkte wieder als auf einer Ebene mit durch die Verbindungswahrscheinlichkeiten modifizierten Koordinaten angeordnet betrachtet, so entspricht diese Vorgehensweise dem Bilden von Tripeln von Konturpunkten, deren Verbindungen dementsprechend ein Dreieck bilden. Es wird in diesem Dreieck nun die längste Seite bestimmt und derjenige zum Zentralpunkt benachbarte Konturpunkt gestrichen, von welchem die längste Seite ausgeht.
Der Vorgang des Aussortierens, beziehungsweise des Auswählens der verbleibenden Konturpunkte wird vorzugsweise zumindest einmal für die Menge der nicht aussortierten Konturpunkte wiederholt. Die Bildverarbeitungsvorrichtung, insbesondere der Klassifikator, der aus zumindest drei
Elementen für Verbindungen von zumindest zwei Konturpunkten zu einem ausgewählten zentralen Konturpunkt jeweils die Verbindung mit der geringsten Verbindungswahrscheinlichkeit aussortiert, kann insbesondere dazu eingerichtet sein, den Auswahl-Vorgang, bei welchem Konturpunkte mit möglichen Verbindungen mit der geringsten
Verbindungswahrscheinlichkeit aussortiert werden für jeden ausgewählten zentralen Konturpunkt zu wiederholen, bis keine weiteren zum zentralen Konturpunkt benachbarten Konturpunkte gestrichen, beziehungsweise aussortiert werden können.
Werden, wie es besonders bevorzugt ist, jeweils Tripel von Konturpunkten, beziehungsweise zugehörigen Verbindungswahrscheinlichkeiten für mögliche Verbindungen gebildet und eine geeignete Auslesereihenfolge der Konturpunkte beachtet, bei welcher die Teilmengen so gebildet werden, daß nur nächste Nachbarn von Konturpunkten, beziehungsweise die Verbindungswahrscheinlichkeiten zwischen diesen Punkten enthalten sind, hat es sich im übrigen gezeigt, daß genau eine einmalige Wiederholung des Aussortierens für alle Tripel von Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen nächst benachbarten Konturpunkten ausreicht, um zumindest in den allermeisten Fällen alle diejenigen Konturpunkte auszusortieren, die nicht zur selben Kontur wie der jeweils betrachtete Zentralpunkt gehören .
Beim Auswählen von Konturpunkten durch Aussortieren von Konturpunkten mit geringer Verbindungswahrscheinlichkeit können sich unter Umständen Mehrdeutigkeiten ergeben, die dazu führen, daß beispielsweise bei einem Tripel von Konturpunkten, der Klassifikator für die Verbindungswahrscheinlichkeiten keinen Konturpunkt aussortiert, obwohl die jeweils längsten Verbindungen, beziehungsweise die geringsten
Verbindungswahrscheinlichkeiten jeweils für Verbindungen zum Zentralpunkt bestehen. Dies ist insbesondere dann der Fall, wenn die Punkte mit durch die
Verbindungswahrscheinlichkeiten modifizierten Koordinaten ein gleichschenkliges Dreieck oder sogar ein gleichseitiges Dreieck bilden. Hier könnten zwar alle Konturpunkte übernommen werden, allerdings hat sich überraschend gezeigt, daß eine wesentlich bessere, um Artefakte verminderte Nachbarschaftsdefinition erfolgt, wenn eine Modulation auf die Verbindungswahrscheinlichkeit aufgeprägt wird, die einer Positionsverschiebung von Konturpunkten entspricht, die kleiner als der Pixelabstand ist.
Zwar werden hier die Daten für die
Verbindungswahrscheinlichkeiten verändert, was auch zu falschen Pfadentscheidungen über tatsächlich zu einer zusammenhängenden Kontur gehörenden Konturpunkten führen kann, allerdings hat es sich gezeigt, daß dies unschädlich ist, da sich mögliche falsche Entscheidungen im Mittel neutralisieren. Eine einfache, bevorzugte Realisierung einer Modulation ist dabei die Veränderung der Pixel- Koordinaten von Konturpunkten. Ebenso möglich wäre es aber auch, innerhalb des Klassifikators die
Verbindungswahrscheinlichkeiten zu berechnen und dann diesen Verbindungswahrscheinlichkeiten eine Modulation aufzuprägen.
Im einfachsten Fall können Verbindungswahrscheinlichkeiten von Konturpunkten anhand des Abstands dieser Punkte zueinander ermittelt werden. Je weiter zwei Konturpunkte voneinander entfernt sind, desto geringer ist ihre Verbindungswahrscheinlichkeit. Es wird aber bevorzugt, weitere Attribute der Konturpunkte zu erfassen und in die
Berechnung der Verbindungswahrscheinlichkeit mit einfließen zu lassen.
Als günstig hat es sich dabei insbesondere erwiesen, wenn das Rechenwerk für die Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den
Konturpunkten und zumindest einem der Attribute Kontrast, Farbe und Richtung errechnet werden. Dazu ist gemäß einer Weiterbildung der Erfindung vorgesehen, daß die Recheneinheit, die eingerichtet ist, aus den im Speicher abgelegten Listendaten die Verbindungswahrscheinlichkeiten zwischen Konturpunkten zu ermitteln, die Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem der Attribute Kontrast, Farbe und Richtung errechnet. Eine Möglichkeit ist beispielsweise, anhand eines oder mehrerer Attribute den Wert einer Funktion der Werte dieses Attribute zu errechnen und eine Verbindungswahrscheinlichkeit nur dann zu berechnen, wenn der Wert der Funktion einen Schwellwert je nach Art der Funktion über- oder unterschreitet. Ein Attribut kann dabei beispielsweise die mittlere Punktrichtung, die vom Konturpunktprozessor ausgegeben wird (der maximale Grauwertkontrats liegt in einer Antastrichtung), sein. Die mittlere Punktrichtung ist als Summe der Richtungsvektoren beider zu einem Konnektor gehörenden Konturpunkte definiert und steht in der Regel in guter Näherung senkrecht zur Richtung des Konnektors selbst. Weisen zwei Konturpunkte eine ähnliche Richtung der Kontur auf, steigt entsprechend die
Verbindungswahrscheinlichkeit, also die Wahrscheinlichkeit, daß die beiden Punkte tatsächlich zu einer gemeinsamen Kontur gehören. Ein weiteres Merkmal ist der Winkel zwischen der mittleren Punktrichtung und der Richtung des Konnektors. Dieser Winkel kann in besonders einfacher Weise über das Skalarprodukt der beiden Vektoren berechnet und in die Verbindungswahrscheinlichkeit einbezogen werden.
Der Kontrast kann insbesondere der Helligkeitsunterschied von zum Konturpunkt benachbarten Bereichen sein, die durch die Konturlinie getrennt sind. Weisen zwei Konturpunkte einen solchen ähnlichen Kontrast auf, steigt entsprechend die Wahrscheinlichkeit, daß die beiden Konturpunkte auf einer gemeinsamen Konturlinie liegen. Ist der Kontrast invers, dann handelt es sich zumeist um eine dünne Linie, deren in der Regel parallel in geringem Abstand laufende Konturen nicht verbunden werden dürfen, d.h. dass in diesem Fall die Verbindungswahrscheinlichkeit auf null gesetzt wird.
Gemäß dieser Ausführungsform der Erfindung kann daher die integrierte Recheneinheit, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen, dazu eingerichtet sein, neben der Position eines Konturpunktes zumindest ein weiteres Attribut des Konturpunktes zu berechnen und in den fortlaufenden Listendaten abzuspeichern. Vorzugsweise wird mittels der integrierten Recheneinheit für einen
Konturpunkt einen Attribut-Vektor mit zumindest 24 Bit Länge, vorzugsweise zumindest 36 Bit Länge erzeugt und in den fortlaufenden Listendaten abgespeichert. Die Recheneinheit, die dazu eingerichtet ist, aus den im Speicher abgelegten Listendaten
Verbindungswahrscheinlichkeiten zwischen Konturpunkten zu ermitteln, kann dann Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem weiteren Attribut errechnen.
Um die Bilddaten schnell mit nur wenig benötigtem Speicher verarbeiten zu können, insbesondere um aus den Bilddaten Konturpunkte und Konnektoren zu ermitteln, ist weiterhin bevorzugt, daß die Bilddaten in mehreren Streifen ausgelesen werden, die jeweils eine Breite von mehr als 1 Pixel, vorzugsweise zumindest 16 Pixel, besonders bevorzugt 26 oder 32 Pixel aufweisen. Vorzugsweise werden dabei die Bilddaten nacheinander in Streifen ausgelesen, die um mehr als einen Pixel, vorzugsweise um zumindest 4 Pixel, besonders bevorzugt um zumindest 8 Pixel überlappen. Aufgrund dieses Überlapps werden zwar unter Umständen Konnektoren im Überlappbereich doppelt berechnet, dieser zusätzliche Mehraufwand wird aber dadurch überkompensiert, daß sich die einzelnen ermittelten Konturen leichter und fehlerfreier wieder zusammensetzen lassen.
Die Bildverarbeitungsvorrichtung ist weiterhin bevorzugt für eine Echtzeit-Bildverarbeitung eingerichtet. Dies bedeutet, daß innerhalb des Bildtransfers eine vollständige Ermittlung von Objekten, welche die Konturen beschreiben, erfolgt. Diese Echtzeit-Verarbeitung wird insbesondere auch durch die sehr einfache Berechnung der Konnektoren für die Konturpunkte ermöglicht.
Um eine solche Echtzeit-Verarbeitung zu ermöglichen, ist es weiterhin besonders bevorzugt, daß die Vorrichtung Dual- Port-RAM-Speicher und eine Einrichtung zum gleichzeitigen Ablegen und Auslesen von Listendaten aus dem Dual-Port-RAM- Speicher aufweist. Dieser Speicher ermöglicht nicht nur sehr kurze Zugriffszeiten, insbesondere können die verschiedenen Prozesse zur Bildverarbeitung auch gleichzeitig auf die Daten im selben Speicher zugreifen. Während ein erster Prozess Listendaten in den Speicher schreibt, kann bereits ein anderer Prozess Listendaten gleichzeitig wieder aus dem Speicher entnehmen. Allerdings sind solche Speicher, beispielsweise auf einem FPGA im allgemeinen sehr klein. Typischerweise stehen Speicher im Bereich von 4 kByte zur Verfügung. Erst die Verarbeitung von Listendaten anstelle der Abbildung ganzer Bilder oder Bildbereiche im Speicher ermöglicht dabei auch die Beschränkung auf derartige kleine Speicher.
Als ein der Bildung von Listendaten mit den Konnektoren nachgeschalteter Prozess ist vorzugsweise ein
Morphologiefilter vorgesehen. Der Begriff Morphologiefilter wird in diesem Zusammenhang zur Kennzeichnung der glättenden Wirkung der Filteroperation verwendet, obwohl in diesem Grenzbereich auch topoiogische Eigenschaften ausgenutzt werden.
So weist gemäß dieser Ausführungsform der Erfindung die Bildverarbeitungsvorrichtung eine Morphologiefilter- Recheneinrichtung auf, welche dazu eingerichtet ist, die Konturpunktliste mit Konnektoren hinsichtlich zumindest einer der Eigenschaften zu filtern:
-Konturpunkte zu Ketten von höchstens drei Konturpunkten werden gelöscht,
-Konturpunkte, welche nur zu einer einseitig mit einer längeren Kette verbundenen Kette mit höchstens drei Konturpunkten gehören, werden gelöscht, -Konturpunkte, welche Start- und Endpunkte von Ketten zusammengehörender Konturpunkte bilden, werden in der Konturpunktliste gekennzeichnet, -Konturpunkte, welche Verzweigungspunkte zumindest zweier Ketten bilden, werden in der Konturpunktliste gekennzeichnet .
Um die Verkettung der Konnektoren zu Objektsegmenten zu erleichtern, ist gemäß noch einer Weiterbildung der Erfindung außerdem eine Einrichtung zum Erzeugen von Rangvektoren für Konturpunkte vorgesehen, welche die Konturpunktliste mit Konnektorstruktur ausliest und jeweils ausgehend von einem Zentralpunkt über die Konnektoren die Konnektorstruktur sämtlicher Nachbarpunkte einliest und einen Rangvektor erzeugt, der die Anzahl der Verzweigungen der Nachbarpunkte und des Zentralpunkts selbst beinhaltet. Dabei wird die Konnektorstruktur in zeitlicher Verzögerung zum Eintragen von Konnektoren in die Konturpunktliste abgetastet. Die zeitliche Verzögerung ist vorgesehen, damit bereits Daten im betreffenden Dual-Port-RAM vorhanden sind, in welchen sowohl die Listendaten mit den Konnektoren eingetragen, als auch zur Bildung von Rangvektoren ausgelesen werden. Anschließend kann der Rangvektor über eine Tabelle oder Boolesche Funktionen auf eine vorzugsweise skalare Potentialfunktion abgebildet und Artefakte mittels der Potentialfunktion aussortiert werden. Um die spätere Segmentierung zu erleichtern, kann eine Einrichtung zum Auslesen der Konturpunktliste in geordneter Reihenfolge als geordnete Reihe von Konturpunkten vorgesehen sein, wobei aufeinanderfolgende Listeneinträge zu aufeinanderfolgenden Konturpunkten entlang einer Kontur gehören. Diese Einrichtung kann zusammengehörende Konturpunkte insbesondere anhand der jeweiligen in der Konturpunktliste abgespeicherten Konnektoren ermitteln.
Eine solche geordnete Liste von Konturpunkten wird im Sinne der Erfindung auch als „Chain" bezeichnet. Die im Segmentierungsprozess erzeugten Chains stellen somit eine Folge geordneter Konturpunkte dar, die von einem Startpunkt ausgehend einen Endpunkt erreichen. Jedem der Konturpunkte können dabei wie gesagt durch einen vorgeschalteten Prozess Attribute, darunter die Abtastrichtung sowie der Kontrast entlang der Abtastrichtung zugewiesen werden.
Für die Bewertung der Relevanz eines Chains ist es dabei sinnvoll, den Kontrastbelag der Chain, beziehungsweise allgemeiner der Menge der zu einer Kontur gehörenden Konturpunkte zu berechnen. Als relevant werden Chains bewertet, wenn der Betrag des Kontrastbelages über einer gegebenen Schwelle liegt. Insbesondere kann die Weiterverarbeitung von Chains oder Mengen von zu einer Kontur gehörenden Konturpunkten in Abhängigkeit dieser Bewertung erfolgen. Ist eine Chain oder Menge als relevant bewertet, wird diese weiter verwendet, anderenfalls, unter anderem bei zu geringem Kontrastbelag wird die Chain oder Konturpunktmenge fallengelassen. Mit anderen Worten werden Chains mit zu geringem Kontrastbelag mittels einer entsprechenden Einrichtung der erfindungsgemäßen Vorrichtung aussortiert. Dieses Aussortieren muß nicht sofort erfolgen. Jedenfalls ist es besonders vorteilhaft, auch den Kontrastbelag als Attribut einer Chain, beziehungsweise einer Menge von zu einer gemeinsamen Kontur gehörenden Konturpunkten zu speichern. Die Berechnung des Kontrastbelags kann besonders vorteilhaft erfolgen, indem für die Konturpunkt jeweils eine Abtastrichtung errechnet wird. Diese Abtastrichtung ist unabhängig vom Vorzeichen des Kontrastes diejenige Richtung entlang derer in der Bildumgebung lokal der maximale Kontrast auftritt. Die Abtastrichtungen müssen ferner nicht die exakten Richtungen des maximalen Kontrastwechsels in der Umgebung um den Konturpunkt sein. Vielmehr kann die jeweilige Abtastrichtung aus einer eng begrenzten Anzahl möglicher Richtungen ausgewählt werden, um den Rechenaufwand zu begrenzen. Beispielsweise können höchstens 16, bevorzugt 8 oder sogar besonders bevorzugt nur 4 mögliche Richtungen verwendet werden, die demgemäß mit entsprechend wenigen Bits darstellbar sind. Zur
Berechung des Kontrastbelags einer Kontur, beziehungsweise der zugeordneten Chain oder Menge von Konturpunkten können dann die Kontrastwerte der einzelnen Konturpunkte entsprechend ihrer Zählrichtung akkumuliert werden. Die Zählrichtung wird in Abhängigkeit der Abtastrichtung und dem Richtungsvektor der Kontur am Konturpunkt ermittelt und gibt an, ob der zum Konturpunkt gehörende, seinerseits vorzeichenbehaftete Kontrastwert beim Akkumulieren addiert oder subtrahiert wird.
Auch der Richtungsvektor kann ebenso wie die Abtastrichtung vorteilhaft auf wenige Richtungen, beziehungsweise wenige Möglichkeiten beschränkt werden. Ebenso wie bei der Abtastrichtung können höchstens 16, etwa 8 oder auch nur 4 verschiedene mögliche Richtungen für den Richtungsvektor zur Berechnung der Zählrichtung verwendet werden.
Das Aussortieren kontrastarmer Chains erfolgt in Weiterbildung der Erfindung mit einer im folgenden auch als „Chainfilter" bezeichneten Datenfiltereinrichtung. Diese sortiert Mengen von zu einer gemeinsamen Kontur gehörenden Konturpunkten aus, wenn die Menge der Konturpunkte wenigstens eine der nachfolgenden Bedingungen erfüllt: a) die Länge der Kontur ist kleiner als ein vorgegebener Wert, vorzugsweise 10 Pixel, und sowohl der Start-, als auch der Endpunkt der Kontur weisen den Grad 1 auf, sind also nicht Bestandteil einer weiteren Kontur, b) die Länge der Kontur ist kleiner als ein vorgegebener Wert, vorzugsweise 10 Pixel, und entweder der Start-, als auch der Endpunkt der Kontur weisen einen Grad >2 auf, c) Start- und Endpunkt sind identisch und die Länge der Kontur ist kleiner als ein vorgegebener Wert, vorzugsweise 10 Pixel, d) der Betrag des Kontrastbelags ist kleiner als ein vorgegebener Wert.
Eine Filterung erfolgt demgemäß nicht nur anhand des akkumulierten Kontrasts, sondern auch anhand weiterer Kriterien, wie insbesondere der Strukturgröße.
Mittels dieses Chainfilters sollen Chains oder Chain- Segmente aussortiert werden, die zu Konturen gehören, welche durch Artefakte, etwa durch Rauschen entstanden sind und keine sinnvollen Strukturen beschreiben. Der Chainfilter ergänzt die durch den oben beschriebenen Morphologiefilter beschriebene Filterung.
Es hat sich gezeigt, daß eine artefaktarme Ermittlung von Verbindungen zwischen Konturpunkten bereits mit einer kleinen Umgebung eines ausgewählten zentralen Konturpunkts funktioniert. So kann eine zuverlässige Ermittlung von Verbindungen zwischen Konturpunkten erfolgen, wenn Verbindungswahrscheinlichkeiten für mögliche Verbindungen von Konturpunkten jeweils nur zu solchen weiteren Konturpunkten einschließlich des zentralen Konturpunkts errechnet werden, die maximal 2 bis 2,5 Pixel bezogen auf das Raster des Digitalbildes von einem Konturpunkt entfernt sind.
Für die Berechnung der Konnektoren sind fast ausschließlich nur die jeweils nächst benachbarten Konturpunkte relevant. Daher können Rechenschritte gespart werden, wenn bereits die Bildung der Mengen von Konturpunkten, insbesondere von Tripeln für das Aussortieren geschickt vorgenommen wird. Dazu ist gemäß einer Weiterbildung der Erfindung eine der Recheneinheit zur Berechnung von
Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen Konturpunkten vorgeschaltete Sortiereinrichtung vorgesehen, welche Listendaten von zu einem ausgewählten zentralen Konturpunkt benachbarten Konturpunkten jeweils entsprechend einer Reihenfolge ausgibt, die beim Abtasten einer Umgebung des zentralen Konturpunkts erhalten wird, indem sukzessive ausschließlich benachbarte Punkte der Umgebung ausgelesen werden. Dies ist beispielsweise ein Unterschied zu Bilddaten in üblichen Bildformaten. Hier sind die Daten zeilenweise geordnet. Innerhalb einer Zeile gehören zwar aufeinanderfolgende Daten der Bilddatei dann zwar zu aufeinanderfolgenden, also auch benachbarten Bildpunkten, dies gilt jedoch nicht mehr am Zeilenende. Hier erfolgt ein Sprung vom letzen Punkt der Zeile zum ersten, weit entfernten Punkt der nächsten Zeile.
Auf den ersten Blick erscheint die eingesetzte Ermittlung von Konturpunkten mit Subpixel-Genauigkeit , beziehungsweise das eingesetzte Subpixel-Raster redundante oder überflüssige Information zu enthalten und damit die nachfolgenden Berechnungen zu verlangsamen oder komplizierter zu machen. Allerdings werden nicht etwa zusätzliche Punkte berechnet, sondern es wird vielmehr vorzugsweise für jeden Konturpunkt im Raster der Bilddaten höchstens einen Konturpunkt mit Subpixel-Genauigkeit ermittelt .
Wie bereits oben diskutiert, ermöglicht die Erfindung einen äußerst sparsamen Speichereinsatz. Gemäß einem weiteren Aspekt der Erfindung kann daher eine erfindungsgemäße Vorrichtung auch als integrierte
Bildverarbeitungsvorrichtung realisiert werden, welche einen oder mehrere Bildspeicher und zumindest eine integrierten Hardwareeinheit zur Ermittlung von Konturpunkten aus Bilddaten, einer der integrierten Hardwareeinheit zur Ermittlung von Konturpunkten nachgeschalteten Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten, einen der Hardwareeinheit zur Ermittlung von Verbindungen nachgeschalteten Morphologieprozessor zur Bestimmung der Anzahl der von Konturpunkten ausgehenden Verbindungen von Konturen zu benachbarten Konturpunkten, sowie eine Einrichtung zur Segmentierung aufweist, mittels welcher aus den Daten über die Konturpunkte und deren Verbindungen zu weiteren Konturpunkten Objekte erstellt werden, welche die Konturen der Bilddaten beschreiben, wobei der Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten ein Speicher oder Speicherbereich zugeordnet ist, dessen Größe höchstens 20 Prozent des gesamten Speichers für die Verarbeitung der Bilddaten zu die Konturen beschreibenden Objekten ausgenommen des oder der Bildspeicher beträgt.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und unter Bezugnahme auf die beigeschlossenen Zeichnungen näher erläutert. Dabei verweisen gleiche Bezugszeichen auf gleiche oder ähnliche Teile. Es zeigen
Fig. 1 die Architektur eines integrierten Echtzeitbildverarbeitungssystems (IEBVS) ,
Fig. 2 eine grafische Darstellung der Konturpunktliste,
Fig. 3 schematisch ein Bereich einer Kontur mit Konturpunkten, Konnektoren und Punktrichtungen,
Fig. 4 ein Ordnungsprinzip für das Auslesen der Konturpunkte,
Fig. 5 ein Schaltbild einer Sortiereinrichtung,
Fig. 6 eine beispielhafte Verteilung von Konturpunkten in einer 5 x 5 - Umgebung eines Konturpunkts,
Fig. 7, 8, 9A bis 9C ein Berechnungsbeispiel, wobei Fig. 7 eine Anordnung von benachbarten Konturpunkten im Subpixel- Raster, Fig. 8 die Lage der Konturpunkte im Originalraster, und die Fig. 9A bis 9C Tabellen mit Koordinatenwerten und Abständen von Konturpunkten zeigen,
Fig. 10 eine Darstellung eines SNNC ("Statistical Nearest Neighbourhood Classifier") zur Ermittlung von Konnektoren,
Fig. 11 eine weitere Anordnung von benachbarten Konturpunkten im Subpixel-Raster,
Fig. 12 eine Darstellung eines größeren Bildausschnitts mit Konturpunkten und durch Aussortieren ermittelten Verbindungen, Fig. 13 die Datenstruktur der vom SNNC für die Weiterverarbeitung gespeicherten Daten.
Fig. 14 ein Blockschaltbild einer Einrichtung eines morphologischen Filters zur Erzeugung von Rangvektoren,
Fig. 15 ein Beispiel einer Datenstruktur einer Konturpunktliste nach einer morphologischen Filterung,
Fig. 16 ein Beispiel einer Datenstruktur einer Konturpunktliste zur Speicherung der Daten singulärer Punkte mit einem Rang größer gleich 3,
Fig. 17 eine Einrichtung zum Auslesen einer
Konturpunktliste in geordneter Reihenfolge als geordnete Reihe von Konturpunkten,
Fig. 18 Konturpunkte einer Chain mit eingezeichneten Abtastrichtungen zur Ermittlung des Kontrastbelags einer Kontur,
Fig. 19 ein Beispiel einer Menge möglicher Abtastrichtungen,
Fig. 20 ein Ausführungsbeispiel für einen Kontrastakkumulator,
Fig. 21 die Phasenlage und den Speicherbedarf der Prozesse zur Bildverarbeitung,
Fig. 22 und 23 Ausschnitte einer Kontur mit Konturpunkten, sowie Parametern zur Bestimmung von Eckpunkten. Fig. 1 zeigt die Struktur oder Architektur einer erfindungsgemäßen Vorrichtung 1 in Form eines integrierten EchtZeitbildverarbeitungssystems IEBVS. Dieses IEBVS umfasst ein Bildinterface, an das eine oder mehrere Bildquellen 3, z.B. CCD- Kameras, angeschlossen werden können und das die Bilddaten als Digitalbild in einem Bildspeicher 4 ablegt. Auf diesen Bildspeicher 4 greift ein Konturpunktprozessor 5 in Form einer integrierten Hardwareeinheit zu, die eingerichtet ist, die im Bildspeicher 4 abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen. Der Konturpunktprozessor 5 liefert die Koordinaten und ausgewählte Merkmale von Konturpunkten in Listenform. Merkmale sind z.B. Grauwerte oder Farben der angrenzenden Regionen, Kontraste oder Richtungen.
Die Koordinaten werden subpixelgenau innerhalb von "Regions of Interest", z.B. von waagerecht angeordneten Streifen ausgegeben. Um allgemeingültig. Bilder zu verarbeiten, ist vorzugsweise zunächst die Segmentierung, d.h. die Aufteilung des Bildes in Regionen mit homogenen Merkmalen vorteilhaft, anschließend die Interpretation dieser Merkmale .
Fig. 2 zeigt eine grafische Darstellung der Konturpunktliste. Neben klaren Konturen, im Beispiel die eines gestörten Datamatrixcodes, finden sich viele Punkte mit meist geringem Kontrast, die aufgrund verschiedener Oberflächenstörungen oder infolge Rauschen entstehen können. Aufgabe der nachfolgenden Verarbeitungseinheiten ist es nun, die Struktur der zwischen den einzelnen Regionen liegenden Konturen in geordneter Reihenfolge als verkettete Folge von Punkten durch Hardware in Echtzeit zu beschreiben, um diese in einem weiteren Schritt mit Hilfe von Software oder weiterer Hardware durch digitale geometrische Objekte, insbesondere Strecken, Kreise, Polynome etc., zu approximieren und dann zu erkennen.
Die Aufgabe der Erfindung wird nun insbesondere dadurch gelöst, dass zunächst die Nachbarschaft von Konturpunkten in einem Statistical Nearest Neighbourhood Classifier 7 (SNNC) festgestellt wird. Dieser SNNC 7 umfasst eine Recheneinheit, welche aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die
Verbindungswahrscheinlichkeiten zwischen Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander ermittelt, und einen Klassifikator, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet, und im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen Diese Daten werden dann in einen Speicher 9 eingetragen. Dieser Speicher 9 ist besonders bevorzugt ein Dual-Port-RAM.
Anschließend erfolgt mit einem morphologischen Filter 11, welcher den Speicher 9 ausliest, die Auswahl der relevanten Konturen und die Unterdrückung nicht relevanter Störungen. In einem dritten Schritt werden die Konturen in geordneter Reihenfolge als verkettete Objekte oder "Chains" ausgelesen. Anhand dieser Ketten wird dann von einer weiteren Hardwareeinheit eine Segmentierung vorgenommen. Mittels eines MikroControllers 15 wird der Prozeßablauf in der Vorrichtung 1 gesteuert.
Um eine derart komplexe Struktur unter Echtzeitbedingungen in einen Schaltkreis zu integrieren, ist vorzugsweise eine strenge Pipelineverarbeitung vorgesehen. Im Gegensatz zu bekannten Softwarelösungen, die auf Hardwareplattformen mit ausreichender L2- Cache- Unterstützung arbeiten und zeitnah Zugriffe auf unterschiedliche Datenstrukturen ausführen können, ist es vorteilhaft, bei einer komplexen Integration Beschränkungen hinsichtlich der Speichergröße in Kauf zu nehmen, da andererseits auf diese Weise kleine schnelle SRAM- Bereiche, beispielsweise in Form von DualPortRAMs, wie dem in Fig. 1 gezeigten Speicher 1 verwendet werden können. Ferner bestehen dann erweiterte Anforderungen an die Verafbeitungsqualität der einzelnen Teilschritte, da das Pipelinekonzept Beschränkungen bei aufwendigen Such- und Ordnungs- oder Korrekturprozessen auferlegt. Eine typische Speichergröße von schnellen internen SRAM' s liegt vorzugsweise bei 4 bis 16 kByte.
Der erreichbare Integrationsgrad wird ferner insbesondere von der Verlustleistung bestimmt, die wiederum von der
Anzahl der zu realisierenden Verarbeitungsschritte abhängt. Eine besonders günstige Lösung mit einem minimalen Datenstrom im jeweiligen Prozeß ergibt sich dann, wenn ein kompaktes Listenformat für die Darstellung von Konturpunkten verwendet wird, da für die hierarchisch aufgebaute Signalverarbeitung jeweils nur streng determinierte Zugriffe auf Teilstrukturen erforderlich sind, so dass aufwendige Zugriffe auf Bildarrays mit Grauwert- oder Farbdaten vermieden werden können. Aufgabe des Statistical Nearest Neighbourhood Processor 7 (SNNC) ist die Verbindung von Konturpunkten zu Konturen. Um die Nachbarschaft von Punkten P[j] bezüglich eines Zentralpunkts P[i] festzustellen, wird zunächst die Verbindungswahrscheinlichkeit PConn[i,j] der Punktmenge berechnet und dann klassifiziert.
Ein einfacher und bewährter Klassifikator ist der Abstand
Ein Punkt gehört zur Nachbarschaft NBD, wenn pConn[i» j] einen Schwellwert überschreitet. Weitere Nachbarschaftsmaße können gebildet werden, indem Pconnfi/j] mit aus den Abtastrichtungen DIR und/oder Kontrasten cont gebildeten
Maßen ergänzt werden. Dadurch können z.B. zutreffend weiter entfernt liegende Punkte mit der gleichen Richtung verbunden werden, senkrecht stehende Rauschpunkte jedoch nicht.
Da durch einen vorgeschalteten Konturpunktprozessor weitere Informationen, darunter der lokale Kontrast cont, als auch eine Richtungsinformation DIR bereitstehen, kann die Entscheidung deutlich verbessert werden, indem der Schwellwert für die Verbindungsentscheidung P als Funktion dieser Parameter ausgeprägt und als Tabelle und/oder ALU gemäß der nachstehenden Funktion ausgeführt wird:
r/ n- f(AχypiR -AyχDm
^ 1 A Axx22 ++ AAyy22
In der oben angegebenen Beziehung bezeichnen Δx, Δy die Komponenten der Vektordarstellung einer Verbindung und XDIR, YDIR- die Komponenten der mittleren Punktrichtung. Das Argument der Funktion f wird dann maximal, wenn der Winkel α 90° beträgt.
Fig. 3 zeigt zur Verdeutlichung einen Bereich einer Kontur 16, auf der Konturpunkte 26 liegen. Die Verbindungen 24 zwischen nächst benachbarten Konturpunkten 26 sind als gestrichelte Linien eingezeichnet. Die mittleren Punktrichtungen 22 der Konturpunkte 26 sind als Pfeile dargestellt. Die mittleren Punktrichtungen können beispielsweise durch die an den Pfeilen angegebenen Ziffern charakterisiert werden. Bei dem in Fig. 3 gezeigten Beispiel weisen die Konturpunkte 26 drei der hier verwendeten acht möglichen Punktrichtungen, entsprechend den Ziffern 0 bis 7 auf. Wie anhand von Fig. 3 ersichtlich ist, ist der Winkel α jeweils der zwischen der mittleren Punktrichtung 22 und der Verbindung 24 zwischen zwei Konturpunkten 26 eingeschlossene Winkel.
Wenn die so berechnete Wahrscheinlichkeit PConn[i/j] größer als ein Schwellwert "Threshold" ist, wird eine Verbindung hergestellt .
In einer fortlaufenden Kontur hat jeder Zentralpunkt in der Regel nur einen Vorgänger und einen Nachfolger mit einem
Abstandsmaß, das sich aus dem Pitch des verwendeten Rasters ergibt. Diese relativ enge Definition führt in Praxis jedoch dazu, dass Konturen aufreißen und als getrennte Objekte gespeichert werden und somit einen nicht unerheblichen Aufwand bei der nachfolgenden Verarbeitung erzeugen. Deshalb besteht die Aufgabe des SNNC u.a. auch darin, Konturpunkte zu verbinden, die ein Abstandsmaß ausweisen, das größer als der Bildpunktabstand des Abtastrasters ist. Das optimale Maß ist abhängig von den konkreten Bedingungen, es hat sich jedoch erwiesen, dass ein Wert von 2 bis 2.5 des Pixelabstands eine erhebliche Verbesserung der Konturqualität ergibt. Der Preis hierfür ist allerdings ein Ansteigen der Anzahl der möglichen Kandidaten für eine Nachbarschaft, die in Echtzeit verarbeitet werden.
Der SNNC 7 hat nun die Aufgabe, innerhalb der Nachbarschaft NBD die topologisch relevanten Nachbarn zu ermitteln.
Erfindungsgemäß wird diese Aufgabe nun dadurch gelöst, dass aus der Menge NBD Tripel bestehend aus dem Zentralpunkt Pi und einer beliebigen Kombination von zwei weiteren Punkten Pji und Pj2 aus NBD gebildet werden und dass die VerbindungsWahrscheinlichkeiten,
Ptripiet = i Paonni i' J1] ' P∞nnlJ1' J2] ' Pconnli J2I)
berechnet werden. Das oben angegebene Tripel oder Triplett stellt also einen Vektor mit den
Verbindungswahrscheinlichkeiten zwischen allen Verbindungen zwischen einem ausgewählten zentralen Konturpunkt und jeweils zwei benachbarten Punkten dar, wobei als benachbarte Punkte alle Punkte innerhalb eines höchstens 2 bis 2.5-fachen Pixelabstands in Betracht kommen.
Wenn festgestellt wird, dass die
Verbindungswahrscheinlichkeit oberhalb einer vorgegebenen Schwelle "Threshold" liegt, dann wird das Tripel analysiert und die Verbindung mit der kleinsten Wahrscheinlichkeit gestrichen. Die Hardwarerealisierung sieht außerdem eine effiziente Sortiermaschine vor, die zunächst Dreiecke ermittelt. Wegen der Testbedingung sind jedoch nur die Dreiecke mit den jeweils kürzesten Abständen auf dem äußeren Polygon, beziehungsweise die nächsten Nachbarn der Konturpunkte relevant. Deshalb können durch Anwendung von Ordnungsprinzipien Operationen gespart werden.
Fig. 4 zeigt ein Schema, wie mittels einer geeigneten Sortiereinrichtung Listendaten von zu einem ausgewählten zentralen Konturpunkt benachbarten Konturpunkten ausgelesen werden. Der momentan ausgewählte zentrale Konturpunkt ist mit "CP" bezeichnet. Die Konturpunkte sind mit
Subpixelgenauigkeit abgelegt, es existiert pro Bildpunkt maximal ein Eintrag. Deshalb können die oben beschriebenen Dreiecke durch kontinuierliche Abtastung der Nachbarpunkte, beispielsweise im Uhrzeigersinn erzeugt werden. Die Zahlen 1 bis 24 geben die Reihenfolge des Auslesens von
Konturpunkten innerhalb einer 5x5 Umgebung mit Listendaten wider. Die Konturpunkte, beziehungsweise deren Listendaten werden also in der Reihenfolge aus dem Bildbereich einer Umgebung mit maximal 2 Pixeln Abstand zum Zentralpunkt ausgelesen, wie sie durch die Zahlen, die in den Pixeln angegeben sind und Listendaten von Konturpunkten werden entsprechend dieser Reihenfolge ausgegeben. Demensprechend wird zunächst der mit "1" bezeichnete Pixel ausgelesen, dann der mit "2" bezeichnete Pixel, und so weiter, bis zum letzten Pixel "24" dieser Umgebung. Es werden also sukzessive ausschließlich benachbarte Punkte der Umgebung des Zentralpunkts ausgelesen.
Eine Ausgestaltung einer solchen Sortiereinrichtung 17 ist in Fig. 5 dargestellt. Zur Adressierung wird z.B. ein
Schieberegister für die Indizes (Adressen) der Konturpunkte in einem DualportRAM verwendet. Immer dann, wenn für ein Pixel eine positive Entscheidung als Konturpunkt vergeben wird, erhält dieser Konturpunkt die nächstfolgende Adresse im DualportRAM, die wiederum als Index (Teil der Adresse ) in ein Schieberegister eingeschoben wird. Falls der nächstfolgende Bildpunkt kein Konturpunkt ist, wird eine Null im Schieberegister eingetragen. Dieses Schieberegister mit einer Länge von n x m z.B. 5x24 kann damit 120 Indizes speichern. Dadurch, dass Konturpunkte selten sind, genügen wenige Bit, z.B. 6-8 bit Wortbreite.
Ein Beispiel für eine Verteilung von Konturpunkten in der 5 x 5-Umgebung eines zentralen Konturpunkts zeigt Fig. 6. Die Einträge mit der Bezeichnung "Index" zeigen an, daß der betreffende Pixel ein Konturpunkt ist. Eine lokale 5x5 Umgebung wird in bekannter Weise durch Abgriffe an den entsprechenden Registern hergestellt. Diese Register werden nun über Eingänge 20 eines geeignet angeschlossenen Multiplexers 19 so ausgelesen, dass die in Fig. 4 dargestellte Reihenfolge am Ausgang des Registers 23 entsteht. Dieser Prozeß wird genau dann gestartet, wenn der Zentralpunkt CP ungleich null ist, d.h. wenn eine zu analysierende Nachbarschaft im Registersatz dargestellt wird und der Punkt CP ein Konturpunkt ist.
Immer dann, wenn der Ausgangswert des Multiplexers 19 ungleich null ist, wird der Index in ein Ausgangsregister 23 geschoben, das direkt Daten aus dem DualportRAM adressiert. Ob der Ausgangswert des Multiplexers 19 ungleich null ist, wird mittels eines auf das Ausgangsregister 23 wirkenden Komparators 21 ermittelt.
Zur Entkopplung der Sortierprozesse vom kontinuierlich laufenden Konturdetektionsprozeß können weitere FIFO-Puffer oder Register, typisch für 8 bis 12 Konturpunkte in den Ausgangsdatenstrom eingefügt werden, die dann die zu einer Nachbarschaft gehörenden Konturpunkte auch mehrfach repetitierend auslesen können, so dass sämtliche für den Sortierprozeß benötigten Konturpunktkombinationen bereitgestellt werden können. Es ist weiterhin grundsätzlich möglich, diesen Sortierprozeß durch Parallelisierung zu beschleunigen, beispielsweise indem zwei oder mehr Multiplexer parallel geschaltet werden.
Die im Beispiel der Fig. 6 dargestellte Belegung mit Indizes entspricht den Umgebungen des nachfolgend anhand der Fig. 7, 8, 9A bis 9C beschriebenen Berechnungsbeispiels zur Berechnung von Konnektoren zwischen zu einer gemeinsamen Kontur gehörenden Konturpunkten.
In Fig. 7 ist zunächst die Lage eines zentralen Konturpunkt 25 und benachbarter Konturpunkte 26 mit möglichen Verbindungen 27 einer Kontur im Subpixel-Raster dargestellt. An den Achsen des Diagramms sind dabei die Indizes der Bildpunkte aufgetragen. Fig. 8 zeigt die gleichen Punkte im Originalraster der Bilddaten. Anhand der Fig. 8 wird deutlich, .daß sich die relevanten, gemeinsam mit dem Zentralpunkt zu einer Kontur gehörenden benachbarten Konturpunkte im Originalraster deutlich schlechter erkennen und Graphen bilden lassen.
Im Beispiel wurden die Konnektoren mit einer Subpixelgenauigkeit von 1/4 Pixel berechnet. Dieses Beispiel wird aus Gründen der Einfachheit mit Abständen als Maß für die reziproke Verbindungswahrscheinlichkeit veranschaulicht. In der linken Tabelle (Fig. 9A) sind die Subpixelkoordinaten (Spalten X, Y) der im oberen Teil gezeigten Konturpunktanordnung dargestellt. Die Tabelle beginnt mit dem Zentralpunkt CP. In der mit "Field" bezeichneten Spalte sind die Subpixel-Koordinaten der Konturpunkte eingetragen, wie ■ sie sich aus der Abtastung gemäß Fig. 4 für die in Fig. 6 gezeigte Umgebung ergeben. Im DualPort RAM wird im Beispiel also folgende Konturpunktreihenfolge adressiert: CP, 7, 9, 13, 18, 19, 22, 24, 7. Zusätzlich eingezeichnet sind die Hauptrichtung 29 aller Konturpunkte der Umgebung des Zentralpuhkts, sowie die Punktrichtungen 30.
Aus den Subpixelkoordinaten werden die relativen Abstände [Xrel,Yrel] zum Zentralpunkt berechnet, wie sie in der Tabellen der Fig. 9B aufgelistet sind. Daraus wird wiederum der Abstand p zum Zentralpunkt. Die Pixel mit den Indizes 7, 9, 13, 18, 19, 22, 24, 7 bilden ein Polygon, in dessen Mitte der Zentralpunkt CP steht. Die Seiten des Polygons [X_Poly, Y_Poly] bilden mit den Verbindungen zum Zentralpunkt Dreiecke, so z.B. das Dreieck <CP,, "Field" 7, "Field" 9>. In diesem Dreieck ist die längste Seite 8,602 Subpixel lang und damit länger als die beiden anderen Seiten mit Längen 5,385 und 3,606, so daß diese längste
Seite die niedrigste Verbindungswahrscheinlichkeit zwischen den drei Konturpunkten repräsentiert. Damit wird die längste Seite aus der Liste der zu verbindenden Konturpunkte gestrichen. Diese Operation wird für sämtliche Dreiecke ausgeführt. Dabei werden zwei weitere, also insgesamt drei Punkte gestrichen. Von diesem Aussortierprozeß sind speziell die Konturpunkte mit den Indizes 9, 18 und 24 betroffen. Es verbleiben vier nicht aussortierte Konnektoren, wobei ein Konnektor Anfang und Ende des Polygons verbindet. Die verbleibenden Konturpunkte sind in der Tabelle der Fig. 9C aufgelistet. Der Aussortier-Vorgang wird für die verbleibenden Konnektoren oder Konturpunkte nun wiederholt. Beim wiederholten Aussortieren entfällt außerdem noch der Konturpunkt mit dem Index 12, beziehungsweise der erste in der Tabelle der Fig. 9C aufgelistete Konturpunkt.
Dieser Konnektor ist am Ende der Analyse zu untersuchen, hierbei entfällt ein weiterer Konnektor. Es verbleiben dann die drei Konnektoren 28 in Fig. 7, die in den Listendaten gespeichert werden. Demgemäß ergibt sich als Ergebnis der Berechnung in diesem Beispiel, daß die Konnektoren vom Zentralpunkt als Konturpunkt zu den drei weiteren übriggebliebenen Punkten die eine oder mehreren Konturen repräsentieren, zu denen der Zentralpunkt gehört. Der SNNC 7 verfügt demgemäß nach Durchlaufen dieses oben anhand der Fig. 7, 9A bis 9C beschriebenen Filters, beziehungsweise Aussortier-Vorgangs über die Information, welche Konturpunkte aus der Konturpunktliste mit dem Zentralpunkt verbunden sind.
Bei dem in den Fig. 7, 9A bis 9C gezeigten Beispiel wurde das Verfahren des Aussortierens anhand eines sehr einfachen Klassifikators für die Verbindungswahrscheinlichkeit, nämlich ein Klassifikator, der lediglich vom Abstand der Konturpunkte zueinander abhängt, beschrieben. Die Erkennung der relevanten Verbindungen zwischen Konturpunkten kann aber noch wesentlich verbessert werden, wenn für die Berechnung der Klassifikatoren zusätzliche Attribute der
Konturpunkte eingesetzt werden. Insbesondere ist hier daran gedacht, die Richtung und/oder den Kontrast der Konturpunkte zu verwenden. Die Richtung kann beispielsweise ein Richtungsvektor sein, welcher senkrecht zur Kante in den Bilddaten, dessen Kontur zu bestimmen ist, liegt.
Vereinfacht kann dabei auch eine Richtungsinformation mit einer reduzierten Anzahl möglicher Richtungen, beispielsweise 8 mögliche Richtungen als Attribut vom Konturpunktprozessor 5 ermittelt und abgespeichert werden. Die Richtung eines Konnektors ergibt sich dann aus dem Verbindungsvektor zwischen dem
Zentralpunkt i und einem der äußeren Punkte j der Nachbarschaft. Anhand dieser beiden Richtungsangaben kann dann der Winkel α zwischen der abgespeicherten mittleren Punktrichtung und dem Konnektor ermittelt werden. Als Klassifikator für die Verbindungswahrscheinlichkeit kann dann beispielsweise eine Funktion des Winkels α ,z.B. dessen sinus oder cosinus, und des Abstands der Punkte angesetzt werden.
Die Verbindungswahrscheinlichkeit kann ferner mit einem
Kontrastmaß verknüpft werden, um kontrastreiche
Konturen gegenüber kontrastarmen zu bevorzugen, indem z.B. eine Multiplikation mit dem Betrag des mittleren Punktkontrasts des Verbindungselements zur Klassifikation der Verbindungswahrscheinlichkeit verwendet wird. Dies ist besonders bei insgesamt kontrastarmen Szenen oder dünnen Linien von Vorteil.
Fig. 10 zeigt ein Schaltbild eines SNNC 7 zur Ermittlung von Konnektoren. Anhand dieser Figur kann die Funktionsweise des SNNC 7 näher erläutert werden. Durch die Sortiereinrichtung können die Konturpunkte in der benötigten Reihenfolge adressiert werden. Am Dateneingang 71 des SNNC liegt die Information über die Koordinaten, einen Kontrast sowie die Punktrichtung [x, y, cont , DIR] vor, die Daten werden in Register 72, 73, 74 mit 32 bit Wortbreite eingelesen.
Eine weiter unten noch genauer beschriebene Recheneinheit 75, die im folgenden als "CaIc Pconn" bezeichnet wird, berechnet nun die Verbindungswahrscheinlichkeit zwischen den drei Konturpunkten eines Dreiecks. Hierzu wird ein Zentralpunkt durch Adressdecodierung ausgewählt. Bei dem in Fig. 10 gezeigten Beispiel sind die Daten des Zentralpunkts in das Register 74 geladen. Neu einlaufende Konturpunkte werden in die beiden Register 72 und 73 eingelesen. Die drei möglichen Kombinationen der Verbindungswahrscheinlichkeiten werden mittels der Komparatoren 761, 762, 763 und des nachgeschalteten Decoders 77 analysiert. Wenn die geringste
Verbindungswahrscheinlichkeit zwischen dem Zentralpunkt und einem der beiden Punkte auf dem Polygon liegt, beziehungsweise keine Verbindung zum Zentralpunkt ist, so wird die betreffende Verbindung gelöscht, indem je nachdem, von welchem der beiden zum Zentralpunkt benachbarten Konturpunkten entweder das Bit EN_CLK_RG1 oder das Bit EN_CLK_RG2 an den Ausgängen 78, beziehungsweise 79 gesetzt wird. Die Indizes der betrachteten drei Punkte werden parallel zu den Daten gespeichert. Der Index des nicht gelöschten Punktes wird in ein Schieberegister übertragen, hierzu wird die Indexdifferenz zum Zentralpunkt berechnet und mit dem nächstfolgenden Takt gespeichert.
Die Recheneinheiten CaIc Pconn 751, 752, 753 erhalten die Folge der mit dem Registerausgang 23 Fig. 5 adressierten Konturpunkte mit ihren Attributen und berechnen die Verbindungswahrscheinlichkeiten und vergleichen diese untereinander in Verbindung mit den Komparatoren 761, 762, 763 und entscheiden im Decoder 77 für jedes analysierte Tripel die zu streichenden Verbindungen. Am Ausgang werden die Signale EN CLK RGl und EN CLK RG2 für die Konturpunkte Pl und P2 geliefert, die das Streichen von Verbindungen steuern. Anschließend werden weitere Tripel analysiert. Nach einer ausreichenden Zahl von verarbeiteten Tripeln verbleiben nicht markierte Verbindungen, die als Ergebnis Konnektoren, welche die Indizes benachbarter Konturpunkte und die Verbindungswahrscheinlichkeit des Konturpunkts i mit dem Zentralpunkt CP sowie mit dem nächstfolgenden Nachbarn i+1 enthalten.
Bei der Berechnung der Verbindungswahrscheinlichkeiten kann es allerdings zu Mehrdeutigkeiten kommen, die durch gleichschenklige bzw. gleichseitige Dreiecke zum Ausdruck kommen. Um Morphologiestörungen ohne komplizierte Logik zu vermeiden (z.B. kleine Dreiecke in den Konturen) kann vorteilhaft eine Recheneinrichtung zum Aufprägen einer Modulation auf die Komparatoren des Klassifikators, beispielsweise einer Modulation in Form eines pseudostochastischen geometrischen Rauschens addiert werden, das den Eindruck eines nicht ganz regulären Rasters erzeugt. Hierzu addiert man über eine Tabelle einen marginalen Rauschanteil, z.B. mit 10% des Pixelabstands zur Koordinatendifferenz für die relativen Abstände Δx und/oder Δy zum Zentralpunkt.
Fig. 11 zeigt eine weitere Anordnung von benachbarten Konturpunkten im Subpixel-Raster, welche von Bilddaten einer anderen Stelle des Digitalbilds gewonnen wurden. Bei diesem Beispiel wurden im Unterschied zu der in Fig. 7 gezeigten Umgebung nur zwei relevante Konnektoren 28 durch Aussortieren aus den möglichen Verbindungen 27 ermittelt.
Fig. 12 zeigt eine Darstellung mit Konturpunkten und durch Aussortieren ermittelten Verbindungen, die einen größeren Bildausschnitt repräsentiert. Zur Übersichtlichkeit sind nur die Verbindungen 28 dargestellt. Wie anhand dieser Figur ersichtlich wird, ergeben die aneinandergereihten
Konnektoren 28 den Verlauf von Konturen im Digitalbild. In Fig. 12 sind zwei Ausschnitte 31, 32 mit Kreisen markiert. Der Ausschnitt 31 kennzeichnet die drei aus der in Fig. 7 gezeigten Umgebung ermittelten Konnektoren 28 mit einer vom Zentralpunkt ausgehenden Verzweigung. Der Ausschnitt 32 kennzeichnet die Konnektoren 28 der in Fig. 11 gezeigten Umgebung. Der gestrichelte Kreis zeigt den Bereich mit der Umgebung aller in Fig. 7 eingezeichneten Konturpunkte an. Anhand von Fig. 12 wird dabei deutlich, daß der in Fig. 11 gezeigte Fall einer durchlaufenden Kontur häufiger ist, als das Auftreten einer Verzweigung.
Anhand von Fig. 12 wird außerdem deutlich, daß dieses einfache Verfahren des Aussortierens zu einer Erkennung von Konturlinien mit nur wenigen Artefakten führt. Ansonsten würde man beispielsweise zusätzlich noch kurze Linien erwarten, die isoliert sind oder von den Konturlinien ausgehen. Im in Fig. 12 gezeigten Bild ist lediglich eine solche kurze Linie 33 zu erkennen.
Fig. 13 zeigt die Daten-Struktur der vom SNNC 7 für die Weiterverarbeitung vorzugsweise in einem weiteren DualPort- RAM gespeicherten Daten mit Konnektoren, beziehungsweise Informationen über die Verbindungen des jeweiligen Punks zu weiteren Konturpunkten. Die Information über die Verbindungen mit Nachbarpunkten wird im folgenden auch als "Linkinfo" bezeichnet.
Der Index des Zentralpunkts i bildet die Adresse unter der die Linkinfo in einem DualPort RAM gespeichert wird (siehe weiter unten) . Jeder erlaubte Konturpunkt (EN=I) liefert einen weiteren Index j (Pointer), die Differenz
LINK[n] = Jn - i
wird als LINK bezeichnet. Unter Kenntnis der LINKs können von einem Zentralpunkt aus sämtliche Nachbarn in der Konturpunktliste adressiert werden. Aufgrund der Struktur des SNNC können maximal 4 LINKs pro Zentralpunkt entstehen, fünf und mehr Nachbarn werden in mehrere Nachbarschaften aufgelöst. Die Maske MASK gibt an, ob der betreffende LINK gesetzt ist oder nicht. Parallel dazu wurden im gleichen Speicher die Attribute durch den Konturpunktprozessor gespeichert, so dass die Koordinaten sowie Grauwert und bei Bedarf Farbinformationen bereit stehen.
Nachfolgend wird der in Fig. 1 schematisch dargestellte morphologische Filter 11 genauer beschrieben.
Die so eindeutig verbundenen Konturpunkte können noch nicht als Objekte ausgelesen werden, weil zwei Voraussetzungen fehlen. Erstens sind Anfangs- und Endpunkte der Konturen noch nicht definiert, zweitens existieren noch eine Vielzahl von Artefakten, die Ressourcen für die Objektsegmentierung unnötig belasten würden. Deshalb wird die Morphologie von benachbarten Punkten mittels des morphologischen Filters 11 untersucht, bevor die Punkte anhand der Konnektoren zu Objekten vereinigt werden. Der morphologische Filter 11 ist nun dazu eingerichtet, die Konturpunktliste mit Konnektoren hinsichtlich zumindest einer der Eigenschaften zu filtern: -Konturpunkte zu Ketten von höchstens drei Konturpunkten werden gelöscht,
-Konturpunkte, welche nur zu einer einseitig mit einer längeren Kette verbundenen Kette mit höchstens drei Konturpunkten gehören, werden gelöscht, -Konturpunkte, welche Start- und Endpunkte von Ketten zusammengehörender Konturpunkte bilden, werden in der Konturpunktliste gekennzeichnet,
-Konturpunkte, welche Verzweigungspunkte zumindest zweier Ketten bilden, werden in der Konturpunktliste gekennzeichnet , -Koinzidenzen werden korrigiert, und
-es wird eine doppelte Verlinkung durchgeführt.
Zur Ausführung dieser Funktionen wird zunächst eine im Filter 11 implementierte, nachfolgend als "RankFilter" bezeichnete Funktion eingesetzt. Mittels dieser Funktion werden Rangvektoren für Konturpunkte gebildet. Dazu wird die Konturpunktliste der in Fig. 13 gezeigten Datenstruktur mit Konnektorstruktur ausgelesen und jeweils ausgehend von einem Zentralpunkt über die Konnektoren die Konnektorstruktur sämtlicher Nachbarpunkte eingelesen und einen Rangvektor erzeugt, der die Anzahl der Verzweigungen der Nachbarpunkte und des Zentralpunkts selbst beinhaltet. Der RankFilter bestimmt also die Anzahl der von einem Konturpunkt ausgehenden Verbindungen, hier durch Bildung der Summe der gesetzten Bits der Maske MASK. Eine vierfache Verzweigung hätte damit den Rang 4, MASK=IlIlB, ein Kettenelement, wie etwa der in Fig. 11 gezeigte Zentralpunkt Rang 2 und in der Regel MASK=OOIlB.
Das RankFilter adressiert die benachbarten über MASK zugelassenen LINKs und bestimmt damit für jeden Konturpunkt der Nachbarschaft den Rang. Aus den so ermittelten Rängen wird ein Rangvektor gebildet, der die Strukturinformation über die Anzahl der Verzweigungen der Nachbarpunkte enthält.
Da die Verkettung der Punkte aus allen Richtungen aufgerufen werden kann, ist eine doppelte Verlinkung mit einer Markierung für bereits gelesene Punkte sinnvoll. Deshalb wird eine Linkadresse LinkAdr generiert, die angibt, auf welcher der vier möglichen Positionen des adressierten Nachbarpunkts der inverse Link auf den Ausgangspunkt gespeichert ist. Die LinkAdr wird nach Ausführung der morphologischen Filterung gespeichert.
Da die sequentielle Abfolge eines Links auf einen Nachbarpunkt und des inversen Links auf den Zentralpunkt zurück immer die Pointerdifferenz Null ergibt, kann relativ einfach über Komparatoren diese Adresse gefunden werden. Im Ergebnis erhält man eine Struktur, die es mit nur einem Zugriff gestattet, den Index des benachbarten, verbundenen Konturpunkts zu finden und verkettete Konturpunkte mit hoher Geschwindigkeit auszulesen.
Eine besonders vorteilhafte Realisierung eines Rangfilters 35, vorzugsweise als Bestandteil des morphologischen Filters 11 ist in Fig. 14 dargestellt. Vom Rangfilter 35 wird aus der Datenstruktur 37 aus dem DualportRAM 9 , wie sie auch in Fig. 13 gezeigt ist, zunächst die Linkinfo des Zentralpunkts mit der Adresse Ptr[0] im DualportRAM in das Eingangsregister des Rangfilters gelesen. Anschließend werden die LINKs 1-4 über einen Multiplexer 39 adressiert, die Adressen Ptr[1..4] durch Addition berechnet und der Reihe nach aufgerufen. Nicht benötigte LINKs, gekennzeichnet durch eine Null auf dem zugeordneten Bit der Maske MASK können übersprungen werden. Zu den relativ abgespeicherten LINKs wird die Pointeradresse des Zentralpunkts mittels des Addierers 45 addiert, anschließend kann direkt die Liste adressiert werden. Auf diese Weise werden die Linkinfos eingelesen. Die angeschlossenen Komparatoren 40, 41, 42, 43 des morphologischen Filters 11, beziehungsweise des implementierten Rangfilters 35 vergleichen die LINKs des mit Ptr[i] adressierten Konturpunkts mit dem LINK[i] des Zentralpunkts. Vier (3) Komparatoren vergleichen die betreffenden LINK' s. Wenn eines der Paare komplementär zueinander ist, generiert der betreffende Komparator 40, 41, 42, 43 ein Signal CMP_LINK [1..4] , so dass hieraus mittels des Decoders 44 die LinkAdr decodiert werden kann.
Im gleichen Prozeß kann auch der Rang RANK[I..4] ermittelt und zu einem Rangvektor <RANK[1], RANK[2], RANK[3], RANK[4]> zusammengestellt werden, indem die Maskenbits mittels des Addierers 46 addiert werden. Der Rangvektor wird innerhalb des morphologischen Filter zu einer binären Entscheidung über die weitere Zulassung einer bisher als gültig erklärten Verbindung verarbeitet und im der Struktur MASK gespeichert.
Außerdem werden mit dem morphologischen Filter Störungen in den wie oben beschrieben verbundenen Konturen beseitigt, die insbesondere bei hoher Auflösung und/oder Empfindlichkeit zu einer Reihe von kleinen Artefakten führen, die aufgrund ihrer Anordnung zu Objekten segmentiert würden. Dies ist für die Effizienz der nachfolgenden Verarbeitungsschritte nachteilig. Mit dem morphologischen Filter werden daher bereits vor der Objektsegmentierung kleinere Störungen beseitigt.
Nachfolgend soll die Arbeitsweise einer Funktion des morphologischen Filters 11 beschrieben werden. Diese Funktion wird im folgenden als "MorphFilter" bezeichnet. Nachdem Rang und LinkAdr berechnet wurden, kann ein einfaches Filter realisiert werden. Hierzu werden zunächst störende kleine Strukturen, "Appendices" mit 1 bis 2 Konturpunkten gelöscht. Ein solcher Appendix ist beispielsweise die kurze Linie 33 in Fig. 12. Man erkennt derartige Strukturen an der Anzahl der Verzweigungen ihrer Nachbarn (in Klammern), z.B. an folgendem Rangvektor: <l,3,0,0>. Der Konturpunkt mit diesem Rangvektor ist mit der Hauptkontur über einen singulären Punkt vom Rang 3 verbunden. Der Punkt soll gelöscht, die Singularität der Hauptkontur, beziehungsweise die Verzweigungsstelle auf den Rang 2 zurückgestellt werden. Die Operation kann mit folgendem Maple-Programmcode veranschaulicht werden:
if RankVector=[l, 3, 0, 0] then
MASK [Ptr [1] , LinkAdr [Ptr[0] ,1] ] :=0: MASK[Ptr[0] ,1] :=0:
MASK [ Ptr [0] ,2] :=0: end: Der Zentralpunkt hat den Rang 1 und steht im RankVector an erster Stelle. LINK[I] des Zentralpunkts verweist auf einen Konturpunkt mit dem Rang 3. Die LinkAdr [Ptr [0] , 1] gibt in diesem Fall an, wo auf dem Konturpunkt mit dem Rang 3 der inverse LINK auf den Zentralpunkts zu finden ist. Ptr[l] adressiert den Konturpunkt mit dem Rang 3, also löscht die Operation
MASK [Ptr [1] , LinkAdr [Ptr [0] , 1] ] :=0:
den LINK auf den einzelnen Konturpunkt, der Rang wird von 3 auf 2 reduziert. Deshalb verhält sich der singulärer Punkt anschließend wie ein normaler Bestandteil einer verketten Liste, d.h. es tritt keine Verzweigung auf. Für die nachfolgende Verarbeitung werden zwei Objekte weniger generiert, die Vereinigung von zwei gültigen längeren Objekten zu einem Objekt entfällt.
Ein weiteres Beispiel ist ein Konturpunkt mit einem
Rangvektor <2,3,l,0>. Dieser ist ein Appendix mit zwei Konturpunkten. Die beiden Konturpunkte sind mit der Hauptkontur über eine Verbindung vom Rang 2 und einen singulären Punkt, beziehungsweise einer Verzweigung des Rangs 3 verbunden. Ein solcher Appendix kann mit einem
Filter gelöscht werden, der eine zum nachstehenden Maple- Code analoge Funktion ausführt.
if RankVector=[2, 3, 1,0] then if LinkAdr [Ptr [2] , I]=I then L:=2 eise L:=l: end:
MASK [Ptr [1] , LinkAdr [Ptr [0] ,L] ] : =0 : MASK [Ptr [0] ,1] : =0 :
MASK [ Ptr [0] ,2] : =0 :MASK [Ptr [2] ,1] :=0: end: Der Randpunkt mit dem Rang 1 steht auf LINK [2], LinkAdr [Ptr [2] , 1] zeigt auf den inversen LINK auf Ptr[O] ( dies ist vom Rand gesehen der nächste Punkt). Da Ptr[0] den Rang 2 hat, muß der andere LINK (L) auf den singulären Punkt Ptr[l] der Hauptkontur mit dem Rang 3 zeigen. Folglich löscht die Funktion
MASK [Ptr [1] , LinkAdr [Ptr [0] ,L] ] : =0 : den LINK von Ptr[l] auf Ptr[0] und reduziert den Rang von 3 auf 2, die Verbindung ist gelöscht.
Analog kann auch die Vertauschung <2,l,3,0> gefiltert werden.
Die Funktion "MorphFilter" kann durch Analyse des Rangvektors noch weitere für die Segmentierung wichtige Informationen liefern:
- Klassifikation von Start- und Endpunkten von Chains
- Klassifikation von verbundenen singulären Punkten,
- Klassifikation von singulären Punkten des Rangs 3 und höher.
Hierzu wird der Rangvektor über eine Tabelle oder Boolesche Logik auf die Zielfunktion abgebildet. In der Linkinfo der Konturpunktliste wird dies durch Setzen entsprechender Bits markiert. Besonders vorteilhaft hat sich hierbei die in
Fig. 15 dargestellte Datenstruktur für Konnektoren nach der Filterung durch MorphFilter erwiesen. Für Konturpunkte vom Rang 2 werden maximal 3 LINKs benötigt, da das Abtrennen von Appendizes nur für Punkte vom Rang 3 zugelassen ist.
Die gegenüber der in Fig. 13 enthaltenen zusätzlichen Bits bedeuten:
C: continue (1 Bit zur Segmentierung),
S : Start/Endpunkt (1 Bit), MASKl: entspricht den Bits 0 bis 2 von MASK,
LinkAdr: entspricht der oben beschriebenen LinkAdr[0 - 2], die vierte wird nicht benötigt
Beim späteren Lesen der Information wird durch Dekodierung des Rangs von MASK (Rang gleich 2) das in Fig. 15 gezeigte Format erkannt.
Singuläre Punkte mit einem Rang größer gleich 3 können mit der in Fig. 16 dargestellten Datenstruktur codiert werden. Hierbei bezeichnet der Eintrag CONN33 eine Konnektormatrix für die Verbindung von singulären Punkten des Rangs 3 oder 4. Beim späteren Lesen der Information wird durch Dekodierung des Rangs von MASK (Rang größer 2) das in Fig. 16 dargestellte Format erkannt.
Die zusätzlichen Information werden zum Zeitpunkt der Segmentierung verwendet. Deshalb speichert MorphFilter die Struktur in einem RAM ab.
Die so vorbereiteten Informationen der Konturpunktliste können direkt aus dem Speicher in geordneter Reihenfolge als geordnete Reihe von Konturpunkten, die nachfolgend auch als "Chain" bezeichnet wird, ausgelesen werden, so daß aufeinanderfolgende Listeneinträge zu aufeinanderfolgenden Konturpunkten entlang einer Kontur gehören.
Die Chains werden dabei mithilfe einer nachfolgend als GetNextCP bezeichneten Struktur ermittelt. GetNextCP liest die Linkinfo des Zentralpunkts in einem zum MorphFilter verzögerten Prozeß. Die Verzögerung beträgt typisch 8 Spalten, kann aber bei größeren Speichern auch größer gewählt werden. ChainReadOut scannt die einlaufenden Konturpunkte auf Start- und Endpunkte. Diese weisen bei der in Fig. 15 gezeigten Datenstruktur die Merkmale Rang (MASK) =2 und S=I auf.
Wenn ein solcher Punkt entdeckt wurde, wird die Linkinfo der beiden Nachbarpunkte ausgewertet, es wird nach dem singulären Punkt gesucht (Rang 1 oder 3,4). Wenn nur ein Nachbar mit S=I gefunden wird, dann wird dieser als Startpunkt erklärt. Er bildet den ersten Vertreter einer Chain. Ferner wird der Link auf den nächsten Punkt generiert. Sämtliche Elemente der Chain erhalten eine neue Segmentnummer, die auch an sämtliche weitere Vertreter der verbundenen Punktmenge vererbt wird. Falls zwei singuläre Punkte benachbart sind, wird der erste gefundene verwendet, der Rest ergibt sich automatisch. Falls das "Continue" - Bit gesetzt wurde, wird der Aufbau von Chains fortgesetzt.
GetNextCP ermittelt zunächst anhand von MASK die Zutändigkeit, die nach einer in einem Decoder hinterlegten Tabelle definiert ist. Die Tabelle liefert die Anzahl der Nachbarn sowie die Positionen, auf die zugegriffen werden kann. Aus der Linkinfo in der Konturpunktliste werden die Pointer auf die Nachbarn und die Adressen der beiden LINKs berechnet .
Ein möglicher Aufbau der GetNextCP-Struktur 50 ist in Fig. 17 dargestellt. Die Datenstruktur 51 mit den Einträgen MASK, C, MASKl, S und LinkAdr, entsprechend der genauer in Fig. 15 dargestellten Datenstruktur, steuert die Verlinkung zu Chains. Im Decoder 52 ist die oben genannte Tabelle hinterlegt.
Wenn ein Startpunkt (S=I) adressiert wurde, so hat dieser den Rang 2 und somit zwei Nachbarn. In diesem Fall wählt der Decoder 52 beide mögliche Links aus, decodiert den Link mit einem nicht dem Rang 2 entsprechenden Nachbarn und setzt den Startpunkt eines Chains auf diesen Konturpunkt, indem der Wert PTR_Start generiert wird. Der andere Link wird über den Multiplexer 53 und den Addierer 54 als neuer Pointer PTR_new weitergegeben.
Wenn S=O gefunden wird, d.h. wenn der Konturpunkt kein Start- oder Endpunkt ist, wird nur ein Link ausgewählt. Die Auswahl wird über die Maskenbits MASKl gesteuert. Indem ein neuer Pointer PTR_new generiert wird, wird automatisch das zugehörige Maskenbit rückgesetzt, sodaß eine wiederholte Adressierung desselben Konturpunkts ausgeschlossen wird. Verlinkten Konturpunkten wird eine Segmentnummer zugewiesen. Da ab diesem Zustand keine Linkinfo mehr benötigt wird, kann hierzu der Low-Teil des Datenworts verwendet werden.
Während des Prozesses werden die Pointeradressen ständig überwacht. Wenn ein Signal out_of_range kommt, d.h. wenn der zulässige Index die vorgegebene untere oder obere Grenze verläßt, wird der Prozeß abgebrochen. Auf dem entsprechenden Konturpunkt wird das C-bit (continue) gesetzt und die Segmentnummer gespeichert. Wenn bei wiederholtem Auslesen der Pointer innerhalb des erlaubten Bereichs liegt, kann der Prozeß fortgesetzt werden. Am Ausgang des Prozesses entsteht eine für jedes Segment geordnete Folge von Pointern. Da die entsprechenden Konturpunktattribute zu diesen Pointern korreliert gespeichert wurden, können die Attribute direkt ausgelesen werden .
Bei der Verarbeitung der Chains können außerdem folgende Ausnahmefälle auftreten: 1. beide Startpunkte eines Chains werden verarbeitet, so dass zwei verschieden indizierte Segmente aufeinander stoßen (Koinzidenz)
2. keiner der Startpunkte wird verarbeitet, weil entweder das Objekt keine hat (etwa bei einem Kreis oder einer geschlossenen Kontur) oder weil die Startpunkte weit vor der aktuellen Abtastposition liegen, so dass sie nicht erfasst werden können,
3. Die Kontur schneidet die Bildbegrenzung (Randpunkte).
Im ersten Fall treffen die Chains mit zwei verschiedenen Segmentnummern aufeinander, sie laufen jedoch nicht ineinander, weil die Maskenbits dies verhindern. Durch den Test, dass ein Abbruch bei einem Rang ungleich 2 entsteht, kann die Vorrichtung erkennen, dass es sich um eine sogenannte Koinzidenz handelt. Der betreffende Rang 2 des Koinzidenzpunkts wird wie ein singulärer Punkt behandelt, der Segmente miteinander verbindet, nur hier mit dem Unterschied, dass nur ein Objekt vorhanden ist.
Im zweiten Fall wird nach dem Auslesen der Chains ein weiterer Test durchgeführt, der bisher nicht verarbeitete Nachbarschaften des Typs <2,2,2,x> analysiert und dann einen Startpunkt generiert. Die weitere Verarbeitung erfolgt wie oben beschrieben.
Randpunkte, die zwischen aufeinanderfolgenden Streifen auftreten können, werden wie Koinzidenzpunkte mit Rang 2 behandelt und anschließend aufeinander referenziert .
Der Konturpunktprozessor liefert über einen ersten Port einen laufenden Datenstrom von attributierten Konturpunkten, im schlechtesten Fall sind bei sehr fein aufgelösten Grauwertbildern ca. 20 bis 25% der Pixel als Konturpunkte abgespeichert. Nachfolgend soll eine Realisierung für einen üblicherweise kleinen DualPortRAM von Ik x 36 bit beschrieben werden, welche auch eine solche Menge an Konturpunkten verarbeiten kann. Mit diesem DualPortRAM kann ein Bildauszug mit 512 Konturpunkten inklusive der Zusatzinformation und Attribute zwischengespeichert werden, dies entspricht im Beispiel einem minimalen Pixelblock der Größe 70 x 26 Pixel. Der Konturpunktprozessor liest die Bilddaten in mehreren Streifen aus, die jeweils eine Breite von mehr als 1 Pixel, vorzugsweise zumindest 16 Pixel, besonders bevorzugt 26 oder 32 Pixel aufweisen. Beim nachfolgenden Beispiel werden Streifen von 26 Pixel Höhe mäanderförmig über die gesamte Bildbreite ausgelesen, anschließend folgt der nächste Streifen. Die Daten werden als Liste gespeichert, im Attribut werden die Koordinaten gehalten.
Der Konturpunktprozessor 5 beginnt mit dem Speichern der Konturpunkte. Nachdem 5 Spalten eingelaufen sind, kann der SNNC 7 beginnen zu arbeiten, der Konturpunktprozessor 5 läuft währenddessen weiter.
Die maximale Pointeradresse kann exakt berechnet werden. Hierzu wird bei jedem Spaltensprung der Adressindex gespeichert und um 5 Spalten verzögert ausgelesen, praktisch genügt auch ein konstanter Offset, z.B. -32 , da der Speicher genügend groß ist. Der SNNC 7 liest aus dem DualPortRAM zunächst 5x5 Nachbarschaften aus, und speichert Attribute der betreffenden Konturpunkte in einem Registersatz ab.
Der Prozeß MorphFilter des morphologischen Filters 11 benötigt fertig abgespeicherte und gefilterte Links, deshalb wird ein Sicherheitsabstand von 3 Spalten zur Verarbeitung der Daten durch den SNNC 7 eingehalten. Der Segmentierungsprozeß hingegen benötigt einen noch größeren Abstand. Grund hierfür ist das rechenintensivere Konturfolgeverfahren. Um ein umständliches Zusammensetzen von Konturen zu vermeiden, sollte die Konturen auf einer möglichst großen Länge ungestört verfolgt werden können. Ein typischer Wert hierfür beträgt 8 Spalten. Immer dann wenn ein Startpunkt oder ein gesetztes Continue-bit aus einer vorangegangenen Operation gefunden wurde, wird die GetNextCP-Struktur 50 angestoßen.
Die Steuerung hierfür wird man zweckmäßig nicht über den DualPortRAM sondern eine getrennte einfache Schieberegisterstruktur realisieren, um Speicherbandbreite zu sparen.
Der SNNC ist nach der Verarbeitung von ca. 3 Spalten nachdem der Konturpunktprozessor 5 abgespeichert hat, mit seinem Prozeß fertig. Folglich steht die für MorphFilter benötigte Information ca. nach der Verarbeitung von 6
Spalten durch den Konturpunktprozessor 5 zur Verfügung.
Die so vorverarbeiteten Konturdaten können in den Hauptspeicher des IEBVS 1 zurückgeschrieben werden und anschließend vom Mikrocontroller formatiert und für die nachfolgenden Verarbeitungsprozesse übernommen werden.
Im folgenden wird die weitere Filterung der Chains beschrieben, mit welcher Artefakte, die beispielsweise durch Rauschen in den Bilddaten entstehen können, erkannt und entsprechende Chains ausgefiltert werden.
Die Chains haben dazu die Form einer Folge geordneter Konturpunkte, die von einem Startpunkt ausgehend einen Endpunkt erreichen, wobei durch einen vorgeschalteten Prozess Attribute zugewiesen sind. Neben dem Kontrast wird auch die Abtastrichtung als Attribut gespeichert.
Für die Bewertung der Relevanz eines Chains ist es sinnvoll, den Kontrastbelag zu berechnen. Als relevant werden Chains bewertet, wenn der Betrag des Kontrastbelages über einer gegebenen Schwelle liegt. Hierzu werden die Kontrastwerte der einzelnen Konturpunkte entsprechend ihrer Zählrichtung akkumuliert. Fig. 18 zeigt ein Chainsegment mit den Punkten PO bis P8, deren Abtastrichtungen durch Pfeile gekennzeichnet sind.
Jedem Konturpunkt ist eine der vier in Fig. 19 dargestellten Abtastrichtungen DirO, Dirl, Dir2, Dir3 zugeordnet. Entlang der jeweiligen Abtastrichtungen tritt lokal der maximale Kontrast auf. Die nachstehende Tabelle 1 listet die Konturpunkte und ihre Abtastrichtungen auf, die weiteren Spalten werden im folgenden erklärt .
Tabelle 1:
In Tabelle 2 werden die Differenzwinkel zwischen den Abtastrichtungen DirO bis Dir3 der Konturpunkte und dem
Richtungsvektor [Δx, Δy] des Chains ausgewertet. Tabelle 2
Für das hier verwendete Koordinatensystem mit dem Koordinatenursprung links oben, wie in Fig. 18 dargestellt, ergeben sich die Abtastrichtungen DirO bis Dir3 als:
DirO = [ 1, 0],
Dirl = [ 1, -i],
Dir2 = [ 0, -1],
Dir3 = [ -1, -1] -
Die Spalte „Zählrichtung" in Tabelle 2 beschreibt die zu erfüllende Bedingung für eine positive Zählrichtung des Kontrastbeitrages des aktuellen Konturpunktes. Bei der Formatierung der Chains wird der Kontrastbelag durch Hardware akkumuliert, indem zunächst das Vorzeichen aus der Richtung Dir und dem Vektor [Δx , Δy ] = [Pi+i -Pi] berechnet wird. Man bestimmt für jeden Konturpunkt die Vorzeichen von Δx , Δy, Δx + Δy sowie Δx -Δy und verknüpft diese mit den Bedingungen gemäß Tabelle 2. Für das Chainsegment gemäß Fig. 18 sind in Tabelle 1 Δx, Δy und die ermittelte Zählrichtung eingetragen. Für den letzten Punkt P8 ist der Richtungsvektor [Δx , Δy ] nicht definiert, deshalb wird der Richtungsvektor von P7 verwendet.
Fig. 20 zeigt die Hardwarerealisierung eines Kontrastakkumulators 80 zur Bestimmung des Kontrastbelags einer Kontur, beziehungsweise der zugehörigen Chain. Eine erste Stufe bestehend aus zwei Komparatoren 81, 82 und zwei Addern 83, 84 bestimmt die Vorzeichen der Terme Δx, Δy, Δx + Δy sowie Δx - Δy. Eine kleiner lokaler Speicher 85 (LUT) oder eine äquivalente Logikschaltung dekodiert das relevante Vorzeichen entsprechend der Richtung DirO,..., Dir3 des aktuellen Konturpunkts. Anschließend werden die Kontrastwerte Conti in einem Akkumulator 86 vorzeichenrichtig addiert, so dass am Endpunkt der Kontur der Kontrastbelag ΣCOnt als Summe der einzelnen Kontrastwerte vom Akkumulator 86 entnommen und als Attribut der Kontur gespeichert werden kann. Der Kontrastbelag ΣCOnt stellt damit eine gute Näherung für das Integral der Differenzen der von der Kontur aus gesehen linken und rechten Grau- und/oder Farbwerte dar und beschreibt damit die Signifikanz eines Konturelements.
Die Kontrastbelegung wird anschließend in einem Chainfilter für die Filterung von Artefakten verwendet. In diesem Filter wird außerdem der durch die Chainverarbeitung bereits bekannte Grad des Start- und Endpunkts, sowie die Anzahl der Konturpunkte auf einem Chain verwendet. Diese Merkmale werden als Chainattribute bezeichnet und klassifiziert. Ein Klassifikator des Chainfilters hat die Aufgabe, anhand der genannten Merkmale zu entschieden, ob es sich bei dem aktuellen Chainsegment um eine sinnvolle Struktur handelt oder aber ein etwa auf Grund von Rauschen entstandenes Artefakt. Dieses, beziehungsweise die zugehöroge Chain wird anschließend gelöscht, um das Datenvolumen in den weiteren Verarbeitungsschritten zu reduzieren .
Die Tabelle 3 listet Bedingungen eines einfachen
Klassifikator, um rauschbehaftete Chains zu unterdrücken. Alle Chainsegmente, die die hier aufgeführten Bedingungen erfüllen, werden als Störung klassifiziert und gelöscht.
Für die mit summarischer Kontrast bezeichneten Kombinationen wird jeweils eine Funktion aus Länge und Kontrastbelag berechnet und dann so quantisiert, dass die jeweilige Chain in einem topologischen Filter weiter verarbeitet werden kann.
Tabelle 3:
Mit der ersten Bedingung werden Chains aussortiert, bei welchen die Länge der Kontur kleiner als ein vorgegebener Wert, hier speziell kleiner als 10 Pixel ist, wobei sowohl der Start-, als auch der Endpunkt der Kontur den Grad 1 auf weisen. Demgemäß liegt hier eine sehr kurze, isolierte Kontur vor.
Bei den Bedingungen gemäß der zweiten und dritten Zeile werden ebenfalls kleine Konturen herausgefiltert, wobei hier ein Ende der Kontur mit einer weiteren Kontur verbunden ist. Demgemäß handelt es sich hier um kurze Abzweige an anderen Konturen.
Sind Start- und Endpunkt der Chain identisch, so repräsentiert die Chain eine in sich geschlossene Kurve, wie etwa einen Kreis. Ist eine solche Kurve zu klein, wird sie gemäß der 4. Bedingung der Tabelle ausgefiltert, wobei im Speziellen wiederum Chains von Konturen mit einer Ausdehnung von höchstens 10 Pixeln gelöscht werden.
Die letzten vier Bedingungen betreffen Konturen, deren Konturpunkte eine Kontrastbelegung mit einem summierten absoluten Kontrastwert kleiner als 320 aufweisen. An diesem Beispiel zeigt sich, daß bei der Bewertung der Relevanz des Kontrastes vorteilhaft auch die Länge der Kontur mit einbezogen werden kann. Ist eine Kontur mit schwachem Kontrast vergleichsweise lang, so kann der akkumulierte Betrag des Kontrastes den Schwellwert dennoch überschreiten und die Kontur, beziehungsweise die zugeordnete Chain wird als relevant bewertet und nicht aussortiert.
Fig. 21 zeigt die Phasenlage und den Speicherbedarf der vorstehend beschriebenen Prozesse zur Bildverarbeitung bis zur Segmentierung der Bilddaten. Der Gesamtspeicher 60 ist aufgeteilt in einen Speicherbereich 61 für die Ermittlung von Konturpunkten, einen Speicherbereich 62, welcher vom SNNC 7 verwendet wird, einen Speicherbereich 63 für den morphologischen Filter 11 und einen deutlich größeren Speicherbereich 64 für die Segmentierung. Dem SNNC 7 als Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten ist dabei ein Speicher oder Speicherbereich zugeordnet, dessen Grosse höchstens 20 Prozent des gesamten Speichers für die Verarbeitung der Bilddaten zu die Konturen beschreibenden Objekten ausgenommen des oder der Bildspeicher beträgt. Anhand der Fig. 22 und 23, die Ausschnitte einer Kontur mit Konturpunkten zeigen, wird nachfolgend beschrieben, wie anhand der ermittelten Konturpunktdaten als Bestandteil der Objektsegmentierung Eckpunkte der Konturen bestimmt werden. Dargestellt ist ein Ausschnitt einer Kontur 26 mit Konturpunkten 26. Das von der Segmentierungseinheit 13 der in Fig. 1 dargestellten Kgrundkonfiguration durchgeführte Verfahren zur Bestimmung von Krümmungen, insbesondere von Eckpunkten von Konturen 16 basiert darauf, daß zu einem Punkt p der Konturpunkte 26 einer Kontur 16 Tripel mit Punkten (p~, p, p+) gebildet werden, wobei die Punkte p~ , p+ Konturpunkte darstellen, die in beiden Richtungen entlang der Kontur vom Punkt p beabstandet sind.
Bei einer gekrümmt verlaufenden Kontur 16, wie bei dem in Fig. 22 gezeigten Beispiel bilden diese Punkte (p~, p, p+) dann ein Dreieck mit Seiten der Längen a, b, c.
Zu diesen Punkten wird getestet, ob die Bedingungen (i) d2 min < Ip-P+I2 < d2 max,
( ii ) d2 min < I p-p' l 2 < d2 max, und
( iii ) α < αmax erfüllt sind, mit d2 min, d2 maχ und αmax als vorgegebenen Parametern. Der Öffnungswinkel α ist gegeben durch:
a wobei a den Abstand der Punkte p und p+, b den Abstand der Punkte p und p~, und c den Abstand der Punkte p+ und p~ bezeichnen. Anhand der Fig. 22 wird klar, daß bei einem sehr großen Winkel α, der sich an 180° annähert, eher nicht zu erwarten ist, daß es sich bei Punkt p um einen Eckpunkt zwischen zwei geradlinigen Segmenten handelt. Um zu vermeiden, daß bereits sehr kleine Krümmungen an einer Kontur als Ecken intepretiert werden, kann dazu der Winkel otmax entsprechend gewählt werden. In der Praxis eignen sich oft Winkel kleiner 160°, beispielsweise αmax = 150°.
Die Bedingungen (i) bis (iii) nacheinander für die nächsten Nachbarn des Punkts p, dann die übernächsten Nachbarn des Punkts p, usw. getestet. Wird eine der Bedingungen (i) , (ii)/ (iü) dabei für ein Tripel der Punkte (p~, p, p+) nicht erfüllt, wird der Test abgebrochen. Von den Öffnungswinkeln α der Tripel mit Konturpunkt p, welche die Bedingungen (i) - (iii) erfüllen, wird der kleinste Öffnungswinkel ausgewählt und dem Punkt p zugeordnet.
Wird der Test der Bedingungen (i) - (iii) abgebrochen, so wird der nächste Konturpunkt entlang der Kontur 16 als Punkt p ausgewählt und das Verfahren wiederholt. Der Abbruch kann einerseits erfolgen, wenn die Bedingungen (i) - (iii) für ein Tripel nicht erfüllt sind, oder, wenn eine vorbestimmte Anzahl von benachbarten Konturpunkten 26 untersucht wurde. Vorzugsweise wird im letzteren Fall der Test abgebrochen, nachdem Tripel mit sieben Punkten 26 beiderseits des Punkts p untersucht wurden. Je nach Anforderung kann auch eine geringere Anzahl maximal zu untersuchender Tripel festgelegt sein.
Kann für einen gegebenen Konturpunkt p kein Tripel ermittelt werden, welches die Bedingungen (i) bis (iii) erfüllt, so wird dieser Punkt von vorneherein aussortiert und nicht mehr bei der Bestimmung eines Eckpunkts berücksichtigt . In einem zweiten Durchlauf erfolgt eine weitere Aussortierung, wenn zu einem Punkt p ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i) , (ii) und (iii) erfüllt sind und der einen kleineren Öffnungswinkel α1 aufweist. Dies ist in Fig. 23 gezeigt. Bei dem gezeigten Beispiel ist im speziellen der Öffnungswinkel α' des Tripels mit Punkt p' kleiner als der Öffnungswinkel α des Tripels mit Punkt p. Mit diesem zweiten Durchlauf wird vermieden, daß einem stark gekrümmten Konturbereich, der eine Ecke eines Objekts wiedergibt, mehrere eng benachbarte Eckpunkte ermittelt werden.
Die Erfindung wie vorstehend beschrieben, kann beispielsweise in einer kompakten Vorrichtung implementiert werden, um die Erkennung vom Mustern zu realisieren. Unter anderem können auf diese Weise Raster oder Formularfelder in Bilddaten unabhängig von Deformationen erkannt und zugeordnet werden. Dies ermöglicht eine schnelle Erkennung und Auswertung von Formularen, wie etwa von ausgefüllten Lotteriescheinen mit einer handlichen Vorrichtung. Die
Erkennung gelingt so auch selbst wenn das Formular Knicke oder Wölbungen aufweist, auch wenn das Bild, etwa mittels eines Handscanners unter einem Winkel aufgenommen und entsprechend verzerrt ist. Die Erkennung von ausgefüllten Formularen ist besonders für die Erfindung geeignet, da die Formulardaten an vorgegebenen Stellen eingetragen werden, so daß eine einfache Erkennung, sogar ohne aufwendige, softwaregestützte Auswertung erfolgen kann. Die ansonsten sehr komplexe Zuordnung und Identifizierung von Mustern, wie etwa dem einem Raster auf einem Lotterieschein kann hier vollständig in Form von Hardware mittels einer Pipeline-Verarbeitung und Objektsegmentierung realisiert werden . Es ist dem Fachmann ersichtlich, daß die Erfindung nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt ist, sondern vielmehr in vielfältiger Weise variiert werden kann. Insbesondere können die Merkmale der Ausführungsbeispiele auch miteinander kombiniert werden.

Claims

Patentansprüche :
1. Bildverarbeitungsvorrichtung mit einem oder mehreren
Bildspeichern, einer in Form von Hardware integrierter Einrichtung zur Segmentierung von Bilddaten und einer ebenfalls in Form von Hardware integrierten Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten, wobei die Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten zumindest eine integrierte Hardwareeinheit umfasst, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen, und wobei die Bildverarbeitungsvorrichtung eine Recheneinheit aufweist, welche eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, und wobei in der integrierten Bildverarbeitungsvorrichtung zumindest ein Klassifikator vorgesehen ist, welcher aus Mengen von berechneten Verbindungswahrscheinlichkeiten Teilmengen mit zumindest drei Verbindungswahrscheinlichkeiten für mögliche Verbindungen zwischen zumindest drei benachbarten Konturpunkten, wovon einer ein zuvor bestimmter zentraler Konturpunkt ist, auswählt und für jede Teilmenge denjenigen zum zentralen Konturpunkt benachbarten Konturpunkt aussortiert, der eine mögliche Verbindung mit der geringsten Verbindungswahrscheinlichkeit zu einem benachbarten
Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet und im Anschluß daran in eine Konturpunktliste die nicht aussortierten Konturpunkte mit Konnektoren einträgt, welche die verbleibenden Verbindungen zum Zentralpunkt kennzeichnen.
2. Bildverarbeitungsvorrichtung gemäß Anspruch 1, bei welcher der Klassifikator eingerichtet ist, aus der Menge der zum Zentralpunkt benachbarten Konturpunkte jeweils Tripel von Verbindungswahrscheinlichkeiten für mit dem zentralen Konturpunkt und zwei weiteren Konturpunkten mit zugeordneten Verbindungswahrscheinlichkeiten zu bilden, die geringste der Verbindungswahrscheinlichkeiten zu ermitteln und jeweils den zum Zentralpunkt benachbarten Konturpunkt, von welchem die Verbindung mit der geringsten Verbindungswahrscheinlichkeit innerhalb des Tripels ausgeht, aus der Nachbarschaftsmenge der zum Zentralpunkt benachbarten Konturpunkte auszusortieren.
3. Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, umfassend eine Recheneinrichtung zum Aufprägen einer
Modulation auf die Verbindungswahrscheinlichkeiten, wobei die Modulation einer Positionsverschiebung von Konturpunkten entspricht, die kleiner als der Pixelabstand ist.
4. Bildverarbeitungsvorrichtung gemäß dem vorstehenden Anspruch, wobei mittels einer Recheneinrichtung vor der Berechnung der Verbindungswahrscheinlichkeiten zum Aufprägen einer Modulation jeweils Pixel-Koordinaten verändert werden.
5. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei welcher die integrierte Recheneinheit, die eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaten in einem Speicher abzulegen, dazu eingerichtet ist, neben der Position eines Konturpunktes zumindest ein weiteres Attribut des Konturpunktes zu berechnen und in den fortlaufenden Listendaten abzuspeichern.
6. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei welcher die integrierte Recheneinheit dazu eingerichtet ist, für einen
Konturpunkt einen Attribut-Vektor mit zumindest 24 Bit Länge, vorzugsweise . zumindest 36 Bit Länge zu erzeugen und in den fortlaufenden Listendaten abzuspeichern.
7. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei die Recheneinheit, die eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten zu ermitteln, dazu eingerichtet ist, Verbindungswahrscheinlichkeiten zwischen den Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem weiteren Attribut zu errechnen.
8. Bildverarbeitungseinrichtung gemäß dem vorstehenden Anspruch, wobei die Recheneinheit dazu eingerichtet ist, Verbindungswahrscheinlichkeiten zwischen Konturpunkten anhand des Abstands zwischen den Konturpunkten und zumindest einem der Attribute Kontrast, Farbe und Richtung zu errechnen.
9. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Einrichtung zur Segmentierung von Bilddaten eine Einrichtung zur Bestimmung von Eckpunkten von Konturen aus von der Einrichtung zur Bestimmung und Verarbeitung von Konturpunkten bereitgestellten Listendaten mit Konturpunkten umfasst, wobei die Einrichtung zur Bestimmung von Eckpunkten von Konturen eine Einrichtung zur Durchführung des folgenden Algorithmus umfasst: -zu jedem Punkt p einer Menge aufeinanderfolgender Konturpunkte einer Kontur werden Tripel mit Punkten (p~, p, p+) gebildet, wobei die Punkte p~, p+ Konturpunkte darstellen, die in beiden Richtungen entlang der Kontur vom Punkt p beabstandet sind, -zu diesen Punkten wird getestet, ob die Bedingungen
( i ) d2 min < I p-P+ I 2 < d2 max , ( ii ) d2 min < I p-P" 1 2 < d2 max , und
( i ii ) α < otmax erfüllt sind, wobei d2 min, d2 max und αmax gesetzte vorbestimmte Parameter sind, und wobei für den Öffnungswinkel α gilt: a = arccos X lab wobei a den Abstand der Punkte p und p+, b den Abstand der Punkte p und p~, und c den Abstand der Punkte p+ und p" bezeichnen, und wobei die Bedingungen (i) , (ii) und (iii) für eine Reihe von zu p beiderseits benachbarten Punkten getestet werden,
-der kleinste Öffnungswinkel α oder eine daraus abgeleitete Größe aus der Menge der getesteten Tripel mit Punkten (p~, p, p+) , welche alle Bedingungen (i), (ii) und (iii) erfüllen, wird ausgewählt und dem Punkt p zugeordnet,
-ein Punkt p wird aussortiert, wenn zu diesem ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i) , (ii) und (iii) erfüllt sind und der einen kleineren Öffnungswinkel α aufweist.
10. Bildverarbeitungsvorrichtung gemäß Anspruch 9, dadurch gekennzeichnet, daß die Einrichtung zur Bestimmung von
Eckpunkten von Konturen ausgebildet ist, Tripel (p, p+, p") nacheinander mit Konturpunkten p+, p~ zu bilden und auf Erfüllung der Bedingungen (i) , (ii) , und (iii) zu testen, die entlang der Kontur fortschreitend weiter vom Konturpunkt p entfernt sind.
11. Bildverarbeitungsvorrichtung gemäß einem der beiden vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Einrichtung zur Bestimmung von Eckpunkten von Konturen ausgebildet ist, den Test der Bedingungen (i), (ii) , und (iii) für einen gegebenen Konturpunkt p abzubrechen, sobald eine der Bedingungen (i) , (ii) , und (iii) für ein Tripel (p, p+, p~) nicht mehr erfüllt ist.
12. Bildverarbeitungsvorrichtung gemäß einem der drei vorstehenden Ansprüche, dadurch gekennzeichnet, daß in der Einrichtung zur Bestimmung von Eckpunkten von
Konturen der Parameter d2 min auf einen Wert von d2 min > 4 gesetzt ist.
13. Bildverarbeitungsvorrichtung gemäß einem der vier vorstehenden Ansprüche, dadurch gekennzeichnet, daß in der Einrichtung zur Bestimmung von Eckpunkten von Konturen der Parameter αmax auf einen Wert von αmax < 160° gesetzt ist.
14. Bildverarbeitungsvorrichtung gemäß einem der fünf vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Einrichtung zur Bestimmung von Eckpunkten von Konturen ausgebildet ist, für einen gegebenen Konturpunkt p zu jeder Seite entlang einer Kontur höchstens 7 Konturpunkte für die Tests der Bedingungen (i) , (ii) und (iii) einzubeziehen .
15. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Bildverarbeitungsvorrichtung für eine Echtzeit- Bildverarbeitung eingerichtet ist.
16. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Vorrichtung Dual-Port-RAM-Speicher und eine Einrichtung zum gleichzeitigen Ablegen und Auslesen von Listendaten aus dem Dual-Port-RAM-Speicher aufweist.
17. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, umfassend eine Morphologiefilter-Recheneinrichtung, welche dazu eingerichtet ist, die Konturpunktliste mit Konnektoren hinsichtlich zumindest einer der Eigenschaften zu filtern:
-Konturpunkte zu Ketten von höchstens drei Konturpunkten werden gelöscht, -Konturpunkte, welche nur zu einer einseitig mit einer längeren Kette verbundenen Kette mit höchstens drei Konturpunkten gehören, werden gelöscht, -Konturpunkte, welche Start- und Endpunkte von Ketten zusammengehörender Konturpunkte bilden, werden in der Konturpunktliste gekennzeichnet,
-Konturpunkte, welche Verzweigungspunkte zumindest zweier Ketten bilden, werden in der Konturpunktliste gekennzeichnet .
18. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Einrichtung zum Erzeugen von Rangvektoren für Konturpunkte, welche die Konturpunktliste mit Konnektorstruktur ausliest und jeweils ausgehend von einem Zentralpunkt über die Konnektoren die Konnektorstruktur sämtlicher Nachbarpunkte einliest und einen Rangvektor erzeugt, der die Anzahl der Verzweigungen der Nachbarpunkte und des Zentralpunkts selbst beinhaltet.
19. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei welcher die Recheneinheit, die eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die
Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten unter Berücksichtigung des Abstands der Punkte zueinander zu ermitteln, dazu eingerichtet ist, jeweils zu einem zentralen Konturpunkt Verbindungswahrscheinlichkeiten für mögliche
Verbindungen zwischen Konturpunkten einschließlich des zentralen Konturpunkts zu ermitteln, die maximal 2 bis 2,5 Pixel bezogen auf das Raster des Digitalbildes vom Zentralpunkt entfernt sind.
20. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei welcher der Klassifikator eingerichtet ist, das Aussortieren für jeden ausgewählten zentralen Konturpunkt zumindest einmal für die Menge der nicht aussortierten zum Zentralpunkt benachbarten Konturpunkte zu wiederholen.
21. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, bei welcher der Klassifikator dazu eingerichtet ist, den Auswahl-Vorgang, bei welchem jeweils derjenige zum zentralen Konturpunkt benachbarte Konturpunkt aussortiert wird, der eine mögliche Verbindung mit der geringsten
Verbindungswahrscheinlichkeit zu einem benachbarten Konturpunkt aufweist, sofern die Verbindung nicht zwei zum Zentralpunkt benachbarte Punkte verbindet für jeden ausgewählten zentralen Konturpunkt zu wiederholen, bis keine weiteren Konturpunkte aussortiert werden können.
22. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, umfassend eine der Recheneinheit, welche eingerichtet ist, aus den im Speicher abgelegten Listendaten mithilfe eines Rechenwerks die Verbindungswahrscheinlichkeiten zwischen jeweils zwei Konturpunkten zu ermitteln, vorgeschaltete Sortiereinrichtung, welche Listendaten von zu einem ausgewählten zentralen Konturpunkt benachbarten Konturpunkten jeweils entsprechend einer Reihenfolge ausgibt, die beim Abtasten einer Umgebung des zentralen Konturpunkts erhalten wird, indem sukzessive ausschließlich benachbarte Punkte der Umgebung ausgelesen werden.
23. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, wobei die Recheneinheit, welche eingerichtet ist, die im Bildspeicher abgelegten Daten eines Digitalbildes abzutasten und Konturpunkte mit Subpixel-Genauigkeit zu ermitteln und als fortlaufende Listendaren in einem Speicher abzulegen, dazu eingerichtet ist, für jeden Konturpunkt im Raster der Bilddaten höchstens einen Konturpunkt mit Subpixel- Genauigkeit zu ermitteln.
24. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, wobei der Klassifikator in eine Konturpunktliste Konnektoren einträgt, welche die Indizes benachbarter Konturpunkte und die Verbindungswahrscheinlichkeiten zu benachbarten Konturpunkten enthalten.
25. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, umfassend eine Einrichtung zum Auslesen der Konturpunktliste in geordneter Reihenfolge als geordnete Reihe von Konturpunkten, wobei aufeinanderfolgende Listeneinträge zu aufeinanderfolgenden Konturpunkten entlang einer Kontur gehören.
26. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Einrichtung, um aus Mengen von zu einer Kontur gehörenden Konturpunkten den Kontrastbelag der Kontur zu berechnen und mit einer Schwelle zu vergleichen
27. Bildverarbeitungsvorrichtung gemäß dem vorstehenden Anspruch, dadurch gekennzeichnet, daß die Einrichtung den Kontrastbelag als Attribut einer Menge von zu einer Kontur gehörenden Konturpunkten abspeichert.
28. Bildverarbeitungsvorrichtung gemäß einem der beiden vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Einrichtung zur Berechnung des Kontrastbelags der Kontur zu den Konturpunkten -Abtastrichtungen errechnet, entlang derer in der Bildumgebung des Konturpunkts lokal der maximale Kontrast auftritt, sowie
-Zählrichtungen, die angeben, ob der zum Konturpunkt gehörende Kontrastwert beim Akkumulieren addiert oder subtrahiert wird, in Abhängigkeit der Abtastrichtung und dem Richtungsvektor der Kontur am Konturpunkt ermittelt, und
-die Kontrastwerte der einzelnen Konturpunkte entsprechend ihrer Zählrichtung zum Akkumulieren addiert oder subtrahiert.
29. Bildverarbeitungsvorrichtung gemäß dem vorstehenden Anspruch, dadurch gekennzeichnet, daß die Einrichtung die jeweilige Abtastrichtung aus einer auf höchstens 16 verschiedene Richtungen begrenzten Anzahl möglicher Richtungen auswählt.
30. Vorrichtung gemäß einem der vorstehenden Ansprüche, gekennzeichnet durch eine Datenfiltereinrichtung, mit welcher Mengen von zu einer gemeinsamen Kontur gehörenden Konturpunkten aussortiert werden, wenn die Menge der Konturpunkte wenigstens eine der nachfolgenden Bedingungen erfüllt: a) die Länge der Kontur ist kleiner als ein vorgegebener Wert, vorzugsweise 10 Pixel, und sowohl der Start-, als auch der Endpunkt der Kontur weisen den Grad 1 auf, sind also nicht Bestandteil einer weiteren Kontur, b) die Länge der Kontur ist kleiner als ein vorgegebener Wert, vorzugsweise 10 Pixel, und entweder der Start-, als auch der Endpunkt der Kontur weisen einen Grad >2 auf, c) Start- und Endpunkt sind identisch und die Länge der Kontur ist kleiner als ein vorgegebener Wert, vorzugsweise 10 Pixel, d) der Betrag des Kontrastbelags ist kleiner als ein vorgegebener Wert .
31. Integrierte Bildverarbeitungsvorrichtung, insbesondere gemäß Anspruch 1, mit einem oder mehreren Bildspeichern und zumindest einer integrierten Hardwareeinheit zur Ermittlung von Konturpunkten aus Bilddaten, einer der integrierten Hardwareeinheit zur Ermittlung von Konturpunkten nachgeschalteten Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten, einen der Hardwareeinheit zur Ermittlung von Verbindungen nachgeschalteten Morphologieprozessor zur Bestimmung der Anzahl der von Konturpunkten ausgehenden Verbindungen von Konturen zu benachbarten Konturpunkten, sowie eine Einrichtung zur Segmentierung, mittels welcher aus den Daten über die Konturpunkte und deren Verbindungen zu weiteren Konturpunkten Objekte erstellt werden, welche die Konturen der Bilddaten beschreiben, wobei der Hardwareeinheit zur Ermittlung von zu einer Kontur gehörenden Verbindungen zwischen Konturpunkten ein Speicher oder Speicherbereich zugeordnet ist, dessen Grosse höchstens 20 Prozent des gesamten Speichers für die Verarbeitung der Bilddaten zu die Konturen beschreibenden Objekten ausgenommen des oder der
Bildspeicher beträgt, und wobei die Einrichtung zur Segmentierung von Bilddaten vorzugsweise eine Einrichtung zur Bestimmung von Eckpunkten von Konturen Listendaten mit Konturpunkten umfasst, wobei die Einrichtung zur Bestimmung von Eckpunkten von Konturen eine Einrichtung zur Durchführung des folgenden Algorithmus umfasst :
-zu jedem Punkt p einer Menge aufeinanderfolgender Konturpunkte einer Kontur werden Tripel mit Punkten (p~, p, p+) gebildet, wobei die Punkte p", p+ Konturpunkte darstellen, die in beiden Richtungen entlang der Kontur vom Punkt p beabstandet sind,
-zu diesen Punkten wird getestet, ob die Bedingungen
(i) d2 min < I p-p+ 12 < d2 ( ii ) d2 min < I p-p" I 2 < d2 max, und
( iii ) α < αmax erfüllt sind, wobei d2 mj.n, d2 max und αmaχ gesetzte vorbestimmte Parameter sind, und wobei für den Öffnungswinkel α gilt: a = arcco X lab wobei a den Abstand der Punkte p und p+, b den Abstand der Punkte p und p~, und c den Abstand der Punkte p+ und p" bezeichnen, und wobei die Bedingungen (i) , (ii) und
(iii) für eine Reihe von zu p beiderseits benachbarten
Punkten getestet werden,
-der kleinste Öffnungswinkel α oder eine daraus abgeleitete Größe aus der Menge der getesteten Tripel mit Punkten (p~, p, p+) , welche alle Bedingungen (i),
(ii) und (iii) erfüllen, wird ausgewählt und dem Punkt p zugeordnet,
-ein Punkt p wird aussortiert, wenn zu diesem dieser ein benachbarter Punkt p' existiert, für welchen die Bedingungen (i), (ii) und (iii) erfüllt sind und einen kleineren Öffnungswinkel α aufweist.
32. Bildverarbeitungsvorrichtung gemäß einem der vorstehenden Ansprüche, ausgebildet zur Formularerkennung.
EP07818245A 2006-09-19 2007-09-19 Verfahren und vorrichtung zur bildverarbeitung Withdrawn EP2064672A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006044595A DE102006044595B4 (de) 2006-09-19 2006-09-19 Bildverarbeitungsvorrichtung zur Segmentierung anhand von Konturpunkten
PCT/EP2007/008149 WO2008034599A2 (de) 2006-09-19 2007-09-19 Verfahren und vorrichtung zur bildverarbeitung

Publications (1)

Publication Number Publication Date
EP2064672A2 true EP2064672A2 (de) 2009-06-03

Family

ID=39134001

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07818245A Withdrawn EP2064672A2 (de) 2006-09-19 2007-09-19 Verfahren und vorrichtung zur bildverarbeitung

Country Status (5)

Country Link
US (1) US8326045B2 (de)
EP (1) EP2064672A2 (de)
JP (1) JP2010503936A (de)
DE (1) DE102006044595B4 (de)
WO (1) WO2008034599A2 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8013858B2 (en) * 2007-09-20 2011-09-06 Spx Corporation Statistical waveform drawing routine
TWI475187B (zh) * 2010-10-27 2015-03-01 Hitachi High Tech Corp Image processing devices and computer programs
JP2014178941A (ja) * 2013-03-15 2014-09-25 Nec Corp 画像照合システム
KR102122793B1 (ko) * 2013-08-22 2020-06-15 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 이미지 처리 방법
DE102013217827A1 (de) 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen eines Objekts in einer Bildinformation
AU2013245477A1 (en) * 2013-10-16 2015-04-30 Canon Kabushiki Kaisha Method, system and apparatus for determining a contour segment for an object in an image captured by a camera
WO2018100188A1 (en) * 2016-12-02 2018-06-07 Koninklijke Philips N.V. Apparatus for identifying objects from an object class

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677869B2 (en) 2001-02-22 2004-01-13 Panasonic Communications Co., Ltd. Arithmetic coding apparatus and image processing apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008034599A2 *

Also Published As

Publication number Publication date
US20100021058A1 (en) 2010-01-28
DE102006044595A1 (de) 2008-04-03
WO2008034599A3 (de) 2009-02-12
WO2008034599A2 (de) 2008-03-27
US8326045B2 (en) 2012-12-04
DE102006044595B4 (de) 2011-06-22
JP2010503936A (ja) 2010-02-04

Similar Documents

Publication Publication Date Title
EP1789925B1 (de) Vorrichtung, verfahren und computerprogramm zum ermitteln einer information über eine form und/oder eine lage einer ellipse in einem graphischen bild
DE2909153C2 (de) Einrichtung zur digitalen Analyse von Bild- oder Zeichenmustern
EP2187351B1 (de) Verfahren und Vorrichtung zum Erkennen von Objekten
EP2130174B1 (de) Verfahren und vorrichtung zur ermittlung einer zellkontur einer zelle
DE102007035884B4 (de) Linienrauschunterdrückungsvorrichtung, -verfahren und -programm
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
DE102006044595B4 (de) Bildverarbeitungsvorrichtung zur Segmentierung anhand von Konturpunkten
DE112012004809B4 (de) Kantenverfolgung mit Hysterese-Schwellenwertbildung
WO1996007976A1 (de) Verfahren zur rekonstruktion von in rasterform vorliegenden linienstrukturen
DE102017216821A1 (de) Verfahren zur Erkennung einer Objektinstanz und/oder Orientierung eines Objekts
DE60217748T2 (de) Verfahren und Gerät zur Anzeige eines Bildraumes
DE19531392C1 (de) Verfahren zur Erzeugung einer Graphrepräsentation von Bildvorlagen
DE102005025220B4 (de) Gerät, Verfahren und Programm zum Beseitigen von Poren
DE102016100134B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
EP1709587B1 (de) Bildverarbeitungssystem
DE10132618A1 (de) Computergestütztes Verfahren zur Vektorisierung von Rasterbildern
DE69817973T2 (de) Gerät und Verfahren zur Bilderkennung
EP2642749B1 (de) Vorrichtung und Verfahren zur Optimierung der Bestimmung von Aufnahmebereichen
DE102021128523A1 (de) Hierarchische bildzerlegung zur defekterkennung
WO2013026826A1 (de) Inspektionsverfahren
DE102020119243A1 (de) Verfahren und System bzw. Vorrichtung zum Erkennen eines Objektes in einem elektronischen Bild
DE102017216854B4 (de) Verfahren und Vorrichtung zum Bewerten von Korrespondenzen von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
EP0195281B1 (de) Schaltungsanordnung für die Bildverarbeitung
DE102007025620A1 (de) Vorrichtung zur Bestimmung einer Objekt- und/oder Existenzwahrscheinlichtkeit eines Suchobjekts in einem Auslesefenster eines Bildes, Verfahren sowie Computerprogramm
EP2214135B1 (de) Pipeline-Recheneinrichtung zur Verbindung von Konturelementen aus Bilddaten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090407

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20110913

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20141223