EP1481370A1 - Bildsegmentierungs-einrichtung und verfahren zum segmentieren eines bildes mit einer vielzahl von bildpunkten - Google Patents

Bildsegmentierungs-einrichtung und verfahren zum segmentieren eines bildes mit einer vielzahl von bildpunkten

Info

Publication number
EP1481370A1
EP1481370A1 EP03743286A EP03743286A EP1481370A1 EP 1481370 A1 EP1481370 A1 EP 1481370A1 EP 03743286 A EP03743286 A EP 03743286A EP 03743286 A EP03743286 A EP 03743286A EP 1481370 A1 EP1481370 A1 EP 1481370A1
Authority
EP
European Patent Office
Prior art keywords
neuron
pulsed artificial
image
pulsed
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03743286A
Other languages
English (en)
French (fr)
Inventor
Arne Heittmann
Ulrich Ramacher
Jörg SCHREITER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of EP1481370A1 publication Critical patent/EP1481370A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to an image segmentation device and a method for segmenting an image with a plurality of pixels.
  • Image segmentation of a captured image and a particular problem in the case of changing environmental conditions when capturing an image.
  • Imagery i.e. provides sufficiently good image segmentation results in only one severely restricted scenario.
  • Enabling real-time also have the particular disadvantage that the circuit components of the respective analog circuit must be implemented with a high degree of accuracy, as a result of which the analog circuits have a large footprint, which makes such a solution very cost-intensive.
  • coding information is understood to mean any information associated with one or more pixels which characterizes properties of the pixel, in particular brightness values (luminance values) or color values (chrominance values) assigned to one or more pixels.
  • the image segmentation takes place on the basis of edges contained in the digital image and determined within the scope of this method.
  • region-based image segmentation described in [3] as a third principle is unsuitable for real-time implementation in a special electrical circuit due to its sequential processing structure.
  • [4] describes so-called resistive fuses, in which a non-linear signal diffusion leads to spatial signal smoothing and to the detection of discontinuities, which are interpreted as segment boundaries.
  • VLSI current mode chip (Very Large Scale Integration), which forms a pulsed synapse of a pulsed artificial neuron, is shown in [6].
  • the arrangement for object recognition according to [9] is based on a trained artificial neural network with pulsed neurons.
  • Predefined picture elements are provided which are characterized by means of features which are assigned to the picture elements.
  • Several neuron layers are provided for each feature, each of which describes the existence of the respective feature.
  • Each neuron layer is formed by a column of several pulsed artificial neurons.
  • the neurons contained therein are completely linked to one another, with weights being assigned to the couplings.
  • a synchronization element is provided with which target characteristic values of the target object, which are presented to the arrangement in a training phase and whose characteristics are known and stored, are encoded.
  • the training method adjusts the weights and thus synchronizes the neurons between the neurons assigned to the image element and the target feature values. There is a synchronization of neuron layers, which determine the area of attention within the image, with the synchronization element.
  • the invention is based on the problem of specifying a more robust method for segmenting an image with a plurality of pixels and a corresponding image segmentation device.
  • the problem is solved by the image segmentation device and by the method for segmenting an image solved a plurality of pixels with the features according to the independent claims.
  • An image segmentation device for segmenting an image, which has a multiplicity of pixels, each of which is associated with coding information, into a multiplicity of image segments has a multiplicity of pulsed artificial neurons, one pulsed artificial neuron being associated with one pixel.
  • coding information is to be understood as meaning information which is assigned to and characterizes one or more pixels, for example a brightness value (brightness information) or color value (chrominance information) assigned to the pixel or pixels.
  • the pulsed artificial neurons can be assigned to several different pixels. Alternatively, it is provided that several pixels are assigned to an artificial neuron. Preferably, exactly one pulsed artificial neuron is provided and assigned to exactly one pixel.
  • the pulsed artificial neurons are each coupled to at least a portion of adjacent pulsed artificial neurons, preferably immediately adjacent pulsed artificial neurons, each via a weighted coupling.
  • a weighted coupling is to be understood as an electrical coupling in which an electrical signal conducted via this coupling, for example an electrical current, is multiplied, generally amplified, by a weight value, hereinafter also referred to as weight.
  • Each pulsed artificial neuron is set up in such a way that it is a neuron pulse signal which is dependent on the coding information which is associated with the pixel to which the pulsed artificial neuron is assigned corresponding output signal of the pulsed artificial neuron can be output.
  • the image segmentation device has at least one weight change device which is set up in such a way that it can change the weights of the couplings depending on the neuron pulse signals in such a way that pulsed artificial neurons of an image segment to be formed increasingly output neuron pulse signals synchronously with one another ,
  • an image segmentation unit also provided in the image segmentation device, which is set up in such a way that the image points from these associated pulsed artificial neurons are segmented together to form an image segment, which output neuron pulse signals that are sufficiently synchronous with respect to one another as a predetermined criterion, the image points according to the pulse behavior of the respective pulsed artificial neurons that correspond to the pixels to be classified, ie are assigned to segmenting pixels, segmented to image segments.
  • a plurality of pulsed artificial neurons being provided, each having a pulsed artificial neuron being assigned to a pixel, and wherein the pulsed artificial neurons are each coupled to at least a portion of adjacent pulsed artificial neurons via a coupling, preferably an electrically conductive coupling, each pulsed artificial neuron becomes dependent on the coding information which is associated with the pixel to which the pulsed artificial neuron is assigned Neuron pulse signal output.
  • the weights assigned to the couplings are changed in such a way that pulsed artificial neurons of an image segment to be formed each increasingly output synchronous neuron pulse signals.
  • the pixels of these assigned pulsed artificial neurons are segmented together to form an image segment, which output neuron pulse signals which are sufficiently synchronous with respect to one another in relation to a predetermined criterion.
  • a given criterion is, for example, any threshold criterion, relative or absolute, with which the similarity of the synchronous behavior in the output of the neuron pulse signals from the respective pulsed artificial neurons is described.
  • the threshold value can be specified as required, depending on the application.
  • a pulsed artificial neuron is to be understood as a signal generator for pulse generation that is basically arbitrary and which outputs an output signal as a function of input signals integrated over time via inputs of the signal generator when the integration value is exceeded.
  • An example of a preferably used pulsed artificial neuron is a so-called integration-and-fire neuron as described in [5].
  • Neurons are used with the multipliers at the respective inputs of the pulsed artificial neuron.
  • Image areas are marked locally by means of pulse patterns in that the signal generators assigned to the image segments, ie the pulsed artificial ones assigned to the image segments Neurons, synchronously and periodically output signal pulses for pulse generation.
  • each pixel i.e. a pulse generator (signal generator) is assigned to each pixel, which generates signal pulses with constant duration and amplitudes of a pulse value dependent on the brightness value assigned to the respective pixel, generally coding information assigned to the pixel.
  • a pulse generator signal generator
  • the local coupling of the individual signal generators causes the signal generators to synchronize, i.e. emit signal pulses in equilibrium with the same pulse frequency that are classified as belonging to the same image segment.
  • Signal generators that generate signal pulses with different pulse frequencies belong to different image segments or are grouped to different image segments, i.e. segmented.
  • adaptable i.e. Indicate changeable connection weights for coupling the pulsed artificial neurons
  • the adaptation of the weights preferably being realized exclusively by locally available signals from a pulsed artificial transmitter neuron and a pulsed artificial receiver neuron with a data-driven self-organization process.
  • the device according to the invention and the method are used to extract an image, the extraction being self-organizing. In other words, this means that no learning phase is required according to the invention, since the pulsed neurons are synchronized with one another and not in relation to, for example, a synchronization element.
  • the dynamics of the pulsed artificial neurons are clearly used to extract image objects. This means that in a self-organizing process, the neurons, which are assigned to similar pixels in relation to the coding information, fire increasingly synchronously, so that they form an object “out of themselves”.
  • the procedure according to the invention thus does not represent training of weights, but rather an adaptation of weights directly to the content of the image supplied in each case.
  • the embodiments of the invention described below relate to the image segmentation device and the method for segmenting an image.
  • the image segmentation device is designed as an electrical circuit, preferably as an electrical analog circuit.
  • the invention can be implemented in software, ie in the form of a computer program which is carried out by a microprocessor.
  • Weight change device set up in such a way that a weight is changed in accordance with the following regulation, while a first neuron L of the two neurons coupled to one another by means of the coupling is in a signal transmission state and a second neuron K is in a signal reception.
  • Condition is:
  • WKL is the weight assigned to the coupling between the first neuron L and the second neuron K
  • the weight change device is set up in such a way that the weight is changed in accordance with the following regulation, while both neurons coupled to one another by means of the coupling, a first neuron L and a second neuron K, are in a signal reception state are located:
  • W KL is the weight assigned to the coupling between the first neuron L and the second neuron K
  • Aj the membrane potential of the second neuron K, be designated.
  • the weight change device or the individual weight change units is / are set up in such a way that the weight is changed in all other cases, which are not described above, in accordance with the following regulation:
  • This embodiment of the invention is characterized in particular by its simplicity and thus by its simpler and more economical implementation.
  • the weight change device can have a multiplicity of weight change units, one weight change unit in each case being provided per coupling between a first pulsed artificial neuron and a second pulsed artificial neuron of the plurality of pulsed artificial neurons and being associated therewith.
  • FIG. 1 shows a sketch of a section of CMOS image sensors, the pixels assigned to the CMOS image sensors and pulsed artificial neurons associated with the pixels according to an embodiment of the invention
  • FIG. 2 shows a representation of the local networking structure between the pulsed artificial neurons according to an embodiment of the invention
  • FIG. 3 shows a sketch of two interconnected pulsed artificial neurons, as well as the functional blocks of an adaptable multiplier, hereinafter also referred to as a weight amplifier, and a weight change unit according to an embodiment of the invention
  • Figure 4 is a schematic diagram of the voltage curve of the
  • Membrane potential and the output signal i.e. the neuron pulse signal according to a pulsed artificial neuron according to the invention
  • FIG. 5 shows a more detailed sketch of the functional blocks from FIG. 3 according to a first exemplary embodiment of the invention
  • FIG. 6 shows a more detailed sketch of the functional blocks from FIG. 3 according to a second exemplary embodiment of the invention
  • FIG. 7 is an electrical circuit which describes the soma of the pulsed artificial neurons according to the invention.
  • FIG. 8 shows an electrical circuit of a Schmit trigger used according to the invention
  • FIG. 9 shows a sketch of a realization of the weight amplifier from FIG. 3 according to an exemplary embodiment of the invention
  • FIG. 10 shows an electrical circuit of a weight amplifier circuit according to FIG. 9;
  • Figure 11 is an electrical circuit of a weight change unit.
  • Fig.l shows a digital camera 100 according to an embodiment of the invention.
  • the camera 100 has 1024 * 768 CMOS image sensors 101, 102, 103, 104, 105, 106, which are set up to detect CMOS image sensors 101, 102, 103, 104, 105, 106 incident light and for outputting a respective brightness signal 107, 108, 109, 110, 111, 112, each of which has a value which is dependent on the respective intensity of the image sensor 101, 102, 103,
  • a brightness signal 107, 108, 109, 110, 111, 112 is assigned to exactly one pixel 113, 114, 115, 116, 117, 118, in other words, a pixel 113, 114, 115,
  • 116, 117, 118 is exactly one image sensor 101, 102, 103, 104,
  • the respective brightness value signal 107, 108, 109, 110, 111, 112 is transmitted to the respective pulsed artificial neuron 119, 120, 121, 122, 123, 124 as an input signal via an input coupling of the respective pulsed artificial neuron 119, 120, 121, 122, 123, 124 supplied.
  • the pulsed artificial neurons immediately adjacent to each other are connected to each other via bidirectional signal couplings, i.e. either a bidirectional coupling or two couplings arranged side by side, i.e. electrically conductive structures, 125, 126, 127, 128, 129, 130, 131, so that a signal exchange is possible locally from a first pulsed artificial neuron to a second pulsed artificial neuron arranged directly adjacent to it.
  • bidirectional signal couplings i.e. either a bidirectional coupling or two couplings arranged side by side, i.e. electrically conductive structures, 125, 126, 127, 128, 129, 130, 131, so that a signal exchange is possible locally from a first pulsed artificial neuron to a second pulsed artificial neuron arranged directly adjacent to it.
  • the immediately adjacent pulsed artificial neurons are coupled to one another in a row or in a column.
  • An image segmentation unit (not shown) is also provided.
  • the first output and optionally additionally the second output of each pulsed artificial neuron 119, 120, 121, 122, 123, 124 is coupled to an input of the image segmentation unit, so that all neuron pulse signals are supplied to the image segmentation unit.
  • the image segmentation unit receives and analyzes the neuron pulse signals with regard to their time behavior, ie with regard to the frequency with which the respective neuron pulse signal is transmitted and / or with regard to the duration of the neuron pulse signal.
  • the image segmentation unit groups the pixels depending on the time behavior of the neuron pulse signals assigned to them into image segments, with pixels whose pulsed artificial neurons 119, 120, 121, 122, 123, 124 clearly show an adequately similar transmission behavior (fire behavior) have similar timing, can be grouped into an image segment.
  • the similarity criterion depending on which the image segmentation unit groups the pulsed artificial neurons 119, 120, 121, 122, 123, 124 and thus the pixels, i.e. segmented, depends on the application.
  • FIG. 2 shows the connection structure 200 of the coupled pulsed artificial neurons 119, 120, 122, 123 from FIG. 1 again for illustration.
  • the pulsed artificial neurons 119, 120, 121, 123 are coupled to one another via two electrical lines as bidirectional couplings 125, 127, 129, 130, with each coupling 125, 127, 129, 130 being assigned a weight value with which a via the respective coupling 125, 127, 129, 130 is multiplied before it is fed to the input of the pulsed artificial neuron 119, 120, 122, 123 receiving the electrical signal.
  • FIG. 2 which image sensor 101, 102, 104, 105 has a corresponding brightness value in Form of an electric current to the respective pulsed artificial neuron 119, 120, 122, 123.
  • FIG. 3 shows a section 132 from FIG. 1 with a first pulsed artificial neuron 119 and a second pulsed artificial neuron 120, which are coupled to one another via an electrical coupling 125, a weight amplifier 301 being provided in the electrical coupling 125, whose structure is explained in more detail below.
  • the neuron pulse signal 302 supplied by the first pulsed artificial neuron 119 as the output signal of the first pulsed artificial neuron 119 is thus fed to the weight amplifier 301, where it is multiplied by the weight value W ⁇ assigned to the electrical coupling 125 and applied as a weighted neuron pulse signal 303 an input 315 of the second pulsed artificial neuron 120.
  • both the first pulsed artificial neuron 119 and the second pulsed artificial neuron 120 according to this exemplary embodiment of the invention are coupled to a weight change unit 304.
  • the neuron pulse signal 302 is output via the first output 305 of the first pulsed artificial neuron 119 and pulsed via a second output 306 of the first artificial neurons 119, its current value of the membrane potential 307 is fed to a first input 308 of the weight change unit 304.
  • the first output 305 is also coupled to a third input 316 of the weight change unit 304, so that the neuron pulse signal of the first pulsed artificial neuron 119 can be fed to the weight change unit 304.
  • the neuron pulse signal 310 of the second pulsed artificial neuron 120 is optionally output via a first output 309 of the second pulsed artificial neuron 120 and the value of the membrane potential 312 of the second pulsed artificial neuron 120, which is a second input, is output via a second output 311 314 of the weight change unit 304 is supplied.
  • the first output 309 is also coupled to a fourth input 317 of the weight change unit 304, so that the neuron pulse signal of the second pulsed artificial neuron 120 can be fed to the weight change unit 304.
  • the aim of this circuit is that for similar currents Ifeed 'i.e. for similar brightness signals, the neuron pulse signals at the respective first outputs 306, 309 of the pulsed artificial neurons synchronize with one another, i.e. that a neuron pulse signal is output from the respective pulsed artificial neurons 119, 120 at substantially the same or very similar times.
  • the weight WKL of a coupling is variable and is changed by means of the respective weight change unit 304 via a weight change signal 313.
  • the change in the weight WKL depends on the electrical voltages U and UK on the capacitances of the neighboring Soma, that is to say the adjacent pulsed artificial neurons 119, 120.
  • 4 shows in a diagram 400 the switching behavior of a pulsed artificial neuron 119, 120, 121, 122, 123, 124 according to this exemplary embodiment of the invention.
  • an integration-and-fire neuron is used as a pulsed artificial neuron 119, 120, 121, 122, 123, 124, which has a membrane potential which, modeled by means of a capacitor, has a continuously increasing capacitor voltage U as long as until a first
  • Threshold value 0 i is reached at a first switching point in time ti.
  • a neuron pulse signal 401 is emitted for a pulse duration of (t2 -] _) up to a second point in time t2, as a result of which the electrical potential at the capacitor is reduced to a second threshold value & 2 .
  • membrane potential usually does not increase linearly, but depends on the electrical signals present at the inputs of the respective pulsed artificial neuron, but is usually a monotonically increasing function.
  • a relaxation factor can be provided, by means of which the membrane potential is maintained over a longer period of the respective pulsed artificial neuron is reduced with a relaxation factor.
  • FIG. 5 shows in a first block diagram 500 an implementation of the weight change unit 304 from FIG. 3 according to a first exemplary embodiment of the invention.
  • the respective pulsed artificial neuron 119, 120 integrates the so-called synaptic current on the input side to form a membrane potential aj or a.
  • the respective pulsed artificial neuron 119, 120 sends out a neuron pulse signal of a defined length.
  • the membrane potential a [, aL is lowered to a resting potential value and the integration begins again.
  • the synaptic current is additively composed of the weighted local gray value signal, i.e. the brightness signal and the neuron pulse signals weighted with the couplings of the immediately adjacent pulsed artificial neurons.
  • the change in a weight W L is brought about by a weight change signal 313, which is output by the weight change unit 304 and the weight amplifier 301 and which describes the change over time of the weight WKL.
  • the weight change signal of a local weight KL depends exclusively on the local signals representing the membrane potentials a ⁇ aL from the respective transmitter neuron, in other words from the respective pulsed artificial neuron that is on Transmits neuron pulse signal, and the receiver neuron, ie the pulsed artificial neuron receiving the respective neuron pulse signal and the signal transmit state or signal receive state from the transmitter neuron and the receiver neuron.
  • Neuron pulse signal sends and the second pulsed artificial neuron 120 with the index K receives the neuron pulse signal according to the following rule:
  • WKL is the weight assigned to the coupling between the first neuron L and the second neuron K, ⁇ a predetermined relaxation parameter,
  • a j (the membrane potential of the second neuron K).
  • the weight WKL is changed as follows rule:
  • Weight WKL are described such that the weight value WKL is dependent on the membrane potential aj (of the pulsed artificial neuron 120 receiving the neuron pulse signal (according to FIG. 5, the second pulsed artificial neuron 120) is prevented depending on how far the membrane potential a is from the first threshold value, ie the switching threshold of the second pulsed artificial neuron 120.
  • Receiver neuron a first offset value, preferably half the value of the first threshold value ⁇ ] _, i.e. -- , of the
  • Threshold value ⁇ ] _ a value of 1 volt and for the
  • Relaxation parameter ⁇ a value of 0.1 ⁇ (0.1 to 0.2) x 0.1 is used.
  • This procedure clearly corresponds to a feedback of the neuron pulse signal, which is output by the first pulsed artificial neuron 119, depending on the actual membrane potential a of the second pulsed artificial neuron 120.
  • the pulsed artificial neurons 119, 120 shown in the block diagram 500 are constructed as described in [5].
  • the VLSI circuit shown in the block diagram 500 also has a summation node 501, by means of which the weighted neuron pulse signals of other pulsed artificial neurons 502, continuous unpulsed signals 503 and a second offset signal B] _, which corresponds to the brightness signal of the second pulsed corresponds to the image sensor 102 assigned to the artificial neuron 120 and has a signal level which is constant over time, added up and passed on as a synaptic current 504 to the second pulsed artificial neuron 120, which is referred to below as the receiver neuron 120.
  • the incoming synaptic current 504 is time-integrated into the respective membrane potential aK.
  • a neuron pulse signal with a constant signal level is emitted for a predetermined period of time, as described above.
  • Input signal for the respective pulsed artificial neuron 119, 120 interrupted.
  • the first output 306 of the first pulsed artificial neuron 119 which is referred to hereinafter as the transmitter neuron 119, is coupled to a first input 505 of a decoder 506, the second input 507 of which is coupled to the first output 309 of the receiver neuron 120.
  • the neuron pulse signal XL is logically AND linked by the transmitter neuron 119 with the negated neuron pulse signal X 320, which is present at the first output 309 of the receiver neuron 120.
  • the signal formed by the AND link is provided at an output 508 of the decoder 506 and serves as a control signal for a switch 509.
  • the membrane potential a of the receiver neuron 120 is fed via the second output 311 of the receiver neuron 120 to a first input 510 of a first adder 511, to the second input 512 of which the first offset signal Bg is fed in negated form.
  • the difference thus formed by the first adder 511 is fed as a difference signal 513 to an input 514 of a first multiplier 515, by means of which the difference signal 513 is multiplied by the first synchronization parameter ⁇ i, and the product 516 is sent to the input of the switch 509, which is via a Control input is controlled by the output signal of decoder 506 is present.
  • the switch 509 is closed, which occurs in the event that the transmitter neuron 119 emits a neuron pulse signal L and is thus in a signal transmission state and the receiver neuron 120 does not emit a neuron pulse signal XK and thus is is in a signal reception state
  • the product signal 516 is fed to a first input 517 of a second adder 518, at the second input 519 of which a feedback value 520 is applied, which is formed from one with the negative value of the relaxation parameter ⁇ in one Relaxation multiplier 521 multiplied weight value
  • the sum signal 522 formed by the second adder is fed to an integrator 523 and integrated in time by means of this.
  • the output signal of the integrator 523 corresponds to the weight W KL 'which is provided for that of the coupling 125 between the transmitter neuron 119 and receiver neuron 120.
  • the weight value WKL is sent to the multiplier 301 as weight change signal 313, i.e. fed to the weight amplifier 301.
  • the implementation is designed for a current addition.
  • weight amplifier 301 is according to this
  • FIG. 6 shows in a second block diagram 600 an alternative embodiment of the weight change unit 304.
  • Neurons 119, 120 emits a neuron pulse signal, modified in accordance with the following regulation:
  • WKL is the weight assigned to the coupling between the first neuron L and the second neuron K
  • A is the membrane potential of the second neuron K.
  • the circuit 600 differs from the circuit 500 described in FIG. 5 in particular in that the second output 311 of the receiver neuron 120 is coupled to an input 602 of an inverter 601, the output 603 of which is connected to a first input 604 a first adder 605 is coupled, the second input 606 of which is coupled to the second output 607 of the transmitter neuron 119.
  • the output 608 of the first adder 605 is coupled to an input 609 of a first multiplier 610, by means of which the difference between the membrane potential aL of the transmitter neuron 119 and the membrane potential aK of the receiver neuron 120 is multiplied by the first synchronization parameter ⁇ g 610 and as Product signal 611 is fed to an input 612 switch 509.
  • the circuit 600 according to the second exemplary embodiment differs from the circuit 500 according to the first exemplary embodiment in that the decoder 613 is set up in such a way that it derives from the neuron pulse signal X, which is present in negated form at the first input 614 of the decoder 613 with a logical AND combination with the negated value of the output signal XK of the receiver neuron 120, which is present at the second input 615 of the decoder 613, provides the output signal which is present at the output 616 of the decoder 613.
  • circuit 600 corresponds in their structure and their connection to the circuit 500 according to the first exemplary embodiment, as shown in FIG.
  • FIG. 7 shows an electrical circuit 700 which, according to this exemplary embodiment of the invention, forms the pulsed artificial neuron 119, 120, 121, 122, 123, 124.
  • the electrical circuit has a first PMOS field effect transistor 701, the first source / drain connection 702 of which is coupled on the one hand to the respective output of the image sensor and on the other hand with the respective coupling to the neighboring pulsed artificial neurons
  • a second source / drain connection 703 of the first PMOS field effect transistor 701 is coupled to a first source / drain connection 704 of a first NMOS field effect transistor 705, the second source / drain connection 706 of which is connected to a first source / drain -Connection 707 of a second NMOS field-effect transistor 708, the second source / drain connection 709 of which is coupled to ground potential 710.
  • the source / drain connection 703 of the first PMOS field-effect transistor 701 is also coupled to a transistor 712 operating as a capacitor, the further connections 713 of which are coupled to the ground potential 714.
  • the second source / drain connection 703 of the first PMOS field-effect transistor 701 is also coupled to an input 715 of a Schmitt trigger 716, the structure of which is explained in more detail below, the output 717 of which is coupled to the output of the pulsed artificial neuron ,
  • the output 717 of the Schmitt trigger 716 is also fed back to the gate connection 718 of the first PMOS field effect transistor 701 and to the gate connection 719 of the first NMOS field effect transistor 705.
  • the first PMOS field effect transistor 701 and the first NMOS field effect transistor 705 serve as switches.
  • the first PMOS field-effect transistor 701 interrupts the current flow which is via the electrical coupling 303 or is provided by the image sensor 102.
  • the first NMOS field-effect transistor 705 switches on the current which is provided by the second NMOS field-effect transistor 708 as a constant current source and which discharges the transistor 712 operating as a capacitor.
  • the input voltage 715 of the Schmitt trigger 716 is supplied with the electrical voltage which is present via the transistor 712 working as a capacitor.
  • the input 715 is coupled to the gate connection 801 of a third NMOS field effect transistor 802, the first source / drain connection 803 of which is coupled to a first source / drain connection 804 of a fourth NMOS field effect transistor 805, the second source / Drain connection 806 is coupled to ground potential 710.
  • a second source / drain terminal 807 of the third NMOS field effect transistor 802 is coupled to a first source / drain terminal 808 of a second PMOS field effect transistor 809, the second source / drain terminal 810 of which is connected to a first source / drain Connection 811 of a third PMOS field-effect transistor 812 is coupled.
  • gate connections 813 of the second PMOS field-effect transistor 809 and the gate connection 814 of the third PMOS field-effect transistor 812 and a second source / drain connection 815 of the third PMOS field-effect transistor 812 are coupled to one another.
  • the second source / drain terminal 810 of the second PMOS field effect transistor 809 and the first source / drain terminal 811 of the third PMOS field effect transistor 812 with a first source / drain terminal 816 are one fourth PMOS field effect transistor 817 and coupled to the operating voltage 818.
  • the gate terminal 818 of the fourth PMOS field effect transistor 817 is coupled to the first source / drain terminal 808 of the second PMOS field effect transistor 809 and to the second source / drain terminal 807 of the third NMOS field effect transistor 802.
  • a second source / drain connection 819 of the fourth PMOS field effect transistor 817 is coupled on the one hand to a first source / drain connection 820 of a fifth NMOS field effect transistor 821, the second source / drain connection 822 of which is coupled to the ground potential 710 is.
  • the second source / drain connection 819 of the fourth PMOS field effect transistor 817 is coupled to the gate connection 823 of a fifth PMOS field effect transistor 824, the first source / drain connection 825 of which is coupled to a first connection 826.
  • a second source / drain terminal 827 of the fifth PMOS field effect transistor 824 is further coupled to a first source / drain terminal 828 of a sixth NMOS field effect transistor 829, the second source / drain terminal 830 of which is coupled to a second terminal 831 and its gate terminal 832 is coupled to a third terminal 833.
  • the second source / drain terminal 827 of the fifth PMOS field effect transistor 824 and the first source / drain terminal 828 of the sixth NMOS field effect transistor 829 are coupled to the gate terminal 834 of a seventh NMOS field effect transistor 835, the first source of which - / Drain connection 836 is coupled to the first source / drain connection 803 of the third NMOS field effect transistor 802 and to the first source / drain connection 804 of the fourth NMOS field effect transistor 805.
  • the second source / drain terminal 837 of the seventh NMOS field effect transistor 835 is further coupled to the second source / drain terminal 815 of the third PMOS field effect transistor 812.
  • the Schmitt trigger 716 thus clearly has a differential amplifier 838 as well as a first inverter 839 and a second inverter 840.
  • the differential amplifier 838 which works together with the subsequent first inverter 839 as a so-called OTA (Operational Transconductance Amplifier), compares the voltage ⁇ JQ of the transistor 712 working as a capacitor at the input 715 of the Schmitt trigger 716 with the threshold values $ ⁇ and $ 2 'which are applied to the first connection 826 and the second connection 831.
  • OTA Operaational Transconductance Amplifier
  • the threshold values $ ⁇ and $ 2 are thus determined using the second inverter 840.
  • FIG. 9 shows a block diagram of the weight amplifier 301.
  • a capacitor 901 of capacitance C ⁇ serves as the actual weight storage element.
  • the weight WKL is changed via the current from I w provided by the weight change unit 304, which is provided as the weight change signal 313.
  • the voltage applied to the capacitor 901 is converted into an electrical current 903 by means of a voltage / current converter 902 and in the event that one is connected to the output 904 of the voltage / current converter 902 Switch 905 is closed, that is to say in the event that a high level is present at a fourth connection 906, is switched through to the coupling as a neuron pulse signal 303.
  • FIG. 10 shows a circuit 1000 which realizes the weight amplifier 301.
  • a first source / drain connection 1001 of a sixth PMOS field-effect transistor 1001A is coupled to the operating potential 818, the gate connection 1002 of which is coupled to a fifth connection 1003 and, moreover, to the gate connection 841 of the fourth NMOS transistor 805 in FIG .8th.
  • a second source / drain terminal 1004 of the sixth PMOS field effect transistor 1001A is coupled to the gate terminal 1005 of a seventh PMOS field effect transistor 1006, the first source / drain terminal 1007 of which is connected to the first
  • the sixth PMOS field effect transistor 1001A clearly forms the second multiplier 521.
  • a second source / drain connection 1008 of the seventh PMOS field effect transistor 1006 is coupled to a first source / drain connection 1009 of an eighth PMOS transistor 1010, the gate connection of which is coupled to a sixth connection 1011.
  • a second source / drain terminal 1012 of the eighth PMOS transistor 1010 is coupled to a second operating potential 1013.
  • the gate connection 1005 of the seventh PMOS transistor 1006 is coupled to a seventh connection 1014 and to a first source / drain connection 1015 of a ninth PMOS field effect transistor 1016.
  • a second source / drain connection 1017 of the ninth PMOS field-effect transistor 1016 is coupled to its gate connection 1018 and to a third operating potential 1019.
  • the second source / drain terminal 1008 of the seventh PMOS transistor 1006 is coupled to a first source / drain terminal 1020 of a tenth PMOS field effect transistor 1021, the gate terminal 1022 of which is coupled to an eighth terminal 1023 and the second one Source / drain connection 1024 with a first source / drain
  • Terminal 1025 of an eleventh PMOS field-effect transistor 1026 is coupled, the second source / drain terminal 1027 of which is coupled to a ninth terminal 1028 and the gate terminal 1029 of which is coupled to a tenth terminal 1030.
  • the ninth PMOS field effect transistor 1016 clearly serves to limit the working range of the circuit 1000 shown in FIG. 10.
  • the eleventh PMOS field effect transistor 1026, the eighth PMOS field effect transistor 1010 and the seventh PMOS field effect transistor 1006 are operated in a region in which they have an exponential characteristic.
  • 11 shows an electrical circuit 1100, which forms the weight change unit 304.
  • a first source / drain terminal 1101 of a twelfth PMOS field effect transistor 1102 is coupled to the operating potential 818, the gate terminal 1103 of which is coupled to an eleventh terminal 1104 and, above that, to the gate terminal 842 of the fifth NMOS field effect transistor 821.
  • a second source / drain terminal 1105 of the twelfth PMOS field effect transistor 1102 is coupled to a first source / drain terminal 1106 of a thirteenth PMOS field effect transistor 1107, the gate terminal 1108 of which is coupled to the fifth terminal 1003.
  • a second source / drain terminal 1109 of the thirteenth PMOS field effect transistor 1107 is coupled to a first source / drain terminal 1110 of a fourteenth PMOS field effect transistor 1111 and to a first source / drain terminal 1112 of a fifteenth PMOS field effect transistor 1113 whose gate terminal 1114 is coupled to the second output 311 of the receiver neuron 120.
  • the gate terminal 1115 of the fourteenth PMOS field-effect transistor 1111 is coupled to the second output terminal 607 of the transmitter neuron 119.
  • PMOS field effect transistor 1111 is with a first source / drain terminal 1117 of an eighth NMOS field effect transistor
  • Receiver neuron 120 is provided.
  • the second source / drain connection 1116 of the fourteenth PMOS field-effect transistor 1111 is coupled to a first source / drain connection 1120 of a ninth NMOS field-effect transistor 1121 and via its second source / drain connection 1122 to the ground potential 710.
  • a second source / drain terminal 1123 of the fifteenth PMOS field effect transistor 1113 is coupled to a first source / drain terminal 1124 of a tenth NMOS field effect transistor 1125, at the second source / drain terminal 1126 of which the weight change signal 313 Setting the weight of the coupling between the receiver neuron 120 and the transmitter neuron 119 is provided.
  • the gate terminal 1127 of the tenth NMOS field effect transistor 1125 is also coupled to a twelfth terminal 1128.
  • the second source / drain terminal 1123 of the fifteenth PMOS field effect transistor 1113 is further coupled to a first source / drain terminal 1129 of an eleventh NMOS field effect transistor 1130 and to the ground potential 710 via its second source / drain terminal 1131.
  • the gate terminals 1132 and 1133 of the ninth NMOS field effect transistor 1121 and the eleventh NMOS field effect transistor 1130 are coupled to the tenth terminal 1030 and above to the gate terminal 1029 of the eleventh PMOS field effect transistor 1026.
  • the twelfth PMOS field effect transistor 1102 and the thirteenth PMOS field effect transistor 1107 deliver a constant current.
  • the invention clearly provides a system of interlinked, pulsed artificial neurons, in which information is represented by pulse patterns, and in which the image segments belonging together are marked by synchronization of corresponding neuron pulses by means of changes in the coupling weights.
  • the change in weight takes place during the reception phase of both neurons, which are coupled to one another by means of the coupling, and the change signal depends on the values of the membrane potentials in such a way that with a significantly large positive signal difference of the membrane potential of the transmitter neuron and the receiver Neuron there is an increase in the coupling weight and with a significantly large negative signal difference, the weight for the coupling is reduced.
  • a change in a coupling weight can be provided during the reception phase of the receiver neuron and the transmission phase of the transmitter neuron, and in this case the adaptation signal depends on the membrane potential of the receiver neuron in such a way that a decrease for significantly small values of the membrane potential of the weight for the coupling and an increase in the weight of the coupling takes place for significantly large values of the membrane potential.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Bei einer Bildsegmentierungs-Einrichtung sind eine Vielzahl von Bildpunkten gepulster künstlicher Neuronen vorgesehen, welche über jeweils eine gewichtete Kopplung miteinander gekoppelt sind. Eine Gewichts-Veränderungseinrichtung ist vorgesehen, welche abhängig von dem Neuronen-Pulssignalen der Neuronen die Gewichte der Kopplungen derart verändert, dass Neuronen eines zu bildenden Segments jeweils zunehmend zueinander synchron Neuronen-Pulssignale ausgeben.

Description

Beschreibung
Bildsegmentierungs-Einrichtung und Verfahren zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten
Die Erfindung betrifft eine Bildsegmentierungs-Einrichtung sowie ein Verfahren zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten.
Im Rahmen der Bildverarbeitung stellt die robuste
Bildsegmentierung eines aufgenommenen und Bildes insbesondere bei sich verändernden Umgebungsbedingungen bei der Aufnahme eines Bildes ein erhebliches Problem dar.
Problematisch ist hierbei insbesondere, dass jeweils für ein spezielles Anwendungsszenario ein proprietäres Verfahren zur Bildsegmentierung entwickelt werden muss, welches einerseits nur schwer in einer anwendungsspezifischen Hardware, d.h. einer speziellen elektrischen Schaltung, implementiert werden kann und andererseits nur auf einer stark eingeschränkten
Bilderwelt, d.h. in nur einem stark eingeschränkten Szenario hinreichend gute Bildsegmentierungs-Ergebnisse liefert.
Die bekannten Verfahren, die in analoger Schaltungstechnik implementiert werden können und die Bildsegmentierung in
Echtzeit ermöglichen, weisen darüber hinaus insbesondere den Nachteil auf, dass die Schaltungskomponenten der jeweiligen analogen Schaltung mit einer hohen Genauigkeit implementiert werden müssen, wodurch die analogen Schaltungen einen großen Flächenbedarf haben, womit eine solche Lösung sehr kostenintensiv ist.
Für die Segmentierung eines digitalisierten Bildes existieren im Wesentlichen drei unterschiedliche Prinzipien.
Gemäß einem ersten Verfahren zum Segmentieren eines digitalisierten Bildes erfolgt die Bildsegmentierung auf der Basis der den jeweiligen Bildpunkten des digitalisierten Bildes zugeordneten Codierungsinformation (vgl. [1]). Unter Codierungsinformation ist in diesem Zusammenhang jegliche einem oder mehreren Bildpunkten zugeordnete Information zu verstehen, welche Eigenschaften des Bildpunktes charakterisiert, insbesondere einem oder mehreren Bildpunkten zugeordnete Helligkeitswerte (Luminanzwerte) oder Farbwerte (Chrominanzwerte) .
Gemäß dem in [2] beschriebenen zweiten Prinzip erfolgt die Bildsegmentierung auf der Basis von in dem digitalen Bild enthaltenen und im Rahmen dieses Verfahrens ermittelten Kanten.
Die in [3] beschriebene Regionen-basierte Bildsegmentierung als drittes Prinzip ist, ebenso wie die in [1] und [2] beschriebenen Verfahren, aufgrund ihrer sequenziellen Verarbeitungsstruktur für eine echtzeitfähige Umsetzung in eine spezielle elektrische Schaltung ungeeignet.
In [4] sind so genannte Resistive Fuses beschrieben, bei denen eine nichtlineare Signaldiffusion zur räumlichen Signalglättung und zum Detektieren von Diskontinuitäten, welche als Segmentgrenzen interpretiert werden, führt.
Grundlagen über so genannte gepulste künstliche neuronale Neuronen und daraus gebildete gepulste neuronale Netzwerke sind im Zusammenhang mit der Segmentierung von Audiosignalen in [5] beschrieben.
Ein VLSI Current-Mode-Chip (Very Large Scale Integration) , welcher eine gepulste Synapse eines gepulsten künstlichen Neurons bildet, ist in [6] dargestellt.
Ferner ist in [7] eine Realisierung eines Schmitt-Triggers beschrieben.
In [8] ist die Anwendung von gepulsten Neuronen zur Bildsegmentierung beschrieben. [9] beschreibt eine Anordnung zum Ermitteln der Position eines Objekts in einem Bild sowie ein Verfahren zum
Trainieren der Anordnung.
Die zur Objekterkennung dienende Anordnung gemäß [9] basiert auf einem trainierten künstlichen neuronalen Netz mit gepulsten Neuronen. Es sind vordefinierte Bildelemente vorgesehen, welche mittels Merkmalen, welche den Bildelementen zugeordnet sind, charakterisiert sind. Für jedes Merkmal sind mehrere Neuronenschichten vorgesehen, welche jeweils die Existenz des jeweiligen Merkmals beschreiben. Jede Neuronenschicht wird gebildet von einer Spalte mehrerer gepulster künstlicher Neuronen. Innerhalb jeder Neuronenschicht sind die jeweils darin enthaltenen Neuronen vollständig miteinander verknüpft, wobei den Kopplungen Gewichte zugeordnet sind. Ferner ist ein Synchronisationselement vorgesehen, mit dem Zielmerkmalswerte des Zielobjekts, welches der Anordnung in einer Trainingsphase präsentiert wird und dessen Merkmale bekannt und gespeichert sind, kodiert werden. Im Rahmen des
Trainingsverfahrens erfolgt eine Anpassung der Gewichte und damit eine Synchronisation der Neuronen zwischen den dem Bildelement zugeordneten Neuronen und den Zielmerkmalswerten. Es erfolgt eine Synchronisation von Neuronenschichten, welche den Aufmerksamkeitsbereich innerhalb des Bildes bestimmen, mit dem Synchronisationselement .
In [10] , [11] und [12] sind unterschiedliche Lernverfahren zum Trainieren eines gepulsten künstlichen Neuronalen Netzes beschrieben.
Der Erfindung liegt das Problem zugrunde, ein gegenüber den bekannten Verfahren robusteres Verfahren zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten sowie eine entsprechende Bildsegmentierungs-Einrichtung anzugeben.
Das Problem wird durch die Bildsegmentierungs-Einrichtung sowie durch das Verfahren zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten mit den Merkmalen gemäß den unabhängigen Patentansprüchen gelöst .
Eine Bildsegmentierungs-Einrichtung zum Segmentieren eines Bildes, welches eine Vielzahl von Bildpunkten aufweist, denen jeweils eine Codierungsinformation zugeordnet ist, in eine Mehrzahl von Bildsegmenten weist eine Vielzahl von gepulsten künstlichen Neuronen auf, wobei jeweils ein gepulstes künstliches Neuron einem Bildpunkt zugeordnet ist.
Unter Codierungsinformation ist in diesem Zusammenhang eine einem oder mehreren Bildpunkten zugeordnete und diesen charakterisierende Information zu verstehen, beispielsweise ein dem oder den Bildpunkten zugeordneter Helligkeitswert (Lu inanzinformation) oder Farbwert (Chrominanzinformation) .
Die gepulsten künstlichen Neuronen können mehreren unterschiedlichen Bildpunkten zugeordnet sein. Alternativ ist es vorgesehen, dass mehrere Bildpunkte einem künstlichen Neuron zugeordnet ist. Vorzugsweise ist für genau einen Bildpunkt jeweils genau ein gepulstes künstliches Neuron vorgesehen und diesem zugeordnet .
Die gepulsten künstlichen Neuronen sind jeweils zumindest mit einem Teil benachbarter gepulster künstlicher Neuronen, vorzugsweise unmittelbar benachbarter gepulster künstlicher Neuronen, über jeweils eine gewichtete Kopplung gekoppelt.
Unter einer gewichteten Kopplung ist eine elektrische Kopplung zu verstehen, bei der ein über diese Kopplung geführtes elektrisches Signal, beispielsweise ein elektrischer Strom mit einem Gewichtswert, im Weiteren auch als Gewicht bezeichnet, multipliziert, allgemein verstärkt, wird.
Jedes gepulste künstliche Neuron ist derart eingerichtet, dass es ein von der Codierungsinformation, welche dem Bildpunkt, dem das gepulste künstliche Neuron zugeordnet ist, zugeordnet ist, abhängiges Neuronen-Pulssignal als das entsprechende Ausgangssignal des gepulsten künstlichen Neurons ausgegeben werden kann.
Ferner weist die Bildsegmentierungs-Einrichtung mindestens eine Gewichts-Veränderungseinrichtung auf, welche derart eingerichtet ist, dass sie abhängig von den Neuronen- Pulssignalen die Gewichte der Kopplungen derart verändern kann, dass gepulste künstliche Neuronen eines zu bildenden Bildsegments jeweils zunehmend zueinander synchron Neuronen- Pulssignale ausgeben.
Mittels einer ebenfalls in der Bildsegmentierungs-Einrichtung vorgesehenen Bildsegmentierungs -Einhei , welche derart eingerichtet ist, dass die Bildpunkte von diesen zugeordneten gepulsten künstlichen Neuronen gemeinsam zu einem Bildsegment segmentiert werden, die hinsichtlich eines vorgegebenen Kriteriums zueinander ausreichend synchrone Neuronen- Pulssignale ausgeben, werden die Bildpunkte entsprechend des Puls-Verhaltens der jeweiligen gepulsten künstlichen Neuronen, die den zu klassifizierenden Bildpunkten, d.h. zu segmentierenden Bildpunkten zugeordnet sind, zu Bildsegmenten segmentiert .
Bei einem Verfahren zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten, denen jeweils Codierungsinformation zugeordnet ist, in einem Mehrzahl von Bildsegmenten, wobei eine Vielzahl von gepulsten künstlichen Neuronen vorgesehen ist, wobei jeweils ein gepulstes künstliches Neuron einem Bildpunkt zugeordnet ist, und wobei die gepulsten künstlichen Neuronen jeweils zumindest mit einem Teil benachbarter gepulster künstlicher Neuronen über jeweils eine, vorzugsweise elektrisch leitfähige, Kopplung gekoppelt sind, wird von jedem gepulsten künstlichen Neuron ein von der Codierungsinformation, welche dem Bildpunkt, dem das gepulste künstliche Neuron zugeordnet ist, zugeordnet ist, abhängiges Neuronen-Pulssignal ausgegeben.
Abhängig von den Neuronen-Pulssignalen werden die den Kopplungen zugeordneten Gewichte derart verändert, dass gepulste künstliche Neuronen eines zu bildenden Bildsegments jeweils zunehmend zueinander synchron Neuronen-Pulssignale ausgeben. Es werden die Bildpunkte von diesen zugeordneten gepulsten künstlichen Neuronen gemeinsam zu einem Bildsegment segmentiert, die hinsichtlich eines vorgegebenen Kriteriums zueinander ausreichend synchrone Neuronen-Pulssignale ausgeben.
Unter einem vorgegebenen Kriterium ist beispielsweise ein beliebiges Schwellenwert -Kriterium, relativ oder absolut, zu verstehen, mit dem die Ähnlichkeit des Synchron-Verhaltens in der Ausgabe der Neuronen-Pulssignale von den jeweiligen gepulsten künstlichen Neuronen beschrieben wird.
Der Schwellenwert kann anwendungsabhängig beliebig vorgegeben werden.
Unter einem gepulsten künstlichen Neuron ist in diesem Zusammenhang ein grundsätzlich beliebiger Signalgenerator zur Pulserzeugung zu verstehen, welcher ein Ausgangssignal abhängig von über Eingänge des Signalgenerators zeitlich integrierte Eingangssignale bei Überschreiten des Integrationswertes ausgibt.
Ein Beispiel eines vorzugsweise eingesetzten gepulsten künstlichen Neurons ist ein so genanntes Integrations-und- Feuer-Neuron (Integrate-And-Fire-Neuron) wie es in [5] beschrieben ist .
Alternativ können auch die in [8] beschriebenen gepulsten
Neuronen mit den Multiplizierern an den jeweiligen Eingängen des gepulsten künstlichen Neurons eingesetzt werden.
Anschaulich kann die Erfindung darin gesehen werden, dass die Bildsegmentierung dadurch erfolgt, dass zusammengehörige
Bildbereiche lokal mittels Pulsmustern markiert werden, indem die den Bildsegmenten zugeordneten Signalgeneratoren, d.h. die den Bildsegmenten zugeordneten gepulsten künstlichen Neuronen, zur Pulserzeugung zeitlich synchron und periodisch Signalpulse ausgeben.
Dabei ist zunächst vorzugsweise jedem Pixel, d.h. jedem Bildpunkt, ein Pulsgenerator (Signalgenerator) zugeordnet, der Signalpulse mit konstanter Dauer und Amplituden einer von dem jeweiligen Bildpunkt zugeordneten Helligkeitswert, allgemein dem Bildpunkt zugeordneten Codierungsinformation, abhängigen Pulsfrequenz erzeugt.
Zusätzlich besteht zu den örtlich einander benachbarten Signalgeneratoren eine Kopplung in der Art, dass bei Absenden eines Signalpulses eines dem jeweiligen Signalgenerator benachbarten Signalgenerators in Abhängigkeit der Kopplungsstärke, d.h. den im Weiteren beschriebenen Kopplungsgewichten, die Pulsfrequenz erhöht wird.
Die lokale Kopplung der einzelnen Signalgeneratoren bewirkt, dass sich jeweils die Signalgeneratoren synchronisieren, d.h. im Gleichgewicht mit gleicher Pulsfrequenz Signalpulse abgeben, als zu dem gleichen Bildsegment gehörig klassifiziert werden. Signalgeneratoren, die mit unterschiedlicher Pulsfrequenz Signalpulse erzeugen, gehören zu unterschiedlichen Bildsegmenten, bzw. werden zu unterschiedlichen Bildsegmenten gruppiert, d.h. segmentiert.
In diesem Zusammenhang ist auf die erfindungsgemäße Einführung von adaptierbaren, d.h. veränderbaren Verbindungsgewichten zum Koppeln der gepulsten künstlichen Neuronen hinzuweisen, wobei die Adaption der Gewichte vorzugsweise ausschließlich durch lokal verfügbare Signale von einem gepulsten künstlichen Sender-Neuron und einem gepulsten künstlichen Empfänger-Neuron mit einem datengetriebenen Selbstorganisationsprozess realisiert wird.
Es hat sich herausgestellt, dass erfindungsgemäß insbesondere aufgrund der Adaption der Gewichte zwischen den gepulsten künstlichen Neuronen derart, dass gepulste künstliche Neuronen eines zu bildenden Bildsegments jeweils zunehmend zueinander synchron Neuronen-Pulssignale ausgeben, sehr gute und robuste Bildsegmentierungs-Ergebnisse erreicht werden.
Die erfindungsgemäße Einrichtung und das Verfahren dienen zur Extraktion eines Bildes, wobei die Extraktion selbstorganisierend erfolgt. Anders ausgedrückt bedeutet dies, dass erfindungsgemäß keine Lernphase mehr erforderlich ist, da die Synchronisation der gepulsten Neuronen zueinander erfolgt und nicht in Bezug beispielsweise auf ein Synchronisationselement.
Anschaulich wird erfindungsgemäß die Dynamik der gepulsten künstlichen Neuronen zur Extraktion von Bildobjekten eingesetzt. Dies bedeutet, dass in einem selbstorganisierenden Prozess die Neuronen, welche bezogen auf die Codierungsinformation einander ähnlichen Bildpunkten zugeordnet sind, zunehmend synchron feuern, so dass sie „aus sich heraus" ein Objekt bilden.
Damit stellt die erfindungsgemäße Vorgehensweise kein Training von Gewichten dar, sondern eine Adaption von Gewichten unmittelbar an den Inhalt des jeweils zugeführten Bildes.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus abhängigen Ansprüchen.
Die im Weiteren beschriebenen Ausgestaltungen der Erfindung betreffen die Bildsegmentierungs-Einrichtung und das Verfahren zum Segmentieren eines Bildes.
Gemäß einer Ausgestaltung der Erfindung ist die Bildsegmentierungs-Einrichtung als elektrische Schaltung, vorzugsweise als elektrische Analogschaltung ausgestaltet.
Durch Ausgestaltung der Bildsegmentierungs-Einrichtung als Analogschaltung ist eine Echtzeitsegmentierung eines Bildes ermöglicht . Alternativ kann die Erfindung in Software, d.h. in Form eines Computerprogramms, welches von einem Mikroprozessor durchgeführt wird, realisiert werden.
Gemäß einer anderen Ausgestaltung der Erfindung ist die
Gewichts-Veränderungseinrichtung derart eingerichtet, dass die Veränderung eines Gewichts gemäß folgender Vorschrift erfolgt, während ein erstes Neuron L der beiden mittels der Kopplung miteinander gekoppelten Neuronen sich in einem Signal-Sende-Zustand befindet und ein zweites Neuron K sich in einem Signal -Empfangs -Zustand befindet:
— L = -Y • WKL + μi • - Bθ)' 0 < B0 < Θ , dt wobei mit
• WKL das der Kopplung zwischen dem ersten Neuron L und dem zweiten Neuron K zugeordnete Gewicht,
• γ ein vorgegebener Relaxationsparameter,
• μ]_ ein vorgegebener zweiter Synchronisierparameter, • aL das Membranpotential des ersten Neurons L,
• ajς das Membranpotential des zweiten Neurons K, bezeichnet werden.
Gemäß einer anderen Ausgestaltung der Erfindung ist die Gewichts-Veränderungseinrichtung derart eingerichtet, dass die Veränderung eines Gewichts gemäß folgender Vorschrift erfolgt, während beiden mittels der Kopplung miteinander gekoppelten Neuronen, ein erstes Neuron L und ein zweites Neuron K sich in einem Signal-Empfangs-Zustand befinden:
— KL = -γ ■ L + μo • (aL - aκ) > dt wobei mit
• WKL das der Kopplung zwischen dem ersten Neuron L und dem zweiten Neuron K zugeordnete Gewicht,
• γ ein vorgegebener Relaxationsparameter,
• μg ein vorgegebener erster Synchronisierparameter,
• aj_, das Membranpotential des ersten Neurons L,
• aj< das Membranpoten ial des zweiten Neurons K, bezeichnet werden.
Für beide oben beschriebenen Ausgestaltungen kann es vorgesehen sein, dass die Gewichts-Veränderungseinrichtung oder die einzelnen Gewichts-Veränderungseinheiten derart eingerichtet ist/sind, dass die Veränderung des Gewichts in allen anderen Fällen, die oben jeweils nicht beschrieben sind, gemäß folgender Vorschrift erfolgt:
d — WKL = -Y ' WKL • dt
Es hat sich in Versuchen gezeigt, dass die oben beschriebenen Adaptionsvarianten zum Verändern bzw. zum Anpassen der Gewichte zwischen zwei jeweiligen gepulsten künstlichen Neuronen zu einer zusätzlichen Verbesserung des Segmentierungs-Ergebnisses führt .
Gemäß einer anderen Ausgestaltung der Erfindung ist es vorgesehen, dass jedem Bildpunkt genau ein gepulstes künstliches Neuron zugeordnet ist.
Diese Ausgestaltung der Erfindung zeichnet sich insbesondere durch ihre Einfachheit und somit durch ihre einfachere und kostengünstigere Realisierbarkeit aus.
Die Gewichts-Veränderungseinrichtung kann eine Vielzahl von Gewichts-Veränderungseinheiten aufweisen, wobei jeweils eine Gewichts-Veränderungseinheit pro Kopplung zwischen einem ersten gepulsten künstlichen Neuron und einem zweiten gepulsten künstlichen Neuron der Vielzahl gepulster künstlicher Neuronen vorgesehen und dieser zugeordnet ist.
Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt und werden im Weiteren näher erläutert.
Es zeigen
Figur 1 eine Skizze eines Ausschnitts von CMOS-Bildsensoren, den CMOS-Bildsensoren zugeordneten Bildpunkten und den Bildpunkten zugeordneten gepulsten künstlichen Neuronen gemäß einem Ausführungsbeispiel der Erfindung;
Figur 2 eine Darstellung der lokalen Vernetzungsstruktur zwischen den gepulsten künstlichen Neuronen gemäß einem Ausführungsbeispiel der Erfindung;
Figur 3 eine Skizze zweier miteinander gekoppelter gepulster künstlicher Neuronen, sowie der Funktionsblöcke eines adaptierbaren Multiplizierers, im Weiteren auch als Gewichts-Verstärker bezeichnet, und einer Gewichts- Veränderungseinheit gemäß einem Ausführungsbeispiel der Erfindung;
Figur 4 eine Prinzipskizze des Spannungsverlaufs des
Membranpotentials sowie des Ausgangs-Signals, d.h. des Neuronen-Pulssignals gemäß einem erfindungsgemäßen gepulsten künstlichen Neuron;
Figur 5 eine detailliertere Skizze der Funktionsblöcke aus Figur 3 gemäß einem ersten Ausführungsbeispiel der Erfindung;
Figur 6 eine detailliertere Skizze der Funktionsblöcke aus Figur 3 gemäß einem zweiten Ausführungsbeispiel der Erfindung;
Figur 7 eine elektrische Schaltung, welche die Soma der erfindungsgemäßen gepulsten künstlichen Neuronen beschreibt ;
Figur 8 eine elektrische Schaltung eines erfindungsgemäß verwendeten Schmit -Triggers ;
Figur 9 eine Skizze einer Realisierung des Gewichts- Verstärkers aus Figur 3 gemäß einem Ausführungsbeispiel der Erfindung; Figur 10 eine elektrische Schaltung einer Gewichts- Verstärkerschaltung gemäß Figur 9; und
Figur 11 eine elektrische Schaltung einer Gewichts- Veränderungseinheit .
Im Weiteren werden für gleiche oder ähnliche Komponenten in den Figuren identische Bezugszeichen verwendet.
Fig.l zeigt eine digitale Kamera 100 gemäß einem Ausführungsbeispiel der Erfindung.
Die Kamera 100 weist gemäß dem Ausführungsbeispiel der Erfindung 1024 * 768 CMOS-Bildsensoren 101, 102, 103, 104, 105, 106 auf, welche eingerichtet sind zum Detektieren von auf den CMOS-Bildsensor 101, 102, 103, 104, 105, 106 auftreffendem Licht und zum Ausgeben eines jeweiligen Helligkeits-Signals 107, 108, 109, 110, 111, 112, welches jeweils einen Wert aufweist, der abhängig ist von der jeweiligen Intensität des auf den Bildsensor 101, 102, 103,
104, 105, 106 treffenden Lichts.
Jeweils ein Helligkeits-Signal 107, 108, 109, 110, 111, 112 ist genau einem Bildpunkt 113, 114, 115, 116, 117, 118 zugeordnet, anders ausgedrückt, ein Bildpunkt 113, 114, 115,
116, 117, 118 ist genau einem Bildsensor 101, 102, 103, 104,
105, 106 zugeordnet.
Für jeden Bildpunkt 113, 114, 115, 116, 117, 118 ist jeweils genau ein im Weiteren näher erläutertes gepulstes künstliches Neuron 119, 120, 121, 122, 123, 124 vorgesehen und jeweils genau einem Bildpunkt zugeordnet und mit jeweils einem Ausgang des jeweiligen Bildsensors 101, 102, 103, 104, 105,
106, an dem das entsprechende Helligkeits-Signal 107, 108, 109, 110, 111, 112 bereitgestellt wird, gekoppelt.
Wie im Weiteren noch näher erläutert wird, wird das jeweilige Helligkeitswert-Signal 107, 108, 109, 110, 111, 112 dem jeweiligen gepulsten künstlichen Neuron 119, 120, 121, 122, 123, 124 als Eingangsignal über eine Eingangskopplung des jeweiligen gepulsten künstlichen Neurons 119, 120, 121, 122, 123, 124 zugeführt.
Das Verhalten der gepulsten künstlichen Neuronen 119, 120,
121, 122, 123, 124 sowie die erfindungsgemäße Veränderung der Gewichte, die den Kopplungen 125, 126, 127, 128, 129, 130, 131 zugeordnet sind, werden im Weiteren näher erläutert.
Die jeweils unmittelbar aneinander benachbarten gepulsten künstlichen Neuronen sind miteinander über bidirektionale Signal-Kopplungen, d.h. entweder eine bidirektionale Kopplung oder zwei nebeneinander angeordnete Kopplungen, d.h. elektrisch leitfähige Strukturen, 125, 126, 127, 128, 129, 130, 131 gekoppelt, so dass ein Signalaustausch lokal von einem ersten gepulsten künstlichen Neuron zu einem unmittelbar zu diesem benachbart angeordneten zweiten gepulsten künstlichen Neuron möglich ist.
Gemäß diesem Ausführungsbeispiel der Erfindung sind jeweils die unmittelbar einander benachbarten gepulsten künstlichen Neuronen in einer Zeile bzw. in einer Spalte miteinander gekoppel .
Alternativ ist es ohne Weiteres möglich, auch Diagonal-
Kopplungen zwischen zwei in unterschiedlichen Spalten und Zeilen angeordneten gepulsten künstlichen Neuronen vorzusehen.
Ferner ist eine Bildsegmentierungs-Einheit (nicht dargestellt) vorgesehen. Der erste Ausgang und optional zusätzlich der zweite Ausgang jedes gepulsten künstlichen Neurons 119, 120, 121, 122, 123, 124 ist mit einem Eingang der Bildsegmentierungs-Einheit gekoppelt, so dass alle Neuronen-Pulssignale der Bildsegmentierungs-Einheit zugeführt werden.
Die Bildsegmentierungs-Einheit empfängt und analysiert die Neuronen-Pulssignale hinsichtlich ihres Zeitverhaltens, d.h. hinsichtlich der Frequenz, mit der das jeweilige Neuronen- Pulssignal ausgesendet wird und/oder hinsichtlich der Zeitdauer des Neuronen-Pulssignals .
Die Bildsegmentierungs-Einheit gruppiert die Bildpunkte abhängig von dem Zeitverhalten der diesen zugeordneten Neuronen-Pulssignale zu Bildsegmenten, wobei Bildpunkte, deren gepulste künstliche Neuronen 119, 120, 121, 122, 123, 124 ein zueinander ausreichend ähnliches Sendeverhalten (Feuerverhalten) , anschaulich ein ausreichend ähnliches Zeitverhalten, aufweisen, zu jeweils einem Bildsegment gruppiert werden.
Das Ähnlichkeitskriterium, abhängig von dem die Bildsegmentierungs-Einheit die gepulsten künstlichen Neuronen 119, 120, 121, 122, 123, 124 und damit die Bildpunkte gruppiert, d.h. segmentiert, ist anwendungsabhängig.
Dies bedeutet, dass der Toleranzbereich um ein exakt synchrones Zeitverhalten der zu einem Segment gruppierten gepulsten künstlichen Neuronen 119, 120, 121, 122, 123, 124 anwendungsabhängig zu wählen ist .
Fig.2 zeigt zur Veranschaulichung noch einmal die Verbindungsstruktur 200 der miteinander gekoppelten gepulsten künstlichen Neuronen 119, 120, 122, 123 aus Fig.l.
Die gepulsten künstlichen Neuronen 119, 120, 121, 123 sind über zwei elektrische Leitungen als bidirektionale Kopplungen 125, 127, 129, 130 miteinander gekoppelt, wobei jeder Kopplung 125, 127, 129, 130 jeweils ein Gewichtswert zugeordnet ist, mit dem ein über die jeweilige Kopplung 125, 127, 129, 130 geführtes elektrisches Signal multipliziert wird, bevor es dem Eingang des das elektrische Signal empfangenden gepulsten künstlichen Neurons 119, 120, 122, 123 zugeführt wird.
Anders ausgedrückt bedeutet dies, dass für den Fall, dass ein erstes gepulstes künstliches Neuron als Sender-Neuron fungiert und somit ein elektrisches Signal aussendet, dieses ausgesendete Signal über eine elektrische Leitung als Kopplung zu einem als Empfänger-Neuron fungierendes zweites gepulstes künstliches Neuron geführt wird, wobei das elektrische Signal mit dem der Kopplung jeweils zugeordneten Gewichtswert multipliziert wird.
Ferner ist in Fig.2 die jeweilige Kopplung zu dem entsprechenden Ausgang des dem gepulsten künstlichen Neuron 119, 120, 122, 123 jeweils zugeordneten Bildsensor 101, 102, 104, 105 dargestellt, welcher Bildsensor 101, 102, 104, 105 einen entsprechenden Helligkeitswert in Form eines elektrischen Stroms dem jeweiligen gepulsten künstlichen Neuron 119, 120, 122, 123 zuführt.
Fig.3 zeigt einen Ausschnitt 132 aus Fig.l mit einem ersten gepulsten künstlichen Neuron 119 und einem zweiten gepulsten künstlichen Neuron 120, welche über eine elektrische Kopplung 125 miteinander gekoppelt sind, wobei in der elektrischen Kopplung 125 ein Gewichts-Verstärker 301 vorgesehen ist, dessen Struktur im Weiteren näher erläutert wird.
Das von dem ersten gepulsten künstlichen Neuron 119 gelieferte Neuronen-Pulssignal 302 als Ausgangssignal des ersten gepulsten künstlichen Neurons 119 wird somit dem Gewichts-Verstärker 301 zugeführt, dort mit dem der elektrischen Kopplung 125 zugeordneten Gewichtswert W^ multipliziert und als gewichtetes Neuronen-Pulssignal 303 an einen Eingang 315 des zweiten gepulsten künstlichen Neurons 120 geführt.
Ferner ist sowohl das erste gepulste künstliche Neuron 119 als auch das zweite gepulste künstliche Neuron 120 gemäß diesem Ausführungsbeispiel der Erfindung mit einer Gewichts- Veränderungseinheit 304 gekoppelt.
Über den ersten Ausgang 305 des ersten gepulsten künstlichen Neurons 119 wird das Neuronen-Pulssignal 302 ausgegeben und über einen zweiten Ausgang 306 des ersten gepulsten künstlichen Neurons 119 wird dessen aktueller Wert des Membranpotentials 307 einem ersten Eingang 308 der Gewichts- Veränderungseinheit 304 zugeführt. Der erste Ausgang 305 ist ferner mit einem dritten Eingang 316 der Gewichts- Veränderungseinheit 304 gekoppelt, so dass das Neuronen- Pulssignal des ersten gepulsten künstlichen Neurons 119 der Gewichts-Veränderungseinheit 304 zuführbar ist.
In entsprechender Weise wird über einen ersten Ausgang 309 des zweiten gepulsten künstlichen Neurons 120 gegebenenfalls das Neuronen-Pulssignal 310 des zweiten gepulsten künstlichen Neurons 120 ausgegeben und über einen zweiten Ausgang 311 der Wert des Membranpotentials 312 des zweiten gepulsten künstlichen Neurons 120, welcher einem zweiten Eingang 314 der Gewichts-Veränderungseinheit 304 zugeführt wird. Der erste Ausgang 309 ist ferner mit einem vierten Eingang 317 der Gewichts-Veränderungseinheit 304 gekoppelt, so dass das Neuronen-Pulssignal des zweiten gepulsten künstlichen Neurons 120 der Gewichts-Veränderungseinheit 304 zuführbar ist.
Ziel dieser Schaltung ist, dass für ähnliche Ströme Ifeed' d.h. für einander ähnliche Helligkeits-Signale sich die Neuronen-Pulssignale an den jeweiligen ersten Ausgängen 306, 309 der gepulsten künstlichen Neuronen aufeinander synchronisieren, d.h. dass im Wesentlichen zu gleichen oder sehr ähnlichen Zeitpunkten ein Neuronen-Pulssignal von den jeweiligen gepulsten künstlichen Neuronen 119, 120 ausgegeben wird.
Das Gewicht WKL einer Kopplung ist variabel und wird mittels der jeweiligen Gewichts-Veränderungseinheit 304 über ein Gewichtsveränderungs-Signal 313 verändert.
Wie im Weiteren noch näher erläutert wird, ist die Änderung des Gewichts WKL von den elektrischen Spannungen U und UK an den Kapazitäten der jeweils benachbarten Soma, d.h. der jeweils benachbarten gepulsten künstlichen Neuronen 119, 120 abhängig . In Fig.4 ist in einem Diagramm 400 das Schaltverhalten eines gepulsten künstlichen Neurons 119, 120, 121, 122, 123, 124 gemäß diesem Ausführungsbeispiel der Erfindung dargestellt .
Gemäß diesem Ausführungsbeispiel wird ein Integrations-und- Feuer-Neuron jeweils als gepulstes künstliches Neuron 119, 120, 121, 122, 123, 124 eingesetzt, welches ein Membranpotential aufweist, welches, modelliert mittels eines Kondensators, eine kontinuierlich wachsende Kondensatorspannung U aufweist solange, bis ein erster
Schwellenwert 0 i zu einem ersten Schaltzeitpunkt ti erreicht ist .
Ist der erste Schwellenwert 9_ erreicht, so wird für eine Impulsdauer von (t2 - ]_) bis zu einem zweiten Zeitpunkt t2 ein Neuronen-Pulssignal 401 ausgesendet, womit das elektrische Potential an dem Kondensator auf einen zweiten Schwellenwert &2 zurückgeführt wird.
Ab dem zweiten Zeitpunkt t2, zu dem das Kondensatorpotential, welches dem Membranpotential des gepulsten künstlichen Neurons entspricht, auf den zweiten Schwellenwert &2 gefallen ist, erfolgt eine erneute Integration der an den Eingängen des jeweiligen gepulsten künstlichen Neurons anliegenden Eingangssignale.
Das entsprechende im Zusammenhang mit Fig.4 beschriebene Verhalten wird kontinuierlich und dauerhaft wiederholt.
Der in Fig.4 symbolhaft dargestellte Verlauf des
Membranpotentials ist in der Praxis üblicherweise nicht linear ansteigend, sondern hängt von den an den Eingängen des jeweiligen gepulsten künstlichen Neurons anliegenden elektrischen Signale, ab, ist in der Regel jedoch eine monoton steigende Funktion.
Alternativ kann ein Relaxationsfaktor vorgesehen sein, mittels dem über eine längere Zeitdauer das Membranpotential des jeweiligen gepulsten künstlichen Neurons mit einem Relaxationsfaktor Reduziert wird.
Fig.5 zeigt in einem ersten Blockschaltbild 500 eine Realisierung der Gewichts-Veränderungseinheit 304 aus Fig .3 gemäß einem ersten Ausführungsbeispiel der Erfindung.
Gemäß diesem Ausführungsbeispiel der Erfindung integriert das jeweilige gepulste künstliche Neuron 119, 120 eingangsseitig den so genannten synaptischen Strom zu einem Membranpotential aj bzw. a auf.
Sobald das Membranpotential a^t einen vorgegebenen ersten Schwellenwert 0 ]_ erreicht, sendet das jeweilige gepulste künstliche Neuron 119, 120 ein Neuronen-Pulssignal definierter Länge aus.
Anschließend, nachdem wie oben beschrieben das Neuronen- Pulssignal 401 abgesendet wurde, wird das Membranpotential a[, aL auf einen Ruhepotentialwert abgesenkt und die Integration beginnt von Neuem.
Der synaptische Strom setzt sich additiv zusammen aus dem gewichteten lokalen Grauwertsignal, d.h. dem Helligkeits- Signal und den mit den Kopplungen gewichteten Neuronen- Pulssignalen der unmittelbar benachbarten gepulsten künstlichen Neuronen.
Die Veränderung eines Gewichts W L wird durch ein Gewichts - Veränderungssignal 313 bewirkt, welches von der Gewichts- Veränderungseinheit 304 ausgegeben wird und dem Gewichts- Verstärker 301 und welches die zeitliche Änderung des Gewichts WKL beschreibt.
Das Gewichts-Veränderungssignal eines lokalen Gewichtes KL hängt ausschließlich von den lokalen Signalen zur Repräsentation der Membranpotentiale a < aL von dem jeweiligen Sender-Neuron, anders ausgedrückt von dem jeweiligen gepulsten künstlichen Neuron, welches ein Neuronen-Pulssignal aussendet, und dem Empfänger-Neuron, d.h. dem das jeweilige Neuronen-Pulssignal empfangenden gepulsten künstlichen Neuron und dem Signal -Sende- Zustand bzw. Signal- Empfangs- Zustand von dem Sender-Neuron und dem Empfänger- Neuron ab .
Gemäß der in Fig.5 dargestellten Variante zur Veränderung des Gewichtswerts L erfolgt eine Adaption, d.h. eine Veränderung des Gewichtswerts W L fur den Fall, dass das erste gepulste künstliche Neuron 119 mit dem Index L ein
Neuronen-Pulssignal sendet und das zweite gepulste künstliche Neuron 120 mit dem Index K das Neuronen-Pulssignal empfängt gemäß folgender Vorschrift :
— WKL = -γ • WKL + μι • (aκ - B0), 0 < B0 < Θ , dt wobei mit
• WKL das der Kopplung zwischen dem ersten Neuron L und dem zweiten Neuron K zugeordnete Gewicht, • γ ein vorgegebener Relaxationsparameter,
• μ± ein vorgegebener zweiter Synchronisierparameter,
• a das Membranpotential des ersten Neurons L,
• aj( das Membranpotential des zweiten Neurons K, bezeichnet werden.
Zu allen anderen Zeitpunkten, d.h. zu den Zeitpunkten, in denen das erste gepulste künstliche Neuron 119 sich nicht in einem Signal-Sende-Zustand befindet und/oder das zweite gepulste künstliche Neuron 120 sich nicht in einem Signal- Empfangs-Zustand befindet, erfolgt die Veränderung des Gewichts WKL gemäß folgender Vorschrift:
d
— WKL = -γ • WKL • dt Anschaulich kann diese Vorgehensweise zur Veränderung des
Gewichts WKL derart beschrieben werden, dass der Gewichtswert WKL abhängig von dem Membranpotential aj( des das Neuronen- Pulssignal empfangenden gepulsten künstlichen Neurons 120 (gemäß Fig.5 das zweite gepulste künstliche Neuron 120) verhindert wird abhängig davon, wie weit das Membranpotential a von dem ersten Schwellenwert, d.h. der Schaltschwelle des zweiten gepulsten künstlichen Neurons 120 entfernt ist.
Gemäß diesem Ausführungsbeispiel wird somit für das
Empfänger-Neuron ein erster Offset-Wert, vorzugsweise der halbe Wert des ersten Schwellenwertes θ]_ , d.h. —— , von dem
2 aktuellen Membranpotential aK abgezogen und die Differenz wird mit dem vorgegebenen zweiten Synchronisierparameter μi multipliziert und das Produkt wird zu einem negativen
Relaxationsparameter -γ multiplizierten Gewicht W L addiert, wobei gemäß diesem Ausführungsbeispiel für den ersten
Schwellenwert θ]_ ein Wert von 1 Volt und für den
Relaxationsparameter γ ein Wert von 0,1 ± (0,1 bis 0,2) x 0,1 verwendet wird.
Diese Vorgehensweise entspricht anschaulich einer Mitkopplung des Neuronen-Pulssignals, welches von dem ersten gepulsten künstlichen Neuron 119 ausgegeben wird abhängig von dem tatsächlichen Membranpotential a des zweiten gepulsten künstlichen Neurons 120.
Die in dem Blockschaltbild 500 dargestellten gepulsten künstlichen Neuronen 119, 120 sind wie in [5] beschrieben aufgebaut.
Die in dem Blockschaltbild 500 dargestellte VLSI -Schaltung weist ferner einen Summationsknoten 501 auf, mittels dem die gewichteten Neuronen-Pulssignale anderer gepulster künstlicher Neuronen 502, kontinuierliche ungepulste Signale 503 und ein zweites Offsetsignal B]_, welches dem Helligkeits- Signal des dem zweiten gepulsten künstlichen Neuron 120 zugeordneten Bildsensors 102 entspricht und einen zeitlich konstanten Signalpegel aufweist, aufsummiert und als synaptischer Strom 504 zu dem zweiten gepulsten künstlichen Neuron 120, welches im Weiteren als Empfänger-Neuron 120 bezeichnet wird, weitergeleitet. Während der Empfangsphase der Integrier-und-Feuer-Neuronen wird jeweils der eingehende synaptische Strom 504 zu dem jeweiligen Membranpotential aK zeitlich aufintegriert .
Überschreitet das Membranpotential aK den vorgegebenen ersten Schwellenwert θ ]_ , so wird, wie oben beschrieben, für eine vorgegebene Zeitdauer ein Neuronen-Pulssignal mit konstantem Signalpegel ausgesendet.
Anschließend wird das Membranpotential auf den Signalpegel „0" zurückgesetzt und die Integration wird von Neuem begonnen.
Während des Zeitintervalls, in dem das Neuronen-Pulssignal ausgesendet wird, wird die Signalintegration des
Eingangssignals für das jeweilige gepulste künstliche Neuron 119, 120 unterbrochen.
Der erste Ausgang 306 des ersten gepulsten künstlichen Neurons 119, welches im Weiteren als Sender-Neuron 119 bezeichnet wird, ist mit einem ersten Eingang 505 eines Decoders 506 gekoppelt, dessen zweiter Eingang 507 mit dem ersten Ausgang 309 des Empfänger-Neurons 120 gekoppelt ist.
In dem Decoder 506 wird das Neuronen-Pulssignal XL von dem Sender-Neuron 119 logisch UND verknüpft mit dem negierten Neuronen-Pulssignal X 320, welches an dem ersten Ausgang 309 des Empfängerneurons 120 anliegt.
Das durch die UND-Verknüpfung gebildete Signal wird an einem Ausgang 508 des Decoders 506 bereitgestellt und dient als Steuersignal für einen Schalter 509.
Das Membranpotential a des Empfänger-Neurons 120 wird über den zweiten Ausgang 311 des Empfänger-Neurons 120 einem ersten Eingang 510 eines ersten Addierers 511 zugeführt, an dessen zweiten Eingang 512 das erste Offset-Signal Bg in negierter Form zugeführt wird. Die somit von dem ersten Addierer 511 gebildete Differenz wird als Differenzsignal 513 einem Eingang 514 eines ersten Multiplizierers 515 zugeführt, mittels dem das Differenzsignal 513 mit dem ersten Synchronisierparameter μi multipliziert wird, und das Produkt 516 wird an den Eingang des Schalters 509, welcher über einen Steuereingang von dem Ausgangssignal des Decoders 506 gesteuert wird, anliegt.
Ist der Schalter 509 geschlossen, was für den Fall erfolgt, dass das Sender-Neuron 119 ein Neuronen-Pulssignal L abgibt und sich damit in einem Signal -Sende-Zustand befindet und das Empfänger-Neuron 120 kein Neuronen-Pulssignal XK abgibt und sich somit in einem Signal-Empfangs-Zustand befindet, so wird das Produkt-Signal 516 einem ersten Eingang 517 eines zweiten Addierers 518 zugeführt, an dessen zweiten Eingang 519 ein Rückkoppelwert 520 anliegt, der gebildet wird aus einem mit dem negativen Wert des Relaxationsparameters γ in einem Relaxations-Multiplizierer 521 multiplizierten Gewichtswert
WKL-
Das von dem zweiten Addierter gebildete Summensignal 522 wird einem Integrator 523 zugeführt und mittels diesem zeitlich integriert .
Das Ausgangssignal des Integrators 523 entspricht dem Gewicht WKL' welches dem der Kopplung 125 zwischen dem Sender-Neuron 119 und Empfänger-Neuron 120 vorgesehen ist.
Der Gewichtswert WKL wird als Gewichtsveränderungs-Signal 313 dem Multiplizierer 301, d.h. dem Gewichts-Verstärker 301 zugeführt .
Es ist anzumerken, dass gemäß diesem Ausführungsbeispiel die Realisierung für eine Strom-Addition ausgelegt ist.
Alternativ ist eine Potential-Addition zur Bildung des synaptischen Stroms 504 vorgesehen, in welchem Fall der Additionsknoten 501 durch eine entsprechend angepasste elektrische Schaltung zu ersetzen wäre. Der Gewichts-Verstärker 301 ist gemäß diesem
Ausführungsbeispiel als Pulse Synaptic Multiplier, wie in [6] beschrieben, ausgestaltet.
Fig.6 zeigt in einem zweiten Blockschaltbild 600 eine alternative Ausführungsform der Gewichts-Veränderungseinheit 304.
Gemäß dieser Ausgestaltung der Erfindung erfolgt die
Veränderung des Gewichts WKL in dem Zeitraum, in dem sich das Sender-Neuron 119 in einem Signal-Empfangs-Zustand befindet und auch das Empfänger-Neuron 120 sich in einem Signal- Empfangs-Zustand befindet, d.h. anders ausgedrückt in einem Zeitraum, in dem keines der beiden gepulsten künstlichen
Neuronen 119, 120 ein Neuronen-Pulssignal aussendet, gemäß folgender Vorschrift verändert:
dt KL = ~Y • WKL + μo • (aL - aκ) .
wobei mit
• WKL das der Kopplung zwischen dem ersten Neuron L und dem zweiten Neuron K zugeordnete Gewicht,
• γ ein vorgegebener Relaxationsparameter, • μg ein vorgegebener erster Synchronisierparameter,
• a das Membranpotential des ersten Neurons L,
• a das Membranpotential des zweiten Neurons K, bezeichnet werden.
In allen anderen Szenarien, d.h. für den Fall, dass sich das Sender-Neuron 119 und/oder das Empfänger-Neuron 120 in einem Signal-Sende-Zustand befindet/befinden, d.h. ein Neuronen- Pulssignal aussendet, so erfolgt die Veränderung des Gewichts WKL gemäß folgender Vorschrift: d wKL = -γ ■ wK • dt
Anschaulich entspricht diese Vorgehensweise dem Heranführen, d.h. dem Annähern der beiden Membranpotentiale aK und aL • Die Schaltung 600 gemäß diesem Ausführungsbeispiel der Erfindung unterscheidet sich von der in Fig.5 beschriebenen Schaltung 500 insbesondere dadurch, dass der zweite Ausgang 311 des Empfänger-Neurons 120 mit einem Eingang 602 eines Inverters 601 gekoppelt ist, dessen Ausgang 603 mit einem ersten Eingang 604 eines ersten Addierers 605 gekoppelt ist, dessen zweiter Eingang 606 mit dem zweiten Ausgang 607 des Sender-Neurons 119 gekoppelt ist.
Der Ausgang 608 des ersten Addierers 605 ist mit einem Eingang 609 eines ersten Multiplizierers 610 gekoppelt, mittels dem die Differenz aus dem Membranpotential aL des Sender-Neurons 119 und dem Membranpotential aK des Empfänger- Neurons 120 mit dem ersten Synchronisierparameter μg 610 multipliziert wird und als Produkt-Signal 611 an einen Eingang 612 Schalters 509 zugeführt wird.
Ferner unterscheidet sich die Schaltung 600 gemäß dem zweiten Ausführungsbeispiel von der Schaltung 500 gemäß dem ersten Ausführungsbeispiel darin, dass der Decoder 613 derart eingerichtet ist, dass er aus dem Neuronen-Pulssignal X , welches an dem ersten Eingang 614 des Decoders 613 in negierter Form anliegt unter logischer UND-Verknüpfung mit dem negierten Wert des Ausgangssignals XK des Empfänger- Neurons 120, welches an den zweiten Eingang 615 des Decoders 613 anliegt, das Ausgangssignal, welches an dem Ausgang 616 des Decoders 613 anliegt, bereitstellt.
Die restlichen Komponenten der Schaltung 600 entsprechen in ihrem Aufbau und ihrer Verschaltung der Schaltung 500 gemäß dem ersten Ausführungsbeispiel, wie sie in Fig.5 dargestellt ist .
Fig.7 zeigt eine elektrische Schaltung 700, welche gemäß diesem Ausführungsbeispiel der Erfindung das gepulste künstliche Neuron 119, 120, 121, 122, 123, 124 bildet. Die elektrische Schaltung weist einen ersten PMOS- Feldeffekttransistor 701 auf, dessen erster Source-/Drain- Anschluss 702 zum Einen mit dem jeweiligen Ausgang des Bildsensors gekoppelt ist und zum Anderen mit der jeweiligen Kopplung mit den benachbarten gepulsten künstlichen Neuronen
Ein zweiter Source-/Drain-Anschluss 703 des ersten PMOS- Feldeffekttransistors 701 ist mit einem ersten Source-/Drain- Anschluss 704 eines ersten NMOS-Feldeffekttransistors 705 gekoppelt, dessen zweiter Source-/Drain-Anschluss 706 mit einem ersten Source-/Drain-Anschluss 707 eines zweiten NMOS- Feldeffekttransistors 708 gekoppelt, dessen zweiter Source- /Drain-Anschluss 709 mit dem Massepotential 710 gekoppelt ist .
Der Source-/Drain-Anschluss 703 des ersten PMOS- Feldeffekttransistors 701 ist ferner mit einem als Kondensator arbeitenden Transistor 712 gekoppelt, dessen weiteren Anschlüsse 713 mit dem Massepotential 714 gekoppelt sind.
Der zweite Source-/Drain-Anschluss 703 des ersten PMOS- Feldeffekttransistors 701 ist ferner mit einem Eingang 715 eines Schmitt-Triggers 716, dessen Struktur im Weiteren noch näher erläutert wird, gekoppelt, dessen Ausgang 717 mit dem Ausgang des gepulsten künstlichen Neurons gekoppelt ist.
Der Ausgang 717 des Schmitt -Triggers 716 ist ferner rückgekoppelt zu dem Gate-Anschluss 718 des ersten PMOS- Feldeffekttransistors 701 und mit dem Gate-Anschluss 719 des ersten NMOS-Feldeffekttransistors 705.
Der erste PMOS-Feldeffekttransistor 701 der der erste NMOS- Feldeffekttransistor 705 dienen als Schalter.
Wenn an dem Ausgang 717 des Schmitt-Triggers 716 ein Signalimpuls auftritt, so unterbricht der erste PMOS- Feldeffekttransistor 701 den Stromfluss, der über die elektrische Kopplung 303 bzw. von dem Bildsensor 102 bereitgestellt wird.
Gleichzeitig schaltet der erste NMOS-Feldeffekttransistor 705 den über die von dem zweiten NMOS-Feldeffekttransistor 708 als Konstantstromquelle bereitgestellten Strom, der den als Kondensator arbeitenden Transistor 712 entlädt, ein.
Dem Eingang 715 des Schmitt -Triggers 716 wird die über den als Kondensator arbeitenden Transistor 712 liegende elektrische Spannung zugeführt .
Fig .8 zeigt die Struktur des Schmitt-Triggers 716 im Detail.
Der Eingang 715 ist mit dem Gate-Anschluss 801 eines dritten NMOS-Feldeffekttransistors 802 gekoppelt, dessen erster Source-/Drain-Anschluss 803 mit einem ersten Source-/Drain- Anschluss 804 eines vierten NMOS-Feldeffekttransistors 805 gekoppelt ist, dessen zweiter Source-/Drain-Anschluss 806 mit dem Massepotential 710 gekoppelt ist.
Ein zweiter Source-/Drain-Anschluss 807 des dritten NMOS- Feldeffekttransistors 802 ist mit einem ersten Source-/Drain- Anschluss 808 eines zweiten PMOS-Feldeffekttransistors 809 gekoppelt, dessen zweiter Source-/Drain-Anschluss 810 mit einem ersten Source-/Drain-Anschluss 811 eines dritten PMOS- Feldeffekttransistors 812 gekoppelt ist.
Ferner sind die Gate-Anschlüsse 813 des zweiten PMOS- Feldeffekttransistors 809 und der Gate-Anschluss 814 des dritten PMOS-Feldeffekttransistors 812 sowie ein zweiter Source-/Drain-Anschluss 815 des dritten PMOS- Feldeffekttransistors 812 miteinander gekoppelt.
Ferner sind der zweite Source-/Drain-Anschluss 810 des zweiten PMOS-Feldeffekttransistors 809 und der erste Source- /Drain-Anschluss 811 des dritten PMOS-Feldeffekttransistors 812 mit einem ersten Source-/Drain-Anschluss 816 eines vierten PMOS-Feldeffekttransistors 817 sowie mit der Betriebsspannung 818 gekoppelt.
Der Gate-Anschluss 818 des vierten PMOS-Feldeffekttransistors 817 ist mit dem ersten Source-/Drain-Anschluss 808 des zweiten PMOS-Feldeffekttransistors 809 sowie mit dem zweiten Source-/Drain-Anschluss 807 des dritten NMOS- Feldeffekttransistors 802 gekoppelt.
Ein zweiter Source-/Drain-Anschluss 819 des vierten PMOS- Feldeffekttransistors 817 ist zum Einen mit einem ersten Source-/Drain-Anschluss 820 eines fünften NMOS- Feldeffekttransistor 821 gekoppelt, dessen zweiter Source- /Drain-Anschluss 822 mit dem Massepotential 710 gekoppelt ist.
Ferner ist der zweite Source-/Drain-Anschluss 819 des vierten PMOS-Feldeffekttransistors 817 mit dem Gate-Anschluss 823 eines fünften PMOS-Feldeffekttransistors 824 gekoppelt, dessen erster Source-/Drain-Anschluss 825 mit einem ersten Anschluss 826 gekoppelt ist.
Ein zweiter Source-/Drain-Anschluss 827 des fünften PMOS- Feldeffekttransistors 824 ist ferner mit einem ersten Source- /Drain-Anschluss 828 eines sechsten NMOS- Feldeffekttransistors 829 gekoppelt, dessen zweiter Source- /Drain-Anschluss 830 mit einem zweiten Anschluss 831 gekoppelt ist und dessen Gate-Anschluss 832 mit einem dritten Anschluss 833 gekoppelt ist.
Ferner sind der zweite Source-/Drain-Anschluss 827 des fünften PMOS-Feldeffekttransistors 824 und der erste Source- /Drain-Anschluss 828 des sechsten NMOS-Feldeffekttransistors 829 mit dem Gate-Anschluss 834 eines siebten NMOS- Feldeffekttransistors 835 gekoppelt, dessen erster Source- /Drain-Anschluss 836 mit dem ersten Source-/Drain-Anschluss 803 des dritten NMOS-Feldeffekttransistor 802 und mit dem ersten Source-/Drain-Anschluss 804 des vierten NMOS- Feldeffekttransistors 805 gekoppelt ist. Der zweite Source-/Drain-Anschluss 837 des siebten NMOS- Feldeffekttransistors 835 ist ferner mit dem zweiten Source- /Drain-Anschluss 815 des dritten PMOS-Feldeffekttransistors 812 gekoppelt.
Anschaulich weist somit der Schmitt-Trigger 716 einen Differenzverstärker 838 sowie einen ersten Inverter 839 und einen zweiten Inverter 840 auf.
Der Differenzverstärker 838, der gemeinsam mit dem nachfolgenden ersten Inverter 839 als so genannter OTA (Operational Transconductance Amplifier) arbeitet, vergleicht die an dem Eingang 715 des Schmitt-Triggers 716 anliegende Spannung \JQ des als Kondensator arbeitenden Transistors 712 mit den Schwellenwerten $ι und $2' welcher an dem ersten Anschluss 826 und dem zweiten Anschluss 831 anliegen.
Die Schwellenwerte $ι und $2 werden somit unter Verwendung des zweiten Inverters 840 festgelegt.
Durch die Rückkopplung des zweiten Inverters 840 auf den positiven Eingang des Differenzverstärkers 838 arbeitet die oben beschriebene Schaltung als Schmitt -Trigger 716.
Fig.9 zeigt ein Blockdiagramm des Gewichts-Verstärkers 301.
Als eigentliches Gewichts-Speicherelement dient ein Kondensator 901 der Kapazität C^.
Die Änderung des Gewichts WKL erfolgt über den von der Gewichts-Veränderungseinheit 304 bereitgestellten Strom aus Iw , der als Gewichts-Veränderungssignal 313 bereitgestellt wird.
Die an dem Kondensator 901 anliegende Spannung wird mittels eines Spannungs-/Stromwandlers 902 in einen elektrischen Strom 903 umgewandelt und für den Fall, dass ein an dem Ausgang 904 des Spannungs-/Stromwandlers 902 angeschlossener Schalter 905 geschlossen ist, d.h. für den Fall, dass an einem vierten Anschluss 906 ein High-Pegel anliegt, auf die Kopplung als Neuronen-Pulssignal 303 durchgeschaltet.
Fig.10 zeigt eine Schaltung 1000, welche den Gewichtsverstärker 301 realisiert.
Mit dem Betriebspotential 818 ist ein erster Source-/Drain- Anschluss 1001 eines sechsten PMOS-Feldeffekttransistors 1001A gekoppelt, dessen Gate-Anschluss 1002 mit einem fünften Anschluss 1003 gekoppelt ist und darüber mit dem Gate- Anschluss 841 des vierten NMOS-Transistors 805 in Fig.8.
Ein zweiter Source-/Drain-Anschluss 1004 des sechsten PMOS- Feldeffekttransistors 1001A ist mit dem Gate-Anschluss 1005 eines siebten PMOS-Feldeffekttransistors 1006 gekoppelt, dessen erster Source-/Drain-Anschluss 1007 mit dem ersten
Source-/Drain-Anschluss 1001 des sechsten PMOS-Transistor
1002 gekoppelt ist.
Der sechste PMOS-Feldeffekttransistor 1001A bildet anschaulich den zweiten Multiplizierer 521.
Ein zweiter Source-/Drain-Anschluss 1008 des siebten PMOS- Feldeffekttransistors 1006 ist mit einem ersten Source- /Drain-Anschluss 1009 eines achten PMOS-Transistors 1010 gekoppelt, dessen Gate-Anschluss mit einem sechsten Anschluss 1011 gekoppelt ist.
Ein zweiter Source-/Drain-Anschluss 1012 des achten PMOS- Transistors 1010 ist mit einem zweiten Betriebspotential 1013 gekoppelt .
Ferner ist der Gate-Anschluss 1005 des siebten PMOS- Transistors 1006 mit einem siebten Anschluss 1014 gekoppelt, sowie mit einem ersten Source-/Drain-Anschluss 1015 eines neunten PMOS-Feldeffekttransistors 1016. Ein zweiter Source-/Drain-Anschluss 1017 des neunten PMOS- Feldeffekttransistors 1016 ist mit dessen Gate-Anschluss 1018 sowie mit einem dritten Betriebspotential 1019 gekoppelt.
Weiterhin ist der zweite Source-/Drain-Anschluss 1008 des siebten PMOS-Transistors 1006 mit einem ersten Source-/Drain- Anschluss 1020 eines zehnten PMOS-Feldeffekttransistors 1021 gekoppelt, dessen Gate-Anschluss 1022 mit einem achten Anschluss 1023 gekoppelt ist und dessen zweiter Source- /Drain-Anschluss 1024 mit einem ersten Source-/Drain-
Anschluss 1025 eines elften PMOS-Feldeffekttransistors 1026 gekoppelt ist, dessen zweiter Source-/Drain-Anschluss 1027 mit einem neunten Anschluss 1028 und dessen Gate-Anschluss 1029 mit einem zehnten Anschluss 1030 gekoppelt ist.
Der neunte PMOS-Feldeffekttransistor 1016 dient anschaulich als Begrenzung des Arbeitsbereichs der in Fig.10 dargestellten Schaltung 1000.
Es ist in diesem Zusammenhang anzumerken, dass der elfte PMOS-Feldeffekttransistor 1026, der achte PMOS- Feldeffekttransistor 1010 sowie der siebte PMOS- Feldeffekttransistor 1006 in einem Bereich betrieben werden, in dem sie eine exponentielle Kennlinie aufweisen.
Fig.11 zeigt eine elektrische Schaltung 1100, welche die Gewichts-Veränderungseinheit 304 bildet.
Mit dem Betriebspotential 818 ist ein erster Source-/Drain- Anschluss 1101 eines zwölften PMOS-Feldeffekttransistors 1102 gekoppelt, dessen Gate-Anschluss 1103 mit einem elften Anschluss 1104 und darüber mit dem Gate-Anschluss 842 des fünften NMOS-Feldeffekttransistors 821 gekoppelt.
Ein zweiter Source- /Drain-Anschluss 1105 des zwölften PMOS- Feldeffekttransistors 1102 ist mit einem ersten Source- /Drain-Anschluss 1106 eines dreizehnten PMOS- Feldeffekttransistors 1107 gekoppelt, dessen Gate-Anschluss 1108 mit dem fünften Anschluss 1003 gekoppelt ist. Ein zweiter Source-/Drain-Anschluss 1109 des dreizehnten PMOS-Feldeffekttransistors 1107 ist mit einem ersten Source- /Drain-Anschluss 1110 eines vierzehnten PMOS- Feldeffekttransistors 1111 gekoppelt sowie mit einem ersten Source-/Drain-Anschluss 1112 eines fünfzehnten PMOS- Feldeffekttransistors 1113, dessen Gate-Anschluss 1114 mit dem zweiten Ausgang 311 des Empfänger-Neurons 120 gekoppelt ist .
Der Gate-Anschluss 1115 des vierzehnten PMOS- Feldeffekttransistors 1111 ist mit dem zweiten Ausgangsanschluss 607 des Sender-Neurons 119 gekoppelt.
Ein zweiter Source-/Drain-Anschluss 1116 des vierzehnten
PMOS-Feldeffekttransistors 1111 ist mit einem ersten Source- /Drain-Anschluss 1117 eines achten NMOS-Feldeffekttransistors
1118 gekoppelt, an dessen zweiten Source-/Drain-Anschluss
1119 das Gewichts-Anderungssignal 313 zum Einstellen des Gewichts der Kopplung von dem Sender-Neuron 119 zu dem
Empfänger-Neuron 120 bereitgestellt wird.
Ferner ist der zweite Source-/Drain-Anschluss 1116 des vierzehnten PMOS-Feldeffekttransistors 1111 mit einem ersten Source-/Drain-Anschluss 1120 eines neunten NMOS- Feldeffekttransistors 1121 und über dessen zweiten Source- /Drain-Anschluss 1122 mit dem Massepotential 710 gekoppelt.
Ein zweiter Source-/Drain-Anschluss 1123 des fünfzehnten PMOS-Feldeffekttransistors 1113 ist mit einem ersten Source- /Drain-Anschluss 1124 eines zehnten NMOS- Feldeffekttransistors 1125 gekoppelt, an dessen zweiten Source-/Drain-Anschluss 1126 das Gewichts-Anderungssignal 313 zum Einstellen des Gewichts der Kopplung zwischen dem Empfängerneuron 120 und dem Sendeneuron 119 bereitgestellt wird. Der Gate-Anschluss 1127 des zehnten NMOS- Feldeffekttransistors 1125 ist ferner mit einem zwölften Anschluss 1128 gekoppelt.
Der zweite Source-/Drain-Anschluss 1123 des fünfzehnten PMOS- Feldeffekttransistors 1113 ist ferner mit einem ersten Source- /Drain-Anschluss 1129 eines elften NMOS- Feldeffekttransistors 1130 gekoppelt und über dessen zweiten Source- /Drain-Anschluss 1131 mit dem Massepotential 710.
Die Gate-Anschlüsse 1132 und 1133 des neunten NMOS- Feldeffekttransistors 1121 und des elften NMOS- Feldeffekttransistors 1130 sind mit dem zehnten Anschluss 1030 und darüber mit dem Gate-Anschluss 1029 des elften PMOS- Feldeffekttransistors 1026 gekoppelt.
Der zwölfte PMOS-Feldeffekttransistor 1102 und der dreizehnte PMOS-Feldeffekttransistor 1107 liefern einen konstanten Strom.
Anschaulich wird durch die Erfindung ein System von miteinander vernetzten gepulsten künstlichen Neuronen bereitgestellt, in denen Information durch Pulsmuster repräsentiert wird, und in denen die Markierung von zusammengehörigen Bildsegmenten durch Synchronisation von entsprechenden Neuronenimpulsen mittels Veränderungen der Kopplungsgewichte erfolgt .
Insbesondere erfolgt die Veränderung eines Gewichtes während der Empfangsphase beider Neuronen, die mittels der Kopplung miteinander gekoppelt werden und wobei das Veränderungssignal von den Werten der Membranpotentiale in der Weise abhängt, dass bei signifikant großer positiver Signaldifferenz des Membranpotentials von dem Sender-Neuron und dem Empfänger- Neuron eine Erhöhung des Kopplungsgewichts erfolgt und bei signifikant großer negativer Signaldifferenz eine Erniedrigung des Gewichts für die Kopplung erfolgt . Alternativ kann die Veränderung eines Kopplungsgewichtes während der Empfangsphase des Empfänger-Neurons und der Sendephase des Sende-Neurons vorgesehen sein und das Adaptionssignal hängt in diesem Fall von dem Membranpotential des Empfänger-Neurons in der Weise ab, dass für signifikant kleine Werte des Membranpotentials eine Erniedrigung des Gewichts für die Kopplung erfolgt und für signifikant große Werte des Membranpotentials eine Erhöhung des Gewichts der Kopplung erfolgt .
In diesem Dokument sind folgende Veröffentlichungen zitiert:
[1] M. Cheriet, J.N. Said, CY. Suen, A recursive thresholding technique for image seg entation, IEEE Trans. Image Processing, Vol. 7, S. 918 - 921, 1998
[2] D. German, S. German, C. Graffigne, P. Dong, Boundary detection by constrained optimization, IEEE Trans. Pattern Anal. Mach. Intell., Vol. 12, S. 609 - 628, 1990
[3] R. Adam, L. Bishof, Seeded region growing, IEEE Trans. Patter Anal. Mach. Intell., Vol. 16, S. 641 - 647, 1994
[4] John G. Harris, Ghristof Koch, Jin Luo, A Two-Dimensional Analog VLSI Circuit for Detecting Discontinuities in Early Vision, Science, Vol. 248, S. 1029 - 1211, Juni 1990
[5] M.A. Glover, A. Hamilton, L.S. Smith, An Analog VLSI Integrate-And-Fire Neural Network for Sound Segmentation, Mai 21, 1998
[6] D.J. Mayes, A. Hamilton, J.E. Louvet, A VLSI Current Mode Synapse Chip, Proceedings of the International Workshop on Artificial Neural Networks, Malaga, Spain, S. 815 - 821, 1995.
[7] B. L. Dokic, CMOS Schmitt-Trigger, Proceedings of the IEEE, Vol. 131, No.5, S. 197 - 202, Oktober 1984
[8] D. Jung, der Vergleich von plastischen Synapsen gegenüber Synapsen mit konstantem Gewicht in spikenden neuronalen Netzen, Diplomarbeit an der Technischen Universität Berlin, Institut für Mikroelektronik, erhältlich am 27. Februar 2002 im Internet unter der Adresse:
http : //mikro . ee . tu-berlin.de/~spinnsoc/pdf/ sp2inn_jung_diplomathesis . pdf [9] DE 100 50 062
[10] M. Schäfer und G. Hartmann, A Flexible Hardware
Architecture for Online Hebbian Learning in the Sender- Oriented PCNN-Neurocomputer Spike 128K, Proceedings of
International Conference on Microelectronics for Neural, Fuzzy and Bio-Inspired Systems, Seiten 316 bis 323, 1999
[11] U. Roth et al , Hebbian On-Line Learning for Spike- Processing Neural Networks, TU Berlin, Institut für
Mikroelektronik, Internal Report 11/95, erhältlich am 18. November 2002 im Internet unter der Adresse:
http : //mikro . ee . tu-berlin . de/~spinnsoc/pubs . html
[12] B.M. Wila owski und Y. Ota, CMOS Architecture of Synchronous Pulse-Coupled Neural Network and Its Application to Image Processing, 26th Annual Conference of the IEEE Industrial Electronics Society, Vol. 2, Seiten 1213 bis 1218, 2000
Bezugszeichenliste
100 Kamera
101 Bildsensor
102 Bildsensor
103 Bildsensor
104 Bildsensor 105 Bildsensor
106 Bildsensor
107 Helligkeits-Signal
108 Helligkeits-Signal
109 Helligkeits-Signal 110 Helligkeits-Signal
111 Helligkeits-Signal
112 Helligkeits-Signal
113 Bildpunkt
114 Bildpunkt 115 Bildpunkt
116 Bildpunkt
117 Bildpunkt
118 Bildpunkt
119 Gepulstes künstliches Neuron 120 Gepulstes künstliches Neuron
121 Gepulstes künstliches Neuron
122 Gepulstes künstliches Neuron
123 Gepulstes künstliches Neuron
124 Gepulstes künstliches Neuron 125 Kopplung
126 Kopplung 127 Kopplung 128 Kopplung 129 Kopplung 130 Kopplung
131 Kopplung
132 Ausschnitt von gepulsten künstlichen Neuronen
200 Kopplungsstruktur
301 Gewichts-Verstärker
302 Neuronen-Pulssignal Sender-Neuron
303 verstärktes Neuronen-Pulssignal 304 Gewichtsveränderungs -Einheit
305 Erster Ausgang Sender-Neuron
306 Zweiter Ausgang Sender-Neuron
307 Membranpotential Sender-Neuron
308 Erster Eingang Gewichtsveränderungs-Einheit 309 Erster Ausgang Empfänger-Neuron
310 Neuronen-Pulssignal Empfänger-Neuron
311 Zweiter Ausgang Empfänger-Neuron
312 Membranpotential Empfänger-Neuron
313 Gewichtsveränderungs-Signal 314 Zweiter Eingang Gewichtsveränderungs-Einheit
315 Eingang Empfänger-Neuron
316 Dritter Eingang Gewichtsveränderungs-Einheit
317 Vierter Eingang Gewichtsveränderungs-Einheit
400 Diagramm
401 Neuronen-Pulssignal
500 Blockschaltbild
501 Summationsknoten 502 Gewichtete Pulssignale anderer Neuronen
503 Kontinuierliche ungepulste Signale
504 Synaptischer Strom
505 Erster Eingang Decoder
506 Decoder 507 Zweiter Eingang Decoder
508 Ausgang Decoder
509 Schalter
510 Erster Eingang erster Addierer
511 Erster Addierer 512 Zweiter Eingang erster Addierer
513 Differenzsignal
514 Eingang erster Multiplizierer
515 Erster Multiplizierer 516 Produkt -Signal
517 Erster Eingang zweiter Addierer
518 Zweiter Addierer
519 Zweiter Eingang zweiter Addierer 520 RückkoppelSignal 521 Relaxations-Multiplizierer
522 Summensignal
523 Integrator
600 Blockschaltbild 601 Inverter
602 Eingang Inverter
603 Ausgang Inverter
604 Erster Eingang erster Addierer
605 Erster Addierer 606 Zweiter Eingang erster Addierer
607 Zweiter Ausgang Sender-Neuron
608 Ausgang erster Addierer
609 Eingang erster Multiplizierer
610 Erster Multiplizierer 611 Produkt-Signal
612 Eingang Schalter
613 Decoder
614 Erster Eingang Decoder
615 Zweiter Eingang Decoder 616 Ausgang Decoder
700 Elektrische Schaltung
701 Erster PMOS-Transistor
702 Erster Source-/Drain-Anschluss PMOS-Transistor 703 Zweiter Source-/Drain-Anschluss erster PMOS-Transistor
704 Erster Source-/Drain-Anschluss erster NMOS-Transistor
705 Erster NMOS-Transistor
706 Zweiter Source-/Drain-Anschluss erster NMOS-Transistor
707 Erster Source-/Drain-Anschluss zweiter NMOS-Transistor 708 Zweiter NMOS-Transistor
709 Zweiter Source-/Drain-Anschluss zweiter NMOS-Transistor
710 Massepotential
711 Gate-Anschluss Transistor 712 Transistor
713 Zweiter Anschluss-Transistor
714 Massepotential
715 Eingang Schmitt-Trigger
716 Schmitt-Trigger 717 Ausgang Schmitt-Trigger
718 Gate-Anschluss erster PMOS-Transistor
801 Gate-Anschluss dritter NMOS-Transistor
802 Dritter NMOS-Transistor 803 Erster Source-/Drain-Anschluss dritter NMOS-Transistor
804 Erster Source-/Drain-Anschluss vierter NMOS-Transistor
805 Vierter NMOS-Transistor
806 Zweiter Source-/Drain-Anschluss vierter NMOS-Transistor
807 Zweiter Source-/Drain-Anschluss dritter NMOS-Transistor 808 Erster Source-/Drain-Anschluss zweiter PMOS-Transistor
809 Zweiter PMOS-Transistor
810 Zweiter Source-/Drain-Anschluss zweiter PMOS-Transistor
811 Erster Source-/Drain-Anschluss dritter PMOS-Transistor
812 Dritter PMOS-Transistor 813 Gate-Anschluss zweiter PMOS-Transistor
814 Gate-Anschluss dritter PMOS-Transistor
815 Zweiter Source-/Drain-Anschluss dritter PMOS-Transistor
816 Erster Source-/Drain-Anschluss vierter PMOS-Transistor
817 Vierter PMOS-Transistor 818 Gate-Anschluss vierter PMOS-Transistor
819 Zweiter Source-/Drain-Anschluss vierter PMOS-Transistor
820 Erster Source-/Drain-Anschluss fünfter NMOS-Transistor
821 Fünfter NMOS-Transistor
822 Zweiter Source-/Drain-Anschluss fünfter NMOS-Transistor 823 Gate-Anschluss fünfter PMOS-Transistor
824 Fünfter PMOS-Transistor
825 Erster Source-/Drain-Anschluss fünfter PMOS-Transistor
826 Erster Anschluss
827 Zweiter Source-/Drain-Anschluss fünfter PMOS-Transistor 828 Erster Source-/Drain-Anschluss sechster NMOS-Transistor
829 Sechster NMOS-Transistor
830 Zweiter Source- /Drain-Anschluss sechster NMOS-Transistor
831 Zweiter Anschluss 832 Gate-Anschluss sechster NMOS-Transistor
833 Dritter Anschluss
834 Gate-Anschluss siebter NMOS-Transistor
835 Siebter NMOS-Transistor
836 Erster Source-/Drain-Anschluss siebter NMOS-Transistor 837 Zweiter Source-/Drain-Anschluss siebter NMOS-Transistor
838 Differenzverstärker
839 Erster Inverter
840 Zweiter Inverter
841 Gate-Anschluss vierter NMOS-Transistor 842 Gate-Anschluss fünfter NMOS-Transistor
901 Kondensator
902 Spannungs-Strom-Wandler
903 Elektrischer Strom 904 Ausgang-Spannungs-Strom-Wandler
905 Schalter
906 Steuerungsanschluss
1000 Elektrische Schaltung 1001 Erster Source-/Drain-Anschluss sechster PMOS-Transistor 1001a Sechster PMOS-Transistor
1002 Gate-Anschluss sechster PMOS-Transistor
1003 Fünfter Anschluss
1004 Zweiter Source- /Drain-Anschluss sechster PMOS-Transistor 1005 Gate-Anschluss siebter PMOS-Transistor
1006 Siebter PMOS-Transistor
1007 Erster Source-/Drain-Anschluss siebter PMOS-Transistor
1008 Zweiter Source-/Drain-Anschluss siebter PMOS-Transistor
1009 Erster Source-/Drain-Anschluss achter PMOS-Transistor 1010 Achter PMOS-Transistor
1011 Sechster Anschluss
1012 Zweiter Source-/Drain-Anschluss achter PMOS-Transistor
1013 Zweites Betriebspotential
1014 Siebter Anschluss 1015 Erster Source-/Drain-Anschluss neunter PMOS-Transistor
1016 Neunter PMOS-Transistor
1017 Zweiter Source-/Drain-Anschluss neunter PMOS-Transistor
1018 Gate-Anschluss neunter PMOS-Transistor 1019 Drittes Betriebspotential
1020 Erster Source-/Drain-Anschluss zehnter PMOS-Transistor
1021 Zehnter PMOS-Transistor
1022 Gate-Anschluss zehnter PMOS-Transistor
1023 Achter Anschluss 1024 Zweiter Source-/Drain-Anschluss zehnter PMOS-Transistor
1025 Erster Source-/Drain-Anschluss elfter PMOS-Transistor
1026 Elfter PMOS-Transistor
1027 Zweiter Source-/Drain-Anschluss elfter PMOS-Transistor
1028 Neunter Anschluss 1029 Gate-Anschluss sechster PMOS-Transistor
1030 Zehnter Anschluss
1100 Elektrische Schaltung
1101 Erster Source-/Drain-Anschluss zwölfter PMOS-Transistor 1102 Zwölfter PMOS-Transistor
1103 Gate-Anschluss zwölfter PMOS-Transistor
1104 Elfter Anschluss
1105 Zweiter Source-/Drain-Anschluss zwölfter PMOS-Transistor
1106 Erster Source-/Drain-Anschluss dreizehnter PMOS- Transistor
1107 Dreizehnter PMOS-Transistor
1108 Gate-Anschluss dreizehnter PMOS-Transistor
1109 Zweiter Source-/Drain-Anschluss dreizehnter PMOS- Transistor 1110 Erster Source-/Drain-Anschluss vierzehnter PMOS- Transistor
1111 Vierzehnter PMOS-Transistor
1112 Erster Source-/Drain-Anschluss fünfzehnter PMOS- Transistor 1113 Fünfzehnter PMOS-Transistor
1114 Gate-Anschluss fünfzehnter PMOS-Transistor
1115 Gate-Anschluss vierzehnter PMOS-Transistor
1116 Zweiter Source-/Drain-Anschluss vierzehnter PMOS- Transistor 1117 Erster Source-/Drain-Anschluss achter NMOS-Transistor
1118 Achter NMOS-Transistor
1119 Zweiter Source-/Drain-Anschluss achter NMOS-Transistor
1120 Erster Source-/Drain-Anschluss neunter NMOS-Transistor 1121 Neunter NMOS-Transistor
1122 Zweiter Source-/Drain-Anschluss neunter NMOS-Transistor
1123 Zweiter Source-/Drain-Änschluss fünfzehnter PMOS- Transistor
1124 Erster Source-/Drain-Anschluss zehnter NMOS-Transistor 1125 Zehnter NMOS-Transistor
1126 Zweiter Source-/Drain-Anschluss zehnter NMOS-Transistor
1127 Gate-Anschluss zehnter NMOS-Transistor
1128 Zwölfter Anschluss
1129 Erster Source-/Drain-Anschluss elfter NMOS-Transistor 1130 Elfter NMOS-Transistor
1131 Zweiter Source-/Drain-Anschluss elfter NMOS-Transistor
1132 Gate-Anschluss neunter NMOS-Transistor
1133 Gate-Anschluss elfter NMOS-Transistor

Claims

Patentansprüche
1. Bildsegmentierungs-Einrichtung zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten, denen jeweils Codierungsinformation zugeordnet ist, in eine Mehrzahl von Bildsegmenten,
• mit einer Vielzahl von gepulsten künstlichen Neuronen, wobei jeweils ein gepulstes künstliches Neuron einem Bildpunkt zugeordnet ist, • wobei die gepulsten künstlichen Neuronen jeweils zumindest mit einem Teil benachbarter gepulster künstlicher Neuronen über jeweils eine gewichtete Kopplung gekoppelt sind,
• wobei jedes gepulste künstliche Neuron derart eingerichtet ist, dass es ein von der
Codierungsinformation, welche dem Bildpunkt, dem das gepulste künstliche Neuron zugeordnet ist, zugeordnet ist, abhängiges Neuronen-Pulssignal ausgegeben werden kann, • mit mindestens einer Gewichts-Veränderungseinrichtung, welche derart eingerichtet ist, dass sie abhängig von den Neuronen-Pulssignalen die Gewichte der Kopplungen derart verändern, dass gepulste künstliche Neuronen eines zu bildenden Bildsegments jeweils zunehmend zueinander synchron Neuronen-Pulssignale ausgeben,
• mit einer Bildsegmentierungs-Einheit, die derart eingerichtet ist, dass sie Bildpunkte von diesen zugeordneten gepulsten künstlichen Neuronen gemeinsam zu einem Bildsegment segmentiert, die hinsichtlich eines vorgegebenen Kriteriums zueinander ausreichend synchrone Neuronen-Pulssignale ausgeben.
2. Bildsegmentierungs-Einrichtung gemäß Anspruch 1, eingerichtet als elektrische Schaltung.
3. Bildsegmentierungs-Einrichtung gemäß Anspruch 2, eingerichtet als elektrische Analogschaltung.
4. Bildsegmentierungs-Einrichtung gemäß einem der Ansprüche 1 bis 3 , bei der jedem Bildpunkt jeweils genau ein gepulstes künstliches Neuron zugeordnet ist.
5. Bildsegmentierungs-Einrichtung gemäß einem der Ansprüche 1 bis , bei der die Gewichts-Veränderungseinrichtung eine Vielzahl von Gewichts-Veränderungseinheiten, wobei jeweils eine Gewichts-Veränderungseinheit pro Kopplung zwischen einem ersten gepulsten künstlichen Neuron und einem zweiten gepulsten künstlichen Neuron der Vielzahl gepulster künstlicher Neuronen vorgesehen ist.
6. Bildsegmentierungs-Einrichtung gemäß einem der Ansprüche 1 bis 5 , bei der die Gewichts-Veränderungseinrichtung derart eingerichtet ist, dass die Veränderung eines Gewichts gemäß folgender Vorschrift erfolgt, während die beiden mittels der Kopplung miteinander gekoppelten Neuronen, ein erstes Neuron L und ein zweites Neuron K, sich in einem Signal-Empfangs- Zustand befinden:
WKL = ~Y • WKL + μo • (aL " aκ)' dt wobei mit
• WKL das der Kopplung zwischen dem ersten Neuron L und dem zweiten Neuron K zugeordnete Gewicht,
• γ ein vorgegebener Relaxationsparameter, • μg ein vorgegebener erster Synchronisierparameter,
• aL das Membranpotential des ersten Neurons L,
• aK das Membranpotential des zweiten Neurons K, bezeichnet werden.
7. Bildsegmentierungs-Einrichtung gemäß Anspruch 6, bei der die Gewichts-Veränderungseinrichtung derart eingerichtet ist, dass die Veränderung des Gewichts sonst gemäß folgender Vorschrift erfolgt : d
— WKL = "Y ■ WKL • dt
8. Bildsegmentierungs-Einrichtung gemäß einem der Ansprüche 1 bis 5 , bei der die Gewichts-Veränderungseinrichtung derart eingerichtet ist, dass die Veränderung eines Gewichts gemäß folgender Vorschrift erfolgt, während ein erstes Neuron L der beiden mittels der Kopplung miteinander gekoppelten Neuronen sich in einem Signal -Sende-Zustand befindet und ein zweites Neuron K sich in einem Signal-Empfangs-Zustand befindet:
d \
—dt KL = -Y • WKL + μi • (κ - Boλ ° < Bo < Θ <
wobei mit • W L das der Kopplung zwischen dem ersten Neuron L und dem zweiten Neuron K zugeordnete Gewicht,
• γ ein vorgegebener Relaxationsparameter,
• μi ein vorgegebener zweiter Synchronisierparameter,
• aL das Membranpotential des ersten Neurons L, • aK das Membranpotential des zweiten Neurons K, bezeichnet werden.
9. Bildsegmentierungs-Einrichtung gemäß Anspruch 8, bei der die Gewichts-Veränderungseinrichtung derart eingerichtet ist, dass die Veränderung des Gewichts sonst gemäß folgender Vorschrift erfolgt:
d
— WKL = ~Y • WKL • dt 10. Verfahren zum Segmentieren eines Bildes mit einer
Vielzahl von Bildpunkten, denen jeweils Codierungsinformation zugeordnet ist, in eine Mehrzahl von Bildsegmenten,
• wobei eine Vielzahl von gepulsten künstlichen Neuronen vorgesehen ist, wobei jeweils ein gepulstes künstliches Neuron einem Bildpunkt zugeordnet ist,
• wobei die gepulsten künstlichen Neuronen jeweils zumindest mit einem Teil benachbarter gepulster künstlicher Neuronen über jeweils eine gewichtete Kopplung gekoppelt sind, • bei dem von jedem gepulsten künstlichen Neuron ein von der Codierungsinformation, welche dem Bildpunkt, dem das gepulste künstliche Neuron zugeordnet ist, zugeordnet ist, abhängiges Neuronen-Pulssignal ausgegeben wird, • bei dem abhängig von den Neuronen-Pulssignalen die
Gewichte der Kopplungen derart verändert werden, dass gepulste künstliche Neuronen eines zu bildenden Segments jeweils zunehmend zueinander synchron Neuronen- Pulssignale ausgeben, • bei dem die Bildpunkte von diesen zugeordneten gepulsten künstlichen Neuronen gemeinsam zu einem Bildsegment segmentiert werden, die hinsichtlich eines vorgegebenen Kriteriums zueinander ausreichend synchrone Neuronen- Pulssignale ausgeben.
EP03743286A 2002-03-01 2003-02-13 Bildsegmentierungs-einrichtung und verfahren zum segmentieren eines bildes mit einer vielzahl von bildpunkten Withdrawn EP1481370A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10209082 2002-03-01
DE10209082A DE10209082A1 (de) 2002-03-01 2002-03-01 Bildsegmentierungs-Einrichtung und Verfahren zum Segmentieren eines Bildes mit einer Vielzahl von Bildpunkten
PCT/DE2003/000433 WO2003075223A1 (de) 2002-03-01 2003-02-13 Bildsegmentierungs-einrichtung und verfahren zum segmentieren eines bildes mit einer vielzahl von bildpunkten

Publications (1)

Publication Number Publication Date
EP1481370A1 true EP1481370A1 (de) 2004-12-01

Family

ID=27762583

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03743286A Withdrawn EP1481370A1 (de) 2002-03-01 2003-02-13 Bildsegmentierungs-einrichtung und verfahren zum segmentieren eines bildes mit einer vielzahl von bildpunkten

Country Status (4)

Country Link
US (1) US20050180625A1 (de)
EP (1) EP1481370A1 (de)
DE (1) DE10209082A1 (de)
WO (1) WO2003075223A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN111598828B (zh) * 2019-02-20 2022-03-11 东莞先知大数据有限公司 一种基于图形分析pcnn特征的声发射断刀检测方法
CN111627030A (zh) * 2020-05-29 2020-09-04 王程 快速高效的可见光遥感影像海陆精确分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10050062A1 (de) * 2000-10-10 2002-05-02 Siemens Ag Anordnung zum Ermitteln der Position eines Objekts in einem Bild und Verfahren zum Trainieren der Anordnung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03075223A1 *

Also Published As

Publication number Publication date
WO2003075223A1 (de) 2003-09-12
DE10209082A1 (de) 2003-09-18
US20050180625A1 (en) 2005-08-18

Similar Documents

Publication Publication Date Title
DE112018002166T5 (de) Zyklisches gegnerisches Erzeugungsnetz für die unüberwachte domänen-übergreifende Bilderzeugung
DE202017102235U1 (de) Trainingssystem
DE2524734B2 (de) Informationsverarbeitende Vorrichtung zur Erkennung eines durch einen Satz von Eingangssignalen charakterisierbaren Er¬
DE3242734A1 (de) Anordnung zum dynamischen einstellen einer schwarz/weiss-entscheidungsschwelle bei der bearbeitung von bildern mit graustufen
EP0312905A1 (de) Verfahren zur automatischen Zeichenerkennung
DE3938645C1 (de)
DE112020001369T5 (de) Gepulste synaptische elemente für gepulste neuronale netze
DE112017007724T5 (de) System und Verfahren zur Verfolgung von Objekten in einer zeitlichen Sequenz von digitalen Bildern
EP1481370A1 (de) Bildsegmentierungs-einrichtung und verfahren zum segmentieren eines bildes mit einer vielzahl von bildpunkten
WO2021094036A1 (de) Gemeinsames trainieren von neuronalen netzwerken zur datenreduktion und zur objekterkennung von bilddaten
EP3655920B1 (de) Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung
DE2148152A1 (de) Verfahren und schaltungsanordnung zum automatischen erkennen von schriftzeichen mit hilfe einer translationsinvarianten klassifikationsmatrix
WO2007090563A1 (de) Verfahren, vorrichtung und computerprogramm zum erzeugen eines ansteuersignals für ein cochlea-implantat basierend auf einem audiosignal
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
DE102021201833A1 (de) Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren
EP1002423B1 (de) Verfahren und vorrichtung zum erfassen einer veränderung zwischen pixelsignalen aus zeitlich aufeinanderfolgenden pixelsignalen
EP1359539A2 (de) Neurodynamisches Modell der Verarbeitung visueller Informationen
DE10048308B4 (de) Verfahren und Vorrichtung zum Klassifizieren von Objekten aus als Pixelmuster vorliegenden eingangsseitigen Bilddaten
WO1997050254A1 (de) Verfahren und vorrichtung zur bearbeitung von bildpunkten eines bildsegments durch einen rechner
DE1284127B (de) Funktionsgenerator fuer spezielle Autokorrelationsfunktionen
DE19924009C2 (de) Mustersuche
DE60105222T2 (de) Verfahren um Informationen zu kodieren, die von Vektoren representiert werden können
Klinge Perspektiven einer Rekonstruktiven Medienforschung: Zoom als sozialer Rahmen von Situation und Kommunikation
EP0796016B1 (de) Verfahren zur Bearbeitung von Bildpunkten eines Bildsegments durch einen Rechner
EP0802679A2 (de) Verfahren zu Bildsegmentierung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040901

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060117