EP1634245A2 - Verfahren zur ermittlung eines verschiebungsvektors in der bildverarbeitung - Google Patents

Verfahren zur ermittlung eines verschiebungsvektors in der bildverarbeitung

Info

Publication number
EP1634245A2
EP1634245A2 EP04736747A EP04736747A EP1634245A2 EP 1634245 A2 EP1634245 A2 EP 1634245A2 EP 04736747 A EP04736747 A EP 04736747A EP 04736747 A EP04736747 A EP 04736747A EP 1634245 A2 EP1634245 A2 EP 1634245A2
Authority
EP
European Patent Office
Prior art keywords
vector
vectors
test
image
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP04736747A
Other languages
English (en)
French (fr)
Inventor
Marko Hahn
Christian Tuschen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trident Microsystems (Far East) Ltd
Original Assignee
TDK Micronas GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=33520721&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP1634245(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by TDK Micronas GmbH filed Critical TDK Micronas GmbH
Publication of EP1634245A2 publication Critical patent/EP1634245A2/de
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to a method for determining a displacement vector in image processing.
  • Displacement vectors or motion vectors are used in image processing in a well-known manner to:
  • the two images can be recorded sequentially in time, and thus illustrate a movement of the object or image area in a displayed image section over time.
  • the motion vector is used in such cases, for example for interpolating one or more intermediate frames, the position of the object: to reflect one or more time points between the first and the second image recording, for example, in the •. 50Hz / 100Hz image conversion or when creating so-called "artificial slow-motion".
  • the two images can also be taken simultaneously from a first and second camera position, the displacement vector to be determined being used to generate an intermediate image that shows the object from a virtual third camera position that is at a different position from the first and second Camera position.
  • FIG. 1 illustrates two images B1, B2, which can be recorded successively in time or from different camera positions, with a first image area 1 at a first position P1 in the first image B1 and a second image area 2 at a second position P2 in the second picture B2.
  • the image areas 1, 2 are shown as squares, the center points of which denote the positions P1, P2 of the image areas.
  • the image areas can have any shape.
  • the second image area 2 in the second image B2 results from a displacement of the first image area 1 of the first image B1 with a displacement vector vec.
  • This shift can be due to time when the two images B1, B2 are taken in succession and an object representing the first image area 1 is located in the viewed image section from the position P1 to the recording time of the first image B1 to the position 2 to the recording time of the second image B2 moves.
  • This shift of the two image areas 1, 2 in the image detail shown can also be caused by the fact that the two images B1, B2 were taken at the same time, but from different angles.
  • test vectors each of which represents a possible displacement vector for the individual image areas.
  • image comparisons are carried out by comparing image information, for example luminance values or chrominance values, of the individual pixels of a viewed first image area in the first image with image information values of a second image area in the second image, the position of the second image area in the second image using a selection vector in each case in relation to the position of the first image area in the first image.
  • selection vectors those are selected as so-called selection vectors and used for the further image processing, which have the "best" method. provides the same result, in which the best match between the first and second image areas was determined.
  • the quality of such a method depends on the selection of the selection vectors, since, of course, an image comparison cannot be carried out for all possible displacement vectors in order to keep the already high computing effort within limits. It is a basic goal in such methods to reduce the number of image comparisons required without accepting a deterioration in the result when determining the at least one selection vector.
  • Prediction vectors from which the test vectors are formed or selected are adopted as a test vector for the area of interest and / or the test vectors can be derived from these prediction vectors by changing their length and / or direction a predefined or random scheme can be formed, in which case the prediction vectors can change from search step to search step in the latter case.
  • FIG. 2 shows schematically a vector search system which determines displacement vectors for individual image areas and which, to determine a possible displacement vector, includes prediction vectors which contain results from previous search steps for the same image area or results from search steps for adjacent image areas.
  • the system comprises a test vector determination unit 10, to which a set of prediction vectors are supplied and which provides a set of test vectors from these prediction vectors.
  • the test vectors can be made available in that some or all of the prediction vectors are passed on unchanged as test vectors. It is also possible to change some or all of the prediction vectors according to a fixed or random scheme, in order to thereby form the test vectors.
  • test vectors are used in an image comparison unit 20 arranged downstream of the test vector determination unit 10 to carry out image comparisons for the individual image areas, with reference to the example according to FIG. 1 always comparing an image area 1 from the first image B1 with an image area 2 from the second image B2, whereby For each comparison, such a second image area is selected from the second image B2, the geometry of which corresponds to the geometry of the first image area 1 and which is shifted relative to the first image area 1 of the first image B1 by means of one of the selection vectors.
  • the results determined for the individual comparisons are fed to a selection unit 30, which uses the comparison results to select at least one selection vector from the group of test vectors for which the best comparison result was determined.
  • This at least one vector selected on the basis of the comparison result represents the actual displacement vector or at least the most probable displacement vector which transfers the first image area 1 from the first image B1 to the second image area 2 in the second image B2.
  • the selection vectors are always a function of the prediction vectors.
  • a sensible use of these prediction vectors presupposes, however, that the shift of neighboring image areas or the shift of the image area of interest is not subject to strong fluctuations over time, since it must be ensured that the selection vectors determined from the prediction vectors also contain the actual displacement vector. Otherwise, a significant increase in the number of selection vectors is required.
  • the aim of the present invention is to provide an improved method for determining at least one selection vector in image processing, which is in particular able to take rapid changes of displacement vectors into account.
  • the method according to the invention for determining a selection vector which indicates a shift of an image area from a first position in a first image to a second position in a second image, provides for a set of prediction vectors and a set of test vectors to be made available.
  • the prediction vectors can be conventional methods for generating prediction vectors can be obtained, for example by using information from the search of displacement vectors to neighboring image areas or from the previous search of displacement vectors to the image area of interest.
  • An image comparison is carried out using selected test vectors from the set of test vectors in order to provide an image comparison result for each of these selected test vectors.
  • the selected test vectors and at least one of the prediction vectors are compared to provide at least one vector comparison result for each of the selected test vectors.
  • the image comparison result determined for a selected test vector and the at least one vector comparison result determined for a selected test vector are then linked in order to provide at least one quality value for each of the selected test vectors.
  • a ranking order is determined for these quality values, at least one test vector being selected as the displacement vector on the basis of the ranking order determined.
  • test vectors are fixed and cover different possible shifts in the image area of interest within a given image grid.
  • the information contained in the prediction vectors is taken into account in the method according to the invention in that when one of the test vectors is selected as the displacement vector, the distance between the test vector and the prediction vectors is also determined in addition to the image comparison result obtained on the basis of the test vector.
  • the image comparison result for the selected test vector can be determined using conventional methods, in that image information of the pixels of a first image area in the first image with image information values of the pixels of a second image area in the second image are compared, the position of the second image area being shifted relative to the position of the first image area by the test vector under consideration. If these two image areas are superimposed, each pixel of the first image area, which is located at a given position in this image area, is assigned a pixel of the second image area, which is located at the corresponding position in the second image area, assuming geometrically identical image areas.
  • the determination of the comparison result can include the comparison of the image information values of all pixels in the two image areas or the comparison of the image information values of selected, representative pixels, the individual pixel comparison results being added up in order to obtain the image comparison result.
  • a pixel comparison result for a pixel of the first image area and an associated pixel of the second image area can be obtained, for example, by
  • the image comparison is carried out in such a way that for each comparison of two image areas a numerical value is supplied which, for example, the smaller the greater the correspondence between the compared image areas.
  • the amount or the square of a difference vector of these two vectors is determined, for example.
  • a numerical value is obtained for each comparison of a test vector with a prediction vector, the smaller the less the test vector and the prediction vector differ from one another.
  • the prediction vector can be a displacement vector that was determined for adjacent image areas of the image area of interest in the same image, or the prediction vector can be a displacement vector that was determined for the image area of interest or adjacent image areas in a previous image.
  • the vector comparison result there is, for example, the possibility of "punishing" a prediction vector which was determined on the basis of a previous image, that is to say output a worse vector comparison result for this vector than for an identical vector which determines on the basis of an adjacent image area in the same image has been.
  • the punishment can take place, for example, by multiplying the determined comparison result by a multiplication factor, this multiplication factor being adjustable from the outside and, for example, determining the type of generation of the prediction vector.
  • a value dependent on the desired level of punishment can also be added to the comparison result determined.
  • the punishment relates to all comparison results of this prediction vector with the test vectors.
  • other criteria for punishment can also be used. For example, it is possible to use the absolute length of a test vector as a punishment criterion and to punish test vectors with a large absolute length if, for example, it can be assumed that the movement sequences occurring in the images are slow.
  • the structure of the image in the determination of a suitable selection vector. If, for example, self-similar structures, i.e. monotonous surfaces, are present, it may be useful to obtain selection vectors that differ as little as possible from the prediction vectors previously determined. If the result of the vector comparison is a numerical value, the greater the more a test vector deviates from a prediction vector, this goal can be achieved in that each vector comparison result is weighted with a value greater than one, resulting in test vectors which In absolute terms, "deviating" vector comparison results are considered when deviating strongly from the prediction vectors. Self-similar structures can be determined by an image comparison - usually a block-wise image comparison - within the image.
  • the quality value of a test vector in relation to a prediction vector this is determined for the test vector.
  • Half the image comparison result and the vector comparison result are linked to one another, the linkage being such that, with the same image comparison result, the quality value is the better the less the test vector and the selected prediction vector differ.
  • the origin of a prediction vector can be taken into account in the image comparison, for example, by providing the comparison result with an offset, the value of which depends on the origin of the respective prediction vector.
  • the quality value can be determined by a weighted addition of the numerical value obtained from the image comparison and the value obtained from the vector comparison result, it being possible to determine several quality values for a test vector, the number of which corresponds to the number of prediction vectors with which the selected test vector is compared becomes.
  • vector comparisons are carried out between the selected test vectors and all prediction vectors in order to obtain a number of vector comparison results corresponding to the number of prediction vectors for each of the selected test vectors.
  • a ranking of the vector comparison results is determined and only the "best" vector comparison result is used to form the quality value, so that exactly one quality value is determined for each test vector.
  • each prediction vector determines the best test vector for this prediction vector, wherein, for example, the test vector (s) is / are selected as the selection vector which is most frequently the best test vector for the selection vectors were determined. It is also possible to select a separate set of test vectors for each prediction vector.
  • All test vectors are preferably selected, that is to say image comparisons are carried out for all test vectors, wherein vector comparisons with all prediction vectors can additionally be carried out for all test vectors.
  • the selection of the at least one test vector as a selection vector is preferably carried out iteratively by first providing a first set of fixed selection vectors, from which the "best" test vector (s) are selected on the basis of the ranking determined by means of the image comparison results and the vector comparison results. From these best test vectors, a second group of test vectors is subsequently determined for the next iteration step, the test vectors of this second group being formed from the previously selected best test vectors of the first set.
  • test vectors of the second group are formed, for example, by adding predetermined modification vectors to the previously selected test vectors of the first set.
  • One or more test vectors of the second group can be generated for one of the selected test vectors.
  • the modification vectors are preferably chosen such that the difference between such test vectors, which result from adding the modification vectors to one of the previously selected test vectors, is smaller than the deviations of the individual test vectors of the first group.
  • a further ranking is formed for the test vectors of the second group, based on which at least one test vector used to form a selection vector is selected or on the basis of which one or more test vectors are selected, from which a further group of test vectors is formed by means of modification vectors for a further iteration step.
  • prediction vectors are divided into groups with regard to their origin, for example prediction vectors that were determined on the basis of a previous image for adjacent image regions to the image region of interest, prediction vectors that were determined on the basis of a previous image for the image region of interest and prediction vectors, which were determined on the basis of the current image for adjacent image areas to the image area of interest.
  • the best test vector (s) can be determined for each of these groups in each iteration step and used for the subsequent iteration step.
  • the prediction vector determined for a group in addition to the determination of a selection vector based on the ranking of the best test vectors, there is the possibility of storing the best test vector determined for a group as a new prediction vector.
  • the modification vectors preferably comprise the zero vector, so that the test vectors selected at the end of an iteration step, from which the modification vectors are used the set of test vectors for the next iteration step are formed, are contained in this set of test vectors for the next iteration step.
  • the direction of the individual modification vectors preferably coincide in the individual iteration steps, but their amount becomes smaller from iteration step to iteration step, so that test vectors are generated with each iteration step, the difference of which is smaller.
  • test vectors are selected depending on the quality measure determined previously. If, for example, the best test vector is determined for each selection vector, one or more of which, however, provides a poor quality measure, then in this embodiment these test vectors are subjected to major modifications, for example, since it can be assumed that minor modifications should not bring about any significant improvement , Test vectors, on the other hand, which give a good result, are only slightly or not modified during the subsequent step.
  • such an iterative method is based on a set of test vectors, which is formed from the original set of test vectors by all possible combinations with the modification vectors, whereby test vectors are repeatedly rejected during the individual iteration steps in order to keep the computational effort within limits.
  • the method according to the invention for determining a selection vector can be used in a method for determining a set of selection vectors, in which selection vectors are determined exclusively on the basis of the method explained, with as many test vectors as selection being selected on the basis of the determined ranking of the quality values - vectors are required.
  • the method can also serve as an extension of a known method, in which one or more prediction vectors are used as selection vectors, and which is improved by using at least one test vector selected on the basis of a ranking of quality values as the selection vector.
  • the selection vectors can serve as prediction vectors for the next vector search step of the image area under consideration, it being possible for the selection vectors to be adopted unchanged as prediction vectors or to be changed in accordance with a predetermined or random scheme for the formation of the new prediction vectors.
  • the selection vectors of the previous step which deliver the worst image comparison result, are preferably no longer used as new prediction vectors but replaced by the test vectors determined on the basis of the ranking.
  • FIG. 1 schematically shows a first and a second image, each with an image area which are related to one another via a displacement vector
  • FIG. 2 shows a system for providing a set of selection vectors using prediction vectors according to the prior art
  • FIG. 3 shows a flow chart for a method according to the invention for providing at least one selection vector using a set of test vectors and a set of prediction vectors
  • FIG. 4 tables which comprise image comparison results and vector comparison results which are linked to quality values for selected test vectors
  • FIG. 5 shows a quality value matrix
  • FIG. 6 shows a flowchart for a further embodiment of a method according to the invention, in which the at least one selection vector is iteratively selected from a sentence
  • FIG. 7 schematically shows a possible procedure for an iterative method for providing a set of test vectors on the basis of a selected test vector and on the basis of modification vectors according to FIG. 6.
  • FIG. 3 uses a flow chart to illustrate an exemplary embodiment of a method according to the invention for determining at least one selection vector which, with reference to the example according to FIG. 1, shows a possible displacement vector for a displacement of the first image area 1 from the first position P1 in the first image B1 represents second position P2 in the second image B2.
  • selection vectors serve to make image comparisons between image areas in the first
  • Image B1 and the second image B2 are carried out, the compared image areas being shifted relative to one another by one of the selection vectors.
  • the selection vector which delivers the "best" image comparison result is assumed to be the actual or most probable displacement vector.
  • the method according to the invention for providing at least one selection vector provides for a set of prediction vectors 101 to be provided, with four such prediction vectors V1, V2, V3, V4 being shown by way of example in FIG.
  • These prediction vectors V1-V4 can be provided by means of conventionally known methods for determining prediction vectors. Such methods include, for example, the provision of prediction vectors for a given image area on the basis of displacement vectors already determined for neighboring image areas of the given image area.
  • the method according to the invention further provides one
  • test vectors 102 To provide a set of test vectors 102, three such test vectors T1, T2, T3 being shown by way of example in FIG.
  • This set of test vectors 102 becomes at least one
  • Test vector selected preferably all test vectors T1-T3 being selected, and using these test vectors, image comparisons are carried out in a step 103 in order to provide an image comparison result for each of the selected test vectors T1-T3, which is denoted by B (Tn) in FIG. 3 where Tn stands for any selected test vector T1-T3.
  • the image comparison comprises the comparison of a first image area 1 in the first image B1 with a second image area 2 in the second image B2, a position P2 of the second image area B2 relative to the position P1 of the first image area 1 by that of the selected one Test vectors for which the image comparison result is determined is shifted.
  • the displacement vector vec is selected by a different one for each image comparison
  • Test vectors T1-T3 replaced.
  • image areas built up from a number of image points are compared in that image information values, for example luminance values or chrominance values, of two image points in each case, which are located in the first image area 1 and in the second image area 2 at corresponding image point positions, are compared, the individual comparison results be added up.
  • image information values for example luminance values or chrominance values
  • the squares of all differences between the image information values of the pixels of the first image area 1 and the pixels of the second image area 2 are added, whereby an image comparison result is obtained, the numerical value of which is smaller, the greater the correspondence between the two viewed image areas are 1, 2 and in extreme cases this is zero if the two viewed image areas are identical, that is, if the two image areas match pixel by pixel.
  • the number of image comparison results B (Tn) provided by the image comparison step 103 corresponds to the number of selected test vectors T1-T3, all of which are preferably selected.
  • the selected test vectors T1-T3 are compared with at least one of the prediction vectors V1-V4 in order to provide vector comparison results V (Tn, Vm).
  • V (Tn, Vm) denotes a comparison result which is determined by comparing the prediction vector Vm with the test vector Tn, Tn standing for any of the selected test vectors T1-T3 and Vm for any of the selected prediction vectors V1-V4.
  • All prediction vectors Vl-V4 are preferably used for a comparison with all test vectors T1-T3, which results in a number of vector comparison results V (Tn, Vm) which corresponds to the product of the number of test vectors and the number of prediction vectors.
  • the comparison of a test vector Tn with a prediction vector Vm includes, for example, determining the square of the amount of a difference vector between the test vector Tn and the prediction vector Vm.
  • the vector comparison results V (Tn, Vm) and the image comparison results B (Tn) are linked in a method step 105 to quality values G (Tn, Vm).
  • G (Tn, Vm) in FIG. 3 denotes a quality value, which is obtained by linking the image comparison result B (Tn) with the vector comparison result
  • V (Tn, Vm) was obtained.
  • the link operator is represented in FIG. 6 by the symbol "o".
  • the linkage of the vector comparison result V (.) And B (.) Can comprise different linkage types depending on the way in which the image comparison result B (.) And V (.) Are obtained.
  • the image comparison result B (.) Represents a numerical value, the smaller the larger the correspondences between the viewed image areas are, and that the vector comparison result V (.) Represents a numerical value, the value of which is the smaller, each less the difference between the considered test vector and the considered prediction vector
  • the link between the image comparison result B (.) and the vector comparison result V (.) is, for example, a weighted addition, so that:
  • FIG. 4 illustrates a table 113 generated in method step 103 with image comparison results B (T1) to B (T3) and a table determined in method step 104 with vector comparison results V (T1, V1) to V (T3, V4), which are shown in FIG the method step 105 to form a table 115 with the quality values G (Tl, Vl) to G (T3, V4).
  • a ranking is determined by sorting these quality values G (.,.) And at least the test vector for which the best quality value was determined is selected as the selection vector.
  • the selected selection vector (s) are designated by Ti in FIG. 3.
  • FIG. 5 illustrates this procedure using a matrix in which the test vectors T1-T3 and the selection vectors VI-V4 are plotted, the individual matrix elements each representing, for example, a quality value associated with a test vector and a prediction vector.
  • the quality value is determined such that a test vector is considered to be the better
  • the lower its quality value in the example the test vector Tl as the best vector would become the prediction vector Vl
  • the test vector Tl as the best vector for the prediction vector V2
  • the test vector T3 as the best vector for the prediction vector V3
  • the test vector T2 as the best vector for the prediction vector V4.
  • test vector or several test vectors can then be selected from these best test vectors, with this selection taking into account the quality measure determined for the respective test vector and / or the frequency with which a test vector was determined as the best test vector for the prediction vectors.
  • the test vector determined for a selection vector can be stored as a new prediction vector, it being possible to classify the selection vectors according to their origin and to store the test vectors obtained accordingly in an associated group.
  • test vectors 102 are provided, from which, after image comparisons have been carried out and prediction vectors used, at least one test vector Ti is selected, which can be used as a selection vector.
  • At least one selection vector is determined by means of an iterative method.
  • this method also provides for a set of test vectors T1-T3 to be provided and at least one test vector Ti from this set of test vectors T1-T3 by means of a method already explained with reference to FIGS. 3 and 4 select.
  • this test vector Ti is not output as a selection vector after the first run of the method, but this at least one test vector Ti serves in a method step 107 as the basis for generating a further set of test vectors, which are shown in FIG 6 are designated by way of example with TiI, Ti2, Ti3, Ti4, the method already explained with this new set of test vectors being explained in FIG.
  • switches S1, S2 are shown in FIG. 6, the switch S1 being in the position shown on the left at the beginning of the method, to change the original set 102 of test vectors T1, T2, T3 in to process step 103 and wherein switch S2 is in the right one at the beginning of the process position is shown in order to feed the at least one selected test vector Ti to method step 107 for forming a new set 112 of test vectors TiI-Ti4.
  • the first switch S1 is in the position shown on the right in order to feed the test vectors of the set of test vectors formed from the selected test vectors Ti to method step 103.
  • the second switch is moved to the position shown on the left in order to output the at least one selected test vector Ti as a selection vector.
  • FIG. 7 illustrates a possible embodiment of method step 107, in which the new set of test vectors 112 is made available from at least one selected test vector Ti.
  • FIG. 7 shows a selected test vector Ti in a Cartesian coordinate system, a set of four further test vectors TiI, Ti2, Ti3, Ti4 being generated from this test vector Ti by vectorial addition of four modification vectors M1-M4.
  • Modification vectors a zero vector, so that the selected test vector Ti is also adopted in the set of new test vectors 112.
  • the modification vectors M1-M4 shown can be represented in Cartesian coordinates as ( ⁇ a, 0) and (0, ⁇ a), where a represents the amount of the modification vectors M1-M4.
  • more than four modification vectors can also be used in order to thereby more than a selected test vector Ti . four, or when using the zero vector as a modification vector to form more than five test vectors from a selected test vector Ti.
  • Additional modification vectors are, for example ( ⁇ 0.5 • a • V2, ⁇ 0.5 • a • V2).
  • the amount a of the modification vectors preferably decreases with each iteration step, as a result of which one set is selected from a selected test vector Ti with each iteration step is generated by test vectors that differ less and less from the selected test vector Ti.
  • the best test vector determined for each prediction vector can be stored as a new prediction vector.
  • test vector selected for the next iteration step is preferably modified as a function of the quality value determined during the previous iteration step. For example, test vectors with a good quality value are modified less strongly than test vectors with poor quality values. This can be achieved, for example, by setting the amount of the modification vector as a function of the previously determined quality value.
  • the method according to the invention for determining a selection vector on the basis of a set of test vectors and a set of prediction vectors is completely suitable for determining selection vectors, for example providing a set of test vectors which contains more test vectors than are required for selection vectors and which of the determined method, the best test vectors are selected as selection vectors.
  • the method according to the invention is also suitable in connection with a conventional method in which selection vectors are determined on the basis of prediction vectors. There is the possibility, in addition to the prediction vectors, of at least one test vector as
  • selection vector which was determined using the inventive method.
  • the selection vectors determined for a given image area can be used for subsequent search steps for the determination of the prediction vectors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung eines Auswahlvektors, der einen möglichen Verschiebungsvektor für eine Verschiebung eines Bildbereiches von einer ersten Position in einem ersten Bild an eine zweite Position in einem zweiten Bild darstellt, wobei das Verfahren folgende Verfahrensschritte umfasst: a) Bereitstellen eines Satzes von Voraussagevektoren, b) Bereitstellen wenigstens eines festen Satzes von Testvektoren, c) Auswählen wenigstens eines Testvektors aus dem Satz von Testvektoren und Durchführen eines Bildvergleiches zwischen einem ersten Bildbereich in dem ersten Bild und einem zweiten Bildbereich in dem zweiten Bild, um ein Bildvergleichsergebnis zu erhalten, wobei die Position des zweiten Bildbereiches gegenüber dem ersten Bildbereich um den wenigstens einen aus gewählten Testvektor verschoben ist, d) Vergleichen des wenigstens einen ausgewählten Testvektors mit wenigstens einem ausgewählten Voraussagevektor, um für jeden ausgewählten Testvektor wenigstens ein Vektorvergleichsergebnis zu erhalten, e) Bereitstellen wenigstens eines Gütewertes zu jedem ausgewählten Testvektor aus dem für diesen Testvektor erhaltenen Bildvergleichsergebnis und einem Vektorvergleichsergebnis, f) Ermitteln einer Rangfolge der Gütewerte und g) Auswählen eines der Testvektoren anhand der Rangfolge der Güterwerte als Auswahlvektor.

Description

Beschreibung
Verfahren zur Ermittlung eines Verschiebungsvektors in der Bildverarbeitung
Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung eines Verschiebungsvektors in der Bildverarbeitung.
Verschiebungsvektoren bzw. Bewegungsvektoren dienen in der Bildverarbeitung in hinlänglich bekannter Weise dazu, eine
Positionsveränderung eines Objekts oder Bildbereiches von einer ersten Position in einem ersten Bild zu einer zweiten Position in einem zweiten Bild zu definieren.
Die beiden Bilder können dabei zeitlich aufeinanderfolgend • aufgenommen sein, und somit eine Bewegung des Objekts oder Bildbereiches in einem dargestellten Bildausschnitt über der Zeit veranschaulichen. Der Bewegungsvektor dient in solchen Fällen beispielsweise zur Interpolation eines oder mehrerer Zwischenbilder, die die Position des Objekts: zu einem oder mehreren Zeitpunkten zwischen der Aufnahme des ersten und zweiten Bildes wiedergeben, beispielsweise bei der •. 50Hz/100Hz-Bildkonversion oder bei der Erzeugung sogenannter "künstlicher Zeitlupen" .
Die beiden Bilder können auch gleichzeitig aus einer ersten und zweiten Kameraposition aufgenommen sein, wobei der zu ermittelnde Verschiebungsvektor dazu dient, ein Zwischenbild zu erzeugen, das das Objekt aus einer virtuellen dritten Kamera- position zeigt, die sich an einer anderen als der ersten und zweiten Kameraposition befindet.
Figur 1 veranschaulicht zwei Bilder Bl, B2, die zeitlich aufeinanderfolgend oder aus unterschiedlichen Kamerapositionen aufgenommen sein können, mit einem ersten Bildbereich 1 an einer ersten Position Pl in dem ersten Bild Bl und einem zweiten Bildbereich 2 an einer zweiten Position P2 in dem zweiten Bild B2. Die Bildbereiche 1, 2 sind zur Vereinfachung der Darstellung als Quadrate dargestellt, deren Mittelpunkte die Positionen Pl, P2 der Bildbereiche bezeichnen. Selbstverständlich können die Bildbereiche jedoch eine beliebige Form aufweisen.
Wie in Figur 1 dargestellt ist, resultiert der zweite Bildbereich 2 in dem zweiten Bild B2 aus einer Verschiebung des ersten Bildbereiches 1 des ersten Bildes Bl mit einem Ver- schiebungsvektor vec. Diese Verschiebung kann zeitlich bedingt sein, wenn die beiden Bilder Bl, B2 aufeinanderfolgend aufgenommen sind und sich ein Objekt, das den ersten Bildbereich 1 repräsentiert, in dem betrachteten Bildausschnitt von der Position Pl zum AufnahmeZeitpunkt des ersten Bildes Bl an die Position 2 zum AufnahmeZeitpunkt des zweiten Bildes B2 bewegt. Diese Verschiebung der beiden Bildbereiche 1, 2 in dem dargestellten Bildausschnitt kann auch dadurch bedingt sein, dass die beiden Bilder Bl, B2 zum selben Zeitpunkt, a- ber aus unterschiedlichen Blickwinkeln aufgenommen wurden.
Zur Ermittlung eines solchen Verschiebungsvektors zu einem gegebenen Bildbereich oder Objekt ist es grundsätzlich bekannt, die Bilder in einzelne Bildbereiche zu unterteilen und Testvektoren bereitzustellen, von denen jeder einen möglichen Verschiebungsvektor für die einzelnen Bildbereiche repräsentiert . Unter Verwendung dieser Testvektoren werden Bildvergleiche durchgeführt, indem Bildinformationen, beispielsweise Luminanzwerte oder Chrominanzwerte, der einzelnen Bildpunkte eines betrachteten ersten Bildbereiches in dem ersten Bild mit Bildinformationswerten eines zweiten Bildbereiches in dem zweiten Bild miteinander verglichen werden, wobei die Position des zweiten Bildbereiches in dem zweiten Bild unter Verwendung jeweils eines Auswahlvektors gegenüber der Position des ersten Bildbereiches in dem ersten Bild verschoben ist . Von den Testvektoren wird/werden dabei derjenige/diejenigen als sogenannte (r) Auswahlvektσr(en) ausgewählt und für die weitere Bildverarbeitung verwendet, der/die das "beste" Ver- gleichsergebnis liefert/liefern, bei dem/denen also die beste Übereinstimmung zwischen dem ersten und zweiten Bildbereich ermittelt wurde.
Die Qualität eines solchen Verfahrens ist von der Wahl der Auswahlvektoren abhängig, da selbstverständlich nicht für alle möglichen Verschiebungsvektoren ein Bildvergleich durchgeführt werden kann, um den ohnehin hohen Rechenaufwand in Grenzen zu halten. So ist es ein grundsätzliches Ziel bei derartigen Verfahren, die Anzahl der erforderlichen Bildvergleiche zu reduzieren, ohne eine Verschlechterung des Ergebnisses bei der Ermittlung des wenigstens einen Auswahlvektors hinzunehmen .
Zur Verringerung des Aufwandes ist es bekannt, bei der Wahl von Testvektoren für einen gegebenen Bildbereich bestimmte Vorinformationen zu nutzen, die beispielsweise in vorangehenden Suchschritten für den gegebenen Bildbereich oder in Suchschritten für einen benachbarten Bildbereich gewonnen wurden. Diese Vorinformationen führen zu einer Gruppe sogenannter
Voraussagevektoren, aus denen die Testvektoren gebildet oder ausgewählt werden. Diese Voraussagevektoren, die anhand von Suchschritten für benachbarte Bildbereiche oder anhand von vorangehenden Suchschritten für den betrachteten Bildbereiche gewonnen wurden, können als Testvektor für den interessierenden Bereich übernommen werden und/oder die Testvektoren können aus diesen Voraussagevektoren durch Veränderung von deren Länge und/oder Richtung nach einem vorgegebenen oder zufälligen Schema gebildet werden, wobei sich in dem zuletzt genann- ten Fall die Voraussagevektoren von Suchschritt zu Suchschritt ändern können.
Die aus den Testvektoren ermittelten Auswahlvektoren, können als neue Voraussagevektoren während nachfolgender Suchschrit- te herangezogen werden. Zur Veranschaulichung eines solchen Verfahrens zeigt Figur 2 schematisch ein Vektorsuchsystem, das Verschiebungsvektoren für einzelne Bildbereiche ermittelt und das zur Ermittlung eines möglichen Verschiebungsvektors Voraussagevektoren ein- bezieht, die Ergebnisse aus früheren Suchschritten für denselben Bildbereich oder Ergebnisse aus Suchschritten für benachbarte Bildbereiche enthalten. Das System umfasst eine Testvektorermittlungseinheit 10, der ein Satz von Voraussagevektoren zugeführt sind und die aus diesen Voraussagevektoren einen Satz von Testvektoren bereitstellt. Diese Bereitstellung der Testvektoren kann dadurch erfolgen, dass einige oder alle Voraussagevektoren unverändert als Testvektoren weitergegeben werden. Außerdem besteht die Möglichkeit, einige oder alle Voraussagevektoren nach einen festem oder zufälligen Schema zu verändern, um dadurch die Testvektoren zu bilden.
Die Testvektoren werden in einer der Testvektorermittlungseinheit 10 nachgeschalteten Bildvergleichseinheit 20 dazu verwendet für die einzelnen Bildbereiche Bildvergleiche durchzuführen, wobei bezugnehmend auf das Beispiel gemäß Figur 1 stets ein Bildbereich 1 aus dem ersten Bild Bl mit einem Bildbereich 2 aus dem zweiten Bild B2 verglichen wird, wobei für jeden Vergleich ein solcher zweiter Bildbereich aus dem zweiten Bild B2 ausgewählt wird, dessen Geometrie der Ge- ometrie des ersten Bildbereiches 1 entspricht und der mittels eines der Auswahlvektoren gegenüber dem ersten Bildbereich 1 des ersten Bildes Bl verschoben wird.
Die für die einzelnen Vergleiche ermittelten Ergebnisse wer- den einer Auswahleinheit 30 zugeführt, die anhand der Vergleichsergebnisse wenigstens einen Auswahlvektor aus der Gruppe der Testvektoren auswählt, für den das beste Vergleichsergebnis ermittelt wurde. Dieser wenigstens eine aufgrund des Vergleichsergebnisses ausgewählte Vektor stellt den tatsächlichen Verschiebungsvektor oder zumindest den wahrscheinlichsten Verschiebungsvektor dar, der den ersten Bildbereich 1 aus dem ersten Bild Bl auf den zweiten Bildbereich 2 in dem zweiten Bild B2 abbildet. Bei der Ermittlung des Vergleichsergebnisses besteht dabei die Möglichkeit, die Testvektoren abhängig davon, wie sie erzeugt wurden, unterschiedlich zu bewerten. So besteht die Möglichkeit, Voraussa- gevektoren bzw. Testvektoren, die anhand von Bildvergleichen für vorherige Bilder ermittelt wurden zu "bestrafen", beim Bildvergleich also schlechter zu bewerten als Testvektoren, die für benachbarte Bildbereiche in demselben Bild ermittelt wurden.
Bei dem erläuterten bekannten Verfahren sind die Auswahlvektoren stets eine Funktion der Voraussagevektoren. Eine sinnvolle Nutzung dieser Voraussagevektoren setzt allerdings voraus, dass die Verschiebung benachbarter Bildbereiche oder die Verschiebung des interessierenden Bildbereiches über der Zeit keinen starken Schwankungen unterliegt, da sichergestellt sein muss, dass die aus den Voraussagevektoren ermittelten Auswahlvektoren den tatsächlichen Verschiebungsvektor auch enthalten. Andernfalls ist eine erhebliche Erweiterung der Anzahl der Auswahlvektoren erforderlich.
Ziel der vorliegenden Erfindung ist es, ein verbessertes Verfahren zur Ermittlung wenigstens eines Auswahlvektors in der Bildverarbeitung zur Verfügung zu stellen, das insbesondere in der Lage ist, auch rasche Änderungen von Verschiebungsvektoren zu berücksichtigen.
Dieses Ziel wird durch ein Verfahren gemäß der Merkmale des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen der Erfin- düng sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Verfahren zur Ermittlung eines Auswahl - vektors, der eine Verschiebung eines Bildbereiches von einer ersten Position in einem ersten Bild an eine zweite Position in einem zweiten Bild angibt, sieht vor, einen Satz von Voraussagevektoren und einen Satz von Testvektoren zur Verfügung zu stellen. Die Voraussagevektoren können dabei mittels her- kömmlicher Verfahren zur Erzeugung von Voraussagevektoren gewonnen werden, beispielsweise indem Informationen aus der Suche von VerschiebungsVektoren zu benachbarten Bildbereichen oder aus der vorangehenden Suche von Verschiebungsvektoren zu dem interessierenden Bildbereich herangezogen werden.
Unter Verwendung ausgewählter Testvektoren aus dem Satz von Testvektoren wird ein Bildvergleich durchgeführt, um für jeden dieser ausgewählten Testvektoren ein Bildvergleichsergeb- nis bereitzustellen. Außerdem werden die ausgewählten Testvektoren und wenigstens einer der Voraussagevektoren verglichen, um für jeden der ausgewählten Testvektoren wenigstens ein Vektorvergleichsergebnis bereitzustellen. Anschließend werden das zu einem ausgewählten Testvektor ermittelte BiId- Vergleichsergebnis und des zu einem ausgewählten Testvektor ermittelte wenigstens eine Vektorvergleichsergebnis verknüpft um zu jedem der ausgewählten Testvektoren wenigstens einen Gütewert bereitzustellen. Zu diesen Gütewerten wird eine Rangfolge ermittelt, wobei wenigstens ein Testvektor als Ver- schiebungsvektor anhand der ermittelten Rangfolge ausgewählt wird.
Die Testvektoren sind fest vorgegeben und decken unterschiedliche mögliche Verschiebungen des interessierenden Bildberei- ches innerhalb eines vorgegebenen Bildrasters ab. Die in den Voraussagevektoren enthaltende Information wird bei dem erfindungsgemäßen Verfahren dadurch berücksichtigt, dass bei der Auswahl eines der Testvektoren als Verschiebungsvektor neben dem anhand des Testvektors erhaltenen Bildvergleichser- gebnisses auch der Abstand des Testvektors zu den Voraussagevektoren ermittelt wird.
Das Bildvergleichsergebnis für den ausgewählten Testvektor kann mittels herkömmlicher Verfahren ermittelt werden, indem Bildinformationen der Bildpunkte eines ersten Bildbereiches in dem ersten Bild mit Bildinformationswerte der Bildpunkte eines zweiten Bildbereiches in dem zweiten Bild miteinander verglichen werden, wobei die Position des zweiten Bildbereiches gegenüber der Position des ersten Bildbereiches um den jeweils betrachteten Testvektor verschoben ist. Legt man diese beiden Bildbereiche übereinander, so ist unter der Annahme geometrisch gleicher Bildbereiche jedem Bildpunkt des ersten Bildbereiches, der sich einer gegebenen Position in diesem Bildbereich befindet, ein Bildpunkt des zweiten Bildbereiches zugeordnet, der sich an der entsprechenden Position in dem zweiten Bildbereich befindet. Die Ermittlung des Vergleichs- ergebnisses kann den Vergleich der Bildinformationswerte aller Bildpunkte in den beiden Bildbereichen oder den Vergleich der Bildinformationswerte ausgewählter, repräsentativer Bildpunkte umfassen, wobei die einzelnen Bildpunktvergleichser- gebnisse aufaddiert werden, um das Bildvergleichsergebnis zu erhalten. Ein Bildpunktvergleichsergebnis für einen Bildpunkt des ersten Bildbereiches und einen zugehörigen Bildpunkt des zweiten Bildbereiches kann erhalten werden, indem beispielsweise
- die Differenz der beiden Bildinformationswerte gebildet wird,
- der Betrag der Differenz der beiden Bildinformationswerte ermittelt wird,
- das Quadrat der Differenz der beiden Bildinformationswerte gebildet wird.
Darüber hinaus sind selbstverständlich beliebige weitere ma- thematische Verfahren möglich, die ein Maß für die Übereinstimmung bzw. die Unterschiede zweier Bildbereiche liefern.
Außerdem besteht die Möglichkeit, in dem Bildvergleich weitere Bildpunkte einzubeziehen, die sich außerhalb der vergli- chenen Bildbereiche befinden, oder zusätzliche Bildpunkte einzubeziehen, die beispielsweise durch Interpolation der ge- gebenen Bildpunkt der betrachteten Bildbereiche erzeugt werden.
Der Bildvergleich erfolgt derart, dass für jeden Vergleich zweier Bildbereiche ein numerischer Wert geliefert wird, der beispielsweise um so kleiner ist, je größer die Übereinstimmung zwischen den verglichenen Bildbereichen ist .
Zur Ermittlung des Vektorvergleichsergebnisses für einen Testvektor bezogen auf einen Voraussagevektor wird beispielsweise der Betrag oder das Quadrat eines Differenzvektors diesen beiden Vektoren ermittelt. Hierdurch wird für jeden Vergleich eines Testvektors mit einem Voraussagevektor ein numerischer Wert erhalten, der um so kleiner ist, je weniger der Testvektor und der Voraussagevektor voneinander abweichen.
Bei der Ermittlung dieses Vektorvergleichsergebnisses besteht auch die Möglichkeit zu berücksichtigen, wie der Voraussagevektor ermittelt wurde. So kann der Voraussagevektor bei- spielsweise ein Verschiebungsvektor sein, der für benachbarte Bildbereiche des interessierenden Bildbereiches in demselben Bild ermittelt wurde, oder der Voraussagevektor kann ein Verschiebungsvektor sein, der für den interessierenden Bildbereich oder dazu benachbarte Bildbereiche in einem vorherge- henden Bild ermittelt wurde. Bei der Ermittlung des Vektorvergleichsergebnisses besteht beispielsweise die Möglichkeit, einen Voraussagevektor, der anhand eines vorhergehenden Bildes ermittelt wurde, zu "bestrafen", also für diesen Vektor ein schlechteres Vektorvergleichsergebnis auszugeben, als für einen identischen Vektor, der anhand eines benachbarten Bildbereiches in demselben Bild ermittelt wurde.
Die Bestrafung kann beispielsweise durch Multiplikation des ermittelten Vergleichsergebnisses mit einem Multiplikations- faktor erfolgen, wobei dieser Multiplikationsfaktor von außen einstellbar ist und beispielsweise die Art der Erzeugung des Voraussagevektors ermittelt. Anstelle einer Multiplikation mit einem bestrafungsabhängigen Faktor kann auch ein von dem gewünschten Maß der Bestrafung abhängiger Wert zu dem ermittelten Vergleichsergebnis hinzuaddiert werden.
Nimmt man die örtliche oder zeitliche Herkunft eines Voraussagevektors bezogen auf den Bildausschnitt, für den der Bildvergleich durchgeführt wird, als Kriterium für eine Bestrafung, so betrifft die Bestrafung alle Vergleichsergebnisse dieses Voraussagevektors mit den Testvektoren. Neben der ört- liehen oder zeitlichen Herkunft des Voraussagevektors können noch weitere Kriterien für eine Bestrafung herangezogen werden. So besteht beispielsweise die Möglichkeit, die absolute Länge eines Testvektors als Bestrafungskriterium heranzuziehen und hierbei Testvektoren mit einer großen absoluten Länge zu bestrafen, wenn beispielsweise davon ausgegangen werden kann, dass in den Bildern vorkommende Bewegungsabläufe langsam ablaufen.
Außerdem besteht die Möglichkeit, die Struktur des Bildes in die Ermittlung eines geeigneten Auswahlvektors einzubeziehen. Sind beispielsweise selbstähnliche Strukturen, also monotone Flächen, vorhanden, so kann es sinnvoll sein, Auswahlvektoren zu erhalten, die möglichst wenig von den zuvor ermittelten Voraussagevektoren abweichen. Ist Ergebnis des Vektorverglei- ches ein numerischer Wert, der um so größer ist, je stärker ein Testvektor von einem Voraussagevektor abweicht, so kann dieses Ziel dadurch erreicht werden, dass jedes Vektorvergleichsergebnis mit einem Wert größer als Eins gewichtet wird, wodurch zu Testvektoren, die stark von den Voraussage- vektoren abweichen absolut betrachtet besonders "schlechte" Vektorvergleichsergebnisse in die Gütebetrachtung einfließen. Selbstähnliche Strukturen können durch einen Bildvergleich - üblicherweise einen blockweisen Bildvergleich - innerhalb des Bildes ermittelt werden.
Für die Bildung des Gütewertes eines Testvektors in bezug auf einen Voraussagevektor werden das für den Testvektor ermit- telte Bildvergleichsergebnis und das Vektorvergleichsergebnis miteinander verknüpft, wobei die Verknüpfung derart erfolgt, dass bei gleichem Bildvergleichsergebnis der Gütewert um so besser ist, je weniger sich der Testvektor und der ausgewähl- te Voraussagevektor unterscheiden. Unter der Annahme, dass aus der ermittelten Rangfolge nur die "besten" Testvektoren ausgewählt werden, werden also solche Testvektoren bevorzugt die sich von den Voraussagevektoren wenig unterscheiden. Die Berücksichtigung der Herkunft eines Voraussagevektors bei dem Bildvergleich kann beispielsweise dadurch erfolgen, dass das Vergleichsergebnis mit einem Offset versehen wird, dessen Wert von der Herkunft des jeweiligen Voraussagevektors abhängig ist .
Der Gütewert kann durch eine gewichtete Addition des aus dem Bildvergleich erhaltenen numerischen Wertes und des aus dem Vektorvergleichsergebnis erhaltenen Wertes ermittelt werden, wobei zu einem Testvektor mehrere Gütewerte ermittelt werden können, deren Anzahl der Anzahl der Voraussagevektoren ent- spricht, mit denen der ausgewählte Testvektor verglichen wird.
Bei einer Ausführungsform ist vorgesehen, dass Vektorvergleiche zwischen den ausgewählten Testvektoren und allen Voraus- sagevektoren durchgeführt werden, um zu jedem der ausgewählten Testvektoren eine der Anzahl der Voraussagevektoren entsprechende Anzahl Vektorvergleichsergebnisse zu erhalten. Vorzugsweise wird dabei eine Rangfolge der Vektorvergleichs- ergebnisse ermittelt und nur das "beste" Vektorvergleichser- gebnis wird zur Bildung des Gütewertes herangezogen, so dass zu jedem Testvektor genau ein Gütewert ermittelt wird.
Bei einer weiteren Ausführungsform ist vorgesehen, zu jedem Voraussagevektor den zu diesem Voraussagevektor jeweils bes- ten Testvektor zu ermitteln, wobei beispielsweise der/die Testvektoren als Auswahlvektor ausgewählt wird/werden, der/die am häufigsten als bester Testvektor zu den Auswahl- vektoren ermittelt wurden. Hierbei besteht auch die Möglichkeit, zu jedem Voraussagevektor einen eigenen Satz von Test- vektoren auszuwählen.
Vorzugsweise werden alle Testvektoren ausgewählt, das heißt, es werden Bildvergleiche für alle Testvektoren durchgeführt, wobei zusätzlich für alle Testvektoren Vektorvergleiche mit allen Voraussagevektoren durchgeführt werden können.
Die Auswahl des wenigstens einen Testvektors als Auswahlvektor erfolgt vorzugsweise iterativ, indem zunächst ein erster Satz von festen Auswahlvektoren bereitgestellt wird, aus denen anhand der mittels der Bildvergleichsergebnisse und der Vektorvergleichsergebnisse ermittelten Rangfolge der/die "besten" Testvektor (en) ausgewählt werden. Aus diesen besten Testvektoren wird nachfolgend für den nächsten Iterationsschritt eine zweite Gruppe von Testvektoren ermittelt, wobei die Testvektoren dieser zweiten Gruppe aus den zuvor ausgewählten besten Testvektoren des ersten Satzes gebildet wer- den.
Die Bildung dieser Testvektoren der zweiten Gruppe erfolgt beispielsweise dadurch, dass zu den zuvor ausgewählten Testvektoren des ersten Satzes jeweils vorgegebene Modifikations- vektoren addiert werden. Dabei können zu einem der ausgewählten Testvektoren einer oder mehrere Testvektoren der zweiten Gruppe erzeugt werden. Die Modifikationsvektoren sind dabei vorzugsweise so gewählt, dass die Differenz zwischen solchen Testvektoren, die durch Hinzuaddieren der Modifikationsvekto- ren zu einem der zuvor ausgewählten Testvektoren entstehen, geringer sind als die Abweichungen der einzelnen Testvektoren der ersten Gruppe .
Zu den Testvektoren der zweiten Gruppe wird anhand der BiId- Vergleichsergebnisse und der Vektorvergleichsergebnisse eine weitere Rangfolge gebildet, anhand der wenigstens ein zur Bildung eines Auswahlvektors verwendeter Testvektor ausge- wählt wird oder anhand der einer oder mehrere von Testvektoren ausgewählt werden, aus denen mittels Modifikationsvektoren für einen weiteren Iterationsschritt eine weitere Gruppe von Testvektoren gebildet wird.
Bei einer Ausführungsform ist vorgesehen, zu jedem Voraussagevektor eine Rangfolge der Testvektoren zu ermitteln und den jeweils besten Testvektor zu jedem der Voraussagevektoren für den weiteren Iterationsschritt zu verwenden. Nach dem letzten Iterationsschritt besteht die Möglichkeit, aus der Menge der "besten" Testvektoren den Testvektor als Auswahlvektor auszuwählen, dem der beste Gütewert zugeordnet ist.
Bei der Ermittlung des Vektorvergleichsergebnisses besteht selbstverständlich auch bei iterativen Verfahren die Möglichkeit, die Herkunft des Voraussagevektors zu berücksichtigen.
Des weiteren besteht die Möglichkeit, die Voraussagevektoren bezüglich ihrer Herkunft in Gruppen zu unterteilen, bei- spielsweise in Voraussagevektoren, die anhand eines vorherigen Bildes für benachbarte Bildbereiche zu dem interessierenden Bildbereich ermittelt wurden, Voraussagevektoren, die anhand eines vorherigen Bildes für den interessierenden Bildbereich ermittelt wurden und Voraussagevektoren, die anhand des aktuellen Bildes für benachbarte Bildbereiche zu dem interessierenden Bildbereich ermittelt wurden. Zu jeder dieser Gruppen können bei jedem Iterationsschritt der/die besten Testvektor (en) ermittelt und für den nachfolgenden Iterationsschritt verwendet werden. Bei Abschluss des Iterationsverfah- rens besteht neben der Ermittlung eines Auswahlvektors anhand der Rangfolge der besten Testvektoren die Möglichkeit, den jeweils zu einer Gruppe ermittelten besten Testvektor als einen neuen Voraussagevektor abzuspeichern.
Vorzugsweise umfassen die Modifikationsvektoren den Nullvektor, so dass die am Ende eines Iterationsschrittes ausgewählten Testvektoren, aus denen anhand der Modifikationsvektoren der Satz von Testvektoren für den nächsten Iterationsschritt gebildet werden, in diesem Satz von Testvektoren für den nächsten Iterationsschritt enthalten sind.
Vorzugsweise stimmen die einzelnen Modifikationsvektoren bezüglich ihrer Richtung bei den einzelnen Iterationsschritten überein, werden bezüglich ihres Betrages von Iterationsschritt zu Iterationsschritt jedoch kleiner, so dass mit jedem Iterationsschritt Testvektoren erzeugt werden, deren Dif- ferenz geringer wird.
Außerdem besteht die Möglichkeit, die Modifikationsvektoren abhängig von dem zuvor ermittelten Gütemaß auszuwählen. Wird beispielsweise zu jedem Auswahlvektor der jeweils beste Test- vektor ermittelt, von denen einer oder mehrere jedoch ein schlechtes Gütemaß liefert, so werden bei dieser Ausführungsform diese Testvektoren beispielsweise größeren Modifikationen unterworfen, da anzunehmen ist, dass geringe Modifikationen keine bedeutende Verbesserung mit sich bringen dürften. Testvektoren hingegen, die ein gutes Ergebnis liefern, werden während des nachfolgenden Schrittes nur wenig oder gar nicht modifiziert.
Insgesamt betrachtet liegt einem solchen iterativen Verfahren ein Satz von Testvektoren zugrunde, der aus dem ursprünglichen Satz von Testvektoren durch alle möglichen Kombinationen mit den Modifikationsvektoren gebildet ist, wobei während der einzelnen Iterationsschritte jedoch immer wieder Testvektoren verworfen werden, um den Rechenaufwand in Grenzen zu halten.
Das erfindungsgemäße Verfahren zur Ermittlung eines Auswahl- vektors kann in einem Verfahren zur Ermittlung eines Satzes von Auswahlvektoren Verwendung finden, bei dem Auswahlvektoren ausschließlich anhand des erläuterten Verfahrens ermit- telt werden, wobei anhand der ermittelten Rangfolge der Gütewerte so viele Testvektoren ausgewählt werden, wie Auswahl- vektoren benötigt werden. Das Verfahren kann auch als Erweiterung eines bekannten Verfahrens dienen, bei dem einer oder mehrere Voraussagevektoren als Auswahlvektoren verwendet werden, und das dadurch verbes- sert wird, dass wenigstens ein anhand einer Rangfolge von Gütewerten ausgewählter Testvektor als Auswahlvektor verwendet wird.
Die Auswahlvektoren können bei beiden Verfahren als Voraussa- gevektoren für den nächsten Vektorsuchschritt des betrachteten Bildbereiches dienen, wobei die Auswahlvektoren unverändert als Voraussagevektoren übernommen werden können oder gemäß einen fest vorgegebenen oder zufälligen Schema für die Bildung der neuen Voraussagevektoren verändert werden können. Bei dem zuletzt erläuterten Verfahren, bei dem Voraussagevektoren und Testvektoren als Auswahlvektoren verwendet werden, werden vorzugsweise die Auswahlvektoren des vorherigen Schrittes, die das schlechteste Bildvergleichsergebnis liefern, nicht mehr als neue Voraussagevektoren herangezogen sondern durch die anhand der Rangfolge ermittelten Testvektoren ersetzt.
Die vorliegende Erfindung wird nachfolgend anhand von Figuren näher erläutert. In den Figuren zeigt
Figur 1 schematisch ein erstes und zweites Bild, mit je einem Bildbereich, die über einen Verschiebungsvektor zueinander in Beziehung stehen,
Figur 2 ein System zur Bereitstellung eines Satzes von Auswahlvektoren unter Verwendung von Voraussagevektoren nach dem Stand der Technik,
Figur 3 ein Ablaufdiagramm für ein erfindungsgemäßes Ver- fahren zur Bereitstellung wenigstens eines Auswahl- vektors unter Verwendung eines Satzes von Testvektoren und eines Satzes von Voraussagevektoren, Figur 4 Tabellen, die Bildvergleichsergebnisse und Vektorvergleichsergebnisse umfassen, die zu Gütewerten für ausgewählte Testvektoren verknüpft werden,
Figur 5 eine Gütwertmatrix,
Figur 6 ein Ablaufdiagramm für eine weitere Ausführungsform eines erfindungsgemäßen Verfahrens, bei dem der we- nigstens eine Auswahlvektor iterativ aus einem Satz
Testvektoren ermittelt wird,
Figur 7 schematisch ein mögliches Vorgehen bei einem iterativen Verfahren zur Bereitstellung eines Satzes von Testvektoren anhand eines ausgewählten Testvektors und anhand von Modifikationsvektoren gemäß Figur 6.
In den Figuren bezeichnen, sofern nicht anders angegeben gleiche Bezugszeichen gleiche Teile und Verfahrensschritte mit gleicher Bedeutung.
Figur 3 veranschaulicht anhand eines Ablaufdiagramms ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Ermittlung wenigstens eines Auswahlvektors, der unter Bezugnah- me auf das Beispiel gemäß Figur 1 einen möglichen Verschiebungsvektor für eine Verschiebung des ersten Bildbereiches 1 von der ersten Position Pl in dem ersten Bild Bl an eine zweite Position P2 in dem zweiten Bild B2 darstellt. Wie bereits eingangs erläutert, dienen derartige Auswahlvektoren dazu, Bildvergleiche zwischen Bildbereichen in dem ersten
Bild Bl und dem zweiten Bild B2 durchzuführen, wobei die verglichenen Bildbereiche durch jeweils einen der Auswahlvekto- ren gegeneinander verschoben sind. Als tatsächlicher oder wahrscheinlichster Verschiebungsvektor wird dabei der Aus- wahlvektor angenommen, der dass "beste" Bildvergleichsergebnis liefert. Das erfindungsgemäße Verfahren zur Bereitstellung wenigstens eines Auswahlvektors sieht vor, einen Satz von Voraussagevektoren 101 bereitzustellen, wobei in Figur 3 beispielhaft vier solche Voraussagevektoren Vl, V2, V3 , V4 dargestellt sind. Diese Voraussagevektoren V1-V4 können mittels herkömmlicher bekannter Verfahren zur Ermittlung von Voraussagevektoren bereitgestellt werden. Solche Verfahren umfassen beispielsweise das Bereitstellen von Voraussagevektoren für einen gegebenen Bildbereich anhand bereits ermittelter Verschiebungsvektoren für benachbarte Bildbereiche des gegebenen Bildbereich. So besteht bezugnehmend auf das Beispiel gemäß Figur 1 die Möglichkeit, Voraussagevektoren für den Bildbereich 1 anhand von Verschiebungsvektoren zu ermitteln, die für benachbarte Bildbereiche 3, 4, 5 des ersten Bildbereiches ermittelt wurden. Des Weiteren besteht die Möglichkeit, Voraussagevektoren für einen gegebenen Bildbereich anhand von Auswahlvektoren zu ermitteln, die für diesen Bildbereich 1 während vorangegangener Vektorsuchschritte ermittelt wurden.
Das erfindungsgemäße Verfahren sieht weiterhin vor, einen
Satz von Testvektoren 102 bereitzustellen, wobei in Figur 3 beispielhaft drei solche Testvektoren Tl, T2, T3 dargestellt sind.
Aus diesem Satz von Testvektoren 102 wird wenigstens ein
Testvektor ausgewählt, wobei vorzugsweise alle Testvektoren T1-T3 ausgewählt werden, und unter Verwendung dieser Testvektoren werden in einem Schritt 103 Bildvergleiche durchgeführt, um für jeden der ausgewählten Testvektoren T1-T3 ein Bildvergleichsergebnis zu liefern, das in Figur 3 mit B(Tn) bezeichnet ist, wobei Tn für jeden beliebigen ausgewählten Testvektor T1-T3 steht. Der Bildvergleich umfasst den Vergleich eines ersten Bildbereiches 1 in dem ersten Bild Bl mit einem zweiten Bildbereich 2 in dem zweiten Bild B2 , wobei ei- ne Position P2 des zweiten Bildbereiches B2 gegenüber der Position Pl des ersten Bildbereiches 1 um den der ausgewählten Testvektoren verschoben ist, für den das Bildvergleichsergebnis ermittelt wird.
Bezugnehmend auf Figur 1 wird der Verschiebungsvektor vec für jeden Bildvergleich durch einen anderen der ausgewählten
Testvektoren T1-T3 ersetzt. Für den Bildvergleich werden jeweils aus einer Anzahl von Bildpunkten aufgebauten Bildbereiche dadurch verglichen, dass Bildinformationswerte, beispielsweise Luminanzwerte oder Chrominanzwerte jeweils zweier Bildpunkte, die sich in dem ersten Bildbereich 1 und im zweiten Bildbereich 2 an entsprechenden Bildpunktpositionen befinden, verglichen werden, wobei die einzelnen Vergleichsergebnisse aufaddiert werden. Um das Bildvergleichsergebnis zu liefern, werden beispielsweise die Quadrate aller Differenzen zwischen den Bildinformationswerten der Bildpunkte des ersten Bildbereiches 1 und der Bildpunkte des zweiten Bildbereiches 2 aufaddiert, wodurch ein Bildvergleichsergebnis erhalten wird, dessen numerischer Wert um so kleiner ist, je größer die Übereinstimmung zwischen den zwei betrachteten Bildberei- chen 1,2 sind und das im Extremfall Null beträgt, wenn die beiden betrachteten Bildbereiche identisch sind, das heißt, wenn die beiden Bildbereiche Bildpunkt für Bildpunkt übereinstimmen.
Die Anzahl der durch den Bildvergleichschritt 103 bereitgestellten Bildvergleichsergebnisse B (Tn) entspricht der Anzahl der ausgewählten Testvektoren Tl-T3, von denen vorzugsweise alle ausgewählt werden.
In einem Verfahrensschritt 104 werden die ausgewählten Testvektoren Tl-T3 mit wenigstens einem der Voraussagevektoren V1-V4 verglichen, um Vektorvergleichsergebnisse V(Tn, Vm) bereitzustellen. V(Tn, Vm) bezeichnet dabei ein Vergleichsergebnis, das durch einen Vergleich des Voraussagevektors Vm mit dem Testvektor Tn ermittelt wird, wobei Tn für einen beliebigen der ausgewählten Testvektoren T1-T3 und Vm für einen beliebigen der ausgewählten Voraussagevektoren V1-V4 steht. Vorzugsweise werden alle Voraussagevektoren Vl-V4 für einen Vergleich mit allen Testvektoren T1-T3 herangezogen, woraus eine Anzahl von Vektorvergleichsergebnissen V(Tn, Vm) resultiert, die dem Produkt der Anzahl der Testvektoren und der Anzahl der Voraussagevektoren entspricht.
Bei der Ermittlung des Vektorvergleichsergebnisses besteht insbesondere die Möglichkeit die Herkunft des Voraussagevektors zu berücksichtigen und durch Berücksichtigen eines wähl- baren Offset in dem Vergleichsergebnis beispielsweise solche Voraussagevektoren schlechter zu bewerten, die anhand eines vorherigen Bildes ermittelt wurden, als solche Voraussagevektoren, die anhand des aktuellen Bildes für benachbarte Bildbereiche ermittelt wurden.
Der Vergleich eines Testvektors Tn mit einem Voraussagevektor Vm umfasst beispielsweise das Ermitteln des Quadrats des Betrages eines Differenzvektors zwischen dem Testvektor Tn und dem Voraussagevektor Vm.
Die Vektorvergleichsergebnisse V(Tn, Vm) und die Bildvergleichsergebnisse B(Tn) werden in einem Verfahrensschritt 105 zu Gütewerten G(Tn, Vm) verknüpft. G(Tn, Vm) in Figur 3 bezeichnet einen Gütewert, der durch Verknüpfung des Bildver- gleichsergebnisses B(Tn) mit dem Vektorvergleichsergebnis
V (Tn, Vm) erhalten wurde. Der Verknüpfungsoperator ist in Figur 6 durch das Symbol "o" dargestellt.
Die Verknüpfung des Vektorvergleichsergebnisses V(.) und B(.) kann abhängig von der Art und Weise, wie die Bildvergleichsergebnisse B(.) und V(.) erhalten werden, verschiedene Verknüpfungsarten umfassen. Unter der Annahme, dass das Bildvergleichsergebnis B(.) einen numerischen Wert darstellt, der umso kleiner ist, je größer die Übereinstimmungen zwischen den betrachteten Bildbereichen sind und dass das Vektorvergleichsergebnis V(.) einen numerischen Wert darstellt, dessen Wert umso kleiner ist, je geringer die Differenz zwischen dem betrachteten Testvektor und dem betrachteten Voraussagevektor sind, ist die Verknüpfung des Bildvergleichsergebnisses B(.) und des Vektorvergleichsergebnisses V(.) beispielsweise eine gewichtete Addition, so dass gilt:
G(Tn, Vm) = kτ • B Tn + kv • V(Tn, Vm) .
Die Summe der Gewichtungsfaktoren kτ + kv ist dabei Eins. Wie stark das Vektorvergleichsergebnis V(.) und das Bildver- gleichsergebnis B(.) tatsächlich gewichtet werden, ist vom
Anwendungsfall abhängig, wobei keiner der beiden Gewichtungsfaktoren Kτ, Kv Null ist.
Figur 4 veranschaulicht eine in dem Verfahrensschritt 103 er- zeugte Tabelle 113 mit Bildvergleichsergebnissen B(Tl) bis B(T3) sowie eine in dem Verfahrensschritt 104 ermittelte Tabelle mit Vektorvergleichsergebnissen V(Tl, Vl) bis V(T3, V4) , die in dem Verfahrensschritt 105 zur Bildung einer Tabelle 115 mit den Gütewerten G(Tl, Vl) bis G(T3, V4) ver- knüpft werden.
In einem Verfahrensschritt 106 wird durch Sortieren dieser Gütewerte G ( . , . ) eine Rangfolge ermittelt und wenigstens der Testvektor, für den der beste Gütewert ermittelt wurde, wird als Auswahlvektor ausgewählt. Der oder die ausgewählten Auswahlvektoren sind in Figur 3 durch Ti bezeichnet.
Unter der beispielhaften Annahme, dass die numerischen Werte der Bildvergleichsergebnisse B(.) um so kleiner sind, je grö- ßer die Übereinstimmung der betrachteten Bildbereiche sind und dass die Vektorvergleichsergebnisse V(.) um so kleiner sind, je geringer die Unterschiede zwischen einem betrachteten Testvektor und einem betrachteten Voraussagevektor sind, und dass die Vektorvergleichsergebnisse V(.) und Bildver- gleichsergebnisse B(.) addiert werden, folgt, dass der beste Gütewert der Gütewert mit dem kleinsten numerischen Wert ist. Bei einer Abwandlung des zuvor erläuterten Verfahrens ist vorgesehen, jeden der ausgewählten Testvektoren T1-T3 mit jedem der ausgewählten Voraussagevektoren V1-V4 im Verfahrensschritt 104 zu vergleichen und Vektorvergleichsergebnisse V(Tn, Vm) bereitzustellen, im Verfahrensschritt 105 jedoch nur den jeweils besten Vektorvergleichswert eines Testvektors mit dem zugehörigen Bildvergleichswert B(.) zu verknüpfen. Die Tabelle 114 wird dadurch auf eine Anzahl von Werten reduziert, die der Anzahl der ausgewählten Testvektoren entspre- chen.
Außerdem besteht die Möglichkeit, für jeden Voraussagevektor Vl-V4 denjenigen der Testvektoren Tl zu ermitteln, der das beste Gütemaß besitzt, so dass eine der Anzahl der Testvekto- ren entsprechende Anzahl Testvektoren ermittelt werden.
Figur 5 veranschaulicht dieses Vorgehen anhand einer Matrix, in der die Testvektoren Tl-T3 und die Auswahlvektoren Vl-V4 aufgetragen sind, wobei die einzelnen Matrixelemente bei- spielhaft jeweils einen einem Testvektor und einem Voraussagevektor zugehörigen Gütewert repräsentieren. Unter der Annahme, dass die Ermittlung des Gütewertes so erfolgt, dass ein Testvektor als um so besser gilt, je geringer dessen Gütewert ist, würde in dem Beispiel der Testvektor Tl als bes- ter Vektor zu dem Voraussagevektor Vl, der Testvektor Tl als bester Vektor zu dem Voraussagevektor V2 , der Testvektor T3 als bester Vektor zu dem Voraussagevektor V3 und der Testvektor T2 als bester Vektor zu dem Voraussagevektor V4 ausgewählt werden.
Aus diesen besten Testvektoren können dann ein Testvektor o- der mehrere Testvektoren ausgewählt werden, wobei bei dieser Auswahl das für den jeweiligen Testvektor ermittelte Gütemaß und/oder die Häufigkeit, mit der ein Testvektor als bester Testvektor zu den Voraussagevektoren ermittelt wurde, berücksichtigt werden kann. Außerdem kann der zu einem Auswahlvektor ermittelte Testvektor als neuer Voraussagevektor gespeichert werden, wobei die Möglichkeit besteht, die Auswahlvektoren nach deren Herkunft zu klassifizieren und die erhaltenen Testvektoren entspre- chend in einer zugehörigen Gruppe abzuspeichern.
Bei der Darstellung gemäß Figur 3 wird davon ausgegangen, dass ein Satz von Testvektoren 102 bereitgestellt wird, aus dem nach Durchführung von Bildvergleichen und unter Verwen- düng von Voraussagevektoren wenigstens ein Testvektor Ti ausgewählt wird, der als Auswahlvektor verwendet werden kann.
Bei einer Abwandlung des Verfahrens gemäß Figur 3, dessen Ablaufdiagramm in Figur 6 dargestellt ist, ist vorgesehen, we- nigstens einen Auswahlvektor mittels eines iterativen Verfahrens zu ermitteln.
Wie in Figur 6 dargestellt ist, ist bei diesem Verfahren e- benfalls vorgesehen, einen Satz von Testvektoren T1-T3 be- reitzustellen und aus diesem Satz von Testvektoren T1-T3 mittels eines bereits anhand der Figuren 3 und 4 erläuterten Verfahrens wenigstens einen Testvektor Ti auszuwählen. Im Gegensatz zu dem Verfahren gemäß Figur 3 wird dieser Testvektor Ti allerdings nicht bereits nach dem ersten Durchlauf des Verfahrens als Auswahlvektor ausgegeben, sondern dieser wenigstens eine Testvektor Ti dient in einem Verfahrensschritt 107 als Grundlage für die Erzeugung eines weiteren Satzes von Testvektoren, die in Figur 6 beispielhaft mit TiI, Ti2, Ti3, Ti4 bezeichnet sind, wobei das bereits erläuterte Verfahren mit diesem neuen Satz von Testvektoren in der erläuterten
Weise erneut durchgeführt wird. Zur Verdeutlichung des iterativen Charakters des Verfahrens gemäß Figur 6 sind in Figur 6 zwei Schalter Sl, S2 dargestellt, wobei sich der Schalter Sl zu Beginn des Verfahrens in der linken dargestellten Position befindet, um den ursprünglichen Satz 102 von Testvektoren Tl, T2, T3 in dem Verfahrensschritt 103 zu verarbeiten und wobei sich der Schalter S2 zu Beginn des Verfahrens in der rechten dargestellten Position befindet, um den wenigstens einen ausgewählten Testvektor Ti dem Verfahrensschritt 107 zur Bildung eines neuen Satzes 112 von Testvektoren TiI - Ti4 zuzuführen. Während der weiteren Iterationsschritte steht der erste Schalter Sl in der rechten dargestellten Position, um die Testvektoren des aus den ausgewählten Testvektoren Ti gebildeten Satzes von Testvektoren dem Verfahrensschritt 103 zuzuführen. Am Ende des Verfahrens wird der zweite Schalter in die linke dargestellte Position gebracht, um den wenigstens einen ausgewählten Testvektor Ti als Auswahlvektor auszugeben.
Figur 7 veranschaulicht eine mögliche Ausgestaltung des Verfahrensschrittes 107, in dem aus wenigstens einem ausgewähl- ten Testvektor Ti der neue Satz Testvektoren 112 bereitgestellt wird. Figur 7 zeigt einen ausgewählten Testvektor Ti in einem kartesischen Koordinatensystem, wobei aus diesem Testvektor Ti durch vektorielle Addition von vier Modifikationsvektoren M1-M4 ein Satz von vier weiteren Testvektoren TiI, Ti2, Ti3, Ti4 erzeugt wird. Vorzugsweise ist einer der
Modifikationsvektoren ein Nullvektor, so dass auch der ausgewählte Testvektor Ti in den Satz neuer Testvektoren 112 übernommen wird. Die dargestellten Modifikationsvektoren M1-M4 lassen sich in kartesischen Koordinaten darstellen als (± a,0) und (0, ± a) , wobei a den Betrag der Modifikationsvektoren M1-M4 darstellt. Selbstverständlich können auch mehr als vier Modifikationsvektoren verwendet werden, um dadurch aus einem ausgewählten Testvektor Ti mehr als. vier, bzw. bei Verwendung des Nullvektors als einen Modifikationsvektor mehr als fünf Testvektoren aus einem ausgewählten Testvektor Ti zu bilden. Zusätzliche Modifikationsvektoren sind beispielsweise (± 0,5 • a • V2, ± 0,5 • a • V2) .
Vorzugsweise verringert sich der Betrag a der Modifikations- vektoren mit jedem Iterationsschritt, wodurch mit jedem Iterationsschritt aus einem ausgewähltem Testvektor Ti ein Satz von Testvektoren erzeugt wird, die sich immer weniger von dem ausgewählten Testvektor Ti unterscheiden.
Auch bei dem erläuterten iterativen Verfahren besteht die Möglichkeit, die Herkunft eines Voraussagevektors bei der Ermittlung des Vektorvergleichsergebnisses zu berücksichtigen.
Außerdem besteht die Möglichkeit, zu jedem Voraussagevektor während jedes Iterationsschrittes den jeweils besten Testvek- tor zu ermitteln und für den nachfolgenden Iterationsschritt zu verwenden. Nach dem letzten Iterationsschritt kann der zu jedem Voraussagevektor ermittelte jeweils beste Testvektor als ein neuer Voraussagevektor abgespeichert werden.
Die Modifikation eines für den nächsten Iterationsschritt ausgewählten Testvektors erfolgt vorzugsweise abhängig von dem während des vorherigen Iterationsschrittes ermittelten Gütewertes. So werden Testvektoren mit einem guten Gütewert weniger stark modifiziert als Testvektoren mit schlechten Gü- tewerten. Dies kann beispielsweise dadurch erreicht werden, dass der Betrag des Modifikationsvektors abhängig von dem zuvor ermittelten Gütewert eingestellt wird.
Das erfindungsgemäße Verfahren zur Ermittlung eines Auswahl- vektors anhand eines Satzes von Testvektoren und eines Satzes von Voraussagevektoren eignet sich vollständig zur Ermittlung von Auswahlvektoren, wobei beispielsweise ein Satz von Test- vektoren bereitgestellt wird, der mehr Testvektoren enthält, als Auswahlvektoren benötigt werden und wobei anhand des er- mittelten Verfahrens die jeweils besten Testvektoren als Auswahlvektoren ausgewählt werden. Das erfindungsgemäße Verfahren eignet sich auch im Zusammenhang mit einem herkömmlichen Verfahren, bei dem Auswahlvektoren anhand von Voraussagevek- toren ermittelt werden. Dabei besteht die Möglichkeit, neben den Voraussagevektoren wenigstens einen Testvektor als
Auswahlvektor zu verwenden, der anhand des erfindungsgemäßen Verfahrens ermittelt wurde. Die für einen gegebenen Bildbereich ermittelten Auswahlvektoren können für nachfolgende Suchschritte für die Ermittlung der Voraussagevektoren herangezogen werden.

Claims

Patentansprüche
1. Verfahren zur Ermittlung eines Auswahlvektors, der einen möglichen Verschiebungsvektor für eine Verschiebung eines Bildbereiches (1) von einer ersten Position (Pl) in einem ersten Bild (Bl) an eine zweite Position (P2) in einem zweiten Bild (B2) darstellt, wobei das Verfahren folgende Verfahrensschritte umfasst:
a) Bereitstellen eines Satzes von Voraussagevektoren (Vl, V2, V3, V4) ,
b) Bereitstellen wenigstens eines festen Satzes von Testvektoren (Tl, T2, T3) ,
c) Auswählen wenigstens eines Testvektors aus dem Satz von Testvektoren (Tl, T2, T3, T4) und Durchführen eines Bildvergleiches zwischen einem ersten Bildbereich (1) in dem ersten Bild (Bl) und einem zweiten Bildbereich (2) in dem zweiten Bild (B2) , um ein Bildvergleichsergebnis B(Tn) zu erhalten, wobei die Position des zweiten Bildbereiches (2) gegenüber dem ersten Bildbereich (1) um den wenigstens einen ausgewählten Testvektor verschoben ist,
d) Vergleichen des wenigstens einen ausgewählten Testvektors (T1-T3) mit wenigstens einem ausgewählten Voraussagevektor (V1-V4), um für jeden ausgewählten Testvektor (T1-T3) wenigstens ein Vektorvergleichsergebnis V(Tn, Vn) zu erhalten,
e) Bereitstellen wenigstens eines Gütewertes (G(Tn, Vn)) zu jedem ausgewählten Testvektor (T1-T3) aus dem für diesen Testvektor (T1-T3) erhaltenen Bildvergleichsergebnis und einem Vektorvergleichsergebnis (V(Tn, Vn)),
f) Ermitteln einer Rangfolge der Gütewerte (G(Tn, Vn)) und g) Auswählen eines der Testvektoren (T1-T3) anhand der Rangfolge der Gütewerte als Auswahlvektor.
2. Verfahren nach Anspruch 1, bei dem jedem Voraussagevektor (V1-V4) oder jeweils einer Gruppe von Voraussagevektoren (Vl- V4) ein Satz von Testvektoren zugeordnet ist, aus dem der Testvektor zur Durchführung des Vektorvergleiches ausgewählt wird.
3. Verfahren nach Anspruch 1, bei dem in dem Vergleichsschritt d) ein Maß für eine Differenz zwischen jedem der ausgewählten Testvektoren (T1-T3) und dem wenigstens einen ausgewählten Voraussagevektor (Vl-V4) ermittelt wird.
4. Verfahren nach Anspruch 1, 2 oder 3, bei dem Schritt c) für alle Testvektoren (Tl, T2, T3) durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem Schritt d) für alle Voraussagevektoren (V1-V4) durchgeführt . wird.
6. Verfahren nach einem der vorangehenden Ansprüche, bei dem das Bildvergleichsergebnis (B(in)), das einem der ausgewählten Testvektoren zugeordnet ist und das einem der ausgewähl- ten Bewegungsvektoren zugeordnete Vektorvergleichsergebnis derart verknüpft werden, dass bei gleichem Bildvergleichsergebnis (B(in)) der Gütewert G(Tn, Vn) um so besser ist, je weniger sich der Testvektor (T1-T3) und der ausgewählte Voraussagevektor (Vl-V4) unterscheiden.
7. Verfahren nach einem der vorangehenden Ansprüche, bei dem zu jedem Voraussagevektor (Vl-V4) wenigstens ein Testvektor ermittelt wird, wobei aus der Gruppe der hierdurch ermittelten Testvektoren der Auswahlvektor ausgewählt wird.
8. Verfahren nach einem der vorangehenden Ansprüche, bei dem die Verfahrensschritte c) bis f) wenigstens zweimal durchlau- fen werden, wobei nach dem Verfahrensschritt g) wenigstens ein Testvektor (Ti) anhand der Rangfolge der Gütewerte (G(Tn, Vn) ) ausgewählt wird und wobei ausgehend von diesem wenigstens einen Testvektor (Ti) ein Satz von Testvektoren (112) für den nachfolgenden Bildvergleich in Schritt c) gebildet werden.
9. Verfahren nach Anspruch 8, bei dem zu jedem Voraussagevektor während eines Durchlaufes der Schritte c) bis f) ein Testvektor ermittelt wird, ausgehend von dem ein Satz von Testvektoren für den nachfolgenden Bildvergleich gebildet werden .
10. Verfahren nach Anspruch 8 oder 9, bei dem aus dem nach dem Verfahrensschritt g) wenigstens einen ausgewählten Testvektor (Ti) durch vektorielles Addieren wenigstens eines Modifikationsvektors (M1-M4) ein Testvektor (Til-Ti4) des Satzes von Testvektoren (112) für den nachfolgenden Bildvergleich gebildet wird.
11. Verfahren nach Anspruch 10, bei dem aus dem nach dem Verfahrensschritt g) wenigstens einen ausgewählten Testvektor (Ti) mehrere Testvektoren (Til-Ti4) jeweils durch vektorielles Addieren mehrerer Modifikationsvektoren (M1-M4) gebildet werden.
12. Verfahren nach Anspruch 11, bei dem mit jedem Durchlauf der Verfahrensschritte c) bis f) Modifikationsvektoren verwendet werden, die hinsichtlich ihrer Richtung übereinstimmen deren Betrag von Iterationsschritt zu Iterationsschritt jedoch kleiner wird.
13. Verfahren nach Anspruch 11, bei dem die Modifikationsvektoren von dem zuvor ermittelten, dem ausgewählten Testvektor zugeordneten Gütewert abhängig sind.
14. Verfahren nach Anspruch 13, bei dem der Betrag des Modifikationsvektors um so geringer ist je besser der Gütewert ist .
15. Verfahren zur Bereitstellung eines Satzes von Auswahlvektoren unter Verwendung eines Satzes von Voraussagevektoren (101) und eines Satzes von Testvektoren (102) , wobei als Auswahlvektoren (101) nur Testvektoren verwendet werden, die gemäß eines Verfahrens nach einem der Ansprüche 1 bis 14 ermit- telt wurden.
16. Verfahren zur Bereitstellung eines Satzes von Auswahlvektoren unter Verwendung eines Satzes von Voraussagevektoren (101) und eines Satzes von Testvektoren (102) , wobei als Aus- wahlvektoren Testvektoren verwendet werden, die gemäß eines
Verfahrens nach einem der Ansprüche 1 bis 15 ermittelt wurden und wobei als Auswahlvektoren weiterhin Voraussagevektoren verwendet werden.
17. Verfahren nach einem Anspruch 10 oder 11, bei dem die
Auswahlvektoren als neue Voraussagevektoren gespeichert werden.
18. Verfahren nach Anspruch 10 oder 11, bei dem die Auswahl- vektoren nach einem fest vorgegebenen oder nach einem zufälligen Schema verändert und als neue Voraussagevektoren abgespeichert werden.
EP04736747A 2003-06-18 2004-06-14 Verfahren zur ermittlung eines verschiebungsvektors in der bildverarbeitung Ceased EP1634245A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10327577A DE10327577A1 (de) 2003-06-18 2003-06-18 Verfahren zur Ermittlung eines Verschiebungsvektors in der Bildverarbeitung
PCT/EP2004/006398 WO2004111939A2 (de) 2003-06-18 2004-06-14 Verfahren zur ermittlung eines verschiebungsvektors in der bildverarbeitung

Publications (1)

Publication Number Publication Date
EP1634245A2 true EP1634245A2 (de) 2006-03-15

Family

ID=33520721

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04736747A Ceased EP1634245A2 (de) 2003-06-18 2004-06-14 Verfahren zur ermittlung eines verschiebungsvektors in der bildverarbeitung

Country Status (4)

Country Link
US (1) US7720296B2 (de)
EP (1) EP1634245A2 (de)
DE (1) DE10327577A1 (de)
WO (1) WO2004111939A2 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
EP1841231A1 (de) * 2006-03-29 2007-10-03 Sony Deutschland Gmbh Verfahren zur Bewegungsschätzung
DE102007051175B4 (de) 2007-10-25 2012-01-26 Trident Microsystems (Far East) Ltd. Verfahren zur Bewegungsschätzung in der Bildverarbeitung
DE102007051174B4 (de) * 2007-10-25 2011-12-08 Trident Microsystems (Far East) Ltd. Verfahren zur Bewegungsschätzung in der Bildverarbeitung
CN101971209A (zh) * 2008-01-11 2011-02-09 卓然(法国) 超高分辨率视频处理的稀疏几何结构
KR101538654B1 (ko) * 2008-07-07 2015-07-22 삼성전자주식회사 손 떨림 보정 동작을 제어하는 디지털 촬영장치 및 이의제어방법
JP5075757B2 (ja) * 2008-08-05 2012-11-21 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
AT505913B8 (de) * 2008-08-22 2009-06-15 Arc Austrian Res Centers Gmbh Verfahren zur ermittlung der lage von bildpunkten
US8659600B2 (en) * 2011-07-13 2014-02-25 Pixar Generating vector displacement maps using parameterized sculpted meshes
US9227563B2 (en) * 2012-09-14 2016-01-05 Bendix Commercial Vehicle Systems Llc Backward movement indicator apparatus for a vehicle
DE102014210739A1 (de) * 2014-06-05 2015-12-17 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Drehratensensors und elektrisches Gerät

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI89121C (fi) * 1991-11-11 1993-08-10 Nokia Oy Ab Foerfarande foer soekning av roerelsevektorer foer en videosignal
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004111939A2 *

Also Published As

Publication number Publication date
US7720296B2 (en) 2010-05-18
WO2004111939A3 (de) 2005-09-09
DE10327577A1 (de) 2005-01-13
US20070098279A1 (en) 2007-05-03
WO2004111939A2 (de) 2004-12-23

Similar Documents

Publication Publication Date Title
DE69031055T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
DE69030896T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69021431T2 (de) Bewegungsabhängige Videosignalverarbeitung.
DE69126930T2 (de) Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
DE69015419T2 (de) Umwandlung eines Videosignals auf einen photographischen Film.
DE69421139T2 (de) Bewegungsvektordetektion
DE69423166T2 (de) Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
DE69028792T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE102004017145B4 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
EP1634245A2 (de) Verfahren zur ermittlung eines verschiebungsvektors in der bildverarbeitung
DE69031144T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69031322T2 (de) Bewegungsabhängige Videosignalverarbeitung
EP1770635B1 (de) Iteratives Verfahren zur Interpolation von Bildinformationswerten
DE4400645A1 (de) Verfahren und Schaltung zur Interpolation digitaler Bilddaten
EP0897247A2 (de) Verfahren zur Berechnung von Bewegungsvektoren
DE102009026983A1 (de) Bildverarbeitungsverfahren mit einer Bewegungsschätzung und Bildverarbeitungsanordnung
DE3000918C2 (de) Korrelationsvorrichtung
EP2105883A1 (de) Verfahren zum Testen eines Bewegungsvektors
DE19648017A1 (de) Verfahren zur Bestimmung von Maßstabsfaktoren für fraktale Bildkodierung
DE602005000425T2 (de) Verfahren und Anordnung zur Erzeugung von Kandidatenvektoren für Bildinterpolierungssysteme, die Bewegungsabschätzung und -kompensation verwenden
EP3465608B1 (de) Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug
DE69132133T2 (de) Verfahren und Gerät zur Bewegungserfassung
EP1976288B1 (de) Iteratives Verfahren zur Interpolation von Bildinformationswerten
EP1605405A1 (de) Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20051124

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL HR LT LV MK

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB IT NL

RIN1 Information on inventor provided before grant (corrected)

Inventor name: TUSCHEN, CHRISTIAN

Inventor name: HAHN, MARKO

17Q First examination report despatched

Effective date: 20080415

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20110129