DE102015218489A1 - Method and ultrasound system for determining a position of an ultrasound head during an ultrasound examination - Google Patents

Method and ultrasound system for determining a position of an ultrasound head during an ultrasound examination Download PDF

Info

Publication number
DE102015218489A1
DE102015218489A1 DE102015218489.7A DE102015218489A DE102015218489A1 DE 102015218489 A1 DE102015218489 A1 DE 102015218489A1 DE 102015218489 A DE102015218489 A DE 102015218489A DE 102015218489 A1 DE102015218489 A1 DE 102015218489A1
Authority
DE
Germany
Prior art keywords
ultrasound
images
image
optical
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102015218489.7A
Other languages
German (de)
Inventor
Oliver Heid
Jennifer Sirtl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE102015218489.7A priority Critical patent/DE102015218489A1/en
Publication of DE102015218489A1 publication Critical patent/DE102015218489A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Abstract

Die Erfindung betrifft ein Ultraschallsystem mit einem Ultraschallkopf, der seinerseits ein Sensorsystem mit einem optischen Sensor aufweist. Der optische Sensor tastet während einer Ultraschalluntersuchung eines Objekts die Oberfläche des Objekts ab und erzeugt so eine Zeitserie von optischen Bildern der Oberfläche. Dabei kann durch einen Vergleich von jeweils zwei Bildern der Zeitserie bspw. im Rahmen einer Korrelation eine Bewegung des optischen Sensors und damit des Ultraschallkopfes während der Untersuchung rekonstruiert werden. Mit der somit ermittelten Bewegung des Ultraschallkopfes während der Ultraschalluntersuchung können die gleichzeitig aufgenommenen Ultraschallbilder bspw. zu einem Gesamtbild zusammengesetzt werden.The invention relates to an ultrasound system with an ultrasound head, which in turn has a sensor system with an optical sensor. The optical sensor scans the surface of the object during an ultrasound examination of an object, thus producing a time series of optical images of the surface. In this case, a comparison of two images of the time series, for example, in the context of a correlation, a movement of the optical sensor and thus the ultrasound head during the investigation are reconstructed. With the thus determined movement of the ultrasound head during the ultrasound examination, the simultaneously recorded ultrasound images can be combined, for example, into an overall image.

Description

Die Erfindung betrifft einen Ultraschallkopf zur Untersuchung eines Objekts, wobei der Ultraschallkopf einen optischen Sensor aufweist, mit dem eine Bewegung des Ultraschallkopfes während einer Ultraschalluntersuchung detektiert werden kann. The invention relates to an ultrasound head for the examination of an object, wherein the ultrasound head has an optical sensor with which a movement of the ultrasound head during an ultrasound examination can be detected.

Ein Ultraschallgerät zur Untersuchung eines Objekts hinsichtlich innerhalb des Objekts befindlicher Strukturen weist in der Regel ein Grundgerät auf, das mit einem Ultraschallkopf verbunden ist. Während der Ultraschallkopf zur eigentlichen Untersuchung verwendet wird und Wandler zur Erzeugung und Detektion von Ultraschallwellen enthält, weist das Grundgerät typischerweise die benötigte Elektronik und Bedienelemente auf. Bspw. befinden sich in bzw. an dem Grundgerät häufig ein Monitor zur Anzeige der aufgenommenen Ultraschallbilder und/oder von bspw. Patientendaten oder Messparametern des Ultraschallgerätes sowie eine Bedieneinheit, die bspw. eine Tastatur, ein Mousepad und/oder andere Eingabemittel aufweist. Desweiteren ist in dem Grundgerät eine Recheneinheit untergebracht, die Signalprozessoren zur Steuerung des Gerätes sowie Bildsignalprozessoren zur Rekonstruktion der anzuzeigenden Bilder aus den vom Ultraschallkopf bereitgestellten Daten. An ultrasound device for examining an object with respect to structures located within the object generally has a base device that is connected to an ultrasound head. While the ultrasound head is used for the actual examination and includes transducers for generating and detecting ultrasonic waves, the base unit typically has the necessary electronics and controls. For example. are in or on the basic unit often a monitor for displaying the recorded ultrasound images and / or, for example, patient data or measurement parameters of the ultrasound device and an operating unit, which has, for example, a keyboard, a mouse pad and / or other input means. Furthermore, a computer unit is housed in the basic unit, the signal processors for controlling the device and image signal processors for reconstructing the images to be displayed from the data provided by the ultrasound probe.

Bei einer Ultraschalluntersuchung eines Objekts mit dem Ziel, bspw. eine Untersuchung des Inneren des Objekts auszuführen, tastet der Bediener des Ultraschallgerätes das zu untersuchende Objekt mit einem Ultraschallkopf ab. Dazu bewegt der Bediener den Ultraschallkopf über die Oberfläche des Objektes in einer Region, die das zu untersuchende Innere umgibt. Die dabei ermittelten Bilddaten dienen bspw. einer Diagnose oder allgemein einer Analyse der untersuchten Region. In an ultrasound examination of an object with the aim, for example, to carry out an examination of the interior of the object, the operator of the ultrasound device scans the object to be examined with an ultrasound head. For this purpose, the operator moves the ultrasound head over the surface of the object in a region surrounding the interior to be examined. The image data determined thereby serve, for example, a diagnosis or generally an analysis of the examined region.

Während der Untersuchung wird in der Regel eine Vielzahl von Ultraschallbildern erzeugt, die separat betrachtet bzw. ausgewertet werden. Eine Verbesserung dieser Vorgehensweise besteht darin, die Einzelbilder zu einem Gesamtbild zusammenzusetzen, wie es bspw. in DE102005037806A1 beschrieben wird, oder aber auch das Gesamtbild mit einer weiteren räumliche Dimension auszustatten. Dies kann dadurch erfolgen, dass im Rahmen einer Bildverarbeitung in den aufgenommenen Ultraschallbildern nach übereinstimmenden Strukturen gesucht wird und diejenigen Einzelbilder, die derartige übereinstimmende Strukturen aufweisen, derart miteinander zu einem räumlichen Bild bzw. zu einem Gesamtbild kombiniert werden, dass sich die jeweils übereinstimmenden Strukturen in zwei oder ggf. auch mehr Bildern deckend überlappen. Hierbei kann es ggf. notwendig sein, Einzelbilder zu stauchen, zu strecken, zu skalieren, zu rotieren und/oder Zwischenschichten zu interpolieren, da davon auszugehen ist, dass der Ultraschallkopf bei der Bildaufnahme nicht immer die gleiche Position und/oder Orientierung aufweist, so dass die Einzelbilder unterschiedlichen Projektionsrichtungen entsprechen. Die übereinstimmenden Strukturen werden also in den Einzelbildern an unterschiedlichen Stellen und ggf. verzerrt auftreten. During the examination, a large number of ultrasound images are usually generated, which are viewed and evaluated separately. An improvement of this procedure is to assemble the individual images into an overall picture, such as, for example, in DE102005037806A1 is described or to equip the overall picture with a further spatial dimension. This can be done by searching for matching structures in the recorded ultrasound images within the scope of an image processing, and combining those individual images having such matching structures with one another to form a spatial image or an overall image such that the respectively matching structures in overlap two or possibly more images opaque. In this case, it may be necessary to compress, stretch, scale, rotate and / or interpolate individual images, since it can be assumed that the ultrasound head does not always have the same position and / or orientation when imaging that the individual images correspond to different projection directions. The matching structures will thus occur in the individual images at different locations and possibly distorted.

Das neu generierte Gesamtbild, welches ggf. auch ein 3D-Bild sein kann, wird in der Regel größer sein als die Einzelbilder, da davon auszugehen ist, dass die Einzelbilder sich nicht vollständig, sondern lediglich in mehr oder weniger kleine Sektionen der Einzelbilder überlappen. Außerdem wird durch die Bewegung des Ultraschallkopfes eine weitere Dimension erfasst. The newly generated overall image, which may possibly also be a 3D image, will generally be larger than the individual images, since it can be assumed that the individual images do not overlap completely but only in more or less small sections of the individual images. In addition, another dimension is detected by the movement of the ultrasound head.

Das somit beschriebene Verfahren, ein großes Bild nach Art eines Gesamtbildes aus einer Vielzahl von Einzelbildern zusammenzusetzen, wird auch als „Stitching“ bezeichnet. Das Erzeugen von dreidimensionalen Ansichten aus zweidimensionalen Bildern wird 3D-Rekonstruktion genannt. Da Ultraschallbilder typischerweise einen relativ hohen Rauschanteil haben, ist das Stitching basierend auf den Ultraschallbildern selbst jedoch mit entsprechender Unsicherheit behaftet. The thus described method of composing a large picture in the manner of an overall picture from a plurality of individual pictures is also referred to as "stitching". Generating three-dimensional views from two-dimensional images is called 3D reconstruction. However, because ultrasound images typically have a relatively high level of noise, stitching itself has inherent uncertainty based on the ultrasound images.

Desweiteren funktioniert das Verfahren nur dann, wenn in den Einzelbildern tatsächlich übereinstimmende Strukturen gefunden werden. Für den Fall, dass bspw. bei einer zu schnellen Bewegung des Ultraschallkopfes ein Bereich des zu untersuchenden Objekts nicht abgebildet wird, kann es vorkommen, dass ein Einzelbild aufgenommen wird, das keine Strukturen beinhaltet, die mit Strukturen in anderen Einzelbildern übereinstimmen. Ein solches Einzelbild kann bei der Erstellung des Gesamtbildes nicht berücksichtigt werden. Dies kann letztlich sogar dazu führen, dass zwei oder sogar mehrere Gesamtbilder erzeugt werden müssen, die nicht unmittelbar miteinander in Verbindung gebracht werden können. Furthermore, the method works only if in the individual images actually matching structures are found. In the event that, for example, a too rapid movement of the ultrasound head, a region of the object to be examined is not displayed, it may happen that a single image is taken that does not include structures that match structures in other frames. Such a single image can not be taken into account when creating the overall picture. Ultimately, this can even lead to the creation of two or even more complete images that can not be directly related.

Es ist daher eine Aufgabe der Erfindung, eine Bewegungsermittlung eines Ultraschallkopfes zu verbessern. Dabei besteht ein Teilaspekt der Erfindung darin, das Erzeugen eines Gesamtbildes aus Einzelbildern einer Ultraschalluntersuchung zu verbessern. It is therefore an object of the invention to improve a motion detection of an ultrasound head. In this case, a partial aspect of the invention is to improve the generation of an overall image from individual images of an ultrasound examination.

Diese Aufgabe wird durch den in Anspruch 1 beschriebene Verfahren und durch das in Anspruch 12 beschriebene System gelöst. Die Unteransprüche beschreiben vorteilhafte Ausgestaltungen. This object is achieved by the method described in claim 1 and by the system described in claim 12. The subclaims describe advantageous embodiments.

Die Erfindung betrifft ein Ultraschallsystem mit einem Ultraschallkopf zur Untersuchung eines Objekts, wobei der Ultraschallkopf zusätzlich zu den zur Ultaschall-Bildgebung üblichen Piezokristallen einen optischen Sensor aufweist, mit dem eine Bewegung des Ultraschallkopfes während einer Ultraschalluntersuchung detektiert werden kann. Der optische Sensor empfängt optische Informationen über ein entsprechendes Fenster im Ultraschallkopf. Diese Informationen werden benutzt, um über eine Korrelation die Bewegung des Ultraschallkopfes über dem Objekt während der Ultraschalluntersuchung zu ermitteln. The invention relates to an ultrasound system having an ultrasound head for the examination of an object, wherein the ultrasound head has an optical sensor in addition to the piezocrystals customary for ultrasound imaging, with which a movement of the ultrasound head during a Ultrasound examination can be detected. The optical sensor receives optical information via a corresponding window in the ultrasound probe. This information is used to correlate the movement of the ultrasound head over the object during the ultrasound scan.

Das der Erfindung zu Grunde liegende Konzept besteht darin, dass während einer Untersuchung bzw. während der Aufnahme der Ultraschall-Bilddaten die Lage des Ultraschallkopfes relativ zu einer Ausgangslage, bestimmt wird. Dabei beinhaltet der Begriff „Lage“ in der Regel sowohl die Orientierung als auch die Position des Ultraschallkopfes. Wenn also von der Lage des Ultraschallkopfes die Rede ist, so umfasst dies sowohl die Position des Kopfes in einem raumfesten Koordinatensystem als auch eventuelle Rotationen um die Achsen dieses Koordinatensystems. Demnach ist die Lage im Extremfall eine sechsdimensionale Größe, während Position und Orientierung jeweils dreidimensional sind. Wenn jedem beliebigen Einzelbild aus den Ultraschall-Bilddaten eine eindeutige Lage bzw. Position und Orientierung des Ultraschallkopfes im Moment der Aufnahme des jeweiligen Einzelbildes zugeordnet werden kann, so dass für jedes Einzelbild bekannt ist, wo und wie der Ultraschallkopf zum Zeitpunkt der jeweiligen Bildaufnahme positioniert war, lassen sich die Ultraschall-Einzelbilder basierend auf diesen Lageinformationen zu einem Gesamtbild zusammensetzen. Dies ist auch für Ultraschall-Einzelbilder anwendbar, in denen keine Strukturen vorhanden sind, die mit Strukturen in anderen Ultraschall-Einzelbildern übereinstimmen. The concept underlying the invention is that the position of the ultrasound head relative to a starting position is determined during an examination or during the recording of the ultrasound image data. The term "position" usually includes both the orientation and the position of the ultrasound head. So if the position of the ultrasonic head is mentioned, this includes both the position of the head in a spatially fixed coordinate system and any rotations about the axes of this coordinate system. Thus, in extreme cases, the position is a six-dimensional size, while position and orientation are each three-dimensional. If any unique image from the ultrasound image data can be assigned an unambiguous position or orientation and orientation of the ultrasound head at the time the respective individual image is taken, so that it is known for each individual image where and how the ultrasound head was positioned at the time of the respective image acquisition , the ultrasound frames can be combined to form an overall picture based on this position information. This is also applicable to ultrasound frames in which there are no structures that match structures in other ultrasound frames.

Das Konzept basiert insbesondere darauf, dass der Ultraschallkopf zur Bestimmung seiner Lage optisch erfassbare Informationen auf der Oberfläche des Objektes nutzt, um durch Korrelation von zwei zeitlich hintereinander folgenden optischen Aufnahmen bzw. Bildern einer definierten Region die relative Lage des Ultraschallkopfes im nachfolgenden Bild bezogen auf das vorangegangene Bild zu ermitteln. Die somit verfügbare Kenntnis der beiden Lagen des Ultraschallkopfes zu den beiden entsprechenden Zeitpunkten entspricht einer Bewegungsinformation. In der Praxis wird eine ganze Serie von zeitlich nacheinander erfassten optischen Bildern nebst den entsprechenden Zeitinformationen erzeugt, so dass die Bewegung des Ultraschallkopfes nachvollzogen werden kann. Durch Integration der Bewegungsinformation kann dann die Relativposition des Ultraschallkopfes zwischen zwei Ultraschallaufnahmen ermittelt werden, die abschließend dazu benutzt werden kann, um das Stitchen zweier Ultraschallbilder zu erleichtern. The concept is based in particular on the fact that the ultrasound head uses optically detectable information on the surface of the object to determine its position in order to correlate two temporally successive optical images of a defined region with the relative position of the ultrasound head in the following image to determine the previous picture. The thus available knowledge of the two positions of the ultrasound head at the two corresponding times corresponds to a movement information. In practice, a whole series of temporally successive recorded optical images and the corresponding time information is generated, so that the movement of the ultrasound head can be followed. By integration of the movement information, the relative position of the ultrasound head between two ultrasound recordings can then be determined, which can finally be used to facilitate the stitching of two ultrasound images.

Der Ausdruck „Aufnehmen von Ultraschallbildern“ u.ä. meint dabei im Detail, dass Bilddaten aufgenommen werden, anhand derer die Ultraschallbilder berechnet werden können, mit anderen Worten also „Aufnehmen von Bilddaten für die Berechnung von Ultraschallbildern“. Den Ultraschallbildern können demnach Zeitpunkte zugeordnet werden, die den Zeitpunkten der Aufnahmen der Bilddaten für diese Ultraschallbilder entsprechen. The term "taking ultrasound images" and the like means in detail that image data are recorded, on the basis of which the ultrasound images can be calculated, in other words "recording image data for the calculation of ultrasound images". Accordingly, the ultrasound images can be assigned time points which correspond to the times of the recordings of the image data for these ultrasound images.

In einem Verfahren zur Ermittlung einer Lage und damit einer Bewegung eines Ultraschallkopfes eines Ultraschallsystems bezüglich einer Oberfläche eines Objekts während einer Ultraschalluntersuchung des Objekts, wobei der Ultraschallkopf zur Erfassung der Bewegung des Ultraschallkopfes ein Sensorsystem mit einem starr am Ultraschallkopf befestigten optischen Sensor aufweist, nimmt das Sensorsystem mit dem optischen Sensor über einen Zeitraum hinweg durch Abtasten der Oberfläche eine Zeitserie aus mehreren zweidimensionalen optischen Bildern KB(i) der Oberfläche auf. Eine Auswertung der Zeitserie der optischen Bilder erlaubt schließlich eine Ermittlung der Lage des optischen Sensors und damit des Ultraschallkopfes zu verschiedenen Zeitpunkten und damit eine Bestimmung einer Bewegung des optischen Sensors und des Ultraschalkopfes. In a method for determining a position and thus a movement of an ultrasound head of an ultrasound system with respect to a surface of an object during an ultrasound examination of the object, the ultrasound head for detecting the movement of the ultrasound head having a sensor system with an optical sensor rigidly fastened to the ultrasound head, the sensor system takes with the optical sensor over a period of time by scanning the surface on a time series of a plurality of two-dimensional optical images KB (i) of the surface. An evaluation of the time series of the optical images finally allows a determination of the position of the optical sensor and thus the ultrasound head at different times and thus a determination of a movement of the optical sensor and the ultrasonic head.

Zur Ermittlung der Bewegung des Ultraschallkopfes wird die Zeitserie der optischen Bilder derart ausgewertet, dass für zumindest zwei optische Bilder KB(i), KB(j) der Zeitserie jeweils eine Lage L(i), L(j) des optischen Sensors zum Zeitpunkt der Aufnahme des jeweiligen optischen Bildes KB(i), KB(j) ermittelt wird. To determine the movement of the ultrasound head, the time series of the optical images is evaluated such that for at least two optical images KB (i), KB (j) of the time series one position L (i), L (j) of the optical sensor at the time of Recording the respective optical image KB (i), KB (j) is determined.

Damit ist die Lage des optischen Sensors und damit auch die Lage des Ultraschallkopfes für zumindest zwei Zeitpunkte bekannt. Dies ist gleichbedeutend mit der zwischen den Aufnahmezeitpunkten der Bilder KB(i) und KB(j) ausgeführten Bewegung des optischen Sensors und damit auch des Ultraschallkopfes. Thus, the position of the optical sensor and thus the position of the ultrasound head for at least two points in time is known. This is equivalent to the movement of the optical sensor, and thus also of the ultrasound head, performed between the acquisition times of the images KB (i) and KB (j).

Aus den ermittelten Lagen des optischen Sensors kann direkt auf die Bewegung des Ultraschallkopfes geschlossen werden. From the determined positions of the optical sensor can be closed directly to the movement of the ultrasonic head.

Zur Ermittlung der Lage L(j) des optischen Sensors zum Zeitpunkt der Aufnahme des optischen Bildes KB(j) der Zeitserie wird das jeweilige optische Bild KB(j) mit einem solchen optischen Vergleichsbild KB(i) aus der Zeitserie korreliert, für welches die Lage L(i) des optischen Sensors zum Zeitpunkt der Aufnahme des optischen Vergleichsbildes KB(i) bekannt ist. In order to determine the position L (j) of the optical sensor at the time the optical image KB (j) of the time series is taken, the respective optical image KB (j) is correlated with such a comparison time optical image KB (i) for which the Location L (i) of the optical sensor at the time of recording the optical comparison image KB (i) is known.

Dabei kann die Lage des optischen Sensors zum Zeitpunkt der Aufnahme des optischen Vergleichsbildes zum Einen daher bekannt sein, dass für dieses Vergleichsbild im Vorfeld bereits ebenfalls über eine solche Korrelation die Lage bestimmt wurde. Zum Anderen kann die Lage des optischen Sensors zum Zeitpunkt der Aufnahme des Vergleichsbildes auch vorgegeben sein. Im letzteren Fall könnte das Vergleichsbild bspw. das zeitlich als erstes aufgenommene optische Bild KB(1) der Zeitserie sein und als Lage wird der Einfachheit halber L(1) = 0 angenommen. In this case, the position of the optical sensor at the time of recording the optical comparison image on the one hand therefore be known that already determined for such a comparison image in advance via such a correlation, the situation has been. On the other hand, the position of the optical sensor at the time of recording the comparison image may also be predetermined. In the latter case, the comparison image could, for example, be the temporally first recorded optical image KB (1) of the time series, and the position is assumed to be L (1) = 0 for the sake of simplicity.

Aus einer solchen Korrelation geht bekanntermaßen hervor, wie das Bild KB(j) gegenüber dem Vergleichsbild KB(i) angepasst werden muss, um eine weitestgehende Deckungsgleichheit zu erreichen. Dabei beinhaltet die Anpassung bspw. ein Stauchen, Strecken, Skalieren, Verschieben und/oder Rotieren des Bildes KB(j) gegenüber dem Vergleichsbild KB(i). Die somit im Rahmen der Korrelation ermittelte Anpassung gibt direkt Aufschluss auf die Lage L(j) des optischen Sensors bei Aufnahme des Bildes KB(j), dies jedoch bezogen auf die Lage L(i) bei Aufnahme des Vergleichsbildes KB(i). It is known from such a correlation how the image KB (j) must be adjusted with respect to the comparison image KB (i) in order to achieve the greatest possible congruence. The adaptation includes, for example, upsetting, stretching, scaling, shifting and / or rotating the image KB (j) with respect to the comparison image KB (i). The adaptation thus determined in the context of the correlation gives a direct indication of the position L (j) of the optical sensor when taking the image KB (j), but this with respect to the position L (i) when taking the comparison image KB (i).

Die ermittelten Lagen L(j) des optischen Sensors zu den Zeitpunkten der Aufnahmen der jeweiligen optischen Bilder KB(j) beziehen sich demnach auf eine Ausgangslage des optischen Sensors zum Zeitpunkt der Aufnahme des typischerweise frühesten Vergleichsbildes. Im Rahmen der Korrelation wird im optischen Bild KB(j) und im Vergleichsbild KB(i) nach übereinstimmenden Strukturen gesucht. Das optische Bild KB(j) wird dann derart angepasst, dass die übereinstimmenden Strukturen deckungsgleich werden, wobei aus der dazu benötigten Anpassung des Kamerabildes KB(j) auf die Lage L(j) des Ultraschallkopfes zum Zeitpunkt der Aufnahme des Kamerabildes KB(j) relativ zur Lage L(i) des Ultraschallkopfes zum Zeitpunkt der Aufnahme des Vergleichskamerabildes KB(i) geschlossen wird. The determined positions L (j) of the optical sensor at the time points of the recordings of the respective optical images KB (j) thus relate to a starting position of the optical sensor at the time of recording of the typically earliest comparison image. As part of the correlation, matching structures are searched in the optical image KB (j) and in the comparison image KB (i). The optical image KB (j) is then adapted so that the matching structures are congruent, wherein from the required adjustment of the camera image KB (j) on the position L (j) of the ultrasound head at the time of recording the camera image KB (j) relative to the position L (i) of the ultrasound head at the time of taking the comparison camera image KB (i) is closed.

Dieser Ansatz resultiert darin, dass für die optischen Bilder der Zeitserie die jeweilige Lage des optischen Sensors und damit die jeweilige Lage des Ultraschallkopfes als bekannt angenommen werden kann, wobei sich die Lagen jeweils auf eine Ausgangslage beziehen. Die Ausgangslage kann bspw. die Lage des optischen Sensors bzw. des Ultraschallkopfes bei der Aufnahme des zeitlich ersten optischen Bildes der Zeitserie sein. Diese Ausgangslage kann so interpretiert werden, dass sie den Ursprung eines Koordinatensystems KS definiert, in dem sich der optische Sensor und der Ultraschallkopf bewegen. Dementsprechend wird die Lage für dieses Bild vorgegeben als L=0. Die jeweiligen Lagen der weiteren Bilder der Zeitserie sind die Lagen in diesem Koordinatensystem. This approach results in that for the optical images of the time series, the respective position of the optical sensor and thus the respective position of the ultrasound head can be assumed to be known, wherein the layers each relate to a starting position. The starting position may be, for example, the position of the optical sensor or of the ultrasound head during the recording of the temporally first optical image of the time series. This initial position can be interpreted as defining the origin of a coordinate system KS in which the optical sensor and the ultrasonic head move. Accordingly, the position for this image is given as L = 0. The respective layers of the further images of the time series are the layers in this coordinate system.

Dabei wird das Vergleichsbild KB(i) für die Ermittlung der Lage L(j) des optischen Sensors zum Zeitpunkt der Aufnahme des optischen Bildes KB(j) derart ausgewählt, dass gilt 1 ≤ j – i ≤ MAX, wobei MAX ein vorgebbarer Parameter ist, insbesondere MAX = 3. In this case, the comparison image KB (i) for determining the position L (j) of the optical sensor at the time of recording the optical image KB (j) is selected such that 1≤j-i≤MAX, where MAX is a predefinable parameter , in particular MAX = 3.

Basierend auf einer Auswertung der Zeitserie der optischen Bilder werden desweiteren zumindest einige der Ultraschallbilder zu einem Gesamtbild kombiniert. Furthermore, based on an evaluation of the time series of the optical images, at least some of the ultrasound images are combined to form an overall image.

Dabei basiert die Kombination der Ultraschallbilder darauf, in welchen Lagen L(k) sich der Ultraschallkopf zu den Zeitpunkten der Aufnahmen der zu kombinierenden Ultraschallbilder jeweils befunden hat. In this case, the combination of the ultrasound images is based on the layers L (k) in which the ultrasound head was located at the times of the images of the ultrasound images to be combined.

Die Lagen L(k) des Ultraschallkopfes zu den Zeitpunkten der Aufnahmen der zu kombinierenden Ultraschallbilder werden basierend auf der Auswertung der Zeitserie der optischen Bilder ermittelt. The positions L (k) of the ultrasound head at the time points of the images of the ultrasound images to be combined are determined based on the evaluation of the time series of the optical images.

Die Lagen des Ultraschallkopfes zu den Zeitpunkten der Aufnahmen der zu kombinierenden Ultraschallbilder werden basierend auf den Lagen des optischen Sensors zu den Zeitpunkten der Aufnahmen der optischen Bilder bestimmt. Dabei wird für jedes optische Bild KB(i) der Zeitserie und damit konsequenterweise auch für jede Lage L(i) des optischen Sensors zum Zeitpunkt der Aufnahme des jeweiligen optischen Bildes KB(i) eine Zeitmarke TKB(i) bereitgestellt, wobei jede Zeitmarke TKB(i) Information darüber enthält, zu welchem Zeitpunkt das jeweilige optische Bild KB(i) aufgenommen wurde. Weiterhin wird auch für jedes Ultraschallbild UB(k) eine weitere Zeitmarke TUB(k) bereitgestellt, wobei jede weitere Zeitmarke TUB(k) Information darüber enthält, zu welchem Zeitpunkt das jeweilige Ultraschallbild UB(k) aufgenommen wurde. The positions of the ultrasound head at the time points of the images of the ultrasound images to be combined are determined based on the positions of the optical sensor at the timings of the images of the optical images. In this case, a timestamp TKB (i) is provided for each optical image KB (i) of the time series and thus consequently also for each layer L (i) of the optical sensor at the time of recording the respective optical image KB (i), each time mark TKB (i) contains information about when the respective optical image KB (i) was taken. Furthermore, a further time stamp TUB (k) is also provided for each ultrasound image UB (k), wherein each further time stamp TUB (k) contains information about the time at which the respective ultrasound image UB (k) was recorded.

Mit anderen Worten kennzeichnen also die Zeitmarken TKB(i) bzw. TUB(k) diejenigen Zeitpunkte, zu denen das jeweilige Bild KB(i) bzw. UB(k) aufgenommen wurde. Hiermit wird eine Basis dafür geschaffen, die Lagen L(i), die aus der Auswertung der optischen Bilder resultieren, auf die Ultraschallbilder anzuwenden. In other words, the time stamps TKB (i) and TUB (k) thus identify those times at which the respective image KB (i) or UB (k) was recorded. This provides a basis for applying the layers L (i) resulting from the evaluation of the optical images to the ultrasound images.

In einem ersten Ansatz wird für jedes zu kombinierende Ultraschallbild UB(k) zur Bestimmung der Lage L(k) des Ultraschallkopfes bei der Aufnahme des jeweiligen Ultraschallbildes UB(k) diejenige Lage L(i) des optischen Sensors verwendet, deren Zeitmarke TKB(i) der Zeitmarke TUB(k) des jeweiligen Ultraschallbildes (UB(k)) am nächsten kommt. Im einfachsten Fall wird für jedes Ultraschallbild UB(k) als Lage L(k) des Ultraschallkopfes bei der Aufnahme des Ultraschallbildes UB(k) diejenige Lage L(i) des optischen Sensors definiert, deren Zeitmarke TKB(i) der Zeitmarke TUB(k) des jeweiligen Ultraschallbildes UB(k) am nächsten kommt. In diesem einfachsten Fall wird also davon ausgegangen, dass die Lagen des Ultraschallkopfes und des optischen Sensors identisch sind. In der Realität werden sich die Lagen des Ultraschallkopfes und des optischen Sensors um einen Betrag voneinander unterscheiden, allerdings ist dieser Betrag zeitlich konstant, da der Sensor starr am oder im Ultraschallkopf befestigt ist, und kann daher für die hier vorgesehene Anwendung ignoriert werden. In a first approach, for each ultrasound image UB (k) to be combined for determining the position L (k) of the ultrasound head when taking the respective ultrasound image UB (k), that position L (i) of the optical sensor whose time stamp TKB (i ) of the time stamp TUB (k) of the respective ultrasound image (UB (k)) comes closest. In the simplest case, for each ultrasound image UB (k) as the position L (k) of the ultrasound head when taking the ultrasound image UB (k) that position L (i) of the optical sensor is defined whose time stamp TKB (i) of the time stamp TUB (k ) of the respective ultrasound image UB (k) comes closest. In this simplest case, it is therefore assumed that the layers of the ultrasound head and the optical Sensors are identical. In reality, the positions of the ultrasound probe and the optical sensor will differ by an amount, but this amount is constant in time since the sensor is rigidly attached to or in the ultrasound transducer and therefore can be ignored for the application provided herein.

In einem zweiten Ansatz wird für jedes Ultraschallbild UB(k) die Lage L(k) des Ultraschallkopfes bei der Aufnahme des Ultraschallbildes UB(k) basierend auf der dem Ultraschallbild UB(k) zugeordneten Zeitmarke TUB(k) aus zumindest einigen der ermittelten Lagen L(i) und den jeweiligen Zeitpunkten TKB(i) geschätzt. Die Schätzung kann bspw. in einer Interpolation oder in einer gewichteten oder ungewichteten Mittelung bestehen. Wenn bspw. die Zeitmarke TUB(k) zwischen zwei Zeitmarken TKB(i), TKB(i + 1) liegt, kann die Lage L(k) für den Ultraschallkopf als Mittelwert der Lagen L(i) und L(i + 1) des optischen Sensors berechnet werden. In a second approach, for each ultrasound image UB (k), the position L (k) of the ultrasound head during acquisition of the ultrasound image UB (k) is based on the timestamp TUB (k) associated with the ultrasound image UB (k) from at least some of the positions determined L (i) and the respective times TKB (i) are estimated. The estimation can be, for example, in an interpolation or in a weighted or unweighted averaging. If, for example, the timestamp TUB (k) lies between two timestamps TKB (i), TKB (i + 1), the position L (k) for the ultrasound probe can be determined as an average of the positions L (i) and L (i + 1) of the optical sensor.

Ein entsprechendes Ultraschallsystem weist einen Ultraschallkopf zum Aufnehmen von Ultraschallbildern UB(k) von einem Inneren eines Objekts auf. Der Ultraschallkopf weist seinerseits zur Erfassung einer Bewegung des Ultraschallkopfes ein Sensorsystem mit einem starr am Ultraschallkopf befestigten optischen Sensor zum Empfangen von Licht aus einem Bereich BK von der Oberfläche des Objekts zum Abtasten der Oberfläche auf. Das Sensorsystem erzeugt aus dem empfangenen Licht eine Zeitserie aus mehreren zweidimensionalen optischen Bildern KB(i) der Oberfläche. Dabei ist das Ultraschallsystem eingerichtet, das oben erläuterte Verfahren auszuführen. A corresponding ultrasound system has an ultrasound head for picking up ultrasound images UB (k) from an interior of an object. The ultrasound head, in turn, for detecting a movement of the ultrasound head, has a sensor system with an optical sensor rigidly attached to the ultrasound probe for receiving light from a region BK from the surface of the object for scanning the surface. The sensor system generates from the received light a time series of several two-dimensional optical images KB (i) of the surface. In this case, the ultrasound system is set up to carry out the method explained above.

Weiterhin kann das Ultraschallsystem eine Lichtquelle zum Aussenden von Licht in einem Licht-Strahlfeld mit einem Zentralstrahl ZL zum Beleuchten zumindest des Bereichs BK der Oberfläche aufweisen. Zumindest ein Teil des ausgesendeten Lichts wird in dem Bereich BK reflektiert und das reflektierte Licht wird schließlich vom optischen Sensor empfangen und zu der Zeitserie der optischen Bilder verarbeitet. Mit anderen Worten entspricht also das vom optischen Sensor empfangene und zu den optischen Bildern zu verarbeitende Licht zumindest zum Teil bzw. sogar im Wesentlichen dem vom Bereich BK der Oberfläche reflektierten Anteil des von der Lichtquelle ausgesendeten Lichts. Die Verwendung der Lichtquelle garantiert, dass der Bereich BK ausreichend ausgeleuchtet ist, so dass die erzeugten Bilder einen für die weitere Bildverarbeitung ausreichenden Kontrast aufweisen. Furthermore, the ultrasound system can have a light source for emitting light in a light beam field with a central beam ZL for illuminating at least the area BK of the surface. At least part of the emitted light is reflected in the area BK, and the reflected light is finally received by the optical sensor and processed into the time series of the optical images. In other words, therefore, the light received by the optical sensor and to be processed to the optical images corresponds at least partially or even substantially to the portion of the light emitted by the light source from the region BK of the surface. The use of the light source guarantees that the area BK is sufficiently illuminated, so that the images produced have a sufficient contrast for further image processing.

Desweiteren kann der Ultraschallkopf ein Fenster aufweisen, durch das das zu der Zeitserie von optischen Bildern zu verarbeitende Licht treten kann. Furthermore, the ultrasound head may have a window through which the light to be processed to the time series of optical images can pass.

In diesem Fall können die Lichtquelle und/oder der optische Sensor innerhalb eines Gehäuses des Ultraschallkopfes derart angeordnet sein, dass von der Lichtquelle ausgesendetes Licht und/oder vom optischen Sensor zu empfangenes Licht durch das Fenster tritt. Aufgrund des Vorhandenseins des Fensters bietet sich also die Möglichkeit, die Lichtquelle und/oder den optischen Sensor innerhalb des Ultraschallkopfes unterzubringen, so dass diese Komponenten besser geschützt sind und darüber hinaus einen Bediener des Ultraschallsystems bei einer Ultraschalluntersuchung nicht stören. In this case, the light source and / or the optical sensor can be arranged within a housing of the ultrasonic head such that light emitted by the light source and / or light to be received by the optical sensor passes through the window. Due to the presence of the window, it is thus possible to accommodate the light source and / or the optical sensor within the ultrasound head, so that these components are better protected and moreover do not disturb an operator of the ultrasound system during an ultrasound examination.

Kurz zusammengefasst und mit anderen Worten wird also mit Hilfe des optischen Sensors eine Zeitserie von optischen Bildern erzeugt, anhand dessen eine definierte Objektregion so erfasst wird, dass durch eine Aufnahme von zwei derartigen Kamerabildern eine Bewegungsermittlung des Ultraschallkopfes relativ vom ersten Bild zum zweiten Bild möglich ist. Das Ultraschallsystem bzw. das Kamerasystem ist dazu eingerichtet, durch Integration der in somit ermittelten Bewegung zwischen zwei Bildern einen zusammenhängenden Bewegungspfad zwischen den Bildern zu ermitteln. Den auf dem so ermittelten Bewegungspfad des Ultraschallkopfes aufgenommenen Ultraschallbilder UB(i) können dementsprechende Relativpositionen mit Bezug auf das jeweils zuvor aufgenommene Ultraschallbild zugeordnet werden, so dass letztendlich als bekannt vorausgesetzt werden kann, in welchen Lagen des Ultraschallkopfes die Ultraschallbilder aufgenommen wurden. In short, and in other words, a time series of optical images is thus generated with the aid of the optical sensor, by means of which a defined object region is detected so that a movement of the ultrasound head relative to the second image is possible by taking two such camera images , The ultrasound system or the camera system is set up to determine a coherent movement path between the images by integrating the movement thus determined between two images. The ultrasound images UB (i) recorded on the thus determined movement path of the ultrasound head can be assigned corresponding relative positions with reference to the previously recorded ultrasound image, so that finally it can be assumed as known in which positions of the ultrasound head the ultrasound images were recorded.

Es sei schließlich angemerkt, dass beanspruchte Ultraschallsystem in einer hochintegrierten Ausführung auch aus dem Ultraschallkopf selbst bestehen kann, in dem in diesem Fall auch die verschiedenen Verfahrensschritte zur Lageermittlung ablaufen. It should finally be noted that claimed ultrasound system in a highly integrated design can also consist of the ultrasound head itself, in which case the various method steps for detecting the position are also carried out.

Im Folgenden werden die Erfindung und beispielhafte Ausführungsformen anhand von Zeichnungen näher erläutert. In the following the invention and exemplary embodiments will be explained in more detail with reference to drawings.

Es zeigen: Show it:

1 eine Darstellung eines typischen Ultraschallsystems, 1 a representation of a typical ultrasound system,

2 einen Ultraschallkopf des Ultraschallsystems. 2 an ultrasound head of the ultrasound system.

3 zwei Kamerabilder vor einer Korrelation, 3 two camera images before a correlation,

4 die beiden Kamerabilder nach der Korrelation, 4 the two camera pictures after the correlation,

5 das verwendete Koordinatensystem des Ultraschallkopfes auf der Objektoberfläche. 5 the used coordinate system of the ultrasound head on the object surface.

Gleiche Bezugszeichen in verschiedenen Figuren kennzeichnen gleiche Komponenten. Like reference numerals in different figures indicate like components.

Die 1 zeigt ein Ultraschallsystem 1 zur Untersuchung eines Objekts 2. Das System 1 weist ein Grundgerät 100 sowie einen Ultraschallkopf 110 auf, der bspw. über eine Kabelverbindung 101 mit dem Grundgerät 100 verbunden ist. Der Ultraschallkopf 110 wird verwendet, um während einer Untersuchung eines Objekts 2 Ultraschall-Bilddaten von der untersuchten Region des Objekts 2 zu erzeugen, die in einem Bildsignalprozessor 121 einer Recheneinheit 120 des Systems 1 zu visuell darstellbaren Bilddaten weiter verarbeitet werden. Neben dem Bildsignalprozessor 121 weist die Recheneinheit 120 einen Signalprozessor 122 auf, mit dessen Hilfe die Ultraschall-Untersuchung des Objekts 2 gesteuert wird. Dazu konfiguriert der Signalprozessor 122 den Ultraschallkopf 110 und damit die auszusendenden Ultraschall-Wellen entsprechend den von einem Bediener des Systems 1 eingestellten Messparametern, wodurch verschiedene Messmodalitäten einstellbar werden. Dadurch kann die jeweilige Ultraschall-Untersuchung bspw. an das zu untersuchende Objekt 2 angepasst werden und es können verschiedene Darstellungsoptionen realisiert werden. Bspw. kann es erwünscht sein, in den zu berechnenden Bildern die Bewegung von Blut farblich oder in anderer Weise hervorzuheben oder bestimmte Weichteilkontraste zu erzielen. Desweiteren kann es erwünscht sein, während einer Untersuchung die Untersuchungsparameter zu ändern. All dies wird über den Signalprozessor bearbeitet und entsprechende Konfigurationen bzw. Konfigurationsänderungen werden vom Signalprozessor 122 über das Kabel 101 an den Ultraschallkopf 110 übermittelt. The 1 shows an ultrasound system 1 to examine an object 2 , The system 1 has a basic device 100 and an ultrasound head 110 on, the example. Via a cable connection 101 with the basic device 100 connected is. The ultrasound head 110 is used to during an examination of an object 2 Ultrasound image data from the examined region of the object 2 in an image signal processor 121 a computing unit 120 of the system 1 be further processed to visually representable image data. Next to the image signal processor 121 indicates the arithmetic unit 120 a signal processor 122 on, with whose help the ultrasound examination of the object 2 is controlled. The signal processor configures this 122 the ultrasound head 110 and thus the ultrasonic waves to be transmitted in accordance with those of an operator of the system 1 set measurement parameters, whereby various measurement modalities are adjustable. As a result, the respective ultrasound examination, for example, to the object to be examined 2 be customized and different display options can be realized. For example. It may be desirable to emphasize the movement of blood in color or in another way or to achieve specific soft-tissue contrasts in the images to be calculated. Furthermore, it may be desirable to change the examination parameters during an examination. All this is handled by the signal processor and appropriate configurations or configuration changes are made by the signal processor 122 over the cable 101 to the ultrasound head 110 transmitted.

Die Recheneinheit 120 sowie auch ein Monitor 130, auf dem die visuellen Bilddaten sowie ggf. andere relevante Informationen über das untersuchte Objekt 2 dargestellt werden können, befinden sich im bzw. am Grundgerät 100. Darüber hinaus weist das Grundgerät 100 eine Bedieneinheit 140 auf, die bspw. eine Tastatur 141, ein Mousepad 142 und/oder andere Eingabemittel 143 umfasst, mit denen ein Bediener des Ultraschallsystems 1 das System 1 bedienen und entsprechende Eingaben machen kann. The arithmetic unit 120 as well as a monitor 130 on which the visual image data as well as possibly other relevant information about the examined object 2 can be represented, are in or on the basic unit 100 , In addition, the basic unit has 100 an operating unit 140 on, for example, a keyboard 141 , a mousepad 142 and / or other input means 143 Includes an operator of the ultrasound system 1 the system 1 operate and make appropriate inputs.

Abweichend von der hier beschriebenen Konfiguration können Peripheriegeräte wie bspw. der Monitor 130 und/oder die Bedieneinheit 140 oder Teile davon, bspw. die anderen Eingabemittel 143, separat verfügbar sein, d.h. nicht am Grundgerät 100 befestigt bzw. nicht in dieses integriert. Desweiteren kann der Ultraschallkopf 110 auch drahtlos, d.h. über eine Luftschnittstelle, mit der Recheneinheit 120 in Verbindung stehen. In modernen Systemen ist es ebenfalls denkbar, dass die Bildverarbeitung etc. bspw. in einer sog. Cloud erfolgt. Die eigentliche Steuerung der Ultraschallsystems und die Darstellung der Bilddaten kann mit Hilfe eines sog. Tablet-Computers erfolgen, der drahtlos mit anderen Komponeten des Ultraschallsystems kommuniziert. All diese verschiedenen Ausprägungen sollen dadurch abgedeckt sein, dass es ein Grundgerät gibt, dessen Funktionen und/oder Komponenten ggf. auf mehrere Sub-Systeme verteilt sein kann, bspw. auf die Cloud und den Tablet-Computer. Für die eigentliche Erfindung spielt es keine Rolle, wie das Ultraschallsystem 1 realisiert ist und an welcher Stelle im Ultraschallsystem 1 bspw. die im Folgenden benötigte Bildverarbeitung abläuft. Letzteres kann wie bereits angedeutet im traditionellen und im Zusammenhang mit der 1 beschriebenen sowie im Folgenden angenommenen Grundgerät, in der Cloud, auf dem Tablet-Computer oder sogar im Ultraschallkopf erfolgen, falls dieser mit entsprechenden Prozessoren und Speichermöglichkeiten ausgestattet ist. Deviating from the configuration described here can peripheral devices such as, for example, the monitor 130 and / or the operating unit 140 or parts thereof, eg the other input means 143 , be available separately, ie not on the basic unit 100 attached or not integrated into this. Furthermore, the ultrasound head 110 also wireless, ie via an air interface, with the arithmetic unit 120 keep in touch. In modern systems, it is also conceivable that the image processing, etc. takes place, for example, in a so-called cloud. The actual control of the ultrasound system and the representation of the image data can take place with the aid of a so-called tablet computer, which communicates wirelessly with other components of the ultrasound system. All these different characteristics should be covered by the fact that there is a basic device whose functions and / or components may possibly be distributed over several sub-systems, for example to the cloud and the tablet computer. For the actual invention, it does not matter how the ultrasound system 1 is realized and at which point in the ultrasound system 1 for example, the image processing required in the following takes place. The latter can, as already indicated in the traditional and in connection with the 1 described and assumed below basic unit, in the cloud, on the tablet computer or even in the ultrasound head, if it is equipped with appropriate processors and storage options.

Zur Erzeugung der Ultraschall-Bilddaten mit dem Ultraschallkopf 110 mit dem Ziel, bspw. eine Untersuchung des Inneren des Objekts 2 auszuführen, wird der Kopf 110 über die Oberfläche 3 des Objekts 2 bewegt, um das zu untersuchende Objekt 2 abzutasten. Dazu bewegt der Bediener den Ultraschallkopf über die Oberfläche 3 des Objektes 2 in einer Region, die das zu untersuchende Innere umgibt. Gleichzeitig sendet der Kopf 110 gepulste Ultraschallsignale in das zu untersuchende Objekt 2, wobei die Ultraschallsignale in einem Bereich B1 der Oberfläche 3 des Objekts 2 in das Innere des Objekts 2 eintreten. Typischerweise ist dies der Bereich, in dem der Ultraschallkopf 110 während der Untersuchung die Oberfläche 3 berührt. Wie in der 2 angedeutet, weist der Ultraschallkopf 110 hierzu ein Array 111 von Ultraschall-Transmittern 112 auf, die bspw. als piezoelektrische Kristalle ausgebildet sein können, welche aufgrund des inversen piezoelektrischen Effekts bei entsprechender elektrischer Anregung Ultraschallsignale erzeugen und aussenden können. Diese elektrische Anregung der Kristalle 112 des Arrays 111 wird über den Signalprozessor 122 der Recheneinheit 120 gesteuert, wobei die entsprechenden Steuersignale über das Kabel 101 an den Ultraschallkopf 110 übertragen werden. Die Anregung hängt u.a. von Eingaben des Bedieners an der Bedieneinheit 140 und von den eingestellten Messparametern ab. For generating the ultrasound image data with the ultrasound head 110 with the aim of, for example, an examination of the interior of the object 2 execute, becomes the head 110 over the surface 3 of the object 2 moves to the object to be examined 2 scan. To do this, the operator moves the ultrasound head over the surface 3 of the object 2 in a region surrounding the interior to be examined. At the same time the head sends 110 pulsed ultrasonic signals into the object to be examined 2 , wherein the ultrasonic signals in a region B1 of the surface 3 of the object 2 into the interior of the object 2 enter. Typically, this is the area in which the ultrasound probe 110 during the examination the surface 3 touched. Like in the 2 indicated, the ultrasound head points 110 this an array 111 of ultrasound transmitters 112 on, which may be formed, for example, as piezoelectric crystals, which can generate and emit ultrasonic signals due to the inverse piezoelectric effect with a corresponding electrical excitation. This electrical stimulation of the crystals 112 of the array 111 is via the signal processor 122 the arithmetic unit 120 controlled, with the appropriate control signals through the cable 101 to the ultrasound head 110 be transmitted. The excitation depends, inter alia, on inputs by the operator on the control unit 140 and from the set measuring parameters.

Die erzeugten und in das Objekt 2 eingekoppelten Ultraschallsignale werden im Objekt 2 an verschiedenen Stellen, bspw. an Organen oder an Übergängen zwischen unterschiedlichen Gewebearten etc., unterschiedlich stark reflektiert, wobei Echos erzeugt werden, die zumindest teilweise und mit unterschiedlichen Laufzeiten und Intensitäten wieder auf die Kristalle 112 des Arrays 111 treffen. Dort bewirken die Echos bzw. die entsprechenden Ultraschallwellen aufgrund des piezoelektrischen Effekts elektrische Spannungen, welche gemessen werden können und so die Ultraschall-Bilddaten bzw. die diesen Bilddaten zugrunde liegenden Bildrohdaten darstellen. Die Ultraschall-Bilddaten bzw. die Bildrohdaten werden anschließend über das Kabel 101 an das Grundgerät 100 und dort an den Bildsignalprozessor 121 übermittelt, wo sie in die anzuzeigenden Bilder umgerechnet werden. Da das Messprinzip einer Ultraschalluntersuchung sowie die Maßnahmen zur Bildverarbeitung hinreichend bekannt sind, wird an dieser Stelle auf eine tiefer gehende Erläuterung verzichtet und auf die einschlägige Literatur verwiesen. Bspw. in der bereits genannten DE102005037806A1 werden die Grundzüge eines Ultraschallsystems einschließlich der mit dem Ultraschallkopf verschalteten Elektronik umfassend Transmitter, Empfänger, Strahlformer etc. zusammengefasst. The generated and in the object 2 coupled ultrasonic signals are in the object 2 At different locations, for example, on organs or at transitions between different types of tissue, etc., reflected to different degrees, with echoes are generated, the at least partially and with different maturities and intensities back to the crystals 112 of the array 111 to meet. There cause the echoes or the corresponding ultrasonic waves due to the piezoelectric effect voltages that can be measured and so the ultrasonic image data or the represent raw image data underlying this image data. The ultrasound image data or the image raw data are then transmitted via the cable 101 to the basic device 100 and there to the image signal processor 121 transmitted, where they are converted into the images to be displayed. Since the measurement principle of an ultrasound examination and the measures for image processing are well known, a more in-depth explanation is omitted here and reference is made to the relevant literature. For example. in the already mentioned DE102005037806A1 The basic features of an ultrasound system, including the electronics connected to the ultrasound head, comprising transmitters, receivers, beam shapers, etc., are summarized.

Das Gehäuse 113 des erfindungsgemäßen Ultraschallkopfes 110 weist ein transparentes Fenster 114 auf. Innerhalb seines Gehäuses 113 weist der Ultraschallkopf 110 desweiteren eine Lichtquelle 115 auf, die derart angeordnet ist, dass von der Lichtquelle 115 ausgesendetes Licht 118 den Ultraschallkopf 110 durch das Fenster 114 verlässt. Fenster 114 und Lichtquelle 115 sind dabei derart im bzw. am Ultraschallkopf 110 angeordnet, dass das Licht 118 bei einer Untersuchung des Objekts 2 in einen Bereich BL auf der Oberfläche 3 des Objekts 2 trifft, der in der Nähe des Bereichs B1 liegt, im dem die vom Ultraschallkopf 110 ausgesendeten Ultraschallsignale auf die Oberfläche 3 des Objekts 2 treffen. The housing 113 the ultrasonic head according to the invention 110 has a transparent window 114 on. Inside his case 113 has the ultrasound head 110 furthermore a light source 115 which is arranged such that of the light source 115 emitted light 118 the ultrasound head 110 through the window 114 leaves. window 114 and light source 115 are doing so in or on the ultrasound head 110 arranged that the light 118 during an examination of the object 2 in an area BL on the surface 3 of the object 2 which is near the area B1 in which the ultrasound head 110 emitted ultrasound signals on the surface 3 of the object 2 to meet.

Dabei kann der Bereich BL auch im Bereich B1 liegen oder die Bereiche BL, B1 überlappen sich teilweise. Praktischerweise werden die Bereiche B1 und BL benachbart sein und aneinander angrenzen. Da der im Folgenden beschriebene Ansatz aber nur von Relativpositionen und -orientierungen ausgeht, können die Bereiche BL und B1 auch voneinander beabstandet sein. Der Zentralstrahl ZU des Strahlfeldes der Ultraschallsignale und der Zentralstrahl ZL des Lichts 118 sind idealerweise parallel zueinander. Zumindest aber sollte der Zentralstrahl ZL eine Richtungskomponente aufweisen, die parallel und in der gleichen Richtung orientiert ist, wie der Zentralstrahl ZU. D.h. der Winkel A zwischen ZU und ZL ist kleiner als 90°, insbesondere kleiner als 30°. Grundsätzlich sollte der Bereich ZL möglichst nah am Bereich ZU liegen. Hierdurch wird gewährleistet, dass das Licht 118 in weitestgehend jeder Situation auf die Oberfläche 3 des Objekts 2 fällt. In this case, the region BL can also lie in the region B1 or the regions BL, B1 partially overlap. Practically, the areas B1 and BL will be adjacent and adjacent to each other. However, since the approach described below assumes only relative positions and orientations, the regions BL and B1 can also be spaced apart from one another. The central beam ZU of the beam field of the ultrasonic signals and the central beam ZL of the light 118 are ideally parallel to each other. At least, however, the central beam ZL should have a directional component which is oriented parallel and in the same direction as the central beam ZU. That is, the angle A between ZU and ZL is less than 90 °, in particular less than 30 °. Basically, the area ZL should be as close as possible to the area ZU. This will ensure that the light 118 in almost every situation on the surface 3 of the object 2 falls.

Die Lichtquelle 115 bewirkt, dass durch das ausgesendete Licht 118 die Oberfläche 3 im Bereich BL ausgeleuchtet wird. Mit einem optischen Sensor 116 des Ultraschallkopfes 110, bspw. mit einer Kamera, der sich ebenfalls innerhalb des Gehäuses 113 des Kopfes 110 befindet und der angeordnet ist, um Aufnahmen bzw. Bilder durch das Fenster 114 aufzunehmen, wird die Oberfläche 3 in einem Bereich BK abgetastet, der im ausgeleuchteten Bereich BL liegt. Damit wird während einer Ultraschalluntersuchung eine Serie von zweidimensionalen Aufnahmen bzw. Kamerabildern KB(1), KB(2), KB(3), ..., KB(n) (n ganzzahlig, n > 1) erzeugt. Die Kamerabilder KB(i) werden zumindest vorübergehend bspw. in dem Speicher 123 der Recheneinheit 120 abgespeichert. Ggf. können die Kamerabilder KB(i) jeweils mit einer Zeitmarke TKB(1), TKB(2), TKB(3), ..., TKB(n) versehen und abgespeichert werden, wobei die Zeitmarken TKB(i) (i = 1, 2, ..., n) diejenigen Zeitpunkte kennzeichnen, zu denen das jeweilige Bild KB(i) aufgenommen wurde. The light source 115 causes by the emitted light 118 the surface 3 is illuminated in the area BL. With an optical sensor 116 of the ultrasound head 110 , for example with a camera, which is also inside the case 113 Of the head 110 located and which is arranged to take pictures or pictures through the window 114 pick up, the surface becomes 3 sampled in a region BK, which lies in the illuminated area BL. This produces a series of two-dimensional images or camera images KB (1), KB (2), KB (3), ..., KB (n) (n integer, n> 1) during an ultrasound examination. The camera images KB (i) are at least temporarily, for example, in the memory 123 the arithmetic unit 120 stored. Possibly. the camera images KB (i) can each be provided with a time stamp TKB (1), TKB (2), TKB (3), ..., TKB (n) and stored, the time stamps TKB (i) (i = 1 , 2, ..., n) identify those times at which the respective image KB (i) was recorded.

In der Darstellung der 2 sind die Lichtquelle 115 und die Kamera 116 in ein gemeinsames Gehäuse integriert und daher als ein einziges Bauteil dargestellt. Dies ist jedoch nicht zwingend erforderlich, d.h. Lichtquelle 115 und Kamera 116 können auch physikalisch getrennt voneinander bspw. in getrennten Gehäusen ausgeführt sein. In the presentation of the 2 are the light source 115 and the camera 116 integrated into a common housing and therefore shown as a single component. However, this is not absolutely necessary, ie light source 115 and camera 116 can also be physically separated from each other, for example, be carried out in separate housings.

Die Kamera 116, das Fenster 114 und die Lichtquelle 115 sind derart aufeinander abgestimmt, dass das Fenster 114 für das von der Lichtquelle 115 ausgesendete Licht L transparent und die Kamera 116 für dieses Licht L bzw. für die aus dem Bereich BL der Oberfläche 3 reflektierten Anteile sensitiv ist. Die Lichtquelle 115 kann also bspw. eine Weißlicht-LED, eine Infrarot-LED oder auch eine monochromatische LED sein. The camera 116 , the window 114 and the light source 115 are so coordinated that the window 114 for that of the light source 115 emitted light L transparent and the camera 116 for this light L or for the area BL of the surface 3 reflected portions is sensitive. The light source 115 Thus, for example, it can be a white-light LED, an infrared LED or even a monochromatic LED.

Die vom optischen Sensor 116 aufgenommenen Bilder KB(i) dienen nicht der Bildgebung im direkten Sinne, sondern wie im Folgenden erläutert wird der Lageerkennung des Ultraschallkopfes 110 bei der Untersuchung des Objekts 2. Es ist demnach nicht notwendig, die Bilddaten KB(i) selbst langfristig zu speichern, sondern es genügt, lediglich die aus den Bildern KB(i) gewonnenen Lagen L(i) des Ultraschallkopfes 110 bei den Bildaufnahmen relativ zu einer Ausgangslage Lref des Ultraschallkopfes 110 zu speichern. Lref kann bspw. die Lage L(0) zum Zeitpunkt der Aufnahme des ersten Kamerabildes KB(1) sein. The from the optical sensor 116 recorded images KB (i) are not used for imaging in the direct sense, but as explained below, the position detection of the ultrasound head 110 in the investigation of the object 2 , It is accordingly not necessary to store the image data KB (i) itself in the long term, but it is sufficient to use only the layers L (i) of the ultrasound head obtained from the images KB (i) 110 in the image recordings relative to a starting position Lref of the ultrasound head 110 save. Lref may be, for example, the position L (0) at the time of recording the first camera image KB (1).

Die Abtastrate der Kamera 116, d.h. die Anzahl der pro Zeiteinheit aufgenommenen Bilder KB(i), ist zumindest so hoch, dass bei einer normalen Untersuchung, bei der der Ultraschallkopf 110 nicht von der Oberfläche 3 entfernt, sondern im wesentlichen gleichmäßig darüber bewegt wird, Kamerabilder KB(i) (i = 1, 2, ..., n) erzeugt werden, die übereinstimmende Strukturen aufweisen bzw. deren Inhalte überlappen, um den Bewegungsvektor ermitteln zu könnnen. The sampling rate of the camera 116 ie, the number of images KB (i) taken per unit time is at least so high that in a normal examination, the ultrasound head 110 not from the surface 3 but is moved substantially evenly over it, camera images KB (i) (i = 1, 2, ..., n) are generated which have matching structures or their contents overlap in order to detect the motion vector.

Eine weitere Anforderung an die Kamera 116 richtet sich an ihr Auflösungsvermögen, d.h. an die Fähigkeit der Kamera, räumliche Strukturen einer bestimmten Größenordnung aufzulösen bzw. abzubilden. Bspw. für den Fall, dass das zu untersuchende Objekt 2 ein Patient ist, entspricht die Oberfläche 3 der Haut des Patienten 2. Die Haut 3 weist bekanntermaßen Strukturen aufgrund von bspw. Linien, Poren, Pigmentierung, Flecken etc. auf. Allgemein muss die Kameraauflösung in einer Größenordnung liegen, die es möglich macht, dass typische Strukturen der Oberfläche 3 des Objekts 2 in den Kamerabildern aufgelöst bzw. unterschieden und in unterschiedlichen Kamerabildern KB(i) wiedererkannt werden können. Bspw. muss die Kameraauflösung bei einer Untersuchung eines Patienten 2 im Sub-Millimeterbereich liegen. Another request to the camera 116 is aimed at their resolving power, ie at the ability of the camera to resolve spatial structures of a certain magnitude or map. For example. in the event that the object to be examined 2 a patient is equivalent to the surface 3 the skin of the patient 2 , The skin 3 As is known, has structures due to, for example, lines, pores, pigmentation, spots, etc. Generally, the camera resolution must be of an order of magnitude that allows typical surface structures 3 of the object 2 resolved or distinguished in the camera images and can be recognized in different camera images KB (i). For example. Must be the camera resolution when examining a patient 2 lie in the sub-millimeter range.

Es sei erwähnt, dass dagegen die Anzahl der im Sensor 116 erforderlichen Pixel und das erforderliche Sichtfeld BK bei steigender Abtastrate reduzier werden kann, da eine Bewegung in viele kleine Bewegungen aufgelöst wird. Die Integration des Bewegungspfades kann anschließend digital durch Summation der Vektoren erfolgen. Werden die Bilder KB deutlich schneller als die physikalische Bewegung des Ultraschallkopfes 110 aufgenommen, so ist sogar eine Bewegungsvorhersage des nächsten Bildes KB möglich, was die dann nötigen Korrelationsalgorithmen beschleunigt und damit zu einer weiter erhöhten Bildrate führt. It should be noted that, however, the number of sensors 116 Required pixels and the required field of view BK can be reduced with increasing sampling rate, since a movement is resolved into many small movements. The integration of the movement path can then be done digitally by summing the vectors. The pictures KB will be significantly faster than the physical movement of the ultrasound head 110 recorded, so even a movement prediction of the next image KB is possible, which accelerates the correlation algorithms then necessary and thus leads to a further increased frame rate.

Durch einen Vergleich eines ersten Kamerabildes KB(i) mit einem weiteren Kamerabild KB(j) (mit i ≠ j und i, j = 1, 2, ..., n) wird darauf geschlossen, wie sich die Lage L(i) bzw. die Position P(i) und die Orientierung O(i) der Kamera 116 bei Aufnahme des ersten Bildes KB(i) von der Lage L(j) bzw. der Position P(j) und Orientierung O(j) der Kamera 116 bei der Aufnahme des weiteren Bildes KB(j) unterscheidet. Voraussetzung hierfür ist, dass die beiden zu vergleichenden Bilder KB(i), KB(j) übereinstimmende Strukturen aufweisen. Es werden also vorzugsweise Kamerabilder KB(i), KB(j) miteinander verglichen, deren Aufnahmezeitpunkte nicht zu weit auseinander liegen. Bspw. kann gelten, dass nur Bilder KB(i), KB(j) miteinander verglichen werden, für die gilt 1 ≤ |i – j| ≤ MAX. Dabei hängt MAX in der Praxis auch davon ab, wie schnell der Bediener des Ultraschallkopfes 110 diesen über die Oberfläche 3 bewegt und wie hoch die Abtastrate der Kamera 116 ist. Bspw. könnte gelten MAX = 2, um sicherzustellen, dass die zu vergleichenden Bilder KB(i), KB(j) übereinstimmende Strukturen aufweisen. Praktischerweise würde jedoch gelten MAX=1 bzw. j = i + 1, d.h. es werden immer unmittelbar nacheinander aufgenommene Kamerabilder miteinander verglichen, bspw. KB(2) mit KB(1), KB(3) mit KB(2), KB(4) mit KB(3) usw. By comparing a first camera image KB (i) with another camera image KB (j) (with i ≠ j and i, j = 1, 2,..., N), it is concluded that the position L (i) or the position P (i) and the orientation O (i) of the camera 116 when taking the first image KB (i) from the position L (j) or the position P (j) and orientation O (j) of the camera 116 when taking the other image KB (j) is different. The prerequisite for this is that the two images to be compared KB (i), KB (j) have matching structures. Thus, camera images KB (i), KB (j) are preferably compared with one another whose recording times are not too far apart. For example. may be that only images KB (i), KB (j) are compared, for which 1 ≤ | i - j | ≤ MAX. In practice, MAX also depends on how fast the operator of the ultrasound head is 110 this over the surface 3 moves and how high the sampling rate of the camera 116 is. For example. could be MAX = 2 to ensure that the images to be compared KB (i), KB (j) have matching structures. Conveniently, however, MAX = 1 or j = i + 1 would apply, ie camera images taken immediately after each other are compared, for example KB (2) with KB (1), KB (3) with KB (2), KB ( 4) with KB (3) etc.

Um die Veränderung der Lage L der Kamera 116 von der Aufnahme des Bildes KB(i) zur Aufnahme des Bildes KB(j) zu berechnen, wird in den Bildern KB(i), KB(j) nach den übereinstimmenden Strukturen gesucht. Sobald derartige Strukturen detektiert wurden, wird unter Ausnutzung der übereinstimmenden Struktur bspw. mit Hilfe einer Matching-Software berechnet, wie das Bild KB(j) angepasst werden muss, um zu erreichen, dass das Abbild der übereinstimmenden Struktur in beiden Bildern KB(i), KB(j) deckungsgleich wird, d.h. gleiche Ausdehnung und Orientierung hat. To change the position L of the camera 116 from the image KB (i) to take the image KB (j), the images KB (i), KB (j) are searched for the matching structures. Once such structures have been detected, using the matching structure, for example, with the aid of a matching software, it is calculated how the image KB (j) must be adapted in order to obtain the image of the matching structure in both images KB (i). , KB (j) is congruent, ie has the same extent and orientation.

Die beiden Aufnahmen KB(i) und KB(j) werden zur Anpassung bspw. durch Korrelation miteinander verglichen, indem KB(j) gegenüber KB(i) zumindest zweidimensional verschoben und eindimensional um eine Rotationsachse senkrecht zur zweidimensionalen Bildebene gedreht wird. Für diejenige Kombination aus Verschiebung dTrans(i, j) und Drehung dRot(i, j), bei der die Korrelation ein Maximum ergibt, wird angenommen, dass sie die Verschiebung und Drehung des Ultraschallkopfes 110 zwischen den Aufnahmen der Bilder KB(i) und KB(j) repräsentiert. Die Anpassung dA(i, j) besteht also aus dieser Verschiebung dTrans(i, j) und dieser Drehung dRot(i, j) des Bildes KB(j) gegenüber KB(i), d.h. dA(i, j) = {dTrans(i, j), dRot(i, j)}. The two images KB (i) and KB (j) are compared, for example, by correlation with each other by KB (j) compared to KB (i) at least two-dimensional and rotated one-dimensional about an axis of rotation perpendicular to the two-dimensional image plane. For the combination of displacement dTrans (i, j) and rotation dRot (i, j), where the correlation gives a maximum, it is assumed that it is the displacement and rotation of the ultrasound transducer 110 between the pictures of the pictures KB (i) and KB (j). The adaptation dA (i, j) thus consists of this displacement dTrans (i, j) and this rotation dRot (i, j) of the image KB (j) versus KB (i), ie dA (i, j) = {dTrans (i, j), dRot (i, j)}.

Die Anpassung dA kann zusätzlich zur genannten Verschiebung dTrans und Drehung dRot auch bspw. darin bestehen, dass das Bild KB(j) bzgl. dem Bild KB(i) in den beiden Raumrichtungen in der Bildebene von KB(j) gestaucht und/oder gestreckt wird. Entsprechende Algorithmen und Programme sind bekannt und können bspw. durch den Prozessor 122 der Recheneinheit ausgeführt werden. The adaptation dA can, in addition to the mentioned displacement dTrans and rotation dRot, also consist, for example, of the image KB (j) being compressed and / or stretched in the two spatial directions in the image plane of KB (j) with respect to the image KB (i) becomes. Corresponding algorithms and programs are known and can, for example, by the processor 122 the arithmetic unit are executed.

Aus dieser Anpassung dA(i, j) kann letztlich berechnet werden, wie sich die Lage L(j) bzw. die Position P(j) und die Orientierung O(j) der Kamera 116 bei der Aufnahme des Bildes KB(j) von ihrer Position P(i) und Orientierung O(i) bei der Aufnahme des Bildes KB(i) unterschieden haben muss. From this adaptation dA (i, j) it is finally possible to calculate how the position L (j) or the position P (j) and the orientation O (j) of the camera 116 when recording the image KB (j) from its position P (i) and orientation O (i) when taking the image KB (i) must have distinguished.

Das Auffinden der übereinstimmenden Struktur in den zu vergleichenden Bildern erfolgt in der Regel automatisch, bspw. mit Hilfe der Matching-Software. Für den Fall, dass ein automatisches Auffinden einer solchen Struktur scheitert oder der Bediener bestimmte, manuell auszuwählende Strukturen in den Bildern vorziehen würde, ist es auch denkbar, dass der Bediener in den zu vergleichenden Bildern KB(i), KB(j) bspw. jeweils drei markante Punkte markiert. Diese gelten dann als übereinstimmende Struktur und die Matching-Software kann die oben beschriebene Anpassung berechnen. Finding the matching structure in the images to be compared is usually done automatically, for example. With the help of the matching software. In the event that an automatic finding of such a structure fails or the operator would prefer certain, manually selected structures in the images, it is also conceivable that the operator in the images to be compared KB (i), KB (j) bspw. marked three distinctive points. These are then considered to be a matching structure and the matching software can calculate the adjustment described above.

Da die Kamera 116 fest im Ultraschallkopf 110 angebracht ist, ist die Veränderung dA von Position P und Orientierung O der Kamera 116 identisch zu einer Veränderung von Position und Orientierung des Ultraschallkopfes 110. Because the camera 116 firmly in the ultrasonic head 110 is appropriate, the change dA from position P and orientation O of the camera 116 identical to a change in position and orientation of the ultrasound head 110 ,

Die 3 und 4 dienen der Erläuterung des Vorgehens zur Bestimmung der Anpassung dA im Rahmen der Korrelation. Die 3 zeigt zwei schematisierte Kamerabilder KB(1) und KB(2), in denen jeweils eine übereinstimmende Struktur 119 abgebildet ist. Bei den Aufnahmen der beiden Bilder KB(1), KB(2) hat sich der Ultraschallkopf 110 und damit die Kamera 116 in unterschiedlichen Lagen L(1), L(2) befunden, so dass die Struktur 119 in den Bildern an unterschiedlichen Stellen und verdreht erscheint. Im unteren Bild KB(2) ist mit gestrichelten Linien die Struktur 119 angedeutet, wie sie sich ergeben würde, wenn die Bilder KB(1) und KB(2) ohne weitere Bearbeitung übereinander gelegt würden. Es wird deutlich, dass die Struktur 119 in KB(2) gegenüber KB(1) verschoben und verdreht erscheint. The 3 and 4 serve to explain the procedure for determining the adaptation dA in the context of the correlation. The 3 shows two schematized camera images KB (1) and KB (2), each containing a matching structure 119 is shown. When shooting the two images KB (1), KB (2) has the ultrasound head 110 and with it the camera 116 in different positions L (1), L (2), so that the structure 119 in the pictures in different places and twisted appears. In the lower picture KB (2) is the structure with dashed lines 119 indicated how it would result if the images KB (1) and KB (2) were superimposed without further processing. It becomes clear that the structure 119 in KB (2) shifted from KB (1) and appears twisted.

Die 4 zeigt KB(1) in unveränderter Darstellung. Desweiteren sind unten in 4 ein verschobenes und gedrehtes Bild KB(2)‘ sowie das ursprüngliche Bild KB(2) mit Hilfe gestrichelter Linien dargestellt. KB(2) wurde resultierend in KB(2)‘ dahingehend angepasst, dass die Struktur 119 in KB(1) und KB(2)‘ deckungsgleich ist, wenn KB(1) und KB(2)‘ im übergeordneten Koordinatensystem KS übereinander gelegt werden. Hierzu wurde KB(2) um eine Strecke dTrans_x(1, 2) in x-Richtung sowie um eine Strecke dTrans_y(1, 2) in y-Richtung verschoben und desweiteren um einen Winkel dRot(1, 2) gedreht. Hieraus ergibt sich die Anpassung dA(1, 2) = {dTrans_x(1, 2), dTrans_y(1, 2), dRot(1, 2)}, aus welcher letztlich folgt, sich die Lage L(2) der Kamera 116 bei der Aufnahme des Bildes KB(2) gegenüber ihrer Lage L(1) bei der Aufnahme des Bildes KB(1) verändert haben muss. The 4 shows KB (1) unchanged. Furthermore, below are in 4 a shifted and rotated image KB (2) 'and the original image KB (2) shown by dashed lines. KB (2) was adapted as a result of KB (2) ' 119 in KB (1) and KB (2) 'is congruent if KB (1) and KB (2)' are superimposed in the higher-level coordinate system KS. For this purpose, KB (2) was displaced in the x-direction by a distance dTrans_x (1, 2) and in the y-direction by a distance dTrans_y (1, 2) and further rotated by an angle dRot (1, 2). This results in the adaptation dA (1, 2) = {dTrans_x (1, 2), dTrans_y (1, 2), dRot (1, 2)}, from which ultimately the position L (2) of the camera follows 116 when recording the image KB (2) with respect to its position L (1) when recording the image KB (1) must have changed.

Es kann demnach berechnet werden, in welchen Positionen und Orientierungen sich der Ultraschallkopf 110 bei den Aufnahmen der Kamerabilder KB(i) jeweils befunden haben muss. Bei den Positionen und Orientierungen handelt es sich jedoch nicht um absolute Positionen bzw. Orientierungen im Raum, sondern um Relativpositionen und Relativorientierungen, jeweils bezogen auf eine Ausgangslage Lref bzw. eine Ausgangsposition Pref und Ausgangsorientierung Oref. It can therefore be calculated in which positions and orientations the ultrasound head 110 at the recordings of the camera images KB (i) must have been found. However, the positions and orientations are not absolute positions or orientations in space, but rather relative positions and relative orientations, in each case based on a starting position Lref or an initial position Pref and initial orientation Oref.

Wenn bspw. vom ersten Bild KB(1) als Ausgangsbild ausgegangen wird, weil dieses Kamerabild zu Anfang der Ultraschalluntersuchung aufgenommen wurde, so sind die Positionen P(j) und Orientierungen O(j) der Kamera 116 bzw. des Ultraschallkopfes 110 bei den Aufnahmen der Bilder KB(j) (nun mit j = 2, ..., n) immer bezogen auf die Position P(1) = Pref und Orientierung O(1) = Oref von Kamera 116 bzw. Kopf 110 bei der Aufnahme des Bildes KB(1). Die Anfangsposition P(1) und die Anfangsorientierung O(1) markieren also den Ursprung eines entsprechenden raumfesten, im Prinzip sechsdimensionalen Koordinatensystems KS und es gilt P1 = (0, 0, 0) und O1 = (0, 0, 0). If, for example, the first image KB (1) is assumed to be the starting image because this camera image was taken at the beginning of the ultrasound examination, the positions P (j) and orientations O (j) of the camera are assumed 116 or the ultrasound head 110 in the pictures of the pictures KB (j) (now with j = 2, ..., n) always referring to the position P (1) = Pref and orientation O (1) = Oref of camera 116 or head 110 when taking the picture KB (1). The initial position P (1) and the initial orientation O (1) thus mark the origin of a corresponding spatially fixed, in principle six-dimensional coordinate system KS and P1 = (0, 0, 0) and O1 = (0, 0, 0).

Nach dieser Berechnung der Anpassungen wird für jedes Kamerabild KB(j) die Lage L(j) der Kamera 116 gespeichert. Dabei kann die Lage L(j) direkt in Form der beschriebenen Anpassung dA(i, j) gespeichert werden, so dass sie sich auf die Lage L(i) des jeweiligen Vergleichsbildes L(i) bezieht. Alternativ kann die Lage L(j) als im Prinzip absolute Lage im Koordinatensystem KS abgespeichert werden, wobei sich L(j) als Summe der entsprechenden Anpassungen dA für die vorherigen Bilder ergibt, L(j) = L(1) + Σ j-1 / i=1 dA(i, i + 1), bspw. L(4) = L1 + dA(1, 2) + dA(2, 3) + dA(3, 4) mit L(1) = Lref. Der Einfachheit halber gilt weiterhin L(1) = Lref = 0. After this calculation of the adjustments, the position L (j) of the camera is obtained for each camera image KB (j) 116 saved. In this case, the position L (j) can be stored directly in the form of the described adaptation dA (i, j), so that it relates to the position L (i) of the respective comparison image L (i). Alternatively, the position L (j) can be stored as in principle absolute position in the coordinate system KS, wherein L (j) results as the sum of the corresponding adjustments dA for the previous images, L (j) = L (1) + Σ j-1 / i = 1 dA (i, i + 1), eg. L (4) = L1 + dA (1, 2) + dA (2, 3) + dA (3, 4) with L (1) = Lref. For the sake of simplicity, L (1) = Lref = 0.

Zusammenfassend resultiert aus dem oben beschriebenen Verfahren die Kenntnis der Lagen L(i) des Ultraschallkopfes 110 bei den Aufnahmen der Kamerabilder KB(i). Dabei spielt es für das weitere Vorgehen keine wesentliche Rolle, ob die Lagen L(i) als absolute Lagen im Koordinatensystem KS oder direkt in Form der Anpassungen dA(i, j) verwendet werden. Da den Kamerabildern KB(i) eindeutige Zeitmarken TKB(i) zugeordnet sind, sind die Lagen L(i) des Ultraschallkopfes 110 zu den verschiedenen Zeiten TKB(i) bekannt, d.h. den Lagen L(i) sind ebenfalls die Zeitmarken TKB(i) zugeordnet. In summary, the knowledge of the layers L (i) of the ultrasound head results from the method described above 110 during the recording of the camera pictures KB (i). In this case, it does not play a significant role for the further course of action whether the positions L (i) are used as absolute positions in the coordinate system KS or directly in the form of the adjustments dA (i, j). Since the camera images KB (i) are assigned unique time marks TKB (i), the positions L (i) of the ultrasound head are 110 at the different times TKB (i), ie the positions L (i) are also assigned the time stamps TKB (i).

Wie einleitend angedeutet, werden die Kamerabilder KB(i) während der eigentlichen Ultraschalluntersuchung mit dem Ultraschallkopf 110 aufgenommen, d.h. während Ultraschallbilder UB(1), UB(1), UB(2), UB(3), ..., UB(m) (m ganzzahlig, m > 1) aufgenommen werden. Die Ultraschallbilder UB(k) (k = 1, 2, ..., m) sollen zu dem eingangs genannten Gesamtbild zusammengesetzt bzw. „gesticht“ werden. As indicated in the introduction, the camera images KB (i) during the actual ultrasound examination with the ultrasound head 110 ie, while ultrasound images UB (1), UB (1), UB (2), UB (3), ..., UB (m) (m integer, m> 1) are recorded. The ultrasound images UB (k) (k = 1, 2,..., M) are to be combined or "trimmed" to the overall image mentioned above.

Um die betroffenen Ultraschallbilder UB(k) miteinander zu kombinieren, werden die Lagen L(k) des Ultraschallkopfes 110 bei den Aufnahmen der jeweiligen Ultraschallbilder UB(k) benötigt. Wie oben beschrieben ergeben sich die Lagen L(i) des Ultraschallkopfes 110 zu verschiedenen Zeitpunkten TKB(i) aus der erläuterten Verarbeitung der Kamerabilder KB(i). Diese Lagen L(i) können verwendet werden, um die Lagen L(k) des Ultraschallkopfes 110 bei den Aufnahmen der Ultraschallbilder UB(k) zu ermitteln. In order to combine the affected ultrasound images UB (k) with each other, the positions L (k) of the ultrasound head become 110 in the recordings of the respective ultrasound images UB (k) needed. As described above, the layers L (i) of the ultrasound head result 110 at different times TKB (i) from the explained processing of the camera images KB (i). These layers L (i) can be used to cover the layers L (k) of the ultrasound transducer 110 to be determined during the recordings of the ultrasound images UB (k).

Im einfachsten Fall werden Kamerabilder KB(i) und Ultraschallbilder UB(k) zu gleichen Zeiten aufgenommen, so dass die Lage L(i) des Ultraschallkopfes 110 zum Zeitpunkt einer Aufnahme eines Kamerabildes KB(i) direkt dem zur gleichen Zeit aufgenommenen Ultraschallbild UB(i) zugeordnet werden kann. Hierzu bietet es sich an, dass die Ultraschallbilder UB(1), UB(2), ..., UB(m) ebenfalls mit Zeitmarken TUB1, TUB2, ..., TUBm versehen werden, welche die Zeiten angeben, zu denen das jeweilige Ultraschallbild UB(k) aufgenommen wurde. Unter Zuhilfenahme der jeweiligen Zeitmarken TUB(k) der Ultraschallbilder UB(k) und TKB(i) der Kamerabilder KB(i) bzw. der Lagen L(i) können den Ultraschallbildern UB(k) eindeutig die entsprechenden Lagen L des Ultraschallkopfes 110 zugeordnet werden. In the simplest case, camera images KB (i) and ultrasound images UB (k) are recorded at the same times, so that the position L (i) of the ultrasound head 110 at the time of taking a camera image KB (i) can be assigned directly to the recorded at the same time ultrasound image UB (i). For this purpose, it makes sense that the ultrasound images UB (1), UB (2), ..., UB (m) are also provided with timestamps TUB1, TUB2, ..., TUBm, which indicate the times to which the respective Ultrasound image UB (k) was recorded. With the aid of the respective time stamps TUB (k) of the ultrasound images UB (k) and TKB (i) of the camera images KB (i) or of the layers L (i), the ultrasound images UB (k) can unambiguously display the corresponding positions L of the ultrasound head 110 be assigned.

Die verschiedenen Zeitmarken TKB(i), TUB(k) können bspw. die bei den jeweiligen Bildaufnahmen geltenden Systemzeiten des Ultraschallsystems 1 sein. The different timestamps TKB (i), TUB (k) can, for example, be the system times of the ultrasound system that apply during the respective image recordings 1 be.

Über die den Bildern KB(i), UB(k) gemeinsamen Zeitmarken TKB(i), TUB(k) mit TUB(j) = TKB(j) ergibt sich also eine eindeutige Zuordnung von Kamerabildern KB(i) zu Ultraschallbildern UB(k) und schließlich ein Zusammenhang zwischen den Ultraschallbildern UB(k) und den Lagen L(k) bzw. Positionen P(k) und Orientierungen O(k) des Ultraschallkopfes 110 bei der Aufnahme dieser Ultraschallbilder UB(k). Allgemeiner ausgedrückt sind daraus, dass zum Einen die Lagen L(i) des Ultraschallkopfes 110 bei den Aufnahmen der Kamerabilder KB(i) wie beschrieben berechenbar und damit bekannt sind und zum Anderen bspw. aufgrund der übereinstimmenden Zeitmarken TUB(j), TKB(j) die Ultraschallbilder UB(j) und die Lagen L(j) einander eindeutig zugeordnet sind, die Lagen L(k) des Ultraschallkopfes 110 bei den Aufnahmen der Ultraschallbilder UB(k) bekannt. The time stamps TKB (i), TUB (k) with TUB (j) = TKB (j) common to the images KB (i), UB (k) thus result in an unambiguous assignment of camera images KB (i) to ultrasound images UB (FIG. k) and finally a relationship between the ultrasound images UB (k) and the positions L (k) or positions P (k) and orientations O (k) of the ultrasound head 110 when taking these ultrasound images UB (k). More generally speaking, on the one hand, the layers L (i) of the ultrasound head 110 in the recordings of the camera images KB (i) as described are calculable and thus known and on the other hand, for example, due to the matching time stamps TUB (j), TKB (j) the ultrasound images UB (j) and the layers L (j) unambiguously assigned to each other are, the layers L (k) of the ultrasound head 110 in the recordings of ultrasound images UB (k) known.

Die Bilder KB(i) zur Lageerkennung werden so häufig aufgenommen, dass eine genaue Lageermittlung des Ultraschallkopfes 110 relativ zur Ausgangslage L(1) möglich ist. Dabei ist es jedoch nicht zwingend, dass die Aufnahmerate der Kamerabilder KB(i) im direkten Zusammenhang mit der Aufnahme- bzw. Bildrate der Ultraschallbilder UB(k) steht. Es ist jedoch sinnvoll, ein festes, ganzzahliges Verhältnis zwischen der Anzahl m der Ultraschallbilder UB(k) und der Anzahl n der Kamerabilder KB(i) zu wählen, um im Rahmen der Nachverarbeitung eine eindeutige Zuordnung eines Ultraschallbildes UB(k) zu einem Kamerabild KB(i) bzw. eines Ultraschallbildes UB(k) zu der dem Kamerabild KB(i) zugehörigen Lage L(i) des Ultraschallkopfes 110 zu erzielen. Dabei wird idealerweise vorausgesetzt, dass zumindest ein Paar bestehend aus einem Kamerabild und einem Ultraschallbild zum gleichen Zeitpunkt aufgenommen wird, bspw. TUB(1) = TKB(1). Um weitestgehend sicher zu stellen, dass für die Zeitpunkte TUB(k) der Aufnahmen der Ultraschallbilder UB(k) jeweils ein Kamerabild KB(i) und damit eine Lage L(i) vorhanden ist, wird die Aufnahmerate der Kamerabilder KB(i) deutlich höher gewählt, als die Aufnahmerate der Ultraschallbilder UB(k), um die Wahrscheinlichkeit zu erhöhen, dass Zeitpunkte TUB, TKB zusammenfallen oder zumindest nahe beieinander liegen. The images KB (i) for position detection are recorded so often that a precise position determination of the ultrasound head 110 relative to the starting position L (1) is possible. However, it is not mandatory for the rate of acquisition of the camera images KB (i) to be directly related to the recording or frame rate of the ultrasound images UB (k). However, it makes sense to choose a fixed, integer ratio between the number m of ultrasound images UB (k) and the number n of camera images KB (i) in order to provide an unambiguous assignment of an ultrasound image UB (k) to a camera image during postprocessing KB (i) or an ultrasound image UB (k) to the camera image KB (i) associated layer L (i) of the ultrasound head 110 to achieve. Ideally, it is assumed that at least one pair consisting of a camera image and an ultrasound image is recorded at the same time, for example TUB (1) = TKB (1). In order to ensure as far as possible that there is a camera image KB (i) and thus a position L (i) for the times TUB (k) of the images of the ultrasound images UB (k), the rate of acquisition of the camera images KB (i) becomes clear higher than the rate of acquisition of ultrasound images UB (k) to increase the likelihood that timings TUB, TKB coincide or at least close to each other.

Für den Fall, dass die Ultraschallbilder UB(k) nicht zu den gleichen Zeiten TUB(k) aufgenommen wurden, wie die Kamerabilder KB(i), weil sich bspw. die Aufnahmeraten unterscheiden, können ebenfalls unter Verwendung der Zeitmarken TUB(k) der Ultraschallbilder UB(k) in einem Näherungsverfahren die Lagen L(k) des Ultraschallkopfes 110 ermittelt werden. Bspw. kann einem bestimmten Ultraschallbild UB(k) diejenige Lage L(i) zugeordnet werden, die sich aus einem zu einem Zeitpunkt TKB(i) aufgenommenen Kamerabild KB(i) ergibt, welcher dem Zeitpunkt TUB(k) der Aufnahme des bestimmten Ultraschallbildes UB(k) am nächsten kommt. Alternativ können die Lagen L(k) zu den Zeitpunkten TUB(k) aus der Menge der bekannten, einander zugeordneten Lagen L(i) und Zeitpunkte TKB(i) geschätzt bzw. interpoliert oder gemittelt werden. Auch ist es denkbar, dass bspw. aus einem umfassenden Datensatz von Ultraschallbildern für diejenigen Zeitpunkte TKB(i), für die die Lagen L(i) des Ultraschallkopfes 110 bekannt sind, Ultraschallbilder UB(k) interpoliert werden. In the event that the ultrasound images UB (k) were not taken at the same times TUB (k) as the camera images KB (i) because, for example, the acquisition rates differ, the time stamps TUB (k) can also be used Ultrasound images UB (k) in an approximate method, the layers L (k) of the ultrasound head 110 be determined. For example. the position L (i) which results from a camera image KB (i) recorded at a time TKB (i), which corresponds to the time TUB (k) of the acquisition of the determined ultrasound image UB (U), can be assigned to a specific ultrasound image UB (k). k) comes closest. Alternatively, the positions L (k) at the times TUB (k) can be estimated from the set of the known, associated layers L (i) and times TKB (i) or interpolated or averaged. It is also conceivable that, for example, from a comprehensive data set of ultrasound images for those times TKB (i), for which the positions L (i) of the ultrasound head 110 ultrasound images UB (k) are interpolated.

Grundsätzlich ist davon auszugehen, dass einem Ultraschallbild UB(k) genau eine Lage L(k) des Ultraschallkopfes 110 zugeordnet werden kann, wobei wie oben angedeutet ggf. verschiedene Wege in Betracht kommen, um diese Zuordnung auszuführen. Basically, it can be assumed that an ultrasound image UB (k) has exactly one layer L (k) of the ultrasound head 110 can be assigned, as indicated above, if necessary, different ways are considered to perform this assignment.

Somit kann als bekannt angenommen werden, in welchen Lagen L(k) des Ultraschallkopfes 110 die Ultraschallbilder UB(k) aufgenommen wurden. Diese Kenntnis wird schließlich in einem an sich bekannten Verfahren verwendet, um die Ultraschallbilder UB(k) zu einem Gesamtbild zu kombinieren. Wie bereits erwähnt kann hier das sog. „Stitching“ zum Einsatz kommen. Thus, it can be assumed as known in which layers L (k) of the ultrasound head 110 the ultrasound images UB (k) were taken. This knowledge is finally used in a method known per se in order to combine the ultrasound images UB (k) into an overall image. As already mentioned, the so-called "stitching" can be used here.

Die oben genannten Algorithmen und Verfahren, insbesondere die Matching-Software und das Stitching, können bspw. vom Signalprozessor 122 der Recheneinheit 120 ausgeführt werden. Dies bietet sich an, wenn die vom Ultraschallkopf 110 erzeugten Bilddaten in der Recheneinheit 120 verarbeitet werden. Für den Fall, dass der Ultraschallkopf 110 selbst mit einer Recheneinheit 117 ausgestattet ist, können sowohl die Ultraschallbilder UB(j) als auch die Kamerabilder KB(i) in dieser Recheneinheit 117 verarbeitet werden und die Algorithmen und Verfahren werden in dieser Recheneinheit ausgeführt. Weiterhin ist es mit modernen Systemen möglich, dass die anspruchsvolleren Rechenoperationen, d.h. insbesondere die Operationen der Matching-Software und ggf. andere Algorithmen der Bildverarbeitung, in einer Cloud bzw. in einem Netzwerk ausgeführt werden. Das letztendlich erzeugte Gesamtbild kann dann bspw. in ein Netzwerk übertragen werden, so dass es für mehrere mit dem Netzwerk verbundene Gerätschaften zur Verfügung steht, und/oder es wird an das Grundgerät 100 des Ultraschallsystems 1 übertragen, um auf dem Monitor 130 angezeigt zu werden. The above-mentioned algorithms and methods, in particular the matching software and the stitching, can, for example, by the signal processor 122 the arithmetic unit 120 be executed. This is useful when looking at the ultrasound head 110 generated image data in the arithmetic unit 120 are processed. In the event that the ultrasound head 110 even with a computing unit 117 is equipped, both the ultrasound images UB (j) and the camera images KB (i) in this arithmetic unit 117 are processed and the algorithms and methods are executed in this arithmetic unit. Furthermore, it is possible with modern systems that the more sophisticated arithmetic operations, ie in particular the operations of the matching software and possibly other algorithms of image processing, are performed in a cloud or in a network. The ultimately generated overall image can then be transmitted, for example, into a network so that it is available to a plurality of devices connected to the network, and / or it is sent to the basic device 100 of the ultrasound system 1 transferred to the monitor 130 to be displayed.

5 zeigt einen typischen Ultraschallkopf 110. Dabei werden durch den Ultraschallkopf 110 Tiefeninformationen in der Raumachse –Z und durch Beamforming Objekte in der X-Achse liegend aufgelöst. Das Resultat ist ein X/–Z Schnittbild. Durch Bewegen des Kopfes 110 in Y-Richtung können beliebig viele X/–Z Bilder aufgenommen und durch die oben beschriebene Bewegungserkennung zu einem X/Y/–Z Bild zusammengesetzt werden. In einem anderen Fall, bei dem ein Gesamtbild generiert werden soll, kann der Ultraschallkopf 110 in X-Richtung verschoben werden, wodurch über den Beamforming-Bereich des Einzelbildes hinaus größere X/–Z-Bilder synthetisch generiert werden können. 5 shows a typical ultrasonic head 110 , It will be through the ultrasound head 110 Depth information in the space axis -Z and resolved by beamforming objects lying in the X-axis. The result is an X / -Z slice image. By moving the head 110 In the Y-direction any number of X / -Z images can be recorded and assembled by the motion detection described above to form an X / Y / -Z image. In another case, where an overall image is to be generated, the ultrasound head 110 in the X direction, whereby larger X / Z images can be synthesized beyond the beamforming area of the frame.

Der optische Sensor 116 wurde im Rahmen der Figurenbeschreibung als Kamera beschrieben, mit welcher entsprechende Kamerabilder erzeugt werden können. Der Ausdruck „optische Aufnahme“ und in diesem Kontext „Bild“ ist so zu verstehen, dass im sichtbaren Spektrum oder auch in angrenzenden Spektren, bspw. Infrarot oder Ultraviolett, durch entsprechende Ausleuchtung einer Objektregion und zeitgleiche Erzeugung einer zweidimensionalen Abtastinformation, die sich durch Intensitätsschwankung und/oder Frequenzschwankung auszeichnet, ein umgangssprachlich „Bild“ oder Kamerabild genanntes Informationsobjekt generiert wird. Dies kann durch einen geeigneten Sensor, bspw. durch einen CCD- oder einen CMOS-Sensor, geschehen. Diese optische Aufnahme dient wie oben beschrieben nur zur Lageermittlung des Ultraschallkopfes 110. The optical sensor 116 was described in the description of the figure as a camera with which corresponding camera images can be generated. The term "optical recording" and in this context "image" is to be understood that in the visible spectrum or in adjacent spectra, for example. Infrared or ultraviolet, by appropriate illumination of an object region and simultaneous generation of a two-dimensional sampling information, which is characterized by intensity fluctuation and / or frequency fluctuation, a colloquially called "image" or camera image called information object is generated. This can be done by a suitable sensor, for example by a CCD or a CMOS sensor. This optical recording is used as described above, only for determining the position of the ultrasound head 110 ,

Alternativ ist denkbar, dass der optische Sensor 116 und die Lichtquelle 115 derart ausgestaltet sind, dass die Lichtquelle 115 die definierte Objektregion mit einem fokussierten Abtaststrahl der oben genannten Spektren abtastet und das reflektierte Licht durch einen punktförmigen, also quasi nulldimensionalen Sensor 116 aufnimmt. Durch das zweidimensionale Abtasten der Region und das jeweilige Aufnehmen der reflektierten Strahlung kann so auch eine zweidimensionale Abtastinformation und damit ein Bild gewonnen werden. Im konkreten Fall kann der fokussierte Abtaststrahl so implementiert werden, dass sich ein Emitter im genannten Spektrum entweder selbst bewegt oder sein emittierter Strahl durch eine geeignete Ablenkeinrichtung, bspw. durch einen Spiegel, auf die definierte Region gerichtet wird. In einem weiteren Fall ist es möglich, dass die Lichtquelle 115 ein feststehendes, zweidimensionales Array von Emittern aufweist und die Abtastung dadurch erreicht wird, dass die Emitter zeitlich nachfolgend aktiviert werden und dann die jeweilige Subregion des definierten Bereichs beleuchten. Alternatively, it is conceivable that the optical sensor 116 and the light source 115 are configured such that the light source 115 the defined object region is scanned with a focused scanning beam of the abovementioned spectra, and the reflected light is scanned by a point-shaped, that is, virtually zero-dimensional sensor 116 receives. As a result of the two-dimensional scanning of the region and the respective recording of the reflected radiation, it is thus also possible to obtain a two-dimensional scanning information and thus an image. In the specific case, the focused scanning beam can be implemented in such a way that an emitter in the mentioned spectrum either moves itself or its emitted beam is directed onto the defined region by a suitable deflection device, for example by a mirror. In another case, it is possible that the light source 115 has a fixed, two-dimensional array of emitters and the sampling is achieved by subsequently activating the emitters and then illuminating the respective subregions of the defined area.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102005037806 A1 [0004, 0049] DE 102005037806 A1 [0004, 0049]

Claims (15)

Verfahren zur Ermittlung einer Lage eines Ultraschallkopfes (110) während einer Ultraschalluntersuchung eines Objekts (2), wobei der Ultraschallkopf (110) zur Erfassung der Bewegung des Ultraschallkopfes (110) ein Sensorsystem (115, 116) mit einem am Ultraschallkopf (110) befestigten optischen Sensor (116) aufweist, wobei das Sensorsystem (115, 116) mit dem optischen Sensor (116) durch Abtasten einer Oberfläche (3) des Objekts (2) eine Zeitserie aus mehreren optischen Bildern (KB(i)) der Oberfläche (3) aufnimmt. Method for determining a position of an ultrasound head ( 110 ) during an ultrasound examination of an object ( 2 ), wherein the ultrasound head ( 110 ) for detecting the movement of the ultrasound head ( 110 ) a sensor system ( 115 . 116 ) with one on the ultrasound head ( 110 ) attached optical sensor ( 116 ), wherein the sensor system ( 115 . 116 ) with the optical sensor ( 116 ) by scanning a surface ( 3 ) of the object ( 2 ) a time series of several optical images (KB (i)) of the surface ( 3 ). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Ermittlung der Bewegung des Ultraschallkopfes (110) die Zeitserie der optischen Bilder (KB(i)) derart ausgewertet wird, dass für zumindest zwei optische Bilder (KB(i), KB(j)) der Zeitserie jeweils eine Lage (L(i), L(j)) des optischen Sensors (116) zum Zeitpunkt der Aufnahme des jeweiligen optischen Bildes (KB(i), KB(j)) ermittelt wird. A method according to claim 1, characterized in that for determining the movement of the ultrasound head ( 110 ) the time series of the optical images (KB (i)) is evaluated in such a way that for at least two optical images (KB (i), KB (j)) of the time series a respective position (L (i), L (j)) of the optical sensor ( 116 ) at the time of taking the respective optical image (KB (i), KB (j)). Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass aus den ermittelten Lagen (L(i)) des optischen Sensors (116) direkt auf die Bewegung des Ultraschallkopfes (110) geschlossen wird. A method according to claim 2, characterized in that from the determined layers (L (i)) of the optical sensor ( 116 ) directly on the movement of the ultrasound head ( 110 ) is closed. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass zur Ermittlung der Lage (L(j)) des optischen Sensors (116) zum Zeitpunkt der Aufnahme des optischen Bildes (KB(j)) der Zeitserie das jeweilige optische Bild (KB(j)) mit einem solchen optischen Vergleichsbild (KB(i)) aus der Zeitserie korreliert wird, für welches die Lage (L(i)) des optischen Sensors (116) zum Zeitpunkt der Aufnahme des optischen Vergleichsbildes (KB(i)) bekannt ist. A method according to claim 2 or 3, characterized in that for determining the position (L (j)) of the optical sensor ( 116 ) at the time of recording the optical image (KB (j)) of the time series, the respective optical image (KB (j)) is correlated with such a comparison optical image (KB (i)) from the time series for which the position (L (FIG. i)) of the optical sensor ( 116 ) at the time of taking the optical comparison image (KB (i)) is known. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Vergleichsbild (KB(i)) für die Ermittlung der Lage (L(j)) des optischen Sensors (116) zum Zeitpunkt der Aufnahme des optischen Bildes (KB(j)) derart ausgewählt wird, dass gilt 1 ≤ j – i ≤ MAX, wobei MAX ein vorgebbarer Parameter ist, insbesondere MAX = 3. A method according to claim 4, characterized in that the comparison image (KB (i)) for determining the position (L (j)) of the optical sensor ( 116 ) is selected at the time of taking the optical image (KB (j)) such that 1 ≦ j - i ≦ MAX, where MAX is a specifiable parameter, in particular MAX = 3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass basierend auf einer Auswertung der Zeitserie der optischen Bilder (KB(i)) zumindest einige der Ultraschallbilder (UB(k)) zu einem Gesamtbild kombiniert werden. Method according to one of the preceding claims, characterized in that based on an evaluation of the time series of the optical images (KB (i)) at least some of the ultrasound images (UB (k)) are combined to form an overall image. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Kombination der Ultraschallbilder (UB(k)) darauf basiert, in welchen Lagen (L(k)) sich der Ultraschallkopf (110) zu den Zeitpunkten (TUB(k)) der Aufnahmen der zu kombinierenden Ultraschallbilder (UB(k)) jeweils befunden hat. A method according to claim 6, characterized in that the combination of ultrasound images (UB (k)) based on which layers (L (k)), the ultrasound head ( 110 ) at the times (TUB (k)) of the recordings of the ultrasonic images (UB (k)) to be combined respectively. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lagen (L(k)) des Ultraschallkopfes (110) zu den Zeitpunkten (TUB(k)) der Aufnahmen der zu kombinierenden Ultraschallbilder (UB(k)) basierend auf der Auswertung der Zeitserie der optischen Bilder (KB(i)) ermittelt werden. Method according to one of the preceding claims, characterized in that the layers (L (k)) of the ultrasound head ( 110 ) at the times (TUB (k)) of the images of the ultrasonic images (UB (k)) to be combined based on the evaluation of the time series of the optical images (KB (i)). Verfahren nach einem der Ansprüche 7 bis 8, dadurch gekennzeichnet, dass die Lagen (L(k)) des Ultraschallkopfes (110) zu den Zeitpunkten (TUB(k)) der Aufnahmen der zu kombinierenden Ultraschallbilder (UB(k)) basierend auf den Lagen (L(i)) des optischen Sensors (116) zu den Zeitpunkten (TKB(i)) der Aufnahmen der optischen Bilder (KB(i)) bestimmt werden, wobei – für jedes optische Bild (KB(i)) der Zeitserie und damit für jede Lage (L(i)) des optischen Sensors (116) zum Zeitpunkt (TKB(i)) der Aufnahme des jeweiligen optischen Bildes (KB(i)) eine Zeitmarke (TKB(i)) bereitgestellt wird, wobei jede Zeitmarke (TKB(i)) Information darüber enthält, zu welchem Zeitpunkt (TKB(i)) das jeweilige optische Bild (KB(i)) aufgenommen wurde, – für jedes Ultraschallbild (UB(k)) eine weitere Zeitmarke (TUB(k)) bereitgestellt wird, wobei jede weitere Zeitmarke (TUB(k)) Information darüber enthält, zu welchem Zeitpunkt (TUB(k)) das jeweilige Ultraschallbild (UB(k)) aufgenommen wurde. Method according to one of claims 7 to 8, characterized in that the layers (L (k)) of the ultrasound head ( 110 ) at the times (TUB (k)) of the images of the ultrasound images (UB (k)) to be combined based on the positions (L (i)) of the optical sensor ( 116 ) at the times (TKB (i)) of the images of the optical images (KB (i)), wherein - for each optical image (KB (i)) of the time series and thus for each layer (L (i)) of the optical sensor ( 116 ) at the time (TKB (i)) of the recording of the respective optical image (KB (i)) a timestamp (TKB (i)) is provided, each timestamp (TKB (i)) containing information about at what time (TKB (i)) the respective optical image (KB (i)) was recorded, - for each ultrasound image (UB (k)) a further time stamp (TUB (k)) is provided, each further time stamp (TUB (k)) information contains at what time (TUB (k)) the respective ultrasound image (UB (k)) was recorded. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass für jedes zu kombinierende Ultraschallbild (UB(k))zur Bestimmung der Lage (L(k)) des Ultraschallkopfes (110) bei der Aufnahme des jeweiligen Ultraschallbildes (UB(k)) diejenige Lage (L(i)) des optischen Sensors (116) verwendet wird, deren Zeitmarke (TKB(i)) der Zeitmarke (TUB(k)) des jeweiligen Ultraschallbildes (UB(k)) am nächsten kommt. A method according to claim 9, characterized in that for each ultrasound image to be combined (UB (k)) for determining the position (L (k)) of the ultrasound head ( 110 ) in the recording of the respective ultrasound image (UB (k)) that position (L (i)) of the optical sensor ( 116 ) whose timestamp (TKB (i)) comes closest to the timestamp (TUB (k)) of the respective ultrasound image (UB (k)). Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass für jedes Ultraschallbild (UB(k)) die Lage (L(k)) des Ultraschallkopfes (110) bei der Aufnahme des Ultraschallbildes (UB(k)) basierend auf der Zeitmarke (TUB(k)) des Ultraschallbildes (UB(k)) aus zumindest einigen der ermittelten Lagen (L(i)) und den jeweiligen Zeitpunkten (TKB(i)) geschätzt wird. A method according to claim 9, characterized in that for each ultrasound image (UB (k)) the position (L (k)) of the ultrasound head ( 110 ) when taking the ultrasound image (UB (k)) based on the time mark (TUB (k)) of the ultrasound image (UB (k)) from at least some of the determined positions (L (i)) and the respective times (TKB (i )). Ultraschallsystem (1) aufweisend einen Ultraschallkopf (110) zum Aufnehmen von Ultraschallbildern (UB(k)) von einem Inneren eines Objekts (2), – wobei der Ultraschallkopf (110) zur Erfassung einer Bewegung des Ultraschallkopfes (110) ein Sensorsystem (115, 116) mit einem am Ultraschallkopf (110) befestigten optischen Sensor (116) zum Empfangen von Licht aus einem Bereich BK von der Oberfläche (3) des Objekts (2) zum Abtasten der Oberfläche (3) aufweist, – wobei das Sensorsystem (115, 116) aus dem empfangenen Licht eine Zeitserie aus mehreren optischen Bildern (KB(i)) der Oberfläche (3) erzeugt und – wobei das Ultraschallsystem (1) eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen. Ultrasound system ( 1 ) comprising an ultrasound head ( 110 ) for taking ultrasound images (UB (k)) from an interior of an object ( 2 ), - wherein the ultrasound head ( 110 ) for detecting a movement of the ultrasound head ( 110 ) a sensor system ( 115 . 116 ) with one on the ultrasound head ( 110 ) attached optical sensor ( 116 ) for receiving light from a region BK from the surface ( 3 ) of the object ( 2 ) for scanning the surface ( 3 ) having, - wherein the sensor system ( 115 . 116 ) from the received light a time series of several optical images (KB (i)) of the surface ( 3 ) and wherein the ultrasound system ( 1 ) is arranged to carry out a method according to one of the preceding claims. Ultraschallsystem nach Anspruch 12, aufweisend eine Lichtquelle (115) zum Aussenden von Licht zum Beleuchten zumindest des Bereichs BK der Oberfläche (3). An ultrasound system according to claim 12, comprising a light source ( 115 ) for emitting light for illuminating at least the area BK of the surface ( 3 ). Ultraschallsystem nach einem der Ansprüche 12 bis 13, dadurch gekennzeichnet, dass der Ultraschallkopf (110) ein Fenster (114) aufweist, durch das das zu der Zeitserie von optischen Bildern (KB(i)) zu verarbeitende Licht treten kann. Ultrasound system according to one of claims 12 to 13, characterized in that the ultrasound head ( 110 ) a window ( 114 ) through which the light to be processed to the time series of optical images (KB (i)) can pass. Ultraschallsystem nach Anspruch 14, dadurch gekennzeichnet, dass die Lichtquelle (115) und/oder der optische Sensor (116) innerhalb eines Gehäuses (113) des Ultraschallkopfes (110) derart angeordnet sind, dass von der Lichtquelle (115) ausgesendetes Licht und/oder vom optischen Sensor (116) zu empfangenes Licht durch das Fenster (114) tritt. Ultrasound system according to claim 14, characterized in that the light source ( 115 ) and / or the optical sensor ( 116 ) within a housing ( 113 ) of the ultrasound head ( 110 ) are arranged such that from the light source ( 115 ) emitted light and / or by the optical sensor ( 116 ) to receive light through the window ( 114 ) occurs.
DE102015218489.7A 2015-09-25 2015-09-25 Method and ultrasound system for determining a position of an ultrasound head during an ultrasound examination Withdrawn DE102015218489A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015218489.7A DE102015218489A1 (en) 2015-09-25 2015-09-25 Method and ultrasound system for determining a position of an ultrasound head during an ultrasound examination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015218489.7A DE102015218489A1 (en) 2015-09-25 2015-09-25 Method and ultrasound system for determining a position of an ultrasound head during an ultrasound examination

Publications (1)

Publication Number Publication Date
DE102015218489A1 true DE102015218489A1 (en) 2017-03-30

Family

ID=58281727

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015218489.7A Withdrawn DE102015218489A1 (en) 2015-09-25 2015-09-25 Method and ultrasound system for determining a position of an ultrasound head during an ultrasound examination

Country Status (1)

Country Link
DE (1) DE102015218489A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037806A1 (en) 2004-08-13 2006-02-23 General Electric Co. Method and device for enlarging the field of view in ultrasound imaging
US20090306509A1 (en) 2005-03-30 2009-12-10 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005037806A1 (en) 2004-08-13 2006-02-23 General Electric Co. Method and device for enlarging the field of view in ultrasound imaging
US20090306509A1 (en) 2005-03-30 2009-12-10 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors

Similar Documents

Publication Publication Date Title
DE19950793B4 (en) X-ray device and method for determining imaging parameters
DE102010051207B4 (en) Device and method for three-dimensional imaging of a relative to the sensor arrangement moving object
DE112017000642T5 (en) Systems and methods for a possible collision between an object and detecting a patient
DE3041112A1 (en) ULTRASONIC IMAGING SYSTEM
EP0760622A1 (en) Digitised sensing process and arrangement for the three-dimensional shape in space of bodies or body parts
EP0995131A1 (en) Method and device for sensing ultrasound images
WO2011161197A1 (en) Device and method for combined optical and nuclear image acquisition
DE102011075904A1 (en) A method for providing an image data set with suppressed over-field artifacts and X-ray image capture device
DE102009018137A1 (en) Imaging system with linear scanning and method therefor
WO2012156448A1 (en) Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface
DE19910771A1 (en) Method of tracking a scanning plane motion for three-dimensional freehand ultrasonic scanning of the human anatomy using adaptive spot correlation
EP2613689B1 (en) Dental x-ray device with imaging unit for surface imaging, and method for generating an x-ray of a patient
DE102006020812A1 (en) Exposure control method and systems for medical imaging equipment
DE112014001044T5 (en) Portable medical imaging device with cursor pointer control
DE102004029474A1 (en) System and method for scanning an object in tomosynthesis applications
DE102013203399A1 (en) Method and projection device for marking a surface
DE10361552A1 (en) Volumetric CT system and method using multiple detector panels
DE19748082A1 (en) Partial volume artifact detection for computer tomography
WO1994013194A1 (en) Process and device for the optical, local resolution determination of biological tissues density distributions
DE102015206630A1 (en) Multispectral CT imaging
DE102013200329B4 (en) Method and device for misalignment correction for imaging methods
DE102017215059B3 (en) Method for operating an imaging X-ray device, in particular computer tomograph, X-ray device and computer program product
WO2018133890A1 (en) Method and device for producing a 3-d thermogram
DE2843985B2 (en) Ultrasonic diagnostic device
DE102018204517B3 (en) Method of imaging by means of a computed tomography device and computed tomography device

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee