DE112015002570T5 - Bilderfassungssystem und -verfahren zur visuellen Ferninspektion - Google Patents

Bilderfassungssystem und -verfahren zur visuellen Ferninspektion Download PDF

Info

Publication number
DE112015002570T5
DE112015002570T5 DE112015002570.7T DE112015002570T DE112015002570T5 DE 112015002570 T5 DE112015002570 T5 DE 112015002570T5 DE 112015002570 T DE112015002570 T DE 112015002570T DE 112015002570 T5 DE112015002570 T5 DE 112015002570T5
Authority
DE
Germany
Prior art keywords
images
image
imager
processor
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112015002570.7T
Other languages
English (en)
Inventor
Clark Alexander Bendall
Thomas Charles Ward
Melissa Rose Stancato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baker Hughes Holdings LLC
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of DE112015002570T5 publication Critical patent/DE112015002570T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die vorliegende Offenbarung beschreibt eine Ausführungsform, die ein greifbares, nicht-transitorisches computerlesbares Medium bereitstellt, das Instruktionen speichert, die durch einen Prozessor eines Endoskops ausgeführt werden können. Die Instruktionen enthalten Instruktionen, um unter Verwendung eines Bildgebers in dem Endoskop mehrere erste Bilder bei einer ersten Helligkeitsstufe zu erfassen, während ein Live-Video basierend wenigstens zum Teil auf den mehreren ersten Bildern angezeigt wird, unter Verwendung des Prozessors ein Basisbild durch Mittelung oder Aufsummierung der mehreren ersten Bilder zu generieren, unter Verwendung des Bildgebers mehrere zweite Bilder bei mehreren Helligkeitsstufen zu erfassen, wobei sich die mehreren Helligkeitsstufen von der ersten Helligkeitsstufe unterscheiden, und unter Verwendung des Prozessors ein Bild mit hohem Dynamikumfang basierend wenigstens zum Teil auf dem Basisbild und den mehreren zweiten Bildern zu generieren, wobei das Bild mit hohem Dynamikumfang mehr ungesättigte Pixel als das Basisbild aufweist.

Description

  • HINTERGRUND ZU DER ERFINDUNG
  • Die vorliegende Offenbarung betrifft allgemein ein Endoskopsystem, das für die Inspektion von Ausrüstung und Einrichtungen verwendet wird, und insbesondere die Bilderfassung mittels des Endoskopsystems.
  • Manche Ausrüstung und Einrichtungen, wie beispielsweise Energieerzeugungsausrüstung und -einrichtungen, Öl- und Gasausrüstung und -einrichtungen, Luftfahrzeugausrüstung und -einrichtungen, Herstellungsausrüstung und -einrichtungen und dergleichen, enthalten mehrere zusammenhängende Systeme und Prozesse. Z.B. können Energieerzeugungsanlagen Turbinensysteme und Prozesse zum Betreiben und Instandhalten der Turbinensysteme enthalten. Ebenso können Öl- und Gasbetriebe Rückgewinnungssysteme für kohlenstoffhaltigen Brennstoff und eine Verarbeitungsausrüstung enthalten, die über Rohrleitungen miteinander verbunden sind. Ebenso können Luftfahrzeugsysteme Flugzeuge und Instandhaltungshangars enthalten, die zur Aufrechterhaltung der Flugtauglichkeit und zur Bereitstellung einer Instandhaltungsunterstützung nützlich sind.
  • Bestimmte Techniken, wie beispielsweise zerstörungsfreie Inspektionstechniken oder Techniken zur zerstörungsfreien Prüfung (NDT, Non-Destructive Testing) können verwendet werden, um derartige Ausrüstung und Einrichtungen zu inspizieren und eine Instandhaltung derselben zu unterstützen. Insbesondere können derartige Techniken visuelle Ferninspektionsvorrichtungen, wie beispielsweise Endoskope, Boroskope, Schwenk-Neige-Zoom-Kameras, Schiebekameras und dergleichen, verwenden, um die Einbauten ohne Demontage sehr vielfältiger Ausrüstung und Einrichtungen zu inspizieren. Z.B. kann ein Endoskop verwendet werden, um die inneren Merkmale (z.B. Objekte oder Oberflächen) in einem Kraftfahrzeugmotor zu inspizieren. Insbesondere kann ein visuelles Ferninspektionssystem (z.B. Endoskop) in verschiedene Öffnungen der Ausrüstung oder Einrichtung eingeführt werden, um eine Ausleuchtung, visuelle Beobachtungen und/oder die Erfassung von Bildern von den Einbauten der Ausrüstung oder Einrichtung zu ermöglichen.
  • Demgemäß würde es von Vorteil sein, die Bilderfassungsfähigkeiten eines visuellen Ferninspektionssystems z.B. durch Erhöhung der Nutzbarkeit erfasster Bilder zu verbessern.
  • KURZE BESCHREIBUNG DER ERFINDUNG
  • Bestimmte Ausführungsformen entsprechend dem Umfang der ursprünglich beanspruchten Erfindung sind nachstehend kurz zusammengefasst. Diese Ausführungsformen sollen den Schutzumfang der beanspruchten Erfindung nicht beschränken, sondern sind lediglich dazu gedacht, eine Kurzbeschreibung möglicher Formen der Erfindung zu liefern. In der Tat kann die Erfindung vielfältige Formen umfassen, die den nachstehend erläuterten Ausführungsformen ähnlich sein oder sich von diesen unterscheiden können.
  • Eine erste Ausführungsform ergibt ein greifbares, nicht-transitorisches computerlesbares Medium, das Instruktionen speichert, die durch einen Prozessor eines Endoskops ausführbar sind. Die Instruktionen enthalten Instruktionen, um unter Verwendung eines Bildgebers in dem Endoskop mehrere erste Bilder bei einer ersten Helligkeitsstufe zu erfassen, während ein Live-Video basierend wenigstens zum Teil auf den mehreren ersten Bildern angezeigt wird, unter Verwendung des Prozessors ein Basisbild durch Mittelung oder Aufsummierung der mehreren ersten Bilder zu erzeugen, unter Verwendung des Bildgebers mehrere zweite Bilder bei mehreren Helligkeitsstufen zu erfassen, wobei sich die mehreren Helligkeitsstufen von der ersten Helligkeitsstufe unterscheiden, und unter Verwendung des Prozessors ein Bild mit hohem Dynamikumfang basierend wenigstens zum Teil auf dem Basisbild und den mehreren zweiten Bildern zu erzeugen, wobei das Bild mit hohem Dynamikumfang mehr ungesättigte Pixel aufweist als das Basisbild.
  • Eine zweite Ausführungsform ergibt einen Prozessor in einem visuellen Ferninspektionssystem, der ein Basisbild durch Mittelung oder Aufsummierung mehrerer erster Bilder erzeugt, wobei die mehreren ersten Bilder unter Verwendung eines Bildgebers des visuellen Ferninspektionssystems bei einer ersten Helligkeitsstufe erfasst werden, eine Live-Videozuspielung basierend wenigstens zum Teil auf den mehreren ersten Bildern erzeugt und ein Bild mit hohem Dynamikumfang unter Verwendung ungesättigter Pixeldaten aus dem Basisbild und ungesättigter Pixeldaten aus wenigstens einem von mehreren zweiten Bilder erzeugt, wobei die mehreren zweiten Bilder unter Verwendung des Bildgebers bei Helligkeitsstufen erfasst werden, die sich von der ersten Helligkeitsstufe unterscheiden.
  • Eine dritte Ausführungsform ergibt ein visuelles Ferninspektionssystem, das einen Bildgeber, der Bilder durch Umwandlung von Licht in analoge Bilddaten liefert, einen Analog-Digital-Wandler, der die analogen Bilddaten in digitale Bilddaten wandelt, und einen Prozessor enthält, der die digitalen Bilddaten erfasst und verarbeitet, um mehrere Bilder zu erzeugen. Das visuelle Ferninspektionssystem enthält ferner eine Anzeige, die ein Live-Video anzeigt, das Merkmale in der Nähe des Bildgebers darstellt, wobei das Live-Video wenigstens zum Teil auf Bildern basiert, die unter Verwendung des Bildgebers bei einer ersten Helligkeitsstufe erfasst werden, wobei die erfassten Bilder verwendet werden, um ein Basisbild zu erzeugen, und die mehreren Bilder, die durch den Prozessor erzeugt werden, als Vorschaubilder (Thumbnails) anzeigt, wobei die mehrere Bilder das Basisbild und ein Bild mit hohem Dynamikumfang enthalten, das durch Ersetzen gesättigter Pixel in dem Basisbild erzeugt wird.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Diese und weitere Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden besser verstanden, wenn die folgende detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen gelesen wird, in denen gleiche Bezugszeichen gleiche Teile durch die Zeichnungen hinweg darstellen, worin zeigen:
  • 1 ein Blockdiagramm, das ein Endoskopsystem veranschaulicht, gemäß einer Ausführungsform;
  • 2 ein Flussdiagramm eines Prozesses zur Erzeugung von Bildern in dem Endoskopsystem nach 1 gemäß einer Ausführungsform;
  • 3 ein Flussdiagramm eines alternativen Prozesses zur Erzeugung von Bildern in dem Endoskopsystem nach 1 gemäß einer Ausführungsform;
  • 4 eine Bildschirmansicht mehrerer erfasster Bilder, die durch das Endoskopsystem nach 1 angezeigt werden, gemäß einer Ausführungsform; und
  • 5 ein Flussdiagramm eines Prozesses zum Anzeigen der Bildschirmansicht nach 4 gemäß einer Ausführungsform.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Eine oder mehrere spezielle Ausführungsformen der vorliegenden Erfindung sind nachstehend beschrieben. In dem Bemühen, eine konzise Beschreibung dieser Ausführungsformen zu liefern, können gegebenenfalls nicht alle Merkmale einer tatsächlichen Implementierung in der Beschreibung beschrieben sein. Es sollte erkannt werden, dass bei der Entwicklung einer jeden derartigen tatsächlichen Implementierung, wie in jedem Ingenieurs- oder Konstruktionsprojekt, zahlreiche implementationsspezifische Entscheidungen getroffen werden müssen, um die speziellen Ziele der Entwickler, wie beispielsweise die Einhaltung systembezogener und unternehmensbezogener Randbeschränkungen, zu erreichen, die von einer Implementierung zur anderen variieren können. Außerdem sollte erkannt werden, dass ein derartiger Entwicklungsaufwand zwar komplex und zeitaufwendig sein kann, jedoch für Fachleute, die den Nutzen dieser Offenbarung haben, nichtsdestoweniger ein routinemäßiges Unterfangen zur Konstruktion, Fertigung und Herstellung darstellen würde.
  • Wenn Elemente verschiedener Ausführungsformen der vorliegenden Erfindung eingeführt werden, sollen die Artikel „ein“, „eine“, „der“, „die“ und „das“ bedeuten, dass es ein oder mehrere der Elemente gibt. Die Ausdrücke „aufweisen“, „enthalten“ und „haben“ sind im einschließlichen Sinne gemeint und sollen bedeuten, dass außer den aufgeführten Elementen zusätzliche Elemente vorhanden sein können.
  • Ausführungsformen der vorliegenden Offenbarung können auf vielfältige Inspektionstechniken und -systeme, einschließlich zerstörungsfreier Prüf(NDT)-Techniken/Systeme, anwendbar sein. In einigen Ausführungsformen eines NDT-Systems kann ein visuelles Ferninspektionssystem (z.B. ein Endoskop) verwendet werden, um eine Untersuchung und/oder Inspektion einer Ausrüstung und von Einrichtungen, wie beispielsweise Energieerzeugungsausrüstung und -einrichtungen, Öl- und Gasausrüstung und -einrichtungen und Luftfahrzeugausrüstung und -einrichtungen, zu unterstützen. Insbesondere kann das visuelle Ferninspektionssystem für eine Ausleuchtung, Visualisierung sorgen und/oder andere Daten bereitstellen, die die inneren Merkmale (z.B. Objekte oder Oberflächen) der Ausrüstung oder Einrichtungen betreffen.
  • Um derartige Funktionen zu ermöglichen, enthält ein visuelles Ferninspektionssystem allgemein eine Beleuchtungsvorrichtung (z.B. eine Lichtquelle) und eine Bilderfassungsvorrichtung (z.B. einen Bildgeber). Insbesondere kann der Bildgeber verwendet werden, um Bilder und/oder ein Video von Merkmalen, Objekten oder Oberflächen in der Nähe des Bildgebers zu erfassen. Wenn z.B. eine Endoskopsonde in einen Kraftfahrzeugmotor eingeführt wird, kann der Bildgeber verwendet werden, um Bilder eines Ventils im Innern des Motors zu erfassen. Da innere Merkmale häufig für Außenlicht versperrt sind, kann eine Lichtquelle, wie beispielsweise eine Leuchtdiode (LED), während der Bild- und/oder Videoerfassung für eine Beleuchtung für den Bildgeber sorgen. Wie erkannt werden kann, kann die Beleuchtung in einigen Ausführungsformen durch eine externe Quelle, wie beispielsweise eine externe Beleuchtungsvorrichtung oder natürliches Licht, bereitgestellt werden.
  • Basierend auf diesen erfassten Bildern kann ein Benutzer des visuellen Ferninspektionssystems anschließend eine Untersuchung und/oder Inspektion der Ausrüstung oder Einrichtung durchführen. Z.B. können die Inspektionsbilder verwendet werden, um eine visuelle Darstellung des Ventils in dem Kraftfahrzeugmotor bereitzustellen. Zusätzlich können die Messbilder verwendet werden, um eine 3D-Darstellung (z.B. Punktwolkendaten/-bild oder Tiefenprofil) des Ventils zu generieren. Insbesondere können die Messbilder mehrere verschiedene Formen einnehmen. Z.B. können Stereomessbilder durch die Verwendung einer Stereooptik mit einem einzigen Bildgeber oder mit mehreren Bildgebern, die jeweils ihre eigene Optik aufweisen, erfasst werden. Außerdem können strukturierte Lichtmessbilder erfasst werden, wenn ein Lichtmuster auf eine betrachtete Oberfläche oder ein betrachtetes Objekt projiziert wird. Insbesondere kann das projizierte Lichtmuster in erfassten Bildern detektiert und verwendet werden, um 3D-Oberflächendaten zu bestimmen.
  • Es können verschiedene Techniken verwendet werden, um die strukturierten Lichtmuster zu projizieren. Z.B. können die strukturierten Lichtmuster in einigen Ausführungsformen unter Verwendung einer homogenen Inspektionslichtquelle projiziert werden. In anderen Ausführungsformen kann eine gesonderte Lichtquelle, wie beispielsweise ein Emittermodul, verwendet werden, um das strukturierte Lichtmuster nur während einer Messbilderfassung zu projizieren. In weiteren Ausführungsformen kann, wenn das strukturierte Lichtmuster im Vergleich zu dem gleichmäßigen Inspektionslicht eine hinreichende Intensität hat, die gesonderte Lichtquelle gleichzeitig mit der homogenen Inspektionslichtquelle aktiviert werden. Ein derartiges strukturiertes Lichtmuster kann Linien oder Punkte enthalten, die unter Verwendung einer kollimierten Lichtquelle, wie beispielsweise eines Lasers, mit einem ein Muster erzeugenden optischen Element, wie beispielsweise einer diffraktiven Optik, erzeugt werden. Noch weiter kann, wenn die durch die homogene Inspektionslichtquelle erzielte Beleuchtung die Nutzbarkeit des projizierten strukturierten Lichtmusters reduzieren kann, die homogene Inspektionslichtquelle deaktiviert werden, wenn die strukturierte Lichtquelle aktiviert ist. Dies würde allgemein dann der Fall sein, wenn das Spektrum des strukturierten Lichtmusters dasjenige der homogenen Inspektionslichtquelle überlappt oder nicht leicht von diesem unterschieden werden kann.
  • Jedoch kann in einigen Fällen die Nutzbarkeit der erfassten Bilder beeinträchtigt sein, weil sie die Zielmerkmale nicht genau erfassen. Insbesondere können Teile oder kann die Gesamtheit eines erfassten Bildes gesättigt hell oder gesättigt dunkel sein, was Details eines Zielmerkmals verbergen kann. Z.B. kann eine Schweißnaht im Innern des Kraftfahrzeugmotors bewirken, dass ein Bild aufgrund der hohen Reflexivität der Schweißnaht gesättigt hell (z.B. „blühend“) wird.
  • Demgemäß beschreibt eine Ausführungsform der vorliegenden Offenbarung ein visuelles Ferninspektionssystem, das mehrere erste Bilder auf einer ersten Helligkeitsstufe erfasst, während ein Live-Video, das wenigstens zum Teil auf den mehreren ersten Bildern basiert, angezeigt wird, und ein Basisbild durch Mittelung oder Aufsummierung der mehreren ersten Bilder erzeugt. Außerdem erfasst das visuelle Ferninspektionssystem mehrere zweite Bilder bei mehreren Helligkeitsstufen, wobei die mehreren Helligkeitsstufen sich von der ersten Helligkeitsstufe unterscheiden, und es generiert ein Bild mit hohem Dynamikumfang basierend wenigstens zum Teil auf dem Basisbild und den mehreren zweiten Bildern, so dass das Bild mit hohem Dynamikumfang mehr ungesättigte Pixel aufweist als das Basisbild.
  • In anderen Worten, und wie in größeren Einzelheiten nachstehend beschrieben ist, verbessern die Techniken, die hierin beschrieben sind, die Nutzbarkeit der Bilder, die mittels des visuellen Ferninspektionssystems erfasst werden, durch Erzeugung von einen hohen Dynamikumfang aufweisenden Bildern mit mehreren ungesättigten Pixeln. An sich ermöglicht das Bild mit Hochdynamikumfang es, dass Details des Zielmerkmals leichter erkannt werden. Außerdem kann die Effizient bei der Erzeugung des Bildes mit Hochdynamikumfang verbessert werden, indem das Bild mit hohem Dynamikumfang basierend auf mehreren Bildern generiert wird, die erfasst werden, während ein Live-Video angezeigt wird. Z.B. können die mehreren Bilder in einigen Ausführungsformen kontinuierlich erfasst und einzeln gespeichert oder als ein aufsummiertes oder gemitteltes Bild gespeichert werden, noch bevor irgendein Befehl zu Bilderfassung empfangen wird.
  • Um es zu veranschaulichen, beschreibt 1 ein Endoskopsystem 10, das die hierin beschriebenen Techniken nutzen kann. In einigen Ausführungsformen kann das Endoskopsystem 10 eine XL GO+ VideoProbe, eine XLG3 VideoProbe, XL Vu VideoProbe oder dergleichen sein, die von der General Electric Company aus Schenectady, New York, erhältlich sind. Es sollte erkannt werden, dass, obwohl die vorliegende Ausführungsform ein Endoskopsystem beschreibt, das Endoskopsystem lediglich für veranschaulichende Zwecke bestimmt ist. In anderen Worten können andere geeignete visuelle Ferninspektionssysteme (z.B. Schwenk-Neige-Zoom-Kameras, Schiebekameras oder Boroskope) ebenfalls die hierin beschriebenen Techniken verwenden.
  • Wie dargestellt, enthält das Endoskopsystem 10 ein Einführungsrohr 12 und eine Basisbaugruppe 14. In dem hierin verwendeten Sinne beschreibt das Einführungsrohr 12 den Teil des Endoskopsystems 10, der in eine Ausrüstung oder eine Einrichtung eingeführt wird. An sich ist das Einführungsrohr 12 allgemein lang und/oder flexibel, und es enthält Bildgebungskomponenten in der distalen Spitze der Sonde (z.B. Spitze) 15. Insbesondere kann die Sonde 15 in einigen Ausführungsformen ein lösbarer Teil an dem distalen Ende des Einführungsrohrs 12 sein. Andererseits enthält die Basisbaugruppe 14 allgemein die elektronischen Schaltkreise zur Verarbeitung von Daten, die durch Komponenten des Einführungsrohrs 12 gesammelt werden, beispielsweise die Bildverarbeitungskomponenten.
  • Demgemäß enthält das Einführungsrohr 12, wie dargestellt, einen Bildgeber 16, eine Bildgeberelektronik 18, eine Linse 20, ein Emittermodul 22, ein Glasfaserbündel 24 und einen Diffusor 26. In einigen Ausführungsformen kann das Endoskopsystem 10 ein diffuses oder homogenes Lichtmuster auf ein Zielmerkmal (z.B. eine Oberfläche oder ein Objekt) vor dem distalen Ende der Sonde 15 über das Glasfaserbündel 24 und den Diffusor 26 projizieren. Z.B. kann das Glasfaserbündel 24 durch eine Weißlichtquelle 28 erzeugtes Licht durch das Einführungsrohr 12 führen, und der Diffusor 26 kann ein homogenes Lichtmuster auf die Oberfläche oder das Objekt projizieren. In einigen Ausführungsformen kann die Weißlichtquelle 28 eine Leuchtdiode (LED) sein. Wie in der dargestellten Ausführungsform kann die Weißlichtquelle 28 in der Basisbaugruppe 14 angeordnet sein. Alternativ kann die Weißlichtquelle 28 auch in dem Einführungsrohr 12 oder der Sondenspitze 15 enthalten sein.
  • Zusätzlich zur Bereitstellung eines diffusen oder homogenen Lichtmusters kann das Endoskopsystem 10 ein strukturiertes Lichtmuster auf eine Oberfläche oder ein Objekt (z.B. ein Merkmal) vor dem distalen Ende der Sondenspitze 15 projizieren. In einigen Ausführungsformen kann das projizierte strukturierte Lichtmuster ein Muster aus parallelen hellen und dunklen Linien (z.B. Bereichen) mit einer sinusförmigen Intensität enthalten. Zusätzlich oder alternativ kann das Lichtmuster ein quadratisches Profil, ein trapezförmiges Profil, ein dreieckiges Profil, gebogene Linien, wellenförmige Linien, zickzackförmige Linien oder ein beliebiges anderes derartiges Muster aufweisen, das verwendet werden kann, um 3D-Punktwolkendaten zu erzeugen.
  • In einigen Ausführungsformen kann das strukturierte Lichtmuster über das Emittermodul 22 projiziert werden. Insbesondere kann das Emittermodul 22 ein oder mehrere lichtemittierende Elemente, wie beispielsweise LEDs, enthalten. Z.B. kann das Emittermodul 22 ein einziges lichtemittierendes Element enthalten, das Licht ausgibt, das durch ein intensitätsmodulierendes Element, wie beispielsweise ein Strichgitter, geschickt wird, um das strukturierte Lichtmuster zu erzeugen. Zusätzlich oder alternativ kann das Emittermodul 22 mehrere lichtemittierende Elemente enthalten, die strategisch positioniert sind, um das strukturierte Lichtmuster zu generieren. Außerdem kann das Emittermodul mehrere verschiedene strukturierte Lichtmuster erzeugen, so dass jedes strukturierte Lichtmuster relativ zu den anderen strukturierten Lichtmustern phasenverschoben ist.
  • Eine Kontrolle über den Betrieb des Emittermoduls 22 kann durch die Emitteransteuerung 30 geschaffen werden. Insbesondere kann die Emitteransteuerung 30 wahlweise Leistung dem Emittermodul 22 zuführen, um ein strukturiertes Lichtmuster zu erzeugen. Wenn z.B. das Emittermodul 22 mehrere lichtemittierende Elemente enthält, kann die Emitteransteuerung 30 wahlweise Leistung zu jedem der lichtemittierende Elemente liefern, um verschiedene strukturierte Lichtmuster zu erzeugen. Wie vorstehend beschrieben, kann in einigen Ausführungsformen, wenn ein emittierendes Element in dem Emittermodul 22 mit Leistung versorgt wird, die Weißlichtquelle 28 deaktiviert sein, um die Möglichkeit zu reduzieren, dass die Lichtausgabe aus dem Diffusor 26 den Kontrast des projizierten strukturierten Lichtmusters reduziert. In einigen Ausführungsformen können die strukturierten Lichtbilder erfasst und zu bestimmten 3D-Oberflächendaten verarbeitet werden.
  • Wie vorstehend beschrieben, kann der Bildgeber 16 gemeinsam mit der Bildgeberelektronik 18 verwendet werden, um verschiedene Bilder basierend auf dem Lichtmuster zu erfassen, das auf die Oberfläche oder das Objekt vor dem distalen Ende des Einführungsrohrs 12 projiziert wird. Insbesondere kann die Linse 20 Licht auf den Bildgeber 16 fokussieren, und der Bildgeber 16 kann ein zweidimensionales Array von lichtempfindlichen Pixeln enthalten, das analoge Bilddaten (z.B. Analogsignale) ausgibt, um die an jedem Pixel erfasste Lichtintensität anzuzeigen. An sich kann der Bildgeber 16 ein CCD(Charge-Coupled Device, ladungsgekoppeltes Bauelement)-Bildsensor, ein CMOS(Complementary Metal-Oxid-Semiconductor, sich ergänzender Metall-Oxid-Halbleiter)-Bildsensor oder ein Bildsensor mit ähnlicher Funktion sein.
  • In anderen Worten kann der Bildgeber 16 die Erfassung und Anzeige von Standbildern und/oder Videos unterstützen. Z.B. kann der Bildgeber 16 verwendet werden, um Inspektionsbilder zu erfassen, wenn ein homogenes oder diffuses Lichtmuster projiziert wird. Andererseits kann der Bildgeber 16 verwendet werden, um Messbilder zu erfassen, wenn ein strukturiertes Lichtmuster projiziert wird. Außerdem können in einigen Ausführungsformen mehrere Linsen 20 und mehrere Bildgeber 16 verwendet werden, um Stereobilder zu erfassen. In anderen Ausführungsformen können Stereobilder unter Verwendung eines einzigen Bildgebers 16 mit einem Stereolinsensystem erfasst werden, das ein bildaufspaltendes Prisma, Parallellinsensysteme und Spiegel enthalten kann.
  • Um die Erfassung und Anzeige von Bildern und/oder Videos zu unterstützen, können Komponenten in der Basisbaugruppe 14 die analogen Bilddaten, die durch die Bildgeberelektronik 18 ausgegeben werden, verarbeiten und einen Steuerbefehl (z.B. Instruktionen) zu Komponenten in dem Einführungsrohr 12 liefern. Um derartige Funktionen zu unterstützen, enthält die Basisbaugruppe 14, wie dargestellt, die Weißlichtquelle 28, die Emitteransteuerung 30, eine Bildgeberschnittstelle 32, einen Mikrocontroller 34, einen Videoprozessor 36, eine zentrale Verarbeitungseinheit (CPU) 38, einen Speicher 40, eine Speichervorrichtung 42, einen Joystick 44, eine Tastatur 46, eine Netzwerkschnittstelle 48 und eine Anzeige 50.
  • Im Betrieb kann die Bildgeberelektronik 18 die durch den Bildgeber 16 ausgegebenen analogen Bilddaten puffern und zu der Bildgeberschnittstelle 32 transferieren. Die Bildgeberschnittstelle 32 kann dann die analogen Bilddaten in digitale Bilddaten zur weiteren Verarbeitung durch den Videoprozessor 36 wandeln. Demgemäß kann die Bildgeberschnittstelle 32 einen Analog-Digital-Wandler enthalten. In einigen Ausführungsformen kann die Bildgeberschnittstelle 32 zusätzlich eine Analogverstärkungsschaltung und einen korrelierten Doppelabtaster (Correlated Double Sampler) enthalten.
  • Zusätzlich zur Verarbeitung der analogen Bilddaten kann die Bildgeberschnittstelle 32 ferner Steuerbefehle zu dem Bildgeber 16 übermitteln. Insbesondere kann die Bildgeberschnittstelle 32 Steuerbefehle von dem Mikrocontroller 34 zu dem Bildgeber 16 übertragen. Z.B. kann der Mikrocontroller 34 den Bildgeber 16 über die Bildgeberschnittstelle 32 anweisen, ein Bild bei einer speziellen Helligkeitsstufe aufzunehmen. Insbesondere kann die Anweisung die Form eines analogen Verschlusssteuersignals aufweisen, wenn der Bildgeber 16 ein CCD-Bildgeber ist. Zusätzlich oder alternativ kann die Anweisung ein serialisiertes Mitteilungsdatenpaket unter Verwendung einer I2C-, SPI- oder einer anderen derartigen Kommunikationsschnittstelle sein, wenn der Bildgeber 16 ein CMOS-Bildgeber ist. In anderen Worten kann der Mikrocontroller 34 allgemein einen Betrieb des Bildgebers 16 steuern.
  • Zusätzlich kann der Mikrocontroller 34 auch einen Betrieb der Bildgeberschnittstelle 32, der Emitteransteuerung 30 und der Weißlichtquelle 28 steuern. Z.B. kann der Mikrocontroller 34 die Emitteransteuerung 30 anweisen, ein strukturiertes Lichtmuster über das Emittermodul 22 zu erzeugen, das zur Erfassung eines Messbildes verwendet wird. Ebenso kann der Mikrocontroller 34 die Weißlichtquelle 28 instruieren, ein homogenes Lichtmuster zu erzeugen, das zur Erfassung eines Inspektionsbildes verwendet wird. Wie vorstehend beschrieben, können das strukturierte Lichtmuster und das homogene Lichtmuster gleichzeitig oder zu unterschiedlichen Zeiten ausgegeben werden. In anderen Worten kann der Mikrocontroller 34 allgemein die Erfassung von Bildern koordinieren und steuern.
  • Wie vorstehend beschrieben, kann der Videoprozessor 36 die durch die Bildgeberschnittstelle 32 ausgegebenen digitalen Bilddaten verarbeiten. In einigen Ausführungsformen kann der Videoprozessor 36 ein TMS320DM642 Video-/Bildgebungs-Festpunkt-Digitalsignalprozessor sein, der von Texas Instruments aus Dallas, Texas, zur Verfügung gestellt wird. Insbesondere kann der Videoprozessor 36 Funktionen, wie beispielsweise die Bilderfassung, Farbmatrixverarbeitung, Gamma-Verarbeitung, Videodatenerzeugung und Bewegungsdetektion, durchführen. Z.B. kann der Videoprozessor 36 Bilder durch Speicherung der digitalen Bilddaten in dem Speicher 40 und/oder der Speichervorrichtung 42 erfassen.
  • Zusätzlich kann der Videoprozessor 36 eine Bewegung detektieren, indem er ein erstes Bild mit einem zweiten Bild derselben Art (z.B. Inspektionsbild oder Messbild) vergleicht. Zusätzlich oder alternativ kann der Videoprozessor 36 die Stelle eines scharfen Helligkeitsübergangspunktes in einem Messbild identifizieren und diese mit der Stelle eines scharfen Helligkeitsübergangs in einem Inspektionsbild vergleichen. In einigen Ausführungsformen kann die Größe der Bewegung auf die Anzahl von Pixelwerten, die sich zwischen den Bildern unterscheiden, und/oder die Anzahl von Pixeln, über die das Merkmal sich zwischen den Bildern bewegt hat, gestützt werden. Wenn z.B. ein identifizierbares Detail des Merkmals (z.B. ein scharfer Helligkeitsübergang) in einem ersten Bild an einer Pixelstelle (50, 50) und in dem zweiten Bild an relativ derselben Stelle (z.B. der Pixelstelle (51, 50) oder (49, 50)) dargestellt ist, kann festgestellt werden, dass keine wesentliche Bewegung zwischen den Bildern vorgelegen hat. Wenn andererseits das identifizierbare Detail des Merkmals (z.B. der scharfe Helligkeitsübergang) in dem zweiten Bild an einer deutlich anderen Stelle (z.B. der Pixelstelle (60, 50)) dargestellt ist, kann festgestellt werden, dass eine wesentliche Bewegung zwischen den Bildern vorgelegen hat.
  • Außerdem kann der Videoprozessor 36 die digitalen Bilddaten formatieren und die Bilddaten zu der Anzeige 50 ausgeben. Basierend auf den Bilddaten kann die Anzeige 50 anschließend durch den Bildgeber 16 erfasste Standbilder anzeigen. Ferner kann der Videoprozessor 36 die digitalen Bilddaten verwenden, um Videodaten zu generieren und die Videodaten zu der Anzeige 50 auszugeben. Basierend auf den Videodaten kann die Anzeige 50 ein Live-Video anzeigen. In einigen Ausführungsformen können die Videodaten in einem BT656-Videoformat vorliegen, und in den Videodaten enthaltene Daten können ein 422YCRCB-Datenformat aufweisen. Außerdem kann die Anzeige 50 in einigen Ausführungsformen abnehmbar sein, während in anderen Ausführungsformen die Anzeige 50 mit der Basisbaugruppe 14 oder dem Endoskopsystem 10 integral ausgebildet sein kann.
  • Zusätzlich zu der Lieferung der Bilddaten und/oder Videodaten zu der Anzeige 50 kann die CPU 38 Bilddaten von dem Videoprozessor 36 zur weiteren Verarbeitung empfangen. In einigen Ausführungsformen kann die CPU 38 ein Pentium M Prozessor sein, der von der Intel Corp. aus Santa Clara, Kalifornien, verfügbar ist. In anderen Worten kann die CPU 38 eine größere Verarbeitungsleistung im Vergleich zu dem Videoprozessor 36 besitzen. Demgemäß kann die CPU 38 Funktionen, wie beispielsweise Bildmittelung, Skalierung, Bildzoomen, Überlagerung, Zusammenfügung, Bildspiegelung, Bildverbesserung (z.B. Erzeugung von Bildern mit hohem Dynamikumfang) und Verzerrungskorrektur, durchführen.
  • Es sollte erkannt werden, dass, obwohl der Mikrocontroller 34, der Videoprozessor 36 und die CPU 38 als gesonderte Komponenten beschrieben sind, die Funktionen, die sie durchführen, von einer beliebigen Anzahl von Prozessoren, z.B. einem einzigen Universalzweckprozessor, implementiert werden können. An sich können der Mikrocontroller 34, der Videoprozessor 36 und die CPU 38 einzeln oder gemeinsam einen oder mehrere „Universalzweck“-Mikroprozessoren, einen oder mehrere Spezialzweck-Mikroprozessoren, einen oder mehrere anwendungsspezifische Mikroprozessoren (ASICs), eine oder mehrere im Feld programmierbare Gatteranordnungen (FPGAs) oder eine beliebige Kombination von diesen enthalten. Somit können sie, um die Beschreibung zu vereinfachen, gemeinsam als ein „Prozessor“ in dem Endoskopsystem 10 bezeichnet werden. In anderen Worten kann ein Prozessor sich in dem hierin verwendeten Sinne auf eine beliebige Anzahl von Verarbeitungskomponenten beziehen.
  • Um die Durchführung jeder der beschriebenen Funktionen zu unterstützen, kann der Prozessor (z.B. der Mikrocontroller 34, der Videoprozessor 36 und/oder die CPU 38) Instruktionen abrufen und ausführen, die auf einem nichttransitorischen computerlesbaren Medium, wie beispielsweise dem Speicher 40 oder der Speichervorrichtung 42, gespeichert sind. Generell können der Speicher 40 und die Speichervorrichtung Informationen, wie beispielsweise zu verarbeitende Daten (z.B. Bilddaten) und/oder ausführbare Instruktionen, speichern. Demgemäß kann der Speicher 40 eine flüchtigen Speicher, wie beispielsweise einen Direktzugriffsspeicher (RAM), oder einen nicht-flüchtigen Speicher, wie beispielsweise einen Nur-Lese-Speicher (ROM), enthalten. Zusätzlich kann die Speichervorrichtung 42 einen Flash-Speicher, ein Netzwerklaufwerk, ein Festplattenlaufwerk oder ein beliebiges sonstigen optisches, magnetisches und/oder Halbleiter-Speichermedium oder eine beliebige Kombination von diesen enthalten.
  • Wie vorstehend beschrieben, kann die Anzeige 50 Bilder und/oder Videos für einen Benutzer anzeigen, die er sichten kann. In anderen Worten kann das Endoskopsystem 10 allgemeiner erfasste Informationen mit einem Benutzer austauschen. Insbesondere kann das Endoskopsystem 10 Informationen zu einem Bediener an der Basisbaugruppe 14 z.B. durch Anzeigen von Informationen (z.B. Bildern oder Video) auf der Anzeige 50 ausgeben. Außerdem kann das Endoskopsystem 10 Eingabeinformationen von dem Bediener an der Basisbaugruppe 14 empfangen. Insbesondere kann der Bediener Steuerbefehle für das Endoskopsystem 10 über den Joystick 44 und/oder die Tastatur 46 bereitstellen. Z.B. kann der Bediener die Sonde 15 betätigen, indem er den Joystick 45 bewegt, oder er kann eine Menüauswahl unter Verwendung der Tastatur 46 vornehmen. Zusätzlich kann die Anzeige 50 in einigen Ausführungsformen in Verbindung mit einem berührungsempfindlichen Mechanismus (z.B. einem Berührungsbildschirm) vorgesehen sein, der Benutzereingaben liefert. Z.B. kann ein Bediener mit dem Endoskopsystem 10 über den berührungsempfindlichen Mechanismus eine Auswahl treffen oder interagieren.
  • Zusätzlich kann das Endoskopsystem 10 mit entfernten Benutzern, z.B. Benutzern an einem entfernten Computer (z.B. einer Rechenvorrichtung) kommunizieren. Z.B. kann das Endoskopsystem 10 ein Netzwerk mit der entfernten Rechenvorrichtung unter Verwendung der Netzwerkschnittstelle 48 bilden. In einigen Ausführungsformen kann die Netzwerkschnittstelle 48 für eine drahtlose Vernetzung über einen Wireless-Standard 802.11 oder einen beliebigen sonstigen geeigneten Netzwerkstandard, wie beispielsweise ein persönliches Netzwerk (z.B. Bluetooth), ein lokales Netzwerk (LAN) oder ein Weitbereichsnetzwerk (WAN), wie beispielsweise ein EDGE(Enhanced Data Rates for GSM Evolution)-Netzwerk oder ein 3G-Datennetzwerk, sorgen.
  • In anderen Worten kann ein Benutzer erfasste Informationen von der Ferne aus betrachten und/oder verarbeiten sowie von der Ferne aus Steuerbefehle zu dem Endoskopsystem 10 ausgeben. Z.B. kann ein Benutzer in einigen Ausführungsformen die Verarbeitungsleistung der entfernten Rechenvorrichtung nutzen, um Bilder oder Video, die bzw. das durch das Endoskopsystem 10 erfasst werden bzw. wird, weiter zu verarbeiten. Zusätzlich kann der Benutzer die durch das Endoskopsystem 10 erfassten Bilder oder das erfasste Video mittels einer Anzeige an der entfernten Rechenvorrichtung betrachten. In anderen Worten kann eine Anzeige, die durch das Endoskopsystem erfasstes Video und/oder erfasste Bilder anzeigt, entfernt angeordnet und/oder lösbar sein.
  • Wie vorstehend beschrieben, kann in einigen Fällen die Nutzbarkeit der durch das Endoskopsystem 10 erfassten Bilder und/oder des erfassten Videos beeinträchtigt sein, wenn Details des Zielmerkmals durch gesättigte Pixel verschleiert sind. Eine Ausführungsform eines Prozessors 52 zur Verbesserung der Nutzbarkeit erfasster Bilder und/oder eines erfassten Videos ist in 2 beschrieben. Allgemein enthält der Prozess 52 ein erfassen mehrerer erster Bilder bei einer einzelnen Helligkeitsstufe, während ein Live-Video angezeigt wird (Prozessblock 54), Erzeugen eines Basisbildes (Prozessblock 56), Erfassen mehrerer zweiter Bilder bei mehreren Helligkeitsstufen (Prozessblock 58) und Erzeugen eines Bildes mit hohem Dynamikumfang (Prozessblock 60). In einigen Ausführungsformen kann der Prozess 52 über computerlesbare Instruktionen implementiert sein, die in dem greifbaren, nichttransitorischen Speicher 40 oder der Speichervorrichtung 42 gespeichert sind und durch einen Prozessor (z.B. den Mikrocontroller 34, den Videoprozessor 36, die CPU 38 oder einen Prozessor in der entfernten Rechenvorrichtung) in dem Endoskopsystem 10 ausgeführt werden.
  • Dementsprechend kann der Prozessor (z.B. der Mikrocontroller 34) das Endoskopsystem 10 anweisen, mehrere erste Bilder bei einer einzelnen Helligkeitsstufe zu erfassen (Prozessblock 54). In Abhängigkeit von der speziellen Implementierung können die mehreren ersten Bilder von einer beliebigen geeigneten Bildart, wie beispielsweise Messbilder, strukturierte Lichtbilder, Stereobilder oder eine beliebige Kombination von diesen, sein. An sich kann der Mikrocontroller 34 in einigen Ausführungsformen die Weißlichtquelle 28 und/ oder die Emitteransteuerung 30 anweisen, das gewünschte Lichtmuster bei einer gewünschten Beleuchtungsstufe zu erzeugen.
  • Zusätzlich kann der Mikrocontroller 34 den Bildgeber 16 anweisen, mit einer Erfassung eines Bildes zu beginnen, der analoge Bilddaten ausgibt, die das durch den Bildgeber 16 erfasste Bild repräsentieren. Insbesondere kann das erfasste Bild eine bestimmte Helligkeitsstufe aufweisen, die durch Einstellung der Beleuchtungsstufe, der Belichtungszeit für den Bildgeber 16, die auf die analogen Bilddaten angewandte Verstärkung oder eine beliebige Kombination von diesen eingestellt werden kann. Demgemäß kann der Mikrocontroller 34, um die mehreren ersten Bilder bei derselben Helligkeitsstufe zu erfassen, den Bildgeber 16 anweisen, eine spezielle Belichtungszeit, die Lichtquelle (z.B. die Weißlichtquelle 28 oder das Emittermodul 22) zur Schaffung einer speziellen Beleuchtungsstufe und die Bildgeberschnittstelle 32 zu verwenden, um eine spezielle Verstärkung auf die analogen Bilddaten anzuwenden. Wie vorstehend beschrieben, können die analogen Bilddaten dann durch die Bildgeberschnittstelle 32 in digitale Bilddaten umgewandelt und zu dem Videoprozessor 36 geliefert werden.
  • Beim Empfang der digitalen Bilddaten kann der Prozessor (z.B. der Videoprozessor 36) die Bilder erfassen und die Anzeige 50 anweisen, ein Live-Video anzuzeigen (Prozessblock 54). Insbesondere kann der Videoprozessor 36 in einigen Ausführungsformen die Bilder erfassen, indem er die digitalen Bilddaten in dem Speicher 40 und/oder der Speichervorrichtung 42 speichert. Außerdem kann der Videoprozessor 36 die Anzeige 50 anweisen, ein Video durch Ausgabe von Videodaten anzuzeigen. Insbesondere kann der Videoprozessor 36 in einigen Ausführungsformen die Videodaten basierend auf den digitalen Bilddaten generieren. Z.B. kann der Videoprozessor 36, wenn die mehreren ersten Bilder Standbilder sind, die in schneller Aufeinanderfolge erfasst werden, das Video generieren, indem er die Anzeige 50 anweist, die Bilder in schneller Aufeinanderfolge anzuzeigen. In der Tat ist in einigen Ausführungsformen die Dauer zwischen dem Zeitpunkt, wenn das Bild erfasst wird, und dem Zeitpunkt, wenn es angezeigt wird, relativ kurz (liegt z.B. innerhalb einer Millisekunde von dem Zeitpunkt, an dem das Bild erfasst wird), was dem Video ermöglicht, in Echtzeit oder nahezu in Echtzeit als ein Live-Video angezeigt zu werden.
  • Zusätzlich zu der Verwendung der mehreren ersten Bilder, um ein Video anzuzeigen, kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) die mehreren ersten Bilder verwenden, um ein Basisbild zu generieren. Insbesondere kann das Basisbild generiert werden, um Rauschen zu reduzieren, das in einem der mehreren ersten Bilder vorhanden ist. Demgemäß können verschiedene Techniken zur Reduktion von Rauschen in Bildern, wie beispielsweise Mittelung oder Summierung der mehreren ersten Bilder, verwendet werden. Da Rauschen im Allgemeinen Zufallsrauschen ist, wird eine Mittelung oder Aufsummierung der mehreren ersten Bilder die Merkmale, die tatsächlich vorhanden sind, betonen und die Artefakte, die durch Rauschen verursacht sind, reduzieren.
  • In einigen Ausführungsformen können die mehreren ersten Bilder erfasst werden, wenn die Weißlichtquelle 28 aktiviert ist. In anderen Worten können die mehreren ersten Bilder Inspektionsbilder sein. An sich kann das Basisbild, das aus mehreren Inspektionsbildern erzeugt wird, ebenfalls ein Inspektionsbild sein. In anderen Ausführungsformen können, wenn eine Stereooptik verwendet wird, die mehreren ersten Bilder Stereomessbilder sein. An sich kann das Basisbild ebenfalls ein Stereomessbild sein. In einer weiteren Ausführungsformen können die mehreren ersten Bilder erfasst werden, wenn z.B. ein strukturiertes Lichtbild projiziert wird, wenn das strukturierte Lichtbild im Vergleich zu dem homogenen Inspektionslicht eine hinreichende Intensität aufweist. An sich kann das Basisbild strukturierte Lichtmuster enthalten.
  • Um es besser zu veranschaulichen, können mehrere Bilder durch Addition des Pixelwertes an jeder Pixelstelle für jedes Bild in den mehreren Bildern summiert werden. An sich bekommen die Merkmale, die tatsächlich vorhanden sind, im Vergleiche zu Rauschen heller, weil sie in jedem der mehreren Bilder vorhanden sind, während Rauschen dies nicht tut. Außerdem können die mehreren Bilder durch Summation der mehreren Bilder und Division der Pixelwerte durch die Anzahl der aufsummierten Bilder gemittelt werden. Die Verwendung einer Summation oder Mittelung zur Erzeugung des Basisbildes basiert an sich auf der Tatsache, dass die verwendeten Bilder allgemein Merkmale in der gleichen Weise zeigen. In anderen Worten kann jedes der mehreren ersten Bilder, die zur Erzeugung des Basisbildes verwendet werden, mit der Sonde 15 (z.B. dem Bildgeber 16) an im Wesentlichen derselben Position relativ zu dem Merkmal erfasst werden. An sich kann das Basisbild mit Bildern erzeugt werden, die erfasst werden, wenn dort keine wesentliche Bewegung entweder der Sonde 15 oder des Merkmals vorlag.
  • Jedoch kann das Endoskopsystem 10 in einigen Ausführungsformen weiter Bilder erfassen und ein Video anzeigen, selbst wenn dort eine Bewegung des Merkmals relativ zu dem Bildgeber 16 aufgetreten ist. In anderen Worten werden in derartigen Ausführungsformen nicht alle der Bilder, die erfasst und zur Anzeige des Videos verwendet werden, verwendet, um das Basisbild zu erzeugen. Nichtsdestoweniger kann das Endoskopsystem 10 in einigen Ausführungsformen, wenn die detektierte Bewegung leicht ist, versuchen, die Bewegung durch eine Translation oder Rotation der erfassten Bilder vor der Aufsummierung oder Mittelung zu kompensieren, so dass eine Unschärfe vermieden oder minimiert wird. Wenn z.B. die Stärke der detektierten Bewegung zwischen einem neuen Bild und dem vorherigen Bild kleiner ist als eine Schwelle (z.B. 8 Pixel) oder wenn das Konfidenzniveau oberhalb einer Schwelle liegt (z.B. > 25%), kann das Bild mit den zuvor erfassten Bildern summiert oder gemittelt werden, um eine Unschärfe zu vermeiden.
  • In einigen Ausführungsformen kann das Basisbild aktualisiert werden, nachdem jedes neue Bild der mehreren ersten Bilder erfasst wird. Z.B. kann der Videoprozessor 36 jedes Mal, wenn ein neues Bild der mehreren ersten Bilder erfasst wird, das Basisbild aus dem Speicher 40 oder der Speichervorrichtung 42 abrufen, eine beliebige erforderliche Translation oder Rotation des neuen Bildes anwenden und das neue Bild mit dem Basisbild mitteln/summieren, um das Basisbild zu aktualisieren, und das aktualisierte Basisbild zurück in dem Speicher 40 oder der Speichervorrichtung 42 speichern. Zusätzlich oder alternativ kann das Basisbild aktualisiert werden, nachdem eine bestimmte Anzahl neuer Bilder der mehreren ersten Bilder erfasst werden. Z.B. kann der Videoprozessor 36 das Basisbild aktualisieren, nachdem fünf neue Bilder der mehreren ersten Bilder erfasst werden.
  • Nachdem das Basisbild erzeugt ist, kann der Prozessor (z.B. der Mikrocontroller 34) das Endoskopsystem 10 anweisen, mehrere zweite Bilder mit verschiedenen Helligkeitsstufen zu erfassen (Prozessblock 58). Insbesondere kann in einigen Ausführungsformen jedes der mehreren zweiten Bilder bei einer anderen Helligkeitsstufe erfasst werden. In anderen Ausführungsformen können mehrere der mehreren zweiten Bilder bei derselben Helligkeitsstufe erfasst werden. Z.B. können ein erstes Bild und ein zweites Bild bei einer ersten Helligkeitsstufe erfasst werden, während ein drittes und ein viertes Bild bei einer zweiten Helligkeitsstufe erfasst werden können und ein fünftes und ein sechstes Bild bei einer dritten Helligkeitsstufe erfasst werden können.
  • Wie vorstehend beschrieben, kann der Prozessor (z.B. der Mikrocontroller 34) die Helligkeitsstufe der erfassten Bilder durch Einstellung der Belichtungszeit für den Bildgeber 16, der durch die Bildgeberschnittstelle 32 angewandten Verstärkung und/oder der durch die Lichtquelle (z.B. die Weißlichtquelle 28 oder das Emittermodul 22) bereitgestellten Beleuchtungsstufe steuern. Somit kann der Prozessor (z.B. der Mikrocontroller 34) eine beliebige Kombination von diesen einstellen, um die mehreren zweiten Bilder bei verschiedenen Helligkeitsstufen zu erfassen. Z.B. kann der Mikrocontroller 34 zur Erfassung eines ersten Bildes bei einer ersten Helligkeitsstufe den Bildgeber 16 anweisen, eine Belichtungszeit von einer Millisekunde zu haben, und zur Erfassung eines zweiten Bildes bei einer helleren Helligkeitsstufe kann der Mikrocontroller den Bildergeber 16 anweisen, eine Belichtungszeit von zwei Millisekunden zu haben.
  • Die exakte Anzahl von Bildern, die bei jeder Helligkeitsstufe erfasst werden, und der Helligkeitsstufen, die verwendet werden sollen, kann von der speziellen Implementierung abhängen. Insbesondere kann in einigen Ausführungsformen die Anzahl der zu erfassenden Bilder und der zu verwendenden Helligkeitsstufen entweder durch den Hersteller oder durch eine Benutzereingabe, z.B. über den Joystick 44, die Tastatur 46 oder der berührungsempfindliche Anzeige, definiert werden. In anderen Ausführungsformen kann die Anzahl von zu erfassenden Bildern und der zu verwendenden Helligkeitsstufen anpassbar sein. Wenn z.B. der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) feststellt, dass es eine große Anzahl von gesättigten Pixeln in dem Basisbild gibt, kann der Prozessor das Endoskopsystem 10 anweisen, die Anzahl von Bildern in den mehreren zweiten Bildern zu erhöhen und/oder die Anzahl von verwendeten Helligkeitsstufen zu erhöhen.
  • In der Tat kann in einigen Ausführungsformen die Anzahl von Bildern, die bei jeder der verschiedenen Helligkeitsstufen erfasst werden, unterschiedlich sein. Z.B. kann das Endoskopsystem 10 lediglich ein einzelnes Bild bei einer Helligkeitsstufe erfassen, die nahe bei der Helligkeitsstufe der mehreren ersten Bilder liegt, kann jedoch drei Bilder bei einer Helligkeitsstufe erfassen, die viel dunkler als die Helligkeitsstufe der mehreren ersten Bilder ist. In einigen Ausführungsformen können die mehreren Bilder, die bei derselben Helligkeitsstufe erfasst werden, ähnlich den ersten Bilder gemittelt oder aufsummiert werden, um Rauschen zu reduzieren.
  • Abhängig von der Implementierung kann das Umschalten von der Erfassung der mehreren ersten Bilder zu der Erfassung der mehreren zweiten Bilder auf verschiedene Weise ausgelöst werden. Insbesondere kann in einigen Ausführungsformen ein Befehl zur Bilderfassung das Endoskopsystem 10 anweisen, die Erfassung der mehreren ersten Bilder zu beenden und mit der Erfassung der mehreren zweiten Bilder zu beginnen. Z.B. kann ein Benutzer den Bilderfassungsbefehl über den Joystick 44, die Tastatur 46, eine berührungsempfindliche Anzeige oder sogar über eine entfernte Rechenvorrichtung eingeben.
  • In weiteren Ausführungsformen kann das Umschalten zwischen der Erfassung der mehreren ersten Bilder und der Erfassung der mehreren zweiten Bilder automatisch oder durch das Endoskop initiiert werden. Z.B. kann das Umschalten erfolgen, wenn der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) feststellt, dass keine relative Bewegung zwischen dem Bildgeber 16 und dem Zielmerkmal auftritt. Insbesondere kann das Endoskopsystem 10, wenn der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) feststellt, dass keine Bewegung vorliegt, weiter mit der Erfassung der mehreren ersten Bilder fortfahren, bis ein hinreichend rauschfreies Basisbild generiert ist, und anschließend zu der Erfassung der mehreren zweiten Bilder wechseln. Zusätzlich oder alternativ kann das Endoskopsystem 10 in dem Fall, dass ein hinreichend rauschfreies Basisbild bereits erzeugt worden ist (z.B. durch Translation oder Rotation von Bildern in den mehreren ersten Bildern), sofort mit der Erfassung der mehreren zweiten Bilder beginnen, wenn eine Bewegung nicht detektiert wird.
  • Wie vorstehend beschrieben, kann die Detektion einer Bewegung eine Detektion umfassen, ob ein Merkmal in einem ersten Bild sich um weniger als eine vorbestimmte Anzahl von Pixeln von den gleichen Merkmalen in einem zweiten Bild bewegt hat. Außerdem wird in einigen Ausführungsformen zur Minimierung der Bewegungsunschärfe das Maß der Bewegung des Merkmals zwischen dem ersten Bild (z.B. in den mehreren ersten Bildern) und dem zweiten Bild (z.B. in den mehreren ersten Bildern) bestimmt und verwendet, um das erste Bild vor einer Addition/Mittelung in dem ersten Bild auszurichten.
  • Wie vorstehend beschrieben, können Details von Merkmalen, die durch ein Bild erfasst werden, durch gesättigte Pixel oder Regionen auf dem Bild verschleiert sein. Demgemäß kann der Prozessor (z.B. der Videoprozessor 36 oder die CPU 38) unter Verwendung des Basisbildes und der mehreren zweiten Bilder ein Bild mit hohem Dynamikumfang generieren (Prozessblock 60). In einigen Ausführungsformen kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) zur Generierung des Bildes mit hohem Dynamikumfang ungesättigte Pixeldaten aus dem Basisbild und ungesättigte Pixeldaten aus einem oder mehreren der mehreren zweiten Bilder verwenden. Insbesondere können in einigen Ausführungsformen die ungesättigten Ersatzpixel durch Skalierung der ungesättigten Pixeldaten in den mehreren zweiten Bildern erzeugt werden.
  • Wenn z.B. der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) ungesättigte Pixel in dem Basisbild detektiert, kann er ungesättigte Pixel basierend auf den ungesättigten Pixeldaten von einem oder mehreren der mehreren zweiten Bilder generieren, um die gesättigten Pixel in dem Basisbild zu ersetzen. In einigen Ausführungsformen kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) gesättigte Pixel detektieren, indem er Pixel identifiziert, die Werte oberhalb einer oberen Schwelle (z.B. einer Weißstufe) oder unterhalb einer unteren Schwelle (z.B. einer Schwarzschwelle) haben.
  • Da die Pixeldaten von den mehreren zweiten Bildern verwendet werden, um Pixel zum Ersatz von gesättigten Pixeln in dem Basisbild zu generieren, können die mehreren zweiten Bilder in einigen Ausführungsformen von der gleichen Art von Bildern wie die mehreren ersten Bilder sein. Wenn z.B. die mehreren ersten Bilder Inspektionsbilder sind, können die mehreren zweiten Bilder ebenfalls Inspektionsbilder sein. Jedoch können in anderen Ausführungsformen verschiedene Bildarten alternativ verwendet werden. Wenn z.B. die mehreren ersten Bilder strukturierte Lichtbilder sind (wenn z.B. das strukturierte Lichtmuster eine hinreichende Intensität im Vergleich zu dem homogenen Inspektionslicht aufweist), können mehrere zweite Bilder, die Inspektionsbilder sind (z.B. nur gleichmäßige Inspektionsbeleuchtung) verwendet werden, weil das Merkmal in den Inspektionsbildern gleichmäßig beleuchtet ist. In anderen Worten kann das Bild mit hohem Dynamikumfang ein Messbild, ein Stereobild, ein Inspektionsbild oder eine beliebige Kombination von diesen sein.
  • An sich kann das Bild mit hohem Dynamikumfang weniger gesättigte Pixel als das Basisbild enthalten. In anderen Worten kann die Nutzbarkeit des Bildes mit hohem Dynamikumfang besser sein als die des Basisbildes, weil das Bild mit hohem Dynamikumfang Details des Zielmerkmals zeigen kann, die in dem Basisbild (z.B. aufgrund der Sättigung) verdeckt sind. In der Tat können zur weiteren Verbesserung der Nutzbarkeit von Bildern, die durch das Endoskopsystem 10 erfasst werden, mehrere Bilder mit hohem Dynamikumfang unter Verwendung desselben Basisbildes und eines oder mehrerer Bilder aus den mehreren zweiten Bildern erzeugt werden. In einigen Ausführungsformen können z.B. jeweils ein normales Bild hohem Dynamikumfang, ein helles Bild mit hohem Dynamikumfang und ein dunkles Bild mit hohem Dynamikumfang erzeugt werden. In derartigen Ausführungsformen können die verschiedenen Bilder mit hohem Dynamikumfang verschiedene Ansichten des Zielmerkmals liefern. Insbesondere können die Helligkeitsunterschiede zwischen diesen Bildern mit hohem Dynamikumfang durch Anwendung verschiedener linearer oder nichtlinearer Skalierung auf die erfassten Bilddaten hervorgerufen werden.
  • Außerdem kann in einigen Ausführungsformen die Erfassung der mehreren ersten Bilder und der mehreren zweiten Bilder einander abwechselnd erfolgen. In anderen Worten kann das Endoskopsystem 10 eines oder mehrere der mehreren ersten Bilder erfassen, zu der Erfassung eines oder mehrerer der mehreren zweiten Bilder wechseln, zurück zu der Erfassung eines oder mehrerer der mehreren ersten Bilder wechseln und so weiter. Um es besser zu veranschaulichen, ist eine Ausführungsform eines Prozesses 62 zur mehrfach abwechselnden Erfassung der mehreren ersten Bilder und der mehreren zweiten Bilder in 3 beschrieben. Allgemein enthält der Prozess 62 ein Erfassen eines ersten Bildes bei einer ersten Helligkeitsstufe (Prozessblock 64), Feststellen, wenn hinreichend wenig Bewegung vorliegt (Prozessblock 66), Erfassen eines zweiten Bildes bei einer anderen Helligkeitsstufe (Prozessblock 68) und Erzeugen eines Bildes mit hohem Dynamikumfang (Prozessblock 70). In einigen Ausführungsformen kann der Prozess 62 mittels computerlesbarer Instruktionen implementiert sein, die in dem greifbaren, nicht-transitorischen Speicher 40 oder der greifbaren, nicht-transitorischen Speichervorrichtung 42 gespeichert sind und durch einen Prozessor (z.B. den Mikrocontroller 34, den Videoprozessor 36, die CPU 38 oder einen Prozessor in einer entfernten Rechenvorrichtung) in dem Endoskopsystem 10 ausgeführt werden.
  • Demgemäß kann der Prozessor (z.B. der Mikrocontroller 34) in einigen Ausführungsformen das Endoskopsystem 10 anweisen, ein erstes Bild bei einer ersten Helligkeitsstufe zu erfassen (Prozessblock 64). In einigen Ausführungsformen kann das erste Bild eines der mehreren ersten Bilder, wie vorstehend beschrieben, sein. Demgemäß kann das erste Bild unter Verwendung von Techniken erfasst werden, die in dem Prozessblock 54 beschrieben sind. Insbesondere kann der Prozessor (z.B. der Mikrocontroller 34), wie vorstehend erläutert, den Bildgeber 16 anweisen, das erste Bild unter Verwendung einer speziellen Belichtungszeit zu erfassen, die Bildgeberschnittstelle 32 anweisen, eine bestimmte Verstärkung anzuwenden, und die Lichtquelle (z.B. die Weißlichtquelle 28 oder das Emittermodul 22) anweisen, eine spezielle Beleuchtungsstufe/ein spezielles Beleuchtungsmuster bereitzustellen. Das erste Bild kann dann durch Speicherung der digitalen Bilddaten in dem Speicher 40 oder der Speichervorrichtung 42 erfasst werden. Außerdem kann das erste Bild oder ein Video, das unter Verwendung des ersten Bildes erzeugt wird, auf der Anzeige 50 oder auf einer Anzeige an einer fremden Rechenvorrichtung angezeigt werden. Ferner kann das erste Bild verwendet werden, um das Basisbild zu erzeugen.
  • Wenn der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) feststellt, dass eine hinreichend geringe alternative Bewegung zwischen dem Bildgeber 16 und dem in dem ersten Bild dargestellten Merkmal vorliegt (Prozessblock 66), kann der Prozessor (z.B. der Mikrocontroller 34) das Endoskopsystem 10 anweisen, ein zweites Bild bei einer Helligkeitsstufe zu erfassen, die sich von der ersten Helligkeitsstufe unterscheidet (Prozessblock 68). Wie vorstehend beschrieben, kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) detektieren, ob eine Bewegung vorliegt, indem er eine beliebige geeignete Methode, wie beispielsweise einen Vergleich des ersten Bildes mit einem anderen Bild in den mehreren ersten Bildern und Ermittlung der Anzahl von Pixelwerten, die sich zwischen den Bildern unterscheiden, und/oder der Anzahl von Pixeln, über die das Merkmal sich zwischen den Bildern bewegt hat, verwendet.
  • Zusätzlich kann das zweite Bild in einigen Ausführungsformen eines der mehreren zweiten Bilder, wie vorstehend beschrieben, sein. Demgemäß kann das zweite Bild unter Verwendung von Techniken erfasst werden, die in dem Prozessblock 58 beschrieben sind. Insbesondere kann der Prozessor (z.B. der Mikrocontroller 34), wie vorstehend beschrieben, den Bildgeber 16 anweisen, das zweite Bild unter Verwendung einer speziellen Belichtungszeit zu erfassen, die Bildgeberschnittstelle 32 anweisen, eine spezielle Verstärkung anzuwenden, und die Lichtquelle (z.B. die Weißlichtquelle 28 oder das Emittermodul 22) anweisen, eine spezielle Beleuchtungsstufe/ ein spezielles Beleuchtungsmuster bereitzustellen. Das zweite Bild kann dann durch Speicherung der digitalen Bilddaten in dem Speicher 40 oder der Speichervorrichtung 42 erfasst werden.
  • Nachdem das zweite Bild erfasst ist, kann das Endoskopsystem 10 optional zu der Erfassung der mehreren ersten Bilder zurückkehren (Pfeil 74). Insbesondere kann das Endoskopsystem 10 in einigen Ausführungsformen zurück zu der Erfassung der mehreren ersten Bilder umschalten, ohne ein Bild mit hohem Dynamikumfang zu generieren. In anderen Ausführungsformen kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36 ein Bild mit hohem Dynamikumfang unter Verwendung des zweiten Bildes generieren (Prozessblock 70).
  • In anderen Worten kann das Endoskopsystem 10 in einigen Ausführungsformen zusätzliche Bilder mit verschiedenen Helligkeitsstufen aufnehmen. Die exakte Anzahl von Bildern mit verschiedenen Helligkeitsstufen kann je nach Implementierung variieren. Z.B. wird in einigen Ausführungsformen lediglich das zweite Bild erfasst. In anderen Ausführungsformen kann das zweite Bild gemeinsam mit anderen Bildern von den mehreren zweiten Bildern erfasst werden.
  • Basierend auf dem obigen Beispiel kann die Feststellung, dass eine hinreichend geringe Bewegung vorliegt, ein Auslöser, um das zweite Bild zu erfassen, und allgemeiner ein Auslöser sein, um von der Erfassung der mehreren ersten Bilder zu den mehreren zweiten Bildern zu wechseln. Die Verwendung der fehlenden Bewegung als ein Auslöser kann in verschiedenen Implementierungen vorteilhaft sein. Z.B. kann das Endoskopsystem 10, wie vorstehend erläutert, die Erfassung der mehreren ersten Bilder beenden und mit der Erfassung der mehreren zweiten Bilder beginnen, wenn eine Bewegung nicht detektiert wird.
  • In der Tat kann die Verwendung der fehlenden Bewegung als ein Auslöser, um ein oder mehrere der mehreren zweiten Bilder zu erfassen, besonders dann sinnvoll sein, wenn die Erfassung der mehreren ersten Bilder und die Erfassung der mehreren zweiten Bilder mehrfach abwechselnd erfolgen. Wenn z.B. in ein einigen Ausführungsformen der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) gesättigte Pixel in dem Basisbild oder dem ersten Bild detektiert, kann er eine Aufforderung anzeigen, die den lokalen Benutzer anweist, an der gleichen Position zu bleiben, so dass die mehreren zweiten Bilder erfasst werden können. Da in einer derartigen Ausführungsform die mehreren zweiten Bilder, die verwendet werden können, um die gesättigten Pixel zu ersetzen, erfasst werden, sobald die Sättigung detektiert wird, kann das für einen Benutzer angezeigte Bild ein Bild mit hohem Dynamikumfang sein.
  • In der Tat kann das Bild mit hohem Dynamikumfang in einigen Ausführungsformen verwendet werden, um ein Video mit hohem Dynamikumfang für den Benutzer anzuzeigen. Obwohl eine weitere Verarbeitung verwendet wird, um das Bild mit hohem Dynamikumfang zu erzeugen, bieten die technischen Fortschritte bei der Verarbeitungsleistung die Möglichkeit, das Bild mit hohem Dynamikumfang nahezu in Echtzeit zu erzeugen. Außerdem sollte erkannt werden, dass das Endoskopsystem 10 sich generell langsam innerhalb der Ausrüstung oder Einrichtung bewegt, was die zeitlichen Beschränkungen beim Anzeigen eines Videos entspannt. In anderen Worten kann ein Video nahezu in Echtzeit (z.B. ein Video mit hohem Dynamikumfang) ausreichen, um einen Benutzer mit einer Anzeige von Merkmalen in der Nähe des Bildgebers 16 zu versorgen.
  • Zusätzlich zu der Erzeugung von Bildern mit hohem Dynamikumfang können die durch das Endoskopsystem 10 erfassten Bilder verwendet werden, um weitere Informationen in Bezug auf das Zielmerkmal zu bestimmen. Z.B. können die erfassten Bilder in einigen Ausführungsformen verwendet werden, um Punktwolkendaten, ein Punktwolkenbild und/oder ein Tiefenprofil des Merkmals, um das 3D-Profil des Zielmerkmals zu beschreiben, zu generieren. An sich können in einigen Ausführungsformen mehrere Teile der Informationen, die das Merkmal betreffen, gleichzeitig oder im Wesentlichen gleichzeitig dargeboten werden.
  • Z.B. können in der Ausführungsform, die in der Bildschirmansicht 74 dargestellt ist, die in 4 beschrieben ist, verschiedene Bilder, die durch das Endoskopsystem 10 erfasst und generiert werden, im Wesentlichen gleichzeitig betrachtet werden. Insbesondere kann der Bildschirm 74 auf einer beliebigen geeigneten Anzeige, wie beispielsweise der Anzeige 50 oder auf einer Anzeige an einer entfernten Rechenvorrichtung, angezeigt werden.
  • An sich kann die Bildschirmansicht 74 zusätzlich zu der bloßen Anzeige der verschiedenen erfassten und generierten Bilder Statusinformationen des Endoskopsystems 10 anzeigen. Z.B. zeigt die Bildschirmansicht 74 in der dargestellten Ausführungsform ein Netzwerkstatussymbol 76, eine Datumsanzeige 78, eine Zeitanzeige 80 und ein Batteriestatussymbol 82 an. Insbesondere zeigt das Netzwerkstatussymbol 76 in der dargestellten Ausführungsform an, dass das Endoskopsystem 10 in einem Bluetooth-Netzwerk angeschlossen ist, während die Datumsanzeige 78 anzeigt, dass das momentane Datum der 15. April 2014 ist, die Zeitanzeige 80 anzeigt, dass die momentane Zeit 12:19 Uhr ist, und das Batteriestatussymbol 82 anzeigt, dass die Batterie vollständig aufgeladen ist.
  • Zusätzlich kann, wie vorstehend beschrieben, ein Benutzer mit dem Endoskopsystem 10 interagieren, indem er z.B. Benutzerbefehle über den Joystick 44 oder die Tastatur 46 eingibt. Z.B. kann ein Benutzer, wie in größeren Einzelheiten nachstehend beschrieben, eine der verschiedenen Ansichten auf der Bildschirmansicht 74 für eine Anzeige im Vollbildmodus wählen. Außerdem kann die Anzeige 50, wie vorstehend beschrieben, eine berührungsempfindliche Anzeige sein, die die Möglichkeit bietet, Schaltflächen zu verwenden. Z.B. enthält die Bildschirmansicht 74, wie in der dargestellten Ausführungsform, eine Zurück-Schaltfläche 84, eine Ansicht-Schaltfläche 86, eine Menü-Schaltfläche 88 und eine Speichern-Schaltfläche 90. Insbesondere kann der Benutzer die Zurück-Schaltfläche 84 wählen, um zu einem vorherigen Bildschirm zurückzukehren, die Ansicht-Schaltfläche 86 wählen, um ein ausgewähltes Vorschaubild (Thumbnail) zu betrachten, die Menü-Schaltfläche 88 wählen, um zu einem Menü zu wechseln, oder die Speichern-Schaltfläche 90 wählen, um ein ausgewähltes Bild zu speichern. Wie erkannt werden kann, sind die auf der Anzeige 50 präsentierten Schaltflächen programmierbar, und sie können sich basierend darauf, was angezeigt wird, ändern.
  • Wie vorstehend beschrieben, kann die Bildschirmansicht 74 verschiedene Bilder anzeigen, die durch das Endoskopsystem 10 erfasst und/oder generiert werden. Z.B. zeigt die Bildschirmansicht 74 in der dargestellten Ausführungsform ein normales Bild 92, ein Bild 94 mit hohem Dynamikumfang, ein helles Bild 94, ein dunkles Bild 98, ein Punktwolkenbild 100 und ein Tiefenprofilbild 102 an. Wie dargestellt, können die verschiedenen Bilder als Miniaturvorschaubilder angezeigt werden, um die Bilder im Wesentlichen gleichzeitig anzuzeigen. Somit kann ein Benutzer mit den verschiedenen Bildern z.B. über die Tastatur 96, den Joystick 44 und/oder die berührungsempfindliche Anzeige interagieren. Z.B. kann ein Benutzer eines der Miniaturvorschaubilder auswählen, um es zu speichern oder im Vollbildmodus zu betrachten.
  • Eine Ausführungsform eines Prozesses 104, der verwendet werden kann, um die Bildschirmansicht 74 zu generieren, ist in 5 beschrieben. Allgemein enthält der Prozess 104 ein Erfassen mehrerer Bilder (106), Erzeugen eines Bildes mit normaler Helligkeit (Prozessblock 108), Erzeugen eines Bildes mit hohem Dynamikumfang (Prozessblock 110), Erzeugen eines Bildes mit hoher Helligkeit (Prozessblock 112), Erzeugen eines Bildes mit geringer Helligkeit (Prozessblock 114), Erzeugen eines Punktwolkenbildes (Prozessblock 116), Erzeugen eines Tiefenprofilbildes (Prozessblock 118) und Erzeugen von Vorschaubildern (Prozessblock 120). In einigen Ausführungsformen kann der Prozess 104 mittels computerlesbarer Instruktionen implementiert sein, die in dem greifbaren, nichttransitorischen Speicher 40 oder der Speichervorrichtung 42 gespeichert sind und durch einen Prozessor (z.B. den Mikrocontroller 34, den Videoprozessor 36, die CPU 38 oder einen Prozessor in einer entfernten Rechenvorrichtung) in dem Endoskopsystem 10 ausgeführt werden.
  • Demgemäß kann der Prozessor (z.B. der Mikrocontroller 34) in einigen Ausführungsformen das Endoskopsystem 10 anweisen, mehrere Bilder zu erfassen. Insbesondere können die mehreren Bilder die vorstehend beschriebenen mehreren ersten Bilder und/oder die vorstehend beschriebenen mehreren zweiten Bilder enthalten, die, wie vorstehend beschrieben, als Reaktion auf eine durch ein Benutzer ausgelöste Erfassungsanforderung, eine Detektion einer hinreichend geringen Bewegung oder eine Detektion von gesättigten Pixeln in den mehreren ersten Bildern erfasst werden können. An sich kann der Prozessor (z.B. der Mikrocontroller 34) den Bildgeber 16 anweisen, Bilder bei einer gewünschten Helligkeitsstufe zu erfassen. Wie vorstehend beschrieben, kann der Prozessor (z.B. der Mikrocontroller 34) die Helligkeitsstufe der erfassten Bilder durch Einstellung der Belichtungszeit für den Bildgeber 16, der durch die Bildgeberschnittstelle 32 angewandten Verstärkung und/oder der Beleuchtungsstufe, die durch die Lichtquelle (z.B. die Weißlichtquelle 28 oder das Emittermodul 22) geschaffen wird, steuern. Außerdem kann das Endoskopsystem 10, wie vorstehend beschrieben, die mehreren Bilder durch Speicherung der digitalen Bilddaten in dem Speicher 40 oder der Speichervorrichtung 42 erfassen.
  • Sobald eines oder mehrere der mehreren Bilder erfasst ist bzw. sind, kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) das Endoskopsystem 10 anweisen, ein Bild mit normaler Helligkeit zu generieren (Prozessblock 108). In einigen Ausführungsformen kann das Bild mit normaler Helligkeit lediglich eines der erfassten Bilder sein. In anderen Ausführungsformen kann das Bild mit normaler Helligkeit ein Basisbild sein, das basierend auf den mehreren ersten Bildern generiert wird. In derartigen Ausführungsformen kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) das Endoskopsystem 10 anweisen, das Bild mit normaler Helligkeit durch Aufsummierung oder Mittelung von Bildern aus den mehreren ersten Bildern zu generieren.
  • Zusätzlich kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) das Endoskopsystem 10 anweisen, ein Bild mit hohem Dynamikumfang zu generieren (Prozessblock 110). Wie vorstehend erläutert, kann das Bild mit hohem Dynamikumfang in einigen Ausführungsformen basierend wenigstens zum Teil auf einem oder mehreren der mehreren ersten Bilder (z.B. dem Basisbild) und einem oder mehreren der mehreren zweiten Bilder generiert werden. Insbesondere können in derartigen Ausführungsformen gesättigte Pixel in dem normalen Bild durch ungesättigte Pixel ersetzt werden, die basierend auf ungesättigten Pixeldaten in einem oder mehreren der mehreren zweiten Bilder generiert werden.
  • Zusätzlich zu dem Bild mit hohem Dynamikumfang kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) das Endoskopsystem 10 anweisen, ein Bild mit einer hohen Helligkeitsstufe zu generieren (Prozessblock 112) und ein Bild mit einer niedrigen Helligkeitsstufe zu generieren (Prozessblock 114). Wie vorstehend beschrieben, können Bilder mit verschiedenen Helligkeitsstufen einem Benutzer ermöglichen, variierende Ansichten des Merkmals zu haben. In einigen Ausführungsformen kann das Bild mit hoher Helligkeit ein einzelnes Bild sein, das mit einer höheren Helligkeitsstufe als das normale Bild aufgenommen wird. Ebenso kann das Bild mit geringer Helligkeit in einigen Ausführungsformen ein einzelnes Bild sein, das mit einer niedrigeren Helligkeitsstufe als das normale Bild aufgenommen wird. In derartigen Ausführungsformen kann/können das Bild mit hoher Helligkeit und/oder das Bild mit geringer Helligkeit einfach eines der mehreren zweiten Bilder sein.
  • In weiteren Ausführungsformen kann/können das Bild mit hoher Helligkeit und/oder das mit geringer Helligkeit auch Bilder mit hohem Dynamikumfang sein. In derartigen Ausführungsformen kann das Bild mit hoher Helligkeit ein Bild mit hohem Dynamikumfang mit einer Helligkeit sein, die höher eingeteilt ist als bei dem Bild mit hohem Dynamikumfang, das im Prozessblock 110 generiert wird, und/oder einen Mittelwert der Pixelwerte haben, der höher ist als derjenige des Basisbildes. Ebenso kann das Bild mit geringer Helligkeit ein Bild mit hohem Dynamikumfang mit einer Helligkeit sein, die niedriger eingeteilt ist als die des Bildes mit hohem Dynamikumfang, das im Prozessblock 110 generiert wird, und/oder einen Mittelwert der Pixelwerte haben, der niedriger ist als derjenige des Basisbildes. In anderen Worten bieten die hierin beschriebenen Techniken die Möglichkeit, mehrere Bilder mit hohem Dynamikbereich zu erzeugen, die hinsichtlich der Helligkeitsstufe variieren. Wie vorstehend beschrieben, enthält ein Bild mit hohem Dynamikumfang generell weniger Rauschen und weniger gesättigte Pixel als ein einzelnes Bild. In anderen Worten kann die Nutzbarkeit von Bildern, die durch das Endoskopsystem 10 generiert werden, weiter verbessert werden, indem nicht nur Bilder mit variierenden Helligkeitsstufen angezeigt werden, sondern auch Bilder bei den variierenden Helligkeitsstufen mit weniger gesättigten Pixeln angezeigt werden.
  • Wie vorstehend beschrieben, können durch das Endoskopsystem 10 erfasste Bilder von einer beliebigen Anzahl geeigneter Bildtypen, wie beispielsweise Messbilder, Stereobilder, Inspektionsbilder oder eine beliebige Kombination von diesen sein. Insbesondere können die variierenden Bildtypen es ermöglichen, dass verschiedene Informationen, die das Zielmerkmal betreffen, bestimmt werden können. Z.B. können Inspektionsbilder (z.B. Bilder, die mit gleichmäßiger Helligkeit erfasst werden) das Zielmerkmal von der Perspektive des Bildgebers 16 aus zeigen. Andererseits können Stereobilder und/oder strukturierte Lichtmessbilder verwendet werden, um Punktwolkendaten zu erzeugen, die dann verwendet werden können, um ein Punktwolkenbild und/oder ein Tiefenprofil zu erzeugen.
  • An sich kann der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) das Endoskopsystem 10 anweisen, ein Punktwolkenbild zu generieren (Prozessblock 116) und ein Tiefenprofilbild zu generieren (Prozessblock 118). Insbesondere kann das Punktwolkenbild auf Punktwolkendaten basieren, die erzeugt werden, um eine 3D-Darstellung des Zielmerkmals zu geben. In einigen Ausführungsformen kann das Punktwolkenbild auf einem Teilsatz der Punktwolkendaten basieren, der basierend auf einer Positionierung von Messcursorn oder einem ausgewählten interessierenden Bereich ausgewählt wird. Außerdem kann das Tiefenprofil auf Punktwolkendaten basieren, die generiert werden, um eine Querschnittsansicht des Zielmerkmals zu ergeben. In einigen Ausführungsformen kann die Stelle des Tiefenprofils durch den Benutzer durch Positionierung von Messcursorn ausgewählt werden.
  • In einigen Ausführungsformen können die Punktwolkendaten unter Verwendung von Messbildern (z.B. strukturierten Lichtbildern) oder Stereobildern generiert werden. Z.B. können die Punktwolkendaten durch die Anwendung einer Phasenverschiebungsanalyse auf strukturierte Lichtbilder generiert werden, die erfasst werden, während ein strukturiertes Lichtmuster auf die betrachtete Oberfläche projiziert wird. Zusätzlich oder alternativ können die Punktwolkendaten unter Verwendung von Stereobildern generiert werden, die von verschiedenen Perspektiven aus erfasst werden. An sich ist das erzeugte Punktwolkenbild umso genauer, je mehr Details des Merkmals in den Messbildern erfasst werden.
  • Jedoch können, wie vorstehend beschrieben, Details des Zielmerkmals in erfassten Bildern verschleiert sein, wenn Pixel gesättigt sind. Wenn z.B. eine Schweißnaht (z.B. eine stark reflektierende Oberfläche) auf einem Objekt oder einer Oberfläche in der Nähe des Bildgebers 16 bewirkt, dass die Schweißnaht in den erfassten Bildern als gesättigt erscheint, wird es schwierig sein, die 3D-Eigenschaften (z.B. Höhe oder Gestalt) der Schweißnaht genau zu bestimmen, weil die Schweißnaht als vollständig weiß erscheinen wird.
  • In einigen Ausführungsformen können die mehreren zweiten Bilder verwendet werden, um die Erfassung von Details von dem Zielmerkmal zu verbessern. Insbesondere können, wie vorstehend beschrieben, die mehreren zweiten Bilder Messbilder enthalten, die bei unterschiedlichen Helligkeitsstufen erfasst werden. An sich können die Punktwolkendaten unter Verwendung von Bildern mit variierender Helligkeitsstufe generiert werden, um die Anzahl von 3D-Oberflächendatenpunkten, die bestimmt werden, zu erhöhen.
  • Um es besser zu veranschaulichen, können Punktwolkendaten durch den Abgleich eines Oberflächenpunktes generiert werden, der in Bildern erfasst wird, die von verschiedenen Perspektiven aus aufgenommen werden. Wenn jedoch Stereomessbilder Pixel enthalten, die gesättigt (z.B. zu hell oder zu dunkel) sind, kann ein Stereoabgleich verhindert sein, weil es schwierig sein kann, den gleichen Oberflächenpunkt in den Bildern zu erkennen. Fortfahrend mit dem obigen Beispiel kann es z.B. schwierig sein, den gleichen Punkt auf der Schweißnaht in mehreren Stereobildern zu lokalisieren, weil die Schweißnaht vollständig weiß erscheint. Jedoch können die gleichen Pixel in einem oder mehreren der mehreren zweiten Bilder ungesättigt sein. Somit kann der Prozessor das eine oder die mehreren der mehreren zweiten Bilder verwenden, um einen Stereoabgleich vorzunehmen und die Punktwolkendaten zu generieren. In anderen Worten kann eine beliebige Kombination von einem oder mehreren der mehreren ersten Bilder, dem Basisbild, einem oder mehreren der mehreren zweiten Bilder und einem generierten Bild mit hohem Dynamikumfang verwendet werden, um die Punktwolkendaten zu erzeugen.
  • Ebenso kann in dem Fall, dass ein strukturiertes Lichtmuster, beispielsweise ein Laserpunktraster, sowohl in den mehreren ersten als auch in den mehreren zweiten Bildern erfasst wird, der Prozessor die Position des Musters unter Verwendung einer beliebigen Kombination von einem oder mehreren der mehreren ersten Bilder, dem Basisbild, einem oder mehreren der mehreren zweiten Bilder und einem generierten Bild mit hohem Dynamikumfang detektieren. Der Prozessor kann dann die detektierte Musterposition verwenden, um 3D-Oberflächendaten zu bestimmen.
  • Zusätzlich können, wie vorstehend beschrieben, die mehreren zweiten Bilder verwendet werden, um ein Bild mit hohem Dynamikumfang zu generieren, das das Ausmaß der Sättigung reduzieren kann und von einer beliebigen geeigneten Bildart sein kann. Demgemäß können die Daten oder Bilder, die unter Verwendung des Bildes mit hohem Dynamikumfang generiert werden, nutz- bzw. brauchbarer sein. Fortfahrend mit dem obigen Beispiel kann z.B. eines oder können mehrere Messbilder mit hoher Dynamik verwendet werden, um die hohe Reflexivität der Schweißnaht zu kompensieren und mehr Details von den Eigenschaften der Schweißnaht darzustellen. Somit kann die Verwendung von Messbildern mit hohem Dynamikumfang zur Generierung von Punktwolkendaten/-bildern genauere Informationen in Bezug auf das Merkmal liefern, was auch die Genauigkeit des Punktwolkenbildes und des Tiefenprofilbildes verbessert.
  • Der Prozessor (z.B. die CPU 38 oder der Videoprozessor 36) können anschließend das Endoskopsystem 10 anweisen, die generierten Bilder (z.B. ein Bild mit normaler Helligkeit, ein Bild mit hoher Helligkeit, ein Bild mit hohem Dynamikumfang, ein Bild mit niedriger Helligkeit, ein Punktwolkenbild oder ein Tiefenprofilbild) als Vorschaubilder anzuzeigen (Prozessblock 120). In einigen Ausführungsformen kann das Erzeugen der Vorschaubilder ein Skalieren der erzeugten Bilder auf die Miniaturbildgröße enthalten. Wie vorstehend beschrieben, können die Vorschaubilder z.B. durch einen Benutzer auswählbar sein, um das Bild, das dem Vorschaubild entspricht, zu sichern oder im Vollbildmodus anzuzeigen. Da in einige Ausführungsformen die Anzeige 50 eine berührungsempfindliche Anzeige sein kann, kann das Generieren der Vorschaubilder folglich ein Generieren von Vorschaubild-Schaltflächen enthalten, die durch einen Benutzer auswählbar sind.
  • Basierend auf der obigen Beschreibung umfasst der technische Effekt der vorliegenden Offenbarung die Bereitstellung von Systemen und Verfahren zur Verbesserung der Nutzbarkeit von Bildern, die durch ein visuelles Ferninspektionssystem, wie beispielsweise ein Endoskopsystem, erfasst werden. Insbesondere kann die Nutzbarkeit von Bildern durch Generierung eines oder mehrerer Bilder mit hohem Dynamikumfang generiert werden. Außerdem können die Bilder mit hohem Dynamikumfang effizienter erfasst und generiert werden. Z.B. können die Bilder mit hohem Dynamikumfang basierend auf Bildern generiert werden, die verwendet werden, um ein Live-Video anzuzeigen. In anderen Worten kann das visuelle Ferninspektionssystem mit der Generierung eines Bildes mit hohem Dynamikumfang beginnen, noch bevor ein Erfassungsbefehl empfangen wird.
  • Diese schriftliche Beschreibung verwendet Beispiele, um die Erfindung, einschließlich der besten Ausführungsart, zu offenbaren und auch um jeden Fachmann auf dem Gebiet zu befähigen, die Erfindung in die Praxis umzusetzen, wozu die Schaffung und Verwendung jeglicher Vorrichtungen oder Systeme und die Durchführung jeglicher enthaltener Verfahren gehören. Der patentierbare Umfang der Erfindung ist durch die Ansprüche definiert und kann weitere Beispiele enthalten, die Fachleuten auf dem Gebiet einfallen. Derartige weitere Beispiele sollen in dem Schutzumfang der Ansprüche liegen, wenn sie strukturelle Elemente aufweisen, die sich von dem Wortsinn der Ansprüche nicht unterscheiden, oder wenn sie äquivalente strukturelle Elemente mit unwesentlichen Unterschieden gegenüber dem Wortsinn der Ansprüche enthalten.

Claims (21)

  1. Greifbares, nicht-transitorisches computerlesbares Medium, das Instruktionen speichert, die durch einen Prozessor eines Endoskops ausführbar sind, wobei die Instruktionen Instruktionen aufweisen, um: unter Verwendung eines Bildgebers in dem Endoskop mehrere erste Bilder bei einer ersten Helligkeitsstufe zu erfassen, während ein Live-Video basierend wenigstens zum Teil auf den mehreren ersten Bildern angezeigt wird; unter Verwendung des Prozessors ein Basisbild durch Mittelung oder Aufsummierung der mehreren ersten Bilder zu generieren; unter Verwendung des Bildgebers mehrere zweite Bilder bei mehreren Helligkeitsstufen zu erfassen, wobei die mehreren Helligkeitsstufen sich von der ersten Helligkeitsstufe unterscheiden; und unter Verwendung des Prozessors ein Bild mit hohem Dynamikumfang basierend wenigstens zum Teil auf dem Basisbild und den mehreren zweiten Bildern zu generieren, wobei das Bild mit hohem Dynamikumfang mehr ungesättigte Pixel aufweist als das Basisbild.
  2. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen zur Generierung des Bildes mit hohem Dynamikumfang Instruktionen aufweist, um ungesättigte Pixeldaten aus dem Basisbild und ungesättigte Pixeldaten aus wenigstens einem der mehreren zweiten Bilder zu verwenden, um das Bild mit hohem Dynamikumfang zu generieren.
  3. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen Instruktionen aufweisen um festzustellen, ob sich ein Merkmal in der Nähe des Bildgebers relativ zu dem Bildgeber wesentlich bewegt hat, indem zwei oder mehrere der mehreren ersten Bilder verglichen werden.
  4. Computerlesbares Medium nach Anspruch 3, wobei die mehreren zweiten Bilder automatisch erfasst werden, wenn eine wesentliche Bewegung nicht erfasst wird.
  5. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen zur Generierung des Basisbildes Instruktionen aufweisen, um eines oder mehrere der mehreren ersten Bilder neu auszurichten, wenn eine Bewegung detektiert wird.
  6. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen zur Erfassung der mehreren zweiten Bilder Instruktionen aufweisen, um die Helligkeit zwischen der Erfassung eines oder mehrerer der mehreren zweiten Bilder zu verändern, indem eine Belichtungszeit für den Bildgeber, eine angewandte Verstärkung, eine Beleuchtungsstufe einer Lichtquelle an dem Endoskop oder eine beliebige Kombination von diesen verändert wird.
  7. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen Instruktionen aufweisen, um ein strukturiertes Lichtbild oder ein Stereobild zu erfassen, während die mehreren zweiten Bilder erfasst werden.
  8. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen zur Erfassung der mehreren zweiten Bilder Instruktionen aufweisen, um: unter Verwendung des Bildgebers ein erstes Bild der mehreren zweiten Bilder bei einer ersten Helligkeitsstufe zu erfassen; unter Verwendung des Bildgebers ein zweites Bild der mehreren zweiten Bilder bei einer zweiten Helligkeitsstufe zu erfassen; unter Verwendung des Bildgebers ein drittes Bild der mehreren zweiten Bilder bei der ersten Helligkeitsstufe zu erfassen, wobei die Instruktionen zur Generierung des Bildes mit hohem Dynamikumfang Instruktionen aufweisen, um das erste Bild und das dritte Bild zu mitteln oder aufzusummieren.
  9. Computerlesbares Medium nach Anspruch 1, wobei die Instruktionen Instruktionen aufweisen, um einen Bilderfassungsbefehl zu empfangen,
  10. wobei die mehreren ersten Bilder erfasst werden, bevor der Bilderfassungsbefehl empfangen wird, und die mehreren zweiten Bilder erfasst werden, nachdem der Bilderfassungsbefehl empfangen wird.
  11. Prozessor in einem visuellen Ferninspektionssystem, der eingerichtet ist, um: ein Basisbild durch Mittelung oder Aufsummierung mehrerer erster Bilder zu generieren, wobei die mehreren ersten Bilder unter Verwendung eines Bildgebers des visuellen Ferninspektionssystems bei einer ersten Helligkeitsstufe erfasst werden; eine Live-Videozuspielung basierend wenigstens zum Teil auf den mehreren ersten Bildern zu generieren; und ein Bild mit hohem Dynamikumfang unter Verwendung ungesättigter Pixeldaten aus dem Basisbild und ungesättigter Pixeldaten aus wenigstens einem von mehreren zweiten Bildern zu generieren, wobei die mehreren zweiten Bilder unter Verwendung des Bildgebers bei Helligkeitsstufen erfasst werden, die sich von der ersten Helligkeitsstufe unterscheiden.
  12. Prozessor nach Anspruch 10, wobei der Prozessor eingerichtet ist, um: eine Bewegung eines Merkmals in der Nähe des Bildgebers relativ zu dem Bildgeber durch einen Vergleich von Bildern aus den mehreren ersten Bildern zu detektieren; und automatisch die mehreren zweiten Bilder zu erfassen, wenn eine Bewegung nicht detektiert wird.
  13. Prozessor nach Anspruch 10, wobei der Prozessor eingerichtet ist, um die Helligkeitsstufe jedes der mehreren zweiten Bilder durch Veränderung einer Belichtungszeit für den Bildgeber, einer Verstärkung, die auf analoge Daten angewandt wird, die durch den Bildgeber ausgegeben werden, einer Lichtmenge, die durch den Bildgeber empfangen wird, oder einer beliebigen Kombination von diesen zu verändern.
  14. Prozessor nach Anspruch 10, wobei der Prozessor eingerichtet ist, um, nachdem ein Bilderfassungsbefehl empfangen worden ist: die Erfassung der mehreren ersten Bilder zu beenden; und mit einer Erfassung der mehreren zweiten Bilder zu beginnen.
  15. Visuelles Ferninspektionssystem, das aufweist: einen Bildgeber, der eingerichtet ist, um Bilder durch Umwandlung von Licht in analoge Bilddaten zu liefern; einen Analog-Digital-Wandler, der eingerichtet ist, um die analogen Bilddaten in digitale Bilddaten zu wandeln; einen Prozessor, der eingerichtet ist, um die digitalen Bilddaten zu erfassen und zu verarbeiten, um mehrere Bilder zu generieren; und eine Anzeige, die eingerichtet ist, um: ein Live-Video anzuzeigen, das Merkmale in der Nähe des Bildgebers zeigt, wobei das Live-Video wenigstens zum Teil auf Bildern basiert, die unter Verwendung des Bildgebers bei einer ersten Helligkeitsstufe erfasst werden, wobei die erfassten Bilder verwendet werden, um ein Basisbild zu generieren; und die mehreren Bilder, die durch den Prozessor generiert werden, als Vorschaubilder anzuzeigen, wobei die mehreren Bilder das Basisbild und ein Bild mit hohem Dynamikumfang aufweisen, das durch Ersetzen gesättigter Pixel in dem Basisbild generiert wird.
  16. Visuelles Ferninspektionssystem nach Anspruch 14, das eine Netzwerkschnittstelle aufweist, die eingerichtet ist, um: das Live-Video oder die mehreren Bilder zu einer entfernten Rechenvorrichtung zu übertragen; und Steuerbefehle von der entfernten Rechenvorrichtung zu empfangen, wobei die entfernte Rechenvorrichtung die Anzeige aufweist.
  17. Visuelles Ferninspektionssystem nach Anspruch 14, wobei der Prozessor eingerichtet ist, um ein Punktwolkenbild basierend wenigstens zum Teil auf Bildern, die unter Verwendung des Bildgebers erfasst werden, zu generieren.
  18. Visuelles Ferninspektionssystem nach Anspruch 14, wobei die mehreren Bilder ein Punktwolkenbild, ein Bild mit einer Helligkeitsstufe, die höher ist als die des Basisbildes, ein Bild mit einer Helligkeitsstufe, die niedriger ist als die des Basisbildes, ein Querschnittsbild oder eine beliebige Kombination von diesen aufweisen.
  19. Visuelles Ferninspektionssystem nach Anspruch 14, wobei das visuelle Ferninspektionssystem ein Endoskop, eine Schwenk-Neige-Zoom-Inspektionskamera, eine Schiebekamera oder eine beliebige Kombination von diesen aufweist.
  20. Visuelles Ferninspektionssystem nach Anspruch 14, wobei der Prozessor eingerichtet ist, um: mehrere erste Bilder bei einer ersten Helligkeitsstufe zu erfassen; ein einzelnes Bild bei einer zweiten Helligkeitsstufe zu erfassen; und nachfolgend mehrere zweite Bilder bei der ersten Helligkeitsstufe zu erfassen.
  21. Visuelles Ferninspektionssystem nach Anspruch 19, wobei der Prozessor eingerichtet ist, um das einzelne Bild bei der zweiten Helligkeitsstufe zu erfassen, wenn der Prozessor feststellt, dass sich der Bildgeber oder die Merkmale in der Nähe des Bildgebers nicht wesentlich bewegt bzw. bewegen.
DE112015002570.7T 2014-05-30 2015-05-12 Bilderfassungssystem und -verfahren zur visuellen Ferninspektion Pending DE112015002570T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/292,648 US9633426B2 (en) 2014-05-30 2014-05-30 Remote visual inspection image capture system and method
US14/292,648 2014-05-30
PCT/US2015/030252 WO2015183541A1 (en) 2014-05-30 2015-05-12 Remote visual inspection image capture system and method

Publications (1)

Publication Number Publication Date
DE112015002570T5 true DE112015002570T5 (de) 2017-04-06

Family

ID=53276273

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112015002570.7T Pending DE112015002570T5 (de) 2014-05-30 2015-05-12 Bilderfassungssystem und -verfahren zur visuellen Ferninspektion

Country Status (5)

Country Link
US (3) US9633426B2 (de)
JP (1) JP6681844B2 (de)
CN (1) CN106416225B (de)
DE (1) DE112015002570T5 (de)
WO (1) WO2015183541A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020120257A1 (de) 2020-07-31 2022-02-03 Smartvision Gmbh Verfahren und Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002719B2 (en) 2012-10-08 2015-04-07 State Farm Mutual Automobile Insurance Company Device and method for building claim assessment
US8872818B2 (en) * 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Methods and systems for capturing the condition of a physical structure
WO2016084779A1 (ja) * 2014-11-27 2016-06-02 オリンパス株式会社 画像再生装置および画像再生プログラム
CN113660525A (zh) 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置
WO2017051808A1 (ja) 2015-09-25 2017-03-30 日立マクセル株式会社 放送受信装置
US10197473B2 (en) * 2015-12-09 2019-02-05 General Electric Company System and method for performing a visual inspection of a gas turbine engine
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10324770B2 (en) * 2016-03-18 2019-06-18 Ca, Inc. Efficient application feedback collection
EP3414936B1 (de) * 2016-03-28 2020-10-21 Hewlett-Packard Development Company, L.P. Übertragungen von kalibrierdaten
US10176527B1 (en) 2016-04-27 2019-01-08 State Farm Mutual Automobile Insurance Company Providing shade for optical detection of structural features
GB2550117A (en) * 2016-05-04 2017-11-15 E M & I (Maritime) Ltd Inspection method
US10666927B2 (en) * 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
CN114777682A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
US10488349B2 (en) 2017-11-14 2019-11-26 General Electric Company Automated borescope insertion system
US10489896B2 (en) 2017-11-14 2019-11-26 General Electric Company High dynamic range video capture using variable lighting
US10757358B1 (en) * 2019-06-05 2020-08-25 Primesensor Technology Inc. Photographing device having two output interfaces
EP3510925A1 (de) * 2018-01-10 2019-07-17 Universite Libre De Bruxelles Endoskopische vorrichtung zur kontaktlosen messung
JP6770254B2 (ja) * 2018-02-07 2020-10-14 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
US10775315B2 (en) 2018-03-07 2020-09-15 General Electric Company Probe insertion system
US10545096B1 (en) 2018-10-11 2020-01-28 Nanotronics Imaging, Inc. Marco inspection systems, apparatus and methods
EP3669748A1 (de) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. Spiegelanordnung
CN110072052B (zh) * 2019-04-09 2021-08-27 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110062159A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110225261B (zh) * 2019-06-21 2021-03-26 上海集成电路研发中心有限公司 一种ZigZagHDR曝光控制系统及其进行曝光控制的方法
WO2021011518A1 (en) * 2019-07-15 2021-01-21 Corindus, Inc. Data capture and adaptive guidance for robotic procedures with an elongated medical device
US10915992B1 (en) 2019-08-07 2021-02-09 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
US11593919B2 (en) 2019-08-07 2023-02-28 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
CN110581957B (zh) * 2019-08-26 2021-04-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US20210129971A1 (en) * 2019-11-01 2021-05-06 The Boeing Company System and method for measuring localized characteristics of a transparency
CN111784668A (zh) * 2020-07-01 2020-10-16 武汉楚精灵医疗科技有限公司 基于感知哈希算法的消化内镜检查影像自动冻结的方法
US20220067993A1 (en) * 2020-08-31 2022-03-03 Popshop Technologies, Inc. Live streaming object image capture and image conversion to product catalog
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
US20220318667A1 (en) * 2021-03-30 2022-10-06 Accenture Global Solutions Limited Intelligent real-time defect prediction, detection, and ai driven automated correction solution
WO2023287992A1 (en) * 2021-07-14 2023-01-19 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
US20230186698A1 (en) * 2021-12-10 2023-06-15 The Boeing Company Analytical digital twin for nondestructive inspection of a vehicle
CN116452485A (zh) * 2022-01-05 2023-07-18 通用汽车环球科技运作有限责任公司 基于图像相关联性的反射表面的检查
US20240203235A1 (en) * 2022-12-20 2024-06-20 Florida Power & Light Company Emergency preparedness alert notification system for nuclear power plants

Family Cites Families (242)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2929866A (en) 1953-10-30 1960-03-22 Westinghouse Electric Corp Television pickup tube
GB937358A (en) 1961-11-13 1963-09-18 Marconi Wireless Telegraph Co Improvements in or relating to television scanning systems
JPS4844279B1 (de) 1965-05-08 1973-12-24
US3515800A (en) 1966-05-10 1970-06-02 Victor Company Of Japan Television camera for selectively picking up scenes in color or monochromatically
US3623126A (en) 1969-09-24 1971-11-23 North American Rockwell Edge sharpening in a scanned image display system
US3783190A (en) 1971-04-08 1974-01-01 Gte Sylvania Inc Aperture correction circuit for low light level television camera
US3845242A (en) 1972-11-21 1974-10-29 Minnesota Mining & Mfg Video signal processing system for facsimile transmission
GB1415827A (en) 1973-03-31 1975-11-26 Schumacher Klimsch Co E Photomechanical reproduction
US3980819A (en) 1974-11-01 1976-09-14 Zenith Radio Corporation Edge enhancement for television images
US4115804A (en) 1975-05-23 1978-09-19 Bausch & Lomb Incorporated Image analysis data extraction
JPS5745837A (en) 1980-09-03 1982-03-16 Olympus Optical Co Photographing apparatus of endoscope
JPS57108866A (en) 1980-12-26 1982-07-07 Fuji Xerox Co Ltd Dichromatic copying machine
FR2502875B1 (fr) 1981-03-30 1985-11-29 Tugaye Jean Procede et dispositif de cadrage et de stabilisation d'image de camera electro-optique
US4410914A (en) 1982-02-01 1983-10-18 Cbs Inc. Television picture stabilizing system
JPS58153454A (ja) 1982-03-08 1983-09-12 Fuji Xerox Co Ltd 多機能複写機
US4433346A (en) 1982-03-31 1984-02-21 Xerox Corporation Raster input scanner
US4491865A (en) 1982-09-29 1985-01-01 Welch Allyn, Inc. Image sensor assembly
US4516153A (en) 1983-03-30 1985-05-07 Rca Corporation Composite video signal processing apparatus providing amplitude equalization
JPS59215772A (ja) 1983-05-23 1984-12-05 Nec Home Electronics Ltd マルチエミツタ形トランジスタ
US4668978A (en) 1983-08-24 1987-05-26 Kabushiki Kaisha Toshiba Thermal transfer color image forming apparatus with image color and image color density control functions
US4608606A (en) 1984-03-15 1986-08-26 Rca Corporation CCD floating-element output stages providing low reset noise with single sampling
US4547809A (en) 1984-04-27 1985-10-15 Rca Corporation Thermally isolated imager
US4622954A (en) 1984-05-15 1986-11-18 Fuji Photo Optical Co., Ltd. Endoscope having a plate-like image sensor for forming images
US4692608A (en) 1984-05-18 1987-09-08 Fuji Photo Optical Company, Ltd. Compact optical imaging system
US4658298A (en) 1984-05-30 1987-04-14 El Planning System Ltd. Portable type audio-visual sensory apparatus
JPS612957A (ja) 1984-06-18 1986-01-08 Toyota Motor Corp 無段変速機付き動力伝達装置の油圧制御装置
JPS6147919A (ja) 1984-08-15 1986-03-08 Olympus Optical Co Ltd 内視鏡用撮像光学系
JPS6142513U (ja) 1984-08-23 1986-03-19 富士写真光機株式会社 内視鏡
JPH0644105B2 (ja) 1985-01-14 1994-06-08 オリンパス光学工業株式会社 内視鏡
JPH0522897Y2 (de) 1985-08-16 1993-06-11
ATE78388T1 (de) 1985-08-16 1992-08-15 Olympus Optical Co Endoskop.
US4695878A (en) 1985-10-31 1987-09-22 Rca Corporation Color television camera with selectively removable infrared rejection filter
US4700693A (en) 1985-12-09 1987-10-20 Welch Allyn, Inc. Endoscope steering section
JP2679014B2 (ja) 1986-03-19 1997-11-19 オリンパス光学工業株式会社 電子内視鏡装置
JPS6365840A (ja) 1986-04-04 1988-03-24 オリンパス光学工業株式会社 内視鏡
US4735501A (en) 1986-04-21 1988-04-05 Identechs Corporation Method and apparatus for fluid propelled borescopes
JPH0664243B2 (ja) 1986-04-30 1994-08-22 オリンパス光学工業株式会社 内視鏡
DE3715417A1 (de) 1986-05-13 1987-11-19 Olympus Optical Co Halbleiter-bilderzeugungsvorrichtung, sowie hiermit ausgestattetes endoskop
JPS635722A (ja) 1986-06-25 1988-01-11 オリンパス光学工業株式会社 内視鏡
US4777524A (en) 1986-08-08 1988-10-11 Olympus Optical Co., Ltd. Endoscope having an electrically insulated solid-state image sensing unit
JP2812940B2 (ja) 1986-09-01 1998-10-22 オリンパス光学工業株式会社 内視鏡
JPS6363426A (ja) 1986-09-04 1988-03-19 オリンパス光学工業株式会社 電子内視鏡
US4733937A (en) 1986-10-17 1988-03-29 Welch Allyn, Inc. Illuminating system for endoscope or borescope
US4758891A (en) 1986-10-20 1988-07-19 North American Philips Consumer Electronics Corp. Method and apparatus for improving the rise and fall time of a video signal
US4895431A (en) 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
US4727859A (en) 1986-12-29 1988-03-01 Welch Allyn, Inc. Right angle detachable prism assembly for borescope
US4918521A (en) 1987-01-20 1990-04-17 Olympus Optical Co., Ltd. Solid state imaging apparatus
US4777385A (en) 1987-02-09 1988-10-11 Rca Licensing Corporation Signal transient improvement circuit
US4873572A (en) 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US4868644A (en) 1987-04-01 1989-09-19 Olympus Optical Co. Electronic endoscope with solid state imaging device
JPH0671324B2 (ja) 1987-04-03 1994-09-07 オリンパス光学工業株式会社 撮像装置
JPS63292119A (ja) 1987-05-25 1988-11-29 Furukawa Electric Co Ltd:The パイプカメラ
US4796607A (en) 1987-07-28 1989-01-10 Welch Allyn, Inc. Endoscope steering section
US4790294A (en) 1987-07-28 1988-12-13 Welch Allyn, Inc. Ball-and-socket bead endoscope steering section
US4787369A (en) 1987-08-14 1988-11-29 Welch Allyn, Inc. Force relieving, force limiting self-adjusting steering for borescope or endoscope
US4794912A (en) 1987-08-17 1989-01-03 Welch Allyn, Inc. Borescope or endoscope with fluid dynamic muscle
US5021888A (en) 1987-12-18 1991-06-04 Kabushiki Kaisha Toshiba Miniaturized solid state imaging device
JPH0673517B2 (ja) 1988-02-04 1994-09-21 オリンパス光学工業株式会社 電子内視鏡システム
US4901143A (en) 1988-02-16 1990-02-13 Olympus Optical Co., Ltd. Electronic endoscope system provided with a means of imaging frozen pictures having few picture image smears
JP2594627B2 (ja) 1988-02-26 1997-03-26 オリンパス光学工業株式会社 電子内視鏡装置
US4887154A (en) 1988-06-01 1989-12-12 Welch Allyn, Inc. Lamp assembly and receptacle
US4862253A (en) 1988-07-20 1989-08-29 Welch Allyn, Inc. Apparatus for converting a video processor
US4933757A (en) 1988-08-20 1990-06-12 Olympus Optical Co., Ltd. Electronic endoscope apparatus provided with a movement detecting means
US4909600A (en) 1988-10-28 1990-03-20 Welch Allyn, Inc. Light chopper assembly
US4969034A (en) 1988-12-30 1990-11-06 Welch Allyn, Inc. Method of signal enhancement
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JP2751320B2 (ja) 1989-02-21 1998-05-18 日本電気株式会社 エミッタホロワ回路
US5032913A (en) 1989-02-28 1991-07-16 Olympus Optical Co., Ltd. Electronic endoscope system equipped with color smear reducing means
JP2510299B2 (ja) 1989-03-22 1996-06-26 オリンパス光学工業株式会社 電子式内視鏡装置
US4993405A (en) 1989-05-15 1991-02-19 Olympus Optical Co., Ltd. Imaging apparatus
US4962751A (en) 1989-05-30 1990-10-16 Welch Allyn, Inc. Hydraulic muscle pump
US5014515A (en) 1989-05-30 1991-05-14 Welch Allyn, Inc. Hydraulic muscle pump
US4913369A (en) 1989-06-02 1990-04-03 Welch Allyn, Inc. Reel for borescope insertion tube
US4980763A (en) 1989-06-12 1990-12-25 Welch Allyn, Inc. System for measuring objects viewed through a borescope
JPH0323832A (ja) 1989-06-22 1991-01-31 Toshiba Corp 電子内視鏡装置
US4941456A (en) 1989-10-05 1990-07-17 Welch Allyn, Inc. Portable color imager borescope
US4941454A (en) 1989-10-05 1990-07-17 Welch Allyn, Inc. Servo actuated steering mechanism for borescope or endoscope
JP2579372B2 (ja) 1989-12-04 1997-02-05 日本テキサス・インスツルメンツ株式会社 低消費電力撮像装置
US5052803A (en) 1989-12-15 1991-10-01 Welch Allyn, Inc. Mushroom hook cap for borescope
US5014600A (en) 1990-02-06 1991-05-14 Welch Allyn, Inc. Bistep terminator for hydraulic or pneumatic muscle
US4998182A (en) 1990-02-08 1991-03-05 Welch Allyn, Inc. Connector for optical sensor
US5070401A (en) 1990-04-09 1991-12-03 Welch Allyn, Inc. Video measurement system with automatic calibration and distortion correction
US5019121A (en) 1990-05-25 1991-05-28 Welch Allyn, Inc. Helical fluid-actuated torsional motor
US5387928A (en) 1990-05-29 1995-02-07 Fuji Photo Optical Co., Ltd. Electronic endoscope system having both still and moving images
US4989581A (en) 1990-06-01 1991-02-05 Welch Allyn, Inc. Torsional strain relief for borescope
US5203319A (en) 1990-06-18 1993-04-20 Welch Allyn, Inc. Fluid controlled biased bending neck
US5018506A (en) 1990-06-18 1991-05-28 Welch Allyn, Inc. Fluid controlled biased bending neck
US5047848A (en) 1990-07-16 1991-09-10 Welch Allyn, Inc. Elastomeric gage for borescope
US5018436A (en) 1990-07-31 1991-05-28 Welch Allyn, Inc. Folded bladder for fluid dynamic muscle
US5114636A (en) 1990-07-31 1992-05-19 Welch Allyn, Inc. Process for reducing the internal cross section of elastomeric tubing
US5155585A (en) 1990-08-13 1992-10-13 Brother Kogyo Kabushiki Kaisha Image pickup apparatus for receiving light and converting to an electrical signal corresponding to the light
JP3216650B2 (ja) 1990-08-27 2001-10-09 オリンパス光学工業株式会社 固体撮像装置
US5061995A (en) 1990-08-27 1991-10-29 Welch Allyn, Inc. Apparatus and method for selecting fiber optic bundles in a borescope
US5418566A (en) 1990-09-10 1995-05-23 Kabushiki Kaisha Toshiba Compact imaging apparatus for electronic endoscope with improved optical characteristics
JP2848574B2 (ja) 1990-09-21 1999-01-20 オリンパス光学工業株式会社 色ずれ補正装置
US5164824A (en) 1990-10-12 1992-11-17 Olympus Optical Co., Ltd. Image freezing signal-processing apparatus
US5066122A (en) 1990-11-05 1991-11-19 Welch Allyn, Inc. Hooking cap for borescope
US5823958A (en) 1990-11-26 1998-10-20 Truppe; Michael System and method for displaying a structural data image in real-time correlation with moveable body
US5291151A (en) 1991-01-19 1994-03-01 Canon Kabushiki Kaisha Sensor amplifier
JP2953079B2 (ja) 1991-02-14 1999-09-27 富士写真光機株式会社 電子内視鏡装置
US5140975A (en) 1991-02-15 1992-08-25 Welch Allyn, Inc. Insertion tube assembly for probe with biased bending neck
US5469210A (en) 1991-03-01 1995-11-21 Canon Kabushiki Kaisha Image pickup apparatus with control for output of non-vibrating images
JP3078085B2 (ja) 1991-03-26 2000-08-21 オリンパス光学工業株式会社 画像処理装置および画像処理方法
JPH0595900A (ja) 1991-04-11 1993-04-20 Olympus Optical Co Ltd 内視鏡画像処理装置
US6002430A (en) 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
JP3012373B2 (ja) 1991-06-05 2000-02-21 旭光学工業株式会社 内視鏡の先端部
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5191879A (en) 1991-07-24 1993-03-09 Welch Allyn, Inc. Variable focus camera for borescope or endoscope
US5202758A (en) 1991-09-16 1993-04-13 Welch Allyn, Inc. Fluorescent penetrant measurement borescope
US5614943A (en) 1991-12-19 1997-03-25 Olympus Optical Co., Ltd. Dissimilar endoscopes usable with a common control unit
US5278642A (en) 1992-02-26 1994-01-11 Welch Allyn, Inc. Color imaging system
DE4211547C2 (de) 1992-04-06 1994-08-11 Henke Sass Wolf Gmbh Schutzabdeckung für das distale Ende von Endoskopen
US5369446A (en) 1992-04-30 1994-11-29 Thomson Consumer Electronics, Inc. Video signal processor employing edge replacement, preshoots and overshoots for transient enhancement
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
US5275152A (en) 1992-07-27 1994-01-04 Welch Allyn, Inc. Insertion tube terminator
US5347989A (en) 1992-09-11 1994-09-20 Welch Allyn, Inc. Control mechanism for steerable elongated probe having a sealed joystick
US5441043A (en) 1992-09-11 1995-08-15 Welch Allyn, Inc. Video laparoscope with modular video connector and dual low-wattage light sources
EP0587514A1 (de) 1992-09-11 1994-03-16 Welch Allyn, Inc. Prozessormodul für Videoprüfsonde
US5314070A (en) 1992-12-16 1994-05-24 Welch Allyn, Inc. Case for flexible borescope and endoscope insertion tubes
JP3220538B2 (ja) 1992-12-24 2001-10-22 オリンパス光学工業株式会社 立体視内視鏡及び立体視内視鏡装置
US5365331A (en) 1993-01-27 1994-11-15 Welch Allyn, Inc. Self centering device for borescopes
US5345339A (en) 1993-01-29 1994-09-06 Welch Allyn, Inc. Motorized mirror assembly
US5633675A (en) 1993-02-16 1997-05-27 Welch Allyn, Inc, Shadow probe
US5587736A (en) 1993-02-16 1996-12-24 Envision Medical Corporation Sterilizable CCD video camera
US5674182A (en) 1993-02-26 1997-10-07 Olympus Optical Co., Ltd. Endoscope system including endoscope and protection cover
USD358471S (en) 1993-03-11 1995-05-16 Welch Allyn, Inc. Combined control handle and viewing screen for an endoscope
US5550582A (en) 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
US5373317B1 (en) 1993-05-28 2000-11-21 Welch Allyn Inc Control and display section for borescope or endoscope
US5323899A (en) 1993-06-01 1994-06-28 Welch Allyn, Inc. Case for video probe
US5435296A (en) 1993-06-11 1995-07-25 Welch Allyn, Inc. Endoscope having crimped and soldered cable terminator
JP3271838B2 (ja) 1993-10-18 2002-04-08 オリンパス光学工業株式会社 内視鏡用画像処理装置
US6983051B1 (en) 1993-11-18 2006-01-03 Digimarc Corporation Methods for audio watermarking and decoding
US5842473A (en) 1993-11-29 1998-12-01 Life Imaging Systems Three-dimensional imaging system
US5694530A (en) 1994-01-18 1997-12-02 Hitachi Medical Corporation Method of constructing three-dimensional image according to central projection method and apparatus for same
JPH07246184A (ja) 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
JP3497231B2 (ja) 1994-04-22 2004-02-16 オリンパス株式会社 フリーズ装置
TW387560U (en) 1994-05-13 2000-04-11 Prec Optics Coroporation Viewing scope with image intensification
US5788628A (en) 1994-05-26 1998-08-04 Asahi Kogaku Kogyo Kabushiki Kaisha Endoscope
JPH0829701A (ja) 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
JPH08186760A (ja) 1994-12-28 1996-07-16 Philips Japan Ltd 画揺れ補正装置
JPH08243078A (ja) 1995-03-07 1996-09-24 Fuji Photo Optical Co Ltd 電子内視鏡の撮像素子組付け体
US5730129A (en) 1995-04-03 1998-03-24 General Electric Company Imaging of interventional devices in a non-stationary subject
GB9506954D0 (en) 1995-04-04 1995-05-24 Street Graham S B Method and apparatus for image enhancement
FR2732848B1 (fr) 1995-04-04 1997-05-16 Thomson Csf Semiconducteurs Amplificateur de lecture de registre ccd
KR0169376B1 (ko) 1995-10-10 1999-03-20 김광호 멀티미디어 대응 가능한 씨씨디 카메라 시스템
KR100269563B1 (ko) 1995-10-23 2000-12-01 사이토메트릭스, 인코오포레이티드 반사적영상화분석을위한장치
KR970049406A (ko) 1995-12-15 1997-07-29 김광호 그래픽 오버레이속도 향상기능을 갖는 화상처리장치
US5696850A (en) 1995-12-21 1997-12-09 Eastman Kodak Company Automatic image sharpening in an electronic imaging system
US5857963A (en) 1996-07-17 1999-01-12 Welch Allyn, Inc. Tab imager assembly for use in an endoscope
US5754313A (en) 1996-07-17 1998-05-19 Welch Allyn, Inc. Imager assembly
US5734418A (en) 1996-07-17 1998-03-31 Welch Allyn, Inc. Endoscope with tab imager package
US6108005A (en) 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US6046777A (en) * 1996-09-06 2000-04-04 Thomson Consumer Electronics, Inc. Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image during freeze frame operation
US5964696A (en) 1996-10-24 1999-10-12 Smith & Nephew, Inc. Stereoscopic imaging by alternately blocking light
US6084461A (en) 1996-11-29 2000-07-04 Varian Medical Systems, Inc. Charge sensitive amplifier with high common mode signal rejection
JPH10192220A (ja) 1997-01-14 1998-07-28 Fuji Photo Optical Co Ltd 内視鏡
JP3521109B2 (ja) 1997-02-17 2004-04-19 シャープ株式会社 動き検出用固体撮像装置
US6088612A (en) 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6310647B1 (en) 1997-04-15 2001-10-30 Eastman Kodak Company Image format for storing digital images and including multiple application segments
US5821532A (en) 1997-06-16 1998-10-13 Eastman Kodak Company Imager package substrate
JPH1132986A (ja) 1997-07-16 1999-02-09 Olympus Optical Co Ltd 内視鏡装置
US6211904B1 (en) 1997-09-11 2001-04-03 Edwin L. Adair Surgical devices incorporating reduced area imaging devices
US6097848A (en) 1997-11-03 2000-08-01 Welch Allyn, Inc. Noise reduction apparatus for electronic edge enhancement
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JPH11249031A (ja) 1998-03-03 1999-09-17 Asahi Optical Co Ltd 内視鏡光学素子
US5926318A (en) 1998-04-06 1999-07-20 Optimize Incorporated Biocular viewing system with intermediate image planes for an electronic display device
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
US6428650B1 (en) 1998-06-23 2002-08-06 Amerasia International Technology, Inc. Cover for an optical device and method for making same
EP0978251B1 (de) 1998-08-07 2005-01-26 Olympus Corporation Autoklavierbares Endoskop
JP2000107120A (ja) 1998-08-07 2000-04-18 Olympus Optical Co Ltd 内視鏡
US6184514B1 (en) 1998-12-18 2001-02-06 Eastman Kodak Company Plastic cover for image sensors
US6172361B1 (en) 1998-12-29 2001-01-09 Cirrus Logic, Inc. Methods for mounting an imager to a support structure and circuitry and systems embodying the same
US6083152A (en) 1999-01-11 2000-07-04 Welch Allyn, Inc. Endoscopic insertion tube
JP2000210252A (ja) 1999-01-25 2000-08-02 Sony Corp 固体撮像装置
US6538732B1 (en) 1999-05-04 2003-03-25 Everest Vit, Inc. Inspection system and method
JP3734389B2 (ja) 1999-09-29 2006-01-11 フジノン株式会社 内視鏡用撮像素子組付け装置
US6483535B1 (en) 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6842196B1 (en) 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
US6590470B1 (en) 2000-06-13 2003-07-08 Welch Allyn, Inc. Cable compensator circuit for CCD video probe
US6472247B1 (en) 2000-06-26 2002-10-29 Ricoh Company, Ltd. Solid-state imaging device and method of production of the same
US6494739B1 (en) 2001-02-07 2002-12-17 Welch Allyn, Inc. Miniature connector with improved strain relief for an imager assembly
US7262797B2 (en) 2001-02-22 2007-08-28 Ge Inspection Technologies Lp Method and system for storing calibration data within image files
US6721361B1 (en) 2001-02-23 2004-04-13 Yesvideo.Com Video processing system including advanced scene break detection methods for fades, dissolves and flashes
US6468201B1 (en) 2001-04-27 2002-10-22 Welch Allyn, Inc. Apparatus using PNP bipolar transistor as buffer to drive video signal
US7436435B2 (en) 2001-10-01 2008-10-14 Minolta Co., Ltd. Image taking device having image-blur compensator
US6830545B2 (en) 2002-05-13 2004-12-14 Everest Vit Tube gripper integral with controller for endoscope of borescope
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US6909459B2 (en) 2002-08-21 2005-06-21 Alpha Innotech Corporation Method of and apparatus for extending signal ranges of digital images
US7283247B2 (en) 2002-09-25 2007-10-16 Olympus Corporation Optical probe system
EP1618736A2 (de) 2003-01-29 2006-01-25 Everest-VIT, Inc. Fernvideoinspektionsgerät
US7744528B2 (en) 2003-02-26 2010-06-29 Infinite Biomedical Technologies, Llc Methods and devices for endoscopic imaging
US20040183900A1 (en) 2003-03-20 2004-09-23 Everest Vit Method and system for automatically detecting defects in remote video inspection applications
US6953432B2 (en) 2003-05-20 2005-10-11 Everest Vit, Inc. Imager cover-glass mounting
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050050707A1 (en) 2003-09-05 2005-03-10 Scott Joshua Lynn Tip tool
US7343048B2 (en) * 2003-09-18 2008-03-11 Arcsoft, Inc. Edge based alignment algorithm
JP4461937B2 (ja) 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
EP1699530B1 (de) 2003-12-31 2012-07-04 Given Imaging Ltd. System und verfahren zur anzeige eines bildstroms
US20050162643A1 (en) 2004-01-22 2005-07-28 Thomas Karpen Automotive fuel tank inspection device
US7134993B2 (en) 2004-01-29 2006-11-14 Ge Inspection Technologies, Lp Method and apparatus for improving the operation of a remote viewing device by changing the calibration settings of its articulation servos
US8587648B2 (en) 2004-06-01 2013-11-19 SeeScan, Inc. Self-leveling camera head
US7422559B2 (en) 2004-06-16 2008-09-09 Ge Inspection Technologies, Lp Borescope comprising fluid supply system
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
US7605854B2 (en) 2004-08-11 2009-10-20 Broadcom Corporation Operational amplifier for an active pixel sensor
US20060050983A1 (en) 2004-09-08 2006-03-09 Everest Vit, Inc. Method and apparatus for enhancing the contrast and clarity of an image captured by a remote viewing device
JP2006115964A (ja) 2004-10-20 2006-05-11 Fujinon Corp 電子内視鏡装置
US7773115B2 (en) 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4434939B2 (ja) 2004-12-27 2010-03-17 キヤノン株式会社 撮像装置及びその制御方法
US7239805B2 (en) 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7626614B1 (en) * 2005-02-15 2009-12-01 Apple Inc. Transfer function and high dynamic range images
US8482618B2 (en) 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
US8068647B2 (en) * 2005-06-14 2011-11-29 General Electric Company Method and apparatus for real-time motion correction for ultrasound spatial compound imaging
US7912337B2 (en) * 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
US8368749B2 (en) 2006-03-27 2013-02-05 Ge Inspection Technologies Lp Article inspection apparatus
CN100539648C (zh) * 2006-05-11 2009-09-09 精工爱普生株式会社 摄像元件及摄像装置和方法
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
US8213676B2 (en) 2006-12-20 2012-07-03 Ge Inspection Technologies Lp Inspection apparatus method and apparatus comprising motion responsive control
JP4290193B2 (ja) * 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
JP4344869B2 (ja) * 2007-02-16 2009-10-14 三菱電機株式会社 計測装置
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
CN201393267Y (zh) * 2009-02-06 2010-01-27 无锡锦腾智能科技有限公司 高动态范围图像获取装置
US9204113B1 (en) * 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US8466976B2 (en) 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
JP2012165259A (ja) * 2011-02-08 2012-08-30 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
JP5153021B2 (ja) * 2011-03-14 2013-02-27 パナソニック株式会社 撮影装置、撮影方法及びプログラム
JP5713752B2 (ja) * 2011-03-28 2015-05-07 キヤノン株式会社 画像処理装置、及びその制御方法
JP2012247874A (ja) * 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
KR101216663B1 (ko) * 2011-05-31 2012-12-28 중앙대학교 산학협력단 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
CN103312942B (zh) * 2012-03-12 2016-07-20 华晶科技股份有限公司 动态范围图像的噪声处理方法及其图像捕捉装置
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
US9424632B2 (en) * 2013-04-05 2016-08-23 Ittiam Systems (P) Ltd. System and method for generating high dynamic range images
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
US9600887B2 (en) * 2013-12-09 2017-03-21 Intel Corporation Techniques for disparity estimation using camera arrays for high dynamic range imaging
US9485435B2 (en) * 2014-04-22 2016-11-01 Shih-Chieh Huang Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020120257A1 (de) 2020-07-31 2022-02-03 Smartvision Gmbh Verfahren und Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz

Also Published As

Publication number Publication date
US20170223273A1 (en) 2017-08-03
CN106416225B (zh) 2020-03-10
JP6681844B2 (ja) 2020-04-15
WO2015183541A1 (en) 2015-12-03
US20200021738A1 (en) 2020-01-16
CN106416225A (zh) 2017-02-15
US10291850B2 (en) 2019-05-14
US9633426B2 (en) 2017-04-25
US20150348253A1 (en) 2015-12-03
JP2017527137A (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
DE112015002570T5 (de) Bilderfassungssystem und -verfahren zur visuellen Ferninspektion
EP1784978B1 (de) Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
EP3298345B1 (de) Kamera und verfahren zur dreidimensionalen vermessung und farbvermessung eines dentalen objekts
EP2583055A1 (de) Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche
DE102013224373A1 (de) Messungsmikroskop-Vorrichtung, Bilderzeugungsverfahren, Messungsmikroskop-Vorrichtungs-Betriebsprogramm und computerlesbares Aufzeichnungsmedium
DE19757912B4 (de) Verfahren und Vorrichtung zum Bearbeiten von Videobildern
DE3829925A1 (de) Optische sonde zur 3d-vermessung von zaehnen in der mundhoehle
DE102014206309A1 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
WO2009121775A2 (de) Verfahren und beleuchtungsvorrichtung zur optischen kontrastverstärkung
DE102010040518A1 (de) Bildaufnahmegerät, Bilddarstellungsverfahren und Aufnahmemedium sowie darauf aufgenommenes Bilddarstellungsprogramm
DE102008002730A1 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
DE102008002725A1 (de) Verfahren und Vorrichtung zur 3D-Rekonstruktion
DE112014003206T5 (de) System und Verfahren zur glasfaserbasierten Bilderfassung mit Eignung für den Einsatz in Turbinenmotoren
DE112018001127T5 (de) Prüfsystem und prüfverfahren
WO2012095088A1 (de) Vorrichtung und verfahren zur dreidimensionalen optischen vermessung von oberflächen
DE102008015979A1 (de) Bewegt-Bild-Verarbeitungssystem und Bewegt-Bild-Verarbeitungsverfahren
DE102005034990B4 (de) Verfahren und Vorrichtung zur Digitalprojektion mit hoher Bildschärfe
DE202013012450U1 (de) System für die Identifizierung von Tiefendaten, die mit einem Objekt verbunden sind
DE102007041719B4 (de) Verfahren zur Erzeugung erweiterter Realität in einem Raum
Karaduzovic-Hadziabdic et al. Subjective and objective evaluation of multi-exposure high dynamic range image deghosting methods
EP3172612B1 (de) Verfahren zur korrektur von auflichtreflexen in einem modularen digitalmikroskop, digitalmikroskop und datenverarbeitungsprogramm
US11256078B2 (en) Continuous scanning for localization microscopy
WO2017059993A1 (de) Verfahren zur aufnahme eines bildes mit einem mobilgerät
DE10029526C2 (de) Verfahren zur Überprüfung von Bildwiedergabegeräten
DE102017103660B4 (de) Verfahren zum betrieb einer lichtquelle für eine kamera, lichtquelle, kamera

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005235000

Ipc: H04N0023700000

R081 Change of applicant/patentee

Owner name: BAKER HUGHES HOLDINGS LLC, HOUSTON, US

Free format text: FORMER OWNER: GENERAL ELECTRIC COMPANY, SCHENECTADY, N.Y., US