DE112013006627T5

DE112013006627T5 - Verfahren, System und Prozessor zur sofortigen Erkennung und Positionierung eines Objekts

Info

Publication number: DE112013006627T5
Application number: DE112013006627.0T
Authority: DE
Inventors: Chuck Fung; Wai Tong Fung
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-02-08
Filing date: 2013-02-08
Publication date: 2015-10-22
Also published as: CN104981820A; WO2014121521A1; CN104981820B; HK1216268A1; US9576213B2; US20150371104A1

Abstract

Die Erfindung stellt ein Verfahren zur sofortigen Erkennung und Positionierung eines Objekts bereit, das die folgenden Schritte umfasst: a) das drahtlose Suchen nach einer drahtlosen Identifikation des Objekts; b) das Aufnehmen einer Vielzahl von Bildern von dem Objekt durch das Drehen um einen vorbestimmten Winkel für jede Bildaufnahme; c) das Bestimmen einer 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (xw, yw) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation; d) das Transformieren der aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten, und das Vergleichen des 3D-Musters des Objekts mit vorgespeicherten 3D-Mustern; und, e) falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, das Berechnen einer Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen des Bildes von dem Objekt verwendete Mittel angeordnet sind, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren. Die Erfindung stellt auch ein System und einen Prozessor, die das Verfahren ermöglichen, und die Verwendung des Systems bereit.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen ein Verfahren, ein System und einen Prozessor zur Erkennung und Positionierung eines Objekts sowie die Verwendung des Systems. Konkreter betrifft die vorliegende Erfindung ein Verfahren, ein System und einen Prozessor zur sofortigen Erkennung und Positionierung eines Objekts, die ein Objekt sofort positionieren können und keiner komplizierten Hardware- und Softwareinstallation bedürfen, sowie die Verwendung des Systems.
HINTERGRUND DER ERFINDUNG
In Großstädten sind die Eltern in den meisten Familien gezwungen auswärts zu arbeiten und dabei Baby, Haustier, Kind, ältere Person oder dergleichen mit einem Haushalter zu Hause zurückzulassen. Sie können Objekte nicht unverzüglich sehen und steuern, Alarme empfangen und die zu Hause vonstattengehenden Ereignisse überwachen.

Derzeit ist eine Vielzahl von Kameras und/oder Respondern zur Positionierung von Objekten notwendig, was zu hohen Hardwarekosten führt. Für einfache Nutzer kann es notwendig sein, einen Techniker zur Bewältigung der Hardwareinstallation und zum Einstellen jedes Objekts mithilfe eines komplexen Softwaremenüs zu Rate zu ziehen. Manche intelligenten privaten Systeme, die derzeit auf dem Markt verfügbar sind, ermöglichen es einem Nutzer, den Grundriss einzugeben, über welchen Objekte leicht lokalisiert werden können, und somit die Verwirrung zu reduzieren, die entsteht, wenn gleiche Objekte an unterschiedlichen Orten gesucht werden. Es gibt jedoch keine Anzeige- und Verfolgungsmöglichkeit, um zu bestätigen, welches Objekt es ist und wo es korrekt zu positionieren ist. Die meisten bestehenden intelligenten privaten Systeme verwenden Kameras lediglich zu Überwachungszwecken und steuern elektronische Objekte durch Kabel- oder drahtlose Technologien unabhängig von den Kameras, die von den Kameras aufgenommenen Bilder von den Objekten werden also nicht zur Steuerung der Objekte verwendet, und somit können diese Systeme nicht gleichzeitig ein Objekt in realer Szenerie positionieren und steuern. Die nachstehende Tabelle zeigt manche in derzeitigen Systemen verwendete Technologien:

	Lösungen	Positionierung	Steuerung
1	Drahtlose Kommunikation als 433 MHz, 900 MHz, 2.4 GHz oder dergleichen	Nein	Ja
2	RFID-System	Nein	Nein
3	Infrarot (IR)	Nein	Ja
4	3 Ultraschallrespondersätze	Ja (einzelnes Objekt)	Nein
5	3 Kamerasätze	Ja	Nein

Aufgrund der oben angeführten technischen Einschränkungen gibt es keine Lösung, die eine sofortige Positionierung eines Objekts in realer Szenerie mit nur einer Kamera ermöglicht, und mit der der Nutzer ein elektronisches Objekt nach der Positionierung in realer Szenerie steuern und eine Erkennung, Positionierung und Steuerung gleichzeitig bewerkstelligen kann. Daher sind das intelligente private System und andere bestehende Lösungen nicht nutzerfreundlich, weil sie recht kompliziert sind und dem Nutzer viel Zeit abverlangen, um über ein Kabel- oder drahtloses Netzwerk die Hardwareinstallation und die Softwareeinstellung für jedes Objekt vorzunehmen. Bei den bestehenden Systemen kann der Nutzer nicht den genauen Standort und die unmittelbare Position des Objekts bestimmen und neigt dazu, die Steuerung des Objekts mit dem von demselben Objekt ausgehenden Sofortalarm zu verwechseln. Außerdem benötigen die bestehenden Systeme eine Vielzahl von Kameras und/oder Respondern, um nach Objekten zu suchen und diese zu positionieren, und ziehen somit hohe Hardwarekosten nach sich.
ZUSAMMENFASSENDE DARSTELLUNG DER ERFINDUNG
Um die oben angeführten Probleme zu lösen, wurde die vorliegende Erfindung entwickelt, um ohne komplizierte Hardware- und Softwareinstallation ein Objekt mit nur einer Kamera sofort zu erkennen und zu positionieren, sodass der Nutzer Objekte in realer Szenerie erkennen und positionieren kann.
Dieser und weitere Vorteile der Erfindung werden durch das Bereitstellen eines Verfahren zur sofortigen Erkennung und Positionierung eines Objekts dargeboten, das die folgenden Schritte umfasst:

a) das drahtlose Suchen nach einer drahtlosen Identifikation des Objekts;
b) das Aufnehmen einer Vielzahl von Bildern von dem Objekt durch das Drehen um einen vorbestimmten Winkel für jede Bildaufnahme;
c) das Bestimmen einer 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation;
d) das Transformieren der aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten, und das Vergleichen des 3D-Musters des Objekts mit vorgespeicherten 3D-Mustern; und,
e) falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, das Berechnen einer Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen der Bilder von dem Objekt verwendete Mittel angeordnet sind, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren.

Gemäß dem Verfahren zur sofortigen Erkennung und Positionierung eines Objekts kann der Nutzer die Position des Objekts sofort erfassen, ohne für Hardware- und Softwareinstallation professionelle Hilfe anfordern zu müssen. Zudem kann der Nutzer die Objekte mithilfe automatischer Positionierung und Konfiguration der Kamera in realer Szenerie steuern. Gegebenenfalls kann der tatsächliche Standort des Objekts mit einem Alarm durch das Aufnehmen eines Bildes von dem Objekt sofort angezeigt werden, was es dem Nutzer ermöglicht, unmittelbar allfällige erforderliche Handlungen vorzunehmen.
In einer bevorzugten Ausführungsform der Erfindung kann Schritt c) ferner folgende Schritte umfassen: das Segmentieren der aufgenommenen Bilder in eine vorbestimmte Anzahl an Regionen und das Bestimmen, in welcher Region die drahtlose Identifikation des Objekts angeordnet ist; und das Vergrößern der bestimmten Region um die drahtlose Identifikation des Objekts und das Bestimmen der 2D-Mittelpunktkoordinate (x, y) des Objekts in der vergrößerten Region.
Vorzugsweise kann das Verfahren ferner Schritte des Verkleinerns der Anzahl der segmentierten Regionen zur Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts umfassen, wenn das Objekt in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder ist.
In einer bevorzugten Ausführungsform der Erfindung umfasst Schritt d) ferner die folgenden Schritte: das Vergleichen der Identifikation des Objekts mit Identifikationen vorgespeicherter 3D-Muster; und das Transformieren der Bilder, bis die Identifikation des Objekts mit einer der Identifikationen der vorgespeicherten Muster übereinstimmt.
Vorzugsweise kann das Verfahren ferner die folgenden Schritte umfassen: das Bestimmen des Prozentsatzes der Erkennung des 3D-Musters des Objekts anhand des Vergleichs zwischen dem 3D-Muster des Objekts und den vorgespeicherten 3D-Mustern; wobei, falls der Prozentsatz der Erkennung des Objekts größer oder gleich einem vorbestimmten Prozentsatz ist, das Objekt erkannt ist; und wobei, falls der Prozentsatz der Erkennung des Objekts geringer ist als ein vorbestimmter Prozentsatz, das Objekt auf seine Farbe, Textur und Umrisse analysiert wird, um erkannt zu werden.
Vorzugsweise wird IR-Datenübertragung für vollständig oder teilweise sichtbare elektronische Objekte, RFID-Datenübertragung für nicht elektronische oder verborgene Objekte verwendet.
Gemäß einer Ausführungsform wird, falls weder ein nicht-elektronisches Objekt noch seine RFID erkannt werden, die Position des nicht elektronischen Objekts mit angebrachtem RFID-Tag durch die Begrenzung der drahtlosen Suche dargestellt.
Vorzugsweise wird die Distanz zwischen der X-Y-Ebene des Objekts und dem Mittel zur Aufnahme basierend auf der Signalübertragungsgeschwindigkeit (durch einen IR-Sendeempfänger oder Blitzlichtsender) oder auf dem zum Erreichen des Objekts durch das Signal erforderlichen Energieverbrauch (zur RFID-Ablesung) berechnet.
Vorzugsweise kann das Verfahren ferner das sichtbare Steuern elektrischer Objekte in Echtzeit umfassen.
Vorzugsweise kann das Verfahren ferner den Schritt des Verwendens einer Zoomfunktion zum Feinabstimmen der Erkennung umfassen.
In einer bevorzugten Ausführungsform der Erfindung ist die Transformation Rotationstransformation.
Der zweite Aspekt der Erfindung besteht darin, ein System zur sofortigen Erkennung und Positionierung eines Objekts bereitzustellen, das eine Kamera, einen Server und einen Prozessor umfasst, worin:
die Kamera konfiguriert ist, um mit dem Prozessor zu kommunizieren und um durch das Drehen um einen vorbestimmten Winkel für jede Bildaufnahme eine Vielzahl von Bildern von dem Objekt aufzunehmen;
der Server konfiguriert ist, 3D-Muster vorzuspeichern;
der Prozessor konfiguriert ist, drahtlos nach einer drahtlosen Identifikation des Objekts zu suchen; die aufgenommenen Bilder von dem Objekt aus der Kamera zu empfangen; eine 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation zu bestimmen; die aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts zu transformieren, um ein 3D-Muster des Objekts zu erhalten, und das 3D-Muster des Objekts mit in dem Server vorgespeicherten 3D-Mustern zu vergleichen; und, falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, eine Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen des Bildes von dem Objekt verwendete Mittel angeordnet sind, zu berechnen, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren.
Der dritte Aspekt der Erfindung besteht darin, einen Prozessor zur sofortigen Erkennung und Positionierung eines Objekts bereitzustellen, der Folgendes umfasst:
Drahtlossuchmittel zum drahtlosen Suchen einer drahtlosen Identifikation des Objekts;
Empfangsmittel zum Empfangen einer Vielzahl von durch Drehen für jede Bildaufnahme um einen vorbestimmten Winkel aufgenommenen Bildern von dem Objekt;
2D-Koordinatenbestimmungsmittel zum Bestimmen einer 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation;
3D-Musterverarbeitungsmittel zur Transformation der aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten und das 3D-Muster des Objekts mit vorgespeicherten 3D-Mustern zu vergleichen; und
3D-Koordinatenbestimmungsmittel zum Bestimmen einer 3D-Mittelpunktkoordinate (x, y, z) des Objekts, um das Objekt zu erkennen und zu positionieren, durch das Berechnen einer Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen des Bildes von dem Objekt verwendete Mittel angeordnet sind, falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt.
Die Erfindung stellt ferner ein System zur sofortigen Erkennung und Positionierung eines Objekts bereits, das den obigen Prozessor und eine Kamera umfasst.
Der vierte Aspekt der Erfindung betrifft die Verwendung eines erfindungsgemäßen Systems zur Detektion des Betriebszustands eines Objekts und zum Verschieben des Objekts vom offenen oder Ein-Zustand in den geschlossenen oder Aus-Zustand, falls detektiert wird, dass das Objekt im offenen oder Ein-Zustand ist. Alternativ dazu erzeugt das System einen Alarm, um das Objekt händisch vom offenen oder Ein-Zustand in denen geschlossenen oder Aus-Zustand zu verschieben, falls detektiert wird, dass das Objekt im offenen oder Ein-Zustand ist.
Der fünfte Aspekt der Erfindung betrifft die Verwendung eines erfindungsgemäßen Systems zur Detektion der Gegenwart eines sich bewegenden Objekts.
Der sechste Aspekt der Erfindung betrifft die Verwendung eines erfindungsgemäßen Systems zur Detektion des Vorliegens einer Zeitversetzung gegenüber einer korrekten Zeit in einem Zeitmesser und das Aktivieren eines Prozessors des Zeitmessers zur Zeitkorrektur des Zeitmessers als Antwort auf das Vorliegen der Zeitversetzung.
Anders als die nach dem Stand der Technik bekannten Systeme zur Positionierung und Steuerung eines Objekts ermöglicht die Erfindung das sofortige Erkennen, Positionieren und Steuern eines elektronischen Objekts mittels IR-Technologie und eines nicht-elektronischen Objekts mittels RFID-Technologie in realer Szenerie unter Verwendung nur einer einzigen Kamera und ohne Erfordernis komplizierter Hardwareinstallation und Softwareeinstellung. Die Erfindung ermöglicht es dem Nutzer auch, die unmittelbaren Ereignisse in der Szenerie durch eine Anzeigeeinheit visuell zu überwachen und zu steuern, z. B. durch ein Smartphone mit einer darauf installierten Anwendungssoftware in drahtloser Verbindung mit dem System. So finden das Verfahren und das System der Erfindung ein breites Spektrum an Anwendungen, darunter, ohne auf diese beschränkt zu sein, private Sicherheits- und Automatisierungssysteme, Systeme zur Unterstützung von Personen mit Sehbehinderung oder Blinden beim Finden eines Objekts.
Die Objekte, Eigenschaften, Vorteile und technischen Wirkungen der Erfindung werden in der nachstehenden Beschreibung der Konzepte und Strukturen der Erfindung unter Bezugnahme auf die beigeschlossenen Zeichnungen weiter ausgeführt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Flussdiagramm eines Verfahrens zur sofortigen Erkennung, Positionierung und Steuerung eines Objekts gemäß einer Ausführungsform der Erfindung;
2 zeigt eine veranschaulichende schematische Darstellung einer Kamera, die sich dreht, um die Bilder von dem Objekt in unterschiedlichen segmentierten Regionen aufzunehmen;
3 zeigt eine veranschaulichende schematische Darstellung der Kamera, die sich um eine Y-Achse dreht, um die Bilder von dem Objekt auf einer durch X- und Y-Achse definierten Oberfläche aufzunehmen;
4 zeigt eine veranschaulichende schematische Darstellung, die zeigt, wie das Objekt durch die Vielzahl von segmentierten Regionen zu identifizieren ist;
5 zeigt eine veranschaulichende schematische Darstellung, die in einer perspektivischen Ansicht zeigt, wie das Objekt durch die Vielzahl von segmentierten Regionen zu identifizieren ist;
6 zeigt ein Blockschaltbild eines Systems zur sofortigen Erkennung, Positionierung und Steuerung eines Objekts gemäß einer Ausführungsform der Erfindung;
7a zeigt eine veranschaulichende schematische Darstellung des erfindungsgemäßen Systems, das auf der RFID-Technologie basiert; und
7b zeigt eine veranschaulichende schematische Darstellung des erfindungsgemäßen Systems, das auf IR-Technologie basiert.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Wenngleich diese Erfindung in bevorzugten Ausführungsformen veranschaulicht und beschrieben ist, kann die Erfindung in vielen unterschiedlichen Konfigurationen, Größen, Formen und Materialien hergestellt werden.
Unter Bezugnahme auf 1 ist ein Verfahren zur sofortigen Erkennung, Positionierung und Steuerung eines Objekts dargestellt. Wie dargestellt umfassen die Schritte das drahtlose Suchen nach einer drahtlosen Identifikation des Objekts in Schritt s101; das Aufnehmen einer Vielzahl von Bildern von dem Objekt durch das Drehen um einen vorbestimmten Winkel für jede Bildaufnahme in Schritt s102; das Bestimmen einer 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation in Schritt s103; das Transformieren der aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten, und das Vergleichen des 3D-Musters des Objekts mit vorgespeicherten 3D-Mustern in Schritt s104; und, falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, das Berechnen einer Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen des Bildes von dem Objekt verwendete Mittel angeordnet sind, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren, in Schritt s105.
In dieser Ausführungsform ist die 3D-Koordinate des Mittels zur Aufnahme der Klarheit und Praktikabilität halber auf (0, 0, 0) eingestellt, dann kann die z-Koordinate der 3D-Mittelpunktkoordinate (x, y, z) des Objekts basierend auf der Distanz zwischen der X-Y-Ebene des Objekts und der Position des Mittels zur Aufnahme bestimmt werden, sodass die 3D-Mittelpunktkoordinate (x, y, z) des Objekts auf Basis der in Schritt s103 erhaltenen 2D-Mittelpunktkoordinate (x, y) erhältlich ist. Die Distanz zum Mittel zur Aufnahme kann bei den elektronischen Objekten basierend auf der IR-Signalübertragungsgeschwindigkeit oder bei den nicht elektronischen Objekten basierend auf dem zum Erreichen des Objekts durch das RFID-Signal erforderlichen Energieverbrauch berechnet werden. Alternativ dazu kann eine solche Distanz in dem System vorbestimmt und vorgespeichert sein, da das Mittel zur Aufnahme und das Objekt in ihren jeweiligen fixen Positionen angebracht sind.
Das Verfahren ermöglicht das sofortige Erkennen oder Identifizieren der Position des Objekts in realer Szenerie, worauf das Steuern des Objekts durch eine Fernbedienungsstation in realer Szenerie folgt. Im Vergleich mit nach dem Stand der Technik bekannten Verfahren verwendet das Verfahren der Erfindung nur ein Aufnahmemittel zur Aufnahme der Bilder, wie z. B. eine Kamera zur Positionierung eines Objekts in Kombination mit einer IR- oder RFID-Vorrichtung, anders als die Verfahren nach dem Stand der Technik, die eine Vielzahl von Kameras benötigen. Es besteht keine Einschränkung hinsichtlich der Anbringung der Kamera, solange das Objekt so positioniert ist, dass es im Sichtfeld der Kamera ist. Sofortige Darstellungen des Objekts können auf der Anzeigeeinheit, z. B. einem Smartphone, angezeigt werden, um dem Nutzer eine Echtzeitansicht und das Anwählen der Objekte sowie eine visuelle Steuerung der angewählten Objekte über drahtlose oder Kabelnetzwerke ebenfalls in Echtzeit zu ermöglichen.
Die 2 bis 5 zeigen ein Beispiel für die Erkennung und Positionierung des Objekts unter Verwendung eines Kameramoduls, das nur eine Kameraeinheit umfasst. In diesem Beispiel ist die Kameraeinheit mit der 3D-Koordinate (0, 0, 0) konfiguriert, sich beliebig um zumindest eine von X-Achse und Y-Achse um einen vorbestimmten Winkel, z. B. 15°, zu drehen (siehe 3). In dieser Ausführungsform dreht sich die Kameraeinheit um die Y-Achse vertikal um 15°, um die Bilder auf der X-Y-Ebene aufzunehmen. Es ist möglich, dass die Kameraeinheit sich um die X-Achse dreht, um die Bilder auf der X-Y-Ebene aufzunehmen, das im Können von Fachleuten liegt. Das Arbeitsprinzip der Kamera wird nun unten stehend besprochen.
Im Allgemeinen werden die Objekte in elektronische Objekte, wie z. B. Fernsehapparat, DVD-Player oder Klimaanlage, und nicht elektronische Objekte, wie z. B. Möbel, Tier oder Mensch, unterteilt. Im Falle der elektronischen Objekte wird das Verfahren der Erfindung basierend auf der IR-Datenübertragung oder Blitzlichtdatenübertragung implementiert, und im Falle der nicht elektronischen Objekte wird das Verfahren der Erfindung basierend auf der RFID-Datenübertragung implementiert. Zur IR- oder Blitzlichtdatenübertragung ist ein IR-Sendeempfänger oder ein Blitzlichtsender auf dem Kameramodul und ein IR-Sendeempfänger oder ein Blitzlichtempfänger auf dem elektronischen Objekt bereitgestellt. Zur RFID-Datenübertragung ist ein RFID-Lesegerät auf dem Kameramodul installiert und ein RFID-Tag an dem nicht elektronischen Objekt angebracht. Nachdem des Objekt durch das Kameramodul positioniert und erkannt wurde, wird das erkannte Objekt in realer Szenerie visuell angezeigt.
Um die Positionierung zu beschleunigen, kann der Schritt s103 ferner den Schritt des Segmentierens der aufgenommenen Bilder in eine vorbestimmte Anzahl an Regionen und des Bestimmens dessen umfassen, in welcher Region die drahtlose Identifikation des Objekts 20 angeordnet ist. Zur genauen Positionierung des Objekts 20 kann der Schritt s103 ferner einen Schritt des Vergrößerns der bestimmten Region um die Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts 20 und des Bestimmens der 2D-Mittelpunktkoordinate (x, y) des Objekts 20 gemäß der Mittelpunktkoordinate (x_w, y_w) umfassen, wie in den 4 und 5 dargestellt. In diesen Figuren steht der Kreis dafür, wo die Identifikation des zu suchenden Objekts 20 in den segmentierten Regionen angeordnet ist. Die 2D-Mittelpunktkoordinate (x, y) des Objekts 20 wäre in den vergrößerten Regionen um die Mittelpunktkoordinate (x_w, y_w) der Identifikation des Objekts 20 zu bestimmen. Es ist möglich, die 2D-Mittelpunktkoordinate (x, y) des Objekts 20 unter Einsatz diverser Verfahren, wie z. B. des schnellen Algorithmus des nächsten Nachbarn, und unter Verwendung einer vorgespeicherten Standarddistanz zwischen der Mittelpunktkoordinate (x_w, y_w) der Identifikation und der 2D-Mittelpunktkoordinate (x, y) des Objekts zu suchen oder die 2D-Mittelpunktkoordinate (x, y) des Objekts 20 gemäß des vorgespeicherten Musters des Objekts 20 zu bestimmen.
Wie in den 2, 4 und 5 deutlich zu erkennen ist, ist jedes Bild in eine vorbestimmte Anzahl an Regionen segmentiert, wobei die vorbestimmte Anzahl beliebig nach geltendem Bedarf gewählt werden kann, z. B. 16 oder 32. Die 2D-Mittelpunktkoordinate (x, y) des Objekts 20 kann unter Einsatz diverser Verfahren, z. B. unter Einsatz eines fachbekannten Suchalgorithmus gesucht werden, wie z. B. des schnellen Algorithmus des nächsten Nachbarn, zur Abgleichung einzelner Merkmale mit einer Datenbank von Merkmalen, wobei der Algorithmus in Computer Graphics; Crow (1984), offenbart ist.
Um das Objekt 20 rasch zu positionieren und zu erkennen, wird die Anzahl segmentierter Regionen zur Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts 20 verkleinert, falls das Objekt 20 in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder ist. Wie z. B. in 5 dargestellt, ist die Identifikation des Objekts 20 mit der Mittelpunktkoordinate (x_w, y_w) innerhalb des Kreises und das Objekt 20 ein rechteckiger Kasten. 5 zeigt, dass die Identifikation in den Regionen A und B zu finden ist; falls das Objekt 20 in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder im rechten Abschnitt der Regionen A und B ist, kann die Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts 20 nur auf die Regionen A und B beschränkt sein.
In Schritt s104 wird die Identifikation des Objekts 20 mit Identifikationen von im System vorgespeicherten 3D-Mustern verglichen; und werden die Bilder transformiert, bis die Identifikation des Objekts 20 mit einer der Identifikationen der vorgespeicherten Muster übereinstimm.
Eine Hough-Transformation zur Detektion gerader Linien, Kreise, Ellipsen, ist ein Beispiel für die in Schritt s104 zum Ausgleich des Drehungswinkels des Objekts 20 gemäß der Bewegung der Kameraeinheit 10 verwendete Transformation, vorzugsweise wird Rotationstransformation verwendet und z. B. gemäß The Mathematics of Graphical Transformations: Vector Geometric and Coordinate-Based Approaches (vgl. DesignLab Technical Report DL-1997-03), Januar 1997, implementiert, worin die Koordinate des Objekts 20 durch Multiplizieren eines unter Verwendung der nachstehenden Formel bei Drehung des Bildes um die X-Achse, die Y-Achse bzw. die Z-Achse angeführten Faktors mit einem Winkel θ berechnet werden kann:
Angenommen, die Kameraeinheit 10 und das Objekt 20 befinden sich auf derselben durch X- und Y-Achse definierten Oberfläche, wie in 3 dargestellt, lauten die Vorgänge zur Bestimmung der Mittelpunktkoordinate (x, y) des Objekts 20 und der Distanz zwischen dem Objekt 20 und der Kameraeinheit 10 wie folgt:

1) Anwenden von Rotationstransformation, um den Rotationswinkel von Bildern von dem Objekt 20 gemäß der Drehung der Kameraeinheit 10 um eine von X- und Y-Achse auszugleichen, wobei die 2D-Mittelpunktkoordinate der Kameraeinheit 10 (0, 0) ist, wie in 4 dargestellt, worin die „-Z-Achse” die negative Richtung der Z-Achse bezeichnet. Beispielsweise werden die Bilder von dem Objekt 20 im Uhrzeigersinn um +7,5° um die Y-Achse gedreht; oder im Uhrzeigersinn um –7,5° um die X-Achse bzw. um +22,5° um die Y-Achse gedreht.
2) Suchen des vorgespeicherten Musters der Vorderansicht des Objekts 20 innerhalb der vergrößerten Abgrenzung, wie in 5 dargestellt, mittels Mustererkennung (z. B. Integral Image), worin die Vorderansicht des Objekts 20 jene aus Sicht der Kameraeinheit 10 bezeichnet.
3) Erkennen einer gedruckten kreisförmigen Markierung (die für die Identifikation steht, siehe den Kreis in den 4 und 5) um einen IR-Sendeempfänger oder einen Blitzlichtempfänger (bei elektrischen Objekten) oder eines RFID-Tags (bei nicht elektrischen Objekten) auf der Vorderansicht des Objekts 20 und Drehen durch Transformation, bis es für zu 100% gleich wie die in einer vorgespeicherten Vorderansicht des Objekts 20 angeordnete kreisförmige Markierung befunden wird. In dieser Situation können die Mittelpunktkoordinate (x_w, y_w) des IR-Sendeempfängers oder des Blitzlichtempfängers oder des RFID-Tags und verschobene Winkel der X- und Y-Achse positioniert werden.
4) Verschieben der Mittelpunktkoordinate (x_w, y_w) des IR-Sendeempfängers oder des Blitzlichtempfängers oder des RFID-Tags, um die Mittelpunktkoordinate (x, y) des Objekts 20 zu finden, z. B. können die Distanz zwischen der Mittelpunktkoordinate (x_w, y_w) des IR-Sendeempfängers/Blitzlichtempfängers/RFID-Tags und die Mittelpunktkoordinate (x, y) des Objekts 20 vorgespeichert und zur Bestimmung der Mittelpunktkoordinate (x, y) des Objekts 20 herangezogen werden.
5) Bestimmen der Distanz zwischen dem elektrischen Objekt und der Kameraeinheit 10 anhand der Übertragungsgeschwindigkeit und der Zeit während der Zweiweg-IR-Sendeempfängerkommunikation oder der Kommunikation von Blitzlichtsender und -empfänger mit der Kameraeinheit 10; oder Bestimmen der Distanz zwischen nicht elektrischem Objekt und der Kameraeinheit 10 anhand der Energieübertragung, die der Distanz zwischen dem RFID-Tag und der Kameraeinheit 10 entspricht. Diese Distanz ist die z-Koordinate der 3D-Koordinate des Objekts.
6) Verschieben der Mittelpunktkoordinate (x, y) der Vorderansicht des Objekts 20 zur 3D-Mittelpunktkoordinate (x, y, z) des Objekts 20, um das Objekt zu positionieren.

Vorzugsweise umfasst das Verfahren ferner die Schritte des Bestimmens des Prozentsatzes der Erkennung des 3D-Musters des Objekts 20 anhand des Vergleichs zwischen dem 3D-Muster des Objekts 20 und den vorgespeicherten 3D-Mustern; wobei, falls der Prozentsatz der Erkennung des Objekts 20 größer oder gleich einem vorbestimmten Prozentsatz ist, das Objekt 20 erkannt ist; wobei, falls der Prozentsatz der Erkennung des Objekts 20 geringer ist als ein vorbestimmter Prozentsatz, das Objekt 20 ferner auf seine Farbe, Textur und Umrisse analysiert wird, um identifiziert oder erkannt zu werden.
Die IR-Datenübertragung oder Blitzlichtdatenübertragung wird zum vollständigen oder teilweisen Identifizieren sichtbarer elektronischer Objekte verwendet, und die RFID-Datenübertragung wird für nicht elektronische oder verborgene Objekte erfindungsgemäß verwendet. Es ist hinlänglich fachbekannt, dass die Datenkommunikationsprotokolle von Blitzlicht und Infrarot gleich sind und sich nur durch die Lichtfrequenz voneinander unterscheiden.
Das gesamte 3D-Muster des Objekts 20 würde durch Transformation bestätigt, falls der Prozentsatz der Erkennung des Objekts 20 gemäß der Vorderansicht des Objekts 20 größer wäre als 90%.
Die Positionierung und Erkennung annähernder, verborgener oder überlappender Objekte wird im Folgenden beschrieben:

1) Überlappende Objekte: Falls der Prozentsatz der Erkennung des Objekts 20 geringer ist als 90%, bedeutet das, dass das Objekt 20 überlappt ist. In diesem Fall können bekannte Identifikationsverfahren für ein Objekt angewandt werden, um die Teilansicht des Objekts 20 zu differenzieren, z. B. Farbe, Textur, Umrisse etc.
2) Annähernde Objekte: Falls zwei oder mehrere Objekte innerhalb einer Region angeordnet sind, kann die gedruckte kreisförmige Markierung mit IR/RFID-Technologie ihre Positionierung nicht differenzieren, selbst wenn ihre Identifikationen unterschiedlich sind. In diesem Fall würde 3D-Transformation angewandt, um die Objekte gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts 20 zu differenzieren.
3) Teilweise oder vollständig verborgene Objekte: Die verborgenen Objekte werden gemäß der vorliegenden Erfindung nur durch das RFID-Suchverfahren positioniert. Falls die gedruckte kreisförmige Markierung auf dem Objekt 20 nicht gefunden werden kann, das 3D-Muster des Objekts 20 aber teilweise durch Transformation innerhalb der Region gemäß der RFID-Suchabgrenzung erkannt wird, kann die 2D-Mittelpunktkoordinate (x, y) des Objekts 20 bestimmt werden. Falls sowohl das Objekte 20 als auch seine gedruckte kreisförmige Markierung nicht erkannt werden können, würde die Position des Objekts 20 durch die Region gemäß der RFID-Suchabgrenzung dargestellt.

Falls weder ein nicht elektronisches Objekt noch seine RFID erkannt wird, wird die Position des nicht elektronischen Objekts mit angebrachtem RFID-Tag durch die Abgrenzung der drahtlosen Suche dargestellt.
Vorzugsweise wird die Distanz zwischen der X-Y-Ebene des Objekts 20 und dem Mittel zur Aufnahme basierend entweder auf der IR-Signalübertragungsgeschwindigkeit oder auf dem zum Erreichen des Objekts durch das RFID-Signal erforderlichen Energieverbrauch berechnet. Konkreter wird zur Identifikation der elektronischen Objekte basierend auf IR-Technologie die Distanz gemäß der Übertragungsgeschwindigkeit des IR-Signals berechnet; zur Identifikation nicht elektronischer Objekte basierend auf RFID-Technologie wird die Distanz gemäß der zum Erreichen des Objekts durch das RFID-Signal erforderlichen Energie berechnet. Das Verfahren umfasst ferner den Schritt des sichtbaren Steuerns elektrischer Objekte in Echtzeit in Schritt 106.
Vorzugsweise kann das Verfahren ferner den Schritt des Aktivierens des Mittels zur Aufnahme, eine Zoomfunktion zum Feinabstimmen der Erkennung zu verwenden, umfassen. Die Transformation wird in der Erfindung zum Ausgleichen des Rotationswinkels des Objekts 20 gemäß der Bewegung der Kameraeinheit 10 verwendet, wie z. B. Rotationstransformation, die den Prozentsatz der Erkennungsgenauigkeit erhöhen kann.
Die Vorgänge zur Erkennung, Positionierung und Steuerung eines Objekts durch eine Kamera gemäß der Erfindung lauten wie folgt:

1) Aktivieren einer Kameraeinheit 10 und eines IR-Sendeempfängers oder eines Blitzlichtsenders oder eines RFID-Lesegeräts, das Objekt 20 zu suchen, wie in 2 dargestellt;
2) Finden des Objekts 20 mittels des IR-Sendeempfängers oder des Blitzlichtsenders oder des RFID-Lesegeräts;
3) Drehen um 30° (je nach Sichtwinkel der Kameraeinheit 10) pro Schritt sowohl der X- als auch der Y-Achse pro Bildaufnahme, wie in 3 dargestellt;
4) Segmentieren in 4 × 4 = 16 Regionen (je nach Rechenleistung) pro Bild, wie in 4 dargestellt; Mit den obigen aus den Bildern erhaltenen Informationen kann das Objekt 20 unter Einsatz eines Bilderkennungsverfahrens wie folgt positioniert werden:
5) Bestätigen, in welcher Region/welchen Regionen das Objekt 20 angeordnet ist;
6) Vergrößern der Erkennungsabgrenzung um das Objekt 20 auf den Regionen, wie in 5 dargestellt, worin die Geometrie des Objekts 20 in einer MCU vorgeladen ist;
7) Erkennen und Positionieren des identifizierten Objekts 20 innerhalb der vergrößerten Abgrenzung, was Folgendes umfasst: (1) Transformieren der Vorderansicht des Objekts 20 unter Verwendung von Rotationstransformation gemäß der Kameraeinheit 10, die sich durch unterschiedliche Sichtwinkel dreht; (2) schnelles Suchen der 2D-Mittelpunktkoordinate (x, y) eines gedrehten und skalierten Bildes innerhalb der vergrößerten Abgrenzung durch Integral Image; (3) Transformieren der 3D-Geometrie gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts 20 durch Rotationstransformation um eine beliebige Achse; (4) Bestimmen des Prozentsatzes der Erkennung, die das Objekt 20 identifizieren kann, wenn es mit einem anderen Objekt überlappt oder hinter diesem verborgen ist; (5) Identifizieren des überlappten (durch IR-Sendeempfänger oder Blitzlichtsender oder RFID-Lesegerät) oder verborgenen (durch RFID-Lesegerät) Objekts 20 bei (2) und (3) durch Vergleich des Objekts 20 mit den vorgespeicherten Daten in Hinblick auf Farbe, Textur, Umrisse, Ecke oder dergleichen; (6) Betätigen der Kameraeinheit 10, sodass die eine Zoomfunktion dazu verwendet, die Erkennung feinabzustimmen;
8) Berechnen der Distanz von der Kameraeinheit 10 bis zum Objekt 20 gemäß der Verzögerung der IR-Signalübertragung oder gemäß dem Energieverbrauch der RFID-Ablesung, um die z-Koordinate des Objekts 20 zu erhalten, wodurch die 3D-Mittelpunktkoordinate (x, y, z) basierend auf der obigen 2D-Mittelpunktkoordinate (x, y) und der z-Koordinate des Objekts 20 bestimmt wird.

Dann wird das Objekt positioniert und erkannt, selbst wenn es teilweise oder vollständig verborgen ist. Wenn die positionierte und erkannte Position auf einer Anzeigeeinheit, z. B. einem Smartphone oder Fernsehschirm, angezeigt wird, erlaubt dies dem Nutzer, das Objekt in Echtzeit anzuwählen und das angewählte Objekt durch die Anzeigeeinheit in realer Szenerie über drahtlose oder Kabelnetzwerke zu steuern.
Unter Bezugnahme auf 6 ist ein System zur sofortigen Erkennung, Positionierung und Steuerung eines Objekts veranschaulicht, das eine Kamera 100, einen Server 200 und einen Prozessor 300 zeigt, die miteinander über ein drahtloses Netzwerk verbunden sind.
Die Kamera 100, die voreingestellt ist, die 3D-Koordinate (0, 0, 0) aufzuweisen, ist konfiguriert, mit dem Prozessor 300 zu kommunizieren und durch Drehen um einen vorbestimmten Winkel für jede Bildaufnahme eine Vielzahl von Bildern von dem Objekt aufzunehmen.
Der Server 200 ist konfiguriert, 3D-Muster vorzuspeichern. Erfindungsgemäß kann der Server 200 von dem Prozessor 300 getrennt oder in den Prozessor 300 eingebaut sein. Es ist offenkundig, dass die Daten, wie z. B. die 3D-Muster, in einem eigenen Speicher gespeichert sein können. Vorzugsweise wird der Server 200 mit den relevanten Informationen, einschließlich der Position der Kamera 100 mit der Koordinate (0, 0, 0), des 3D-Musters einer Vielzahl von zu überwachenden Objekten, z. B. einer Tür, eines Fensters oder eines Fernsehers oder eines sonstigen Haushaltsgeräts, vorgespeichert. Die in dem Server gespeicherten Informationen umfassen Form, Größe, Farbe, Textur, Umrisse der Objekte, Identifikation der Objekte, die Distanz zwischen dem Mittelpunkt der Objekte und ihren Identifikationen und dergleichen. Die 3D-Muster des Objekts hierin sind durch die dreidimensionalen räumlichen Modelle des Objekts mit den Merkmalsinformationen ihrer Form, Größe, Farbe, Oberflächentextur, Umrisse und dergleichen gekennzeichnet und können von einem Anbieter oder Nutzer vorgespeichert werden.
Der Prozessor 300 ist konfiguriert, drahtlos nach einer drahtlosen Identifikation des Objekts zu suchen; die aufgenommenen Bilder von dem Objekt aus der Kamera 100 zu empfangen; die 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation zu bestimmen; die aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts zu transformieren, um ein 3D-Muster des Objekts zu erhalten, und das 3D-Muster des Objekts mit in dem Server vorgespeicherten 3D-Mustern zu vergleichen; und, falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, eine Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen des Bildes von dem Objekt verwendete Mittel angeordnet sind, zu berechnen, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren.
Im Betrieb sucht der Prozessor 300, um die Identifikation des Objekts mittels des IR-Signals oder des RFID-Signals zu identifizieren, um die Koordinate (x_w, y_w) der Identifikation zu bestimmen. Dann wird die Kamera 100 durch den Prozessor 300 aktiviert, um durch Drehen um einen vorbestimmten Winkel für jede Bildaufnahme eine Vielzahl von Bildern von dem Objekt aufzunehmen und die aufgenommenen Bilder an den Prozessor 300 zu übertragen, wobei die 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf der Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts bestimmt wird. Dann transformiert der Prozessor 300 die aufgenommenen Bilder des Objekts gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten, und vergleicht das 3D-Muster des Objekts mit den im Server 200 vorgespeicherten 3D-Mustern. Falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, wird die Distanz zwischen der X-Y-Ebene des Objekts und der Position der Kamera 100 berechnet, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird. Nachdem das Objekt positioniert und erkannt wurde, wird das Objekt auf einer Anzeigevorrichtung angezeigt und kann durch den Nutzer visuell in Echtzeit gesteuert werden.
Im Falle eines elektronischen Objekts kann es eingehende Befehle empfangen und durch den Prozessor 300 in realer Szenerie gesteuert werden. Vorzugsweise ist der Prozessor 300 ferner konfiguriert, die aufgenommenen Bilder in eine vorbestimmte Anzahl an Regionen zu segmentieren und zu bestimmen, in welchen Regionen die drahtlose Identifikation des Objekts angeordnet ist; die bestimmten Regionen um die drahtlose Identifikation des Objekts zu vergrößern und die 2D-Mittelpunktkoordinate (x, y) des Objekts in der vergrößerten Region zu bestimmen.
Vorzugsweise ist der Prozessor 300 ferner konfiguriert, die Anzahl der segmentierten Regionen zur Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts zu verkleinern, falls das Objekt in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder ist.
Vorzugsweise ist der Prozessor 300 ferner konfiguriert, die Identifikation des Objekts mit Identifikationen vorgespeicherter 3D-Muster zu vergleichen; die Bilder zu transformieren, bis die Identifikation des Objekts mit einer der Identifikationen der vorgespeicherten Muster übereinstimmt.
Vorzugsweise ist der Prozessor 300 ferner konfiguriert, den Prozentsatz der Erkennung des D-Musters des Objekts anhand des Vergleichs zwischen dem 3D-Muster des Objekts und den vorgespeicherten 3D-Mustern zu bestimmen; wobei, falls der Prozentsatz der Erkennung des Objekts größer oder gleich einem vorbestimmten Prozentsatz ist, das Objekt erkannt ist; wobei, falls der Prozentsatz der Erkennung des Objekts geringer ist als ein vorbestimmter Prozentsatz, das Objekt auf seine Farbe, Textur und Umrisse analysiert wird, um erkannt zu werden.
Wie oben stehend besprochen, wird die IR-Technologie für vollständig oder teilweise sichtbare elektronische Objekte, die RFID-Technologie für nicht elektronische oder verborgene Objekte verwendet.
Falls weder ein nicht elektronisches Objekt noch seine RFID erkannt werden, wird die Position des nicht elektronischen Objekts mit angebrachtem RFID-Tag durch die Begrenzung der drahtlosen Suche dargestellt.
Vorzugsweise wird die Distanz zwischen der X-Y-Ebene des Objekts und dem Mittel zur Aufnahme basierend auf der Signalübertragungsgeschwindigkeit oder auf dem zum Erreichen des Objekts durch das Signal erforderlichen Energieverbrauch berechnet wird.
Vorzugsweise ist der Prozessor 300 ferner konfiguriert, elektrische Objekte in Echtzeit sichtbar zu steuern.
Vorzugsweise ist der Prozessor 300 ferner konfiguriert, die Kamera 100 so zu betätigen, dass sie eine Zoomfunktion zum Feinabstimmen der Erkennung verwendet; die Kamera 100 wird aktiviert, eine Zoomfunktion zum Feinabstimmen der Erkennung zu verwenden, wenn sie durch den Prozessor 300 betätigt wird.
Bei der Erfindung wird zum Ausgleichen des Rotationswinkels des Objekts gemäß der Bewegung der Kamera die Transformation eingesetzt, wie z. B. Rotationstransformation.
Die 7a und 7b sind zwei konkrete Beispiele für das System der Erfindung. In 7a basiert das System auf der RFID-Technologie und wird für nicht elektrische Objekte verwendet, umfasst ein Kameramodul 110 und ein interaktives Tag-Modul 120. In diesem Beispiel umfasst das Kameramodul 110 ein RFID-Lesegerät 111 zur Identifikation des Objekts durch das Ablesen von HF-Signalen von dem interaktiven Tag-Modul 120, eine Kameraeinheit 112 zum Aufnehmen von Bildern von dem Objekt, eine MCU 115, die als Prozessor fungiert, eine drahtlose Einheit 113 zum Empfangen eines Befehls von dem Nutzer und zum Zustellen des Befehls am die MCU 115, um die Objekte sofort nach Bedarf zu steuern, Energie 114 zur Energieversorgung des Kameramoduls und einen Speicher 116 zum Speichern der Daten, einschließlich der vorgespeicherten 3D-Muster aller Objekte in einem gegebenen Umstand. Das interaktive Tag-Modul 120 umfasst eine HF-Induktionsspule 121 zum Senden von HF-Signalen an das RFID-Lesegerät 111, Energie 122 zur Energieversorgung des Tag-Moduls, einen Speicher 123, eine MCU 124, eine LCD 125. Das interaktive Tag-Modul 120 kann auf einer äußeren Oberfläche des Objekts angebracht oder in das Objekt eingebaut sein.
7b ist das erfindungsgemäße, auf IR-Technologie basierende und für elektrische Systeme verwendete System, das ein Kameramodul 210 und ein interaktives HF-Tag-Modul 220 umfasst. In diesem Beispiel umfasst das Kameramodul 210 einen IR-Sendeempfänger 211, der in der Lage ist, mit dem interaktiven Tag-Modul 220 zu kommunizieren und ein Objekt durch Empfangen von Signalen aus dem interaktiven Tag-Modul 220 zu empfangen, eine Kameraeinheit 212 zum Aufnehmen von Bildern von Objekten, eine MCU 215, die als Prozessor fungiert, eine drahtlose Einheit 213 zum Empfangen eines Befehls von dem Nutzer und zum Zustellen des Befehls am die MCU 215, um die Objekte sofort nach Bedarf zu steuern, Energie 214 zur Energieversorgung des Kameramoduls und einen Speicher 211 zum Speichern der Daten, einschließlich der vorgespeicherten 3D-Muster aller Objekte in einem gegebenen Umstand. Das interaktive Tag-Modul 220 umfasst einen IR-Sendeempfänger 221 (der gleich wie der IR-Sendeempfänger 211 oder unterschiedlich sein kann) zum Kommunizieren mit dem IR-Sendeempfänger 211, Energie 222 zur Energieversorgung des Tag-Moduls, einen Speicher 223, eine MCU 224, eine LCD 225. Das interaktive Tag-Modul 220 kann auf einer äußeren Oberfläche des Objekts angebracht oder in das Objekt eingebaut sein.
Im Allgemeinen sind das Kameramodul 110 in 7a und das Kameramodul 210 in 7b als ein Modul integriert, das in der Lage ist, sowohl die elektronischen als auch die nicht elektronischen Objekte zu verarbeiten.
Erfindungsgemäß ist ferner die Verwendung des erfindungsgemäßen Systems zur Detektion des Betriebszustands eines Objekts und zum Verschieben des Objekts vom offenen oder Ein-Zustand in den geschlossenen oder Aus-Zustand, falls detektiert wird, dass das Objekt im offenen oder Ein-Zustand ist, bereitgestellt. Zu diesem Zweck ist der Prozessor der Erfindung konfiguriert, zu detektieren, ob das Zielobjekt in normaler Position oder normalem Zustand ist, indem das 3D-Muster des Objekts in dieser Position mit den vorgespeicherten 3D-Mustern des Objekts in normaler Position verglichen wird. Liegt ein Unterschied im 3D-Muster vor, erzeugt das System der Erfindung einen Alarm an den Nutzer zum händischen Verschieben des Objekts vom offenen oder Ein-Zustand in den geschlossenen oder Aus-Zustand; oder zum automatischen Ausschalten des Objekts. Beispielsweise kann das System detektieren, ob eine Tür oder ein Fenster richtig geschlossen ist, wenn der Nutzer von zu Hause weggeht; und detektiert, ob das elektronische Gerät, wie z. B. der Fernsehapparat oder der DVD-Player, eingeschaltet ist, wenn der Nutzer nicht zu Hause ist. Mithilfe des Systems wäre der/die Nutzer/in in der Lage, sein/ihr Zuhause effizient und intelligent zu verwalten und zu steuern.
Das erfindungsgemäße System kann eine weitere Anwendung im Detektieren der Gegenwart eines sich bewegenden Objekts finden. Konkret kann das System der Erfindung dazu verwendet werden, zu detektieren, ob ein Objekt wie Menschen oder Haustiere, sich im Sichtfeld der Kameraeinheit bewegt. Insbesondere ist das System konfigurierbar, die Bilder von einem bestimmten Objekt wie einem Fernsehapparat periodisch aufzunehmen und zu vergleichen und legt, falls die Bilder von dem Fernsehapparat in zwei Momenten unterschiedlichen sind, nahe, dass sich etwas vor dem Fernsehapparat bewegt, und dann würde das System ein Alarmsignal erzeugen. Dies ist besonders nützlich, um zu detektieren, ob jemand in das Zuhause eingebrochen ist.
Eine weitere Verwendung des erfindungsgemäßen Systems dient der Zeitkorrektur. Das System kann konfigurierbar sein, die Gegenwart einer Zeitversetzung gegenüber einer korrekten Zeit in einem Zeitmesser zu detektieren und als Antwort auf das Vorliegen der Zeitversetzung einen Prozessor des Zeitmessers zur Zeitkorrektur des Zeitmessers zu aktivieren. Insbesondere würde das System der Erfindung periodisch Bilder von der Vorderansicht des Zeitmessers durch die Kamera aufnehmen, um die angezeigte Zeit des Zeitmessers zu erkennen, und bestimmen, ob die angezeigte Zeit des Zeitmessers korrekt ist. Falls eine Zeitversetzung gegenüber der korrekten Zeit vorliegt, würde das System, genauer gesagt der Prozessor oder das System, ein Zeitsignal, das die Informationen darüber enthält, um wie viel die angezeigte Zeit gegenüber der korrekten Zeit vor- oder nachgeht, an den MCU- oder CPU-Prozessor des Zeitmessers senden, der dann dazu aktiviert wird, die angezeigte Zeit auf die korrekte Zeit zu korrigieren. Im Allgemeinen ist der MCU- oder CPU-Prozessor des Zeitmessers vorkonfiguriert, mit dem System der Erfindung durch IR-Signalübertragung oder verschlüsselte Blitzlichtsignalübertragung zu kommunizieren, und kann die Zeit automatisch umstellen. ein Beispiel für das Blitzlicht ist das sichtbare Licht. Gemäß der Ausführungsform der Erfindung ist der MCU- oder CPU-Prozessor des Zeitmessers konfiguriert, einen IR-Empfänger für die IR-Signalübertragung oder einen Lichtsensor für die verschlüsselte Blitzlichtsignalübertragung aufzuweisen. Das durch das System der Erfindung gesendete Signal wird in einem binären digitalen Kode gemäß einem Übertragungsprotokoll, wie z. B. einem CRC-Kodeprotokoll, bereitgestellt. Das verschlüsselte Signal enthält die Informationen darüber, wie stark die Zeitversetzung ist und ob die angezeigte Zeit gegenüber der richtigen Zeit vor- oder nachgeht. Die Konstruktion eines verschlüsselten Signals liegt im Können von Fachleuten und wird daher hierin nicht beschrieben.
Besonders nützlich ist das zur Zeitkorrektur dieser Zeitmesser, wenn der funkgesteuerte Takt nicht verfügbar ist, da das System der Erfindung eine weitere Quelle für korrekte Zeit für den Zeitmesser bereitstellt.
Einer der Vorteile des erfindungsgemäßen Systems besteht darin, dass keine zusätzliche Funkinterferenz die medizinische Ausrüstung in einem Krankenhaus und einer Klinik beeinträchtigt, wenn es dort zum Einsatz kommt, weil es auf IR- oder RFID-Technologie und Sichtlinienkommunikation über kurze Reichweiten basiert.
Die obigen Mittel und Verfahren können durch Rechnerprogramme, Software und/oder Hardware ausgeführt werden, die in jedweder Kombination in CPU, Mikroprozessoren etc. eingebaut werden können.
Somit stellt die vorliegende Erfindung Verfahren, Systeme und Prozessoren bereit, die das sofortige Erkennen, Positionieren und Steuern eines Objekts unter Verwendung nur einer Kamera ermöglichen, ohne dass komplizierte Hardwareinstallation oder Softwareeinstellung erforderlich wäre, sodass der Nutzer das aktive Objekt nach dem automatischen Positionieren des Objekts in realer Szenerie leicht steuern kann.
Nach hinreichender Beschreibung der Beschaffenheit der vorliegenden Erfindung gemäß mancher bevorzugter Ausführungsform sollte die Erfindung jedoch nicht auf die Strukturen und Funktionen der Ausführungsformen und Zeichnungen beschränkt werden. Es sei darauf hingewiesen, dass sie, sofern ihr Grundprinzip nicht verändert, abgeändert oder modifiziert wird, Detailabwandlungen unterzogen werden kann. Zahlreiche Variationen und Modifikationen, die leicht mithilfe von Mitteln des Allgemeinwissens von Fachleuten erhältlich sind, ohne vom Schutzumfang der Erfindung abzuweichen, sollten in den Schutzumfang dieser Erfindung fallen.

Claims

Verfahren zur sofortigen Erkennung und Positionierung eines Objekts, das die folgenden Schritte umfasst: a) das drahtlose Suchen nach einer drahtlosen Identifikation des Objekts; b) das Aufnehmen einer Vielzahl von Bildern von dem Objekt durch das Drehen um einen vorbestimmten Winkel für jede Bildaufnahme; c) das Bestimmen einer 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation; d) das Transformieren der aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten, und das Vergleichen des 3D-Musters des Objekts mit vorgespeicherten 3D-Mustern; und, e) wenn das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, das Berechnen einer Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen der Bilder von dem Objekt verwendete Mittel angeordnet sind, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren.
Verfahren nach Anspruch 1, worin Schritt c) ferner die folgenden Schritte umfasst: das Segmentieren der aufgenommenen Bilder in eine vorbestimmte Anzahl an Regionen und das Bestimmen dessen, in welcher Region die drahtlose Identifikation des Objekts angeordnet ist; das Vergrößern der bestimmten Region um die drahtlose Identifikation des Objekts und das Bestimmen der 2D-Mittelpunktkoordinate (x, y) des Objekts in der vergrößerten Region.
Verfahren nach Anspruch 2, das ferner einen folgenden Schritt umfasst: das Verkleinern der Anzahl der segmentierten Regionen zur Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts, falls das Objekt in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder ist.
Verfahren nach Anspruch 1, worin Schritt d) ferner die folgenden Schritte umfasst: das Vergleichen der Identifikation des Objekts mit Identifikationen vorgespeicherter 3D-Muster; das Transformieren der Bilder, bis die Identifikation des Objekts mit einer der Identifikationen der vorgespeicherten Muster übereinstimmt.
Verfahren nach Anspruch 4, das ferner die folgenden Schritte umfasst: das Bestimmen des Prozentsatzes der Erkennung des 3D-Musters des Objekts anhand des Vergleichs zwischen dem 3D-Muster des Objekts und den vorgespeicherten 3D-Mustern; wobei, falls der Prozentsatz der Erkennung des Objekts größer oder gleich einem vorbestimmten Prozentsatz ist, das Objekt erkannt ist; wobei, falls der Prozentsatz der Erkennung des Objekts geringer ist als ein vorbestimmter Prozentsatz, das Objekt auf seine Farbe, Textur und Umrisse analysiert wird, um erkannt zu werden.
Verfahren nach einem der Ansprüche 1 bis 5, worin IR-Datenübertragung oder Blitzlichtdatenübertragung für vollständig oder teilweise sichtbare elektronische Objekte verwendet wird, RFID-Datenübertragung für nicht elektronische oder verborgene Objekte verwendet wird.
Verfahren nach Anspruch 6, worin: falls weder ein nicht elektronisches Objekt noch seine RFID erkannt werden, die Position des nicht elektronischen Objekts mit angebrachtem RFID-Tag durch die Abgrenzung der drahtlosen Suche dargestellt wird.
Verfahren nach einem der Ansprüche 1 bis 5, worin die Distanz zwischen der X-Y-Ebene des Objekts und dem Mittel zur Aufnahme basierend auf der Signalübertragungsgeschwindigkeit oder auf dem zum Erreichen des Objekts durch das Signal erforderlichen Energieverbrauch berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 5, das ferner den folgenden Schritt umfasst: das sichtbare Steuern elektrischer Objekte in Echtzeit.
Verfahren nach einem der Ansprüche 1 bis 5, das ferner einen folgenden Schritt umfasst: das Verwenden einer Zoomfunktion zum Feinabstimmen der Erkennung.
Verfahren nach einem der Ansprüche 1 bis 5, worin die Transformation Rotationstransformation ist.
System zur sofortigen Erkennung und Positionierung eines Objekts, das eine Kamera, einen Server und einen Prozessor umfasst, worin: die Kamera konfiguriert ist, mit dem Prozessor zu kommunizieren und durch das Drehen um einen vorbestimmten Winkel für jede Bildaufnahme eine Vielzahl von Bildern von dem Objekt aufzunehmen; der Server konfiguriert ist, 3D-Muster vorzuspeichern; der Prozessor konfiguriert ist: drahtlos nach einer drahtlosen Identifikation des Objekts zu suchen; die aufgenommenen Bilder von dem Objekt aus der Kamera zu empfangen; eine 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation zu bestimmen; die aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts zu transformieren, um ein 3D-Muster des Objekts zu erhalten, und das 3D-Muster des Objekts mit in dem Server vorgespeicherten 3D-Mustern zu vergleichen; und, falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt, eine Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen der Bilder von dem Objekt verwendete Mittel angeordnet sind, zu berechnen, um eine Koordinate z für das Objekt zu bestimmen, wodurch eine 3D-Mittelpunktkoordinate (x, y, z) des Objekts erhalten wird, um das Objekt zu erkennen und zu positionieren.
System nach Anspruch 12, worin der Prozessor ferner konfiguriert ist: die aufgenommenen Bilder in eine vorbestimmte Anzahl an Regionen zu segmentieren und zu bestimmen, in welchen Regionen die drahtlose Identifikation des Objekts angeordnet ist; die bestimmten Regionen um die drahtlose Identifikation des Objekts zu vergrößern und die 2D-Mittelpunktkoordinate (x, y) des Objekts in den vergrößerten Regionen zu bestimmen.
System nach Anspruch 13, worin der Prozessor ferner konfiguriert ist: die Abdeckung zur Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts zu verkleinern, falls das Objekt in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder ist.
System nach Anspruch 12, worin der Prozessor ferner konfiguriert ist: die Identifikation des Objekts mit Identifikationen vorgespeicherter 3D-Muster zu vergleichen; die Bilder zu transformieren, bis die Identifikation des Objekts mit einer der Identifikationen der vorgespeicherten Muster übereinstimmt.
System nach Anspruch 15, worin der Prozessor ferner konfiguriert ist: den Prozentsatz der Erkennung des 3D-Musters des Objekts anhand des Vergleichs zwischen dem 3D-Muster des Objekts und den vorgespeicherten 3D-Mustern zu bestimmen; wobei, falls der Prozentsatz der Erkennung des Objekts größer oder gleich einem vorbestimmten Prozentsatz ist, das Objekt erkannt ist; wobei, falls der Prozentsatz der Erkennung des Objekts geringer ist als ein vorbestimmter Prozentsatz, das Objekt auf seine Farbe, Textur und Umrisse analysiert wird, um erkannt zu werden.
System nach einem der Ansprüche 12 bis 16, worin IR-Datenübertragung oder Blitzlichtdatenübertragung für vollständig oder teilweise sichtbare elektronische Objekte verwendet wird, RFID-Datenübertragung für nicht elektronische oder verborgene Objekte verwendet wird.
System nach Anspruch 17, worin, falls weder ein nicht elektronisches Objekt noch seine RFID erkannt werden, die Position des nicht elektronischen Objekts mit angebrachtem RFID-Tag durch die Abgrenzung der drahtlosen Suche dargestellt wird.
System nach einem der Ansprüche 12 bis 16, worin die Distanz zwischen der X-Y-Ebene des Objekts und dem Mittel zur Aufnahme basierend auf der Signalübertragungsgeschwindigkeit oder auf dem zum Erreichen des Objekts durch das Signal erforderlichen Energieverbrauch berechnet wird.
System nach einem der Ansprüche 12 bis 16, worin der Prozessor ferner konfiguriert ist: elektrische Objekte in Echtzeit sichtbar zu steuern.
System nach einem der Ansprüche 12 bis 16, worin der Prozessor ferner konfiguriert ist: die Kamera so zu betätigen, dass sie eine Zoomfunktion zum Feinabstimmen der Erkennung verwendet.
System nach einem der Ansprüche 12 bis 16, worin die Transformation Rotationstransformation ist.
Verwendung des Systems nach Ansprüchen 12 bis 22 zur Detektion des Betriebszustands eines Objekts und zur Ermöglichung des händischen oder automatischen Verschiebens des Objekts vom offenen oder Ein-Zustand in den geschlossenen oder Aus-Zustand, falls detektiert wird, dass das Objekt im offenen oder Ein-Zustand ist.
Verwendung des Systems nach Anspruch 23, worin das Objekt eine Tür, ein Fenster oder ein elektronisches Gerät ist.
Verwendung des Systems nach Ansprüchen 12 bis 22 zur Detektion der Gegenwart eines sich bewegenden Objekts.
Verwendung des Systems nach Anspruch 25, worin das Objekt eine Person ist.
Verwendung des Systems nach Ansprüchen 12 bis 22 zur Detektion des Vorliegens einer Zeitversetzung gegenüber einer korrekten Zeit in einem Zeitmesser und das Aktivieren eines Prozessors des Zeitmessers zur Zeitkorrektur des Zeitmessers als Antwort auf das Vorliegen der Zeitversetzung.
Prozessor zur sofortigen Erkennung und Positionierung eines Objekts, der Folgendes umfasst: Drahtlossuchmittel zum drahtlosen Suchen einer drahtlosen Identifikation des Objekts; Empfangsmittel zum Empfangen einer Vielzahl von durch Drehen für jede Bildaufnahme um einen vorbestimmten Winkel aufgenommenen Bildern von dem Objekt; 2D-Koordinatenbestimmungsmittel zum Bestimmen einer 2D-Mittelpunktkoordinate (x, y) des Objekts basierend auf einer Mittelpunktkoordinate (x_w, y_w) der drahtlosen Identifikation des Objekts durch Punkt-zu-Punkt-Kommunikation; 3D-Musterverarbeitungsmittel zur Transformation der aufgenommenen Bilder von dem Objekt gemäß der 2D-Mittelpunktkoordinate (x, y) des Objekts, um ein 3D-Muster des Objekts zu erhalten und das 3D-Muster des Objekts mit vorgespeicherten 3D-Mustern zu vergleichen; und 3D-Koordinatenbestimmungsmittel zum Bestimmen einer 3D-Mittelpunktkoordinate (x, y, z) des Objekts, um das Objekt zu erkennen und zu positionieren, durch das Berechnen einer Distanz zwischen einer durch die X- und die Y-Achse des Objekts definierten Ebene und einer Position, wo zum Aufnehmen der Bilder von dem Objekt verwendete Mittel angeordnet sind, falls das 3D-Muster des Objekts mit einem vorgespeicherten 3D-Muster übereinstimmt.
Prozessor nach Anspruch 28, worin das 2D-Koordinatenbestimmungsmittel ferner Folgendes umfasst: Segmentierungsmittel zum Segmentieren der aufgenommenen Bilder in eine vorbestimmte Anzahl an Regionen und zum Bestimmen dessen, in welchen Regionen die drahtlose Identifikation des Objekts angeordnet ist; Vergrößerungsmittel zum Vergrößern der bestimmten Regionen um die drahtlose Identifikation des Objekts und zum Bestimmen der 2D-Mittelpunktkoordinate (x, y) des Objekts in den vergrößerten Regionen.
Prozessor nach Anspruch 29, worin das 2D-Koordinatenbestimmungsmittel ferner Folgendes umfasst: Verkleinerungsmittel zum Verkleinern der Abdeckung zur Bestimmung der 2D-Mittelpunktkoordinate (x, y) des Objekts, falls das Objekt in überlappenden Regionen unterschiedlicher Bilder oder der gleichen Bilder ist.
Prozessor nach Anspruch 28, worin das 3D-Musterverarbeitungsmittel ferner Folgendes umfasst: Vergleichsmittel zum Vergleichen der Identifikation des Objekts mit Identifikationen vorgespeicherter 3D-Muster; Transformationsmittel zum Transformieren der Bilder, bis die Identifikation des Objekts mit einer der Identifikationen der vorgespeicherten Muster übereinstimmt.
Prozessor nach Anspruch 31, der ferner Folgendes umfasst: Erkennungsprozentsatzbestimmungsmittel zum Bestimmen des Prozentsatzes der Erkennung des 3D-Musters des Objekts anhand des Vergleichs zwischen dem 3D-Muster des Objekts und den vorgespeicherten 3D-Mustern; wobei, falls der Prozentsatz der Erkennung des Objekts größer oder gleich einem vorbestimmten Prozentsatz ist, das Objekt erkannt ist; wobei, falls der Prozentsatz der Erkennung des Objekts geringer ist als ein vorbestimmter Prozentsatz, das Objekt auf seine Farbe, Textur und Umrisse analysiert wird, um erkannt zu werden.
Prozessor nach einem der Ansprüche 28 bis 32, worin IR-Datenübertragung oder Blitzlichtdatenübertragung für vollständig oder teilweise sichtbare elektronische Objekte verwendet wird, RFID-Datenübertragung für nicht elektronische oder verborgene Objekte verwendet wird.
Prozessor nach Anspruch 33, worin, falls weder ein nicht elektronisches Objekt noch seine RFID erkannt werden, die Position des nicht elektronischen Objekts mit angebrachtem RFID-Tag durch die Abgrenzung der drahtlosen Suche dargestellt wird.
Prozessor nach einem der Ansprüche 28 bis 32, worin die Distanz zwischen der X-Y-Ebene des Objekts und dem Mittel zur Aufnahme basierend auf der Signalübertragungsgeschwindigkeit oder auf dem zum Erreichen des Objekts durch das Signal erforderlichen Energieverbrauch berechnet wird.
Prozessor nach einem der Ansprüche 28 bis 32, der ferner Folgendes umfasst: Steuermittel zum sichtbaren Steuern elektrischer Objekte in Echtzeit.
Prozessor nach einem der Ansprüche 28 bis 32, der konfiguriert ist, das Aufnahmemittel so zu betätigen, dass es eine Zoomfunktion zum Feinabstimmen der Erkennung verwendet.
Prozessor nach einem der Ansprüche 28 bis 32, worin die Transformation Rotationstransformation ist.
System zur sofortigen Erkennung und Positionierung eines Objekts, das einen Prozessor nach einem der Ansprüche 28 bis 38 und eine Kamera umfasst.