DE69821040T2

DE69821040T2 - Tragbares Endgerät zur Übertragung von Bilddaten über ein Netzwerk und Bildverarbeitungsgerät zur basierenden Bildverarbeitung auf dem Erkennungsergebnis der empfangenen Bilddaten

Info

Publication number: DE69821040T2
Application number: DE69821040T
Authority: DE
Inventors: Tooru Hamura-shi Yamakita
Original assignee: Casio Computer Co Ltd
Current assignee: Intellectual Ventures Holding 81 LLC
Priority date: 1997-03-11
Filing date: 1998-03-10
Publication date: 2004-06-17
Anticipated expiration: 2018-03-11
Also published as: US6366698B1; CN1103518C; EP0865192B1; CN1194514A; DE69821040D1; EP0865192A3; KR19980080129A; KR100308543B1; EP0865192A2; HK1016389A1

Description

Die vorliegende Erfindung betrifft ein tragbares Endgerät zum Senden von Bilddaten über ein Netzwerk und eine Bildverarbeitungseinrichtung zum Durchführen einer Bildverarbeitung basierend auf dem Erkennungsergebnis von empfangenen Bilddaten.
Diese Anmeldung basiert auf der Japanischen Patenanmeldung Nr. 9-55781, eingereicht am 11. März 1997, und der Japanischen Patentanmeldung Nr. 9-65746, eingereicht am 19. März 1997, deren Inhalt hierin durch Verweis eingeschlossen ist.
In der heutigen digitalisierten Gesellschaft werden verschiedene Dokumente und Zeichnungen, besonders für geschäftliche Zwecke, als eine elektronische Form gehandhabt. In einigen Fällen ist es erwünscht, sie als eine elektronische Datei zu speichern, selbst wenn ein Inhalt nicht mehr als Notizen sind.
Beim gebräuchlichsten Verfahren zum Erzeugen eines elektronischen Dokuments wird ein Anwendungsprogramm zur Dokumentation auf einem Personal Computer gestartet, und eine Person, die ein Dokument erstellt, gibt Zeichen für Zeichen über eine Tastatur ein. Beim gebräuchlichsten Verfahren zum Erzeugen einer elektronischen Zeichnung wird ein Anwendungsprogramm zum Zeichnen gestartet, und eine Person, die Zeichnungen erstellt, gibt Daten für die Zeichnung über eine Tastatur und eine Maus ein.
In letzter Zeit haben elektronische Kameras breite Anwendung gefunden. Eine elektronische Kamera liest Bilddaten eines Objekts, um digitale Daten zu erzeugen. Wenn die elektronische Kamera an einen Personal Computer oder dergleichen über eine vorgegebene Schnittstelle angeschlossen wird, können die von der elektronischen Kamera gelesenen Bilddaten von diesem Personal Computer verarbeitet werden. Durch Lesen eines auf Papier geschriebenen Dokuments mit einer elektronischen Kamera, Eingeben der von der elektronischen Kamera gelesenen Bilddaten in einen Personal Computer oder dergleichen und Ausführen einer Zeichenerkennungsverarbeitung kann daher das auf Papier geschriebene Dokument in eine elektronische Datei umgewandelt werden.
Eine elektronische Datei wird im Allgemeinen unter Verwendung einer Tastatur und einer Maus erstellt. In bestimmten Fällen wird mittels eines Bildabtasters eine Bilderkennungsverarbeitung auf Bilddaten durchgeführt.
Man kann jedoch nicht immer sagen, dass die Bearbeitung mittels der Tastatur oder der Maus für alle Benutzer einfach ist. Es gibt auch Benutzer, die mit der Handhabung derselben nicht vertraut sind. Des Weiteren muss in dem Fall, wo ein Inhalt einer Notiz in eine elektronische Datei umzuwandeln ist, ein Anwendungsprogramm zum Editieren von Dokumenten aktiviert und dann die Beaarbeitung jedes Mal gestartet werden, wenn eine Tasteneingabe benötigt wird. Dies ist mühsam, wogegen die Handschrift in einer kurzen Zeit erledigt werden kann.
Andererseits ist es bei dem Verfahren zum Abbilden eines auf Papier oder dergleichen geschriebenen Inhalts mittels einer elektronischen Kamera oder dergleichen schwierig, nur einen benötigten Bereich einzugeben, und es besteht eine große Möglichkeit, dass ein Dokument anders als ein Dokument, das der Bilderkennung unterzogen werden soll, ebenfalls eingegeben wird. In diesem Fall wird es nötig, von der Kamera gelesene Bilddaten auf der Anzeige eines Personal Computers anzuzeigen und einen Bilderkennungsbereich anzugeben oder ein als ein Bilderkennungsergebnis erhaltenes Dokument zu berichtigen. Dies ist ebenfalls mühsam.
Bei dem oben beschriebenen Verfahren, das eine elektronische Kamera verwendet, können Bilddaten, die an einer entfernten Stelle (z. B. ein Dienstreiseziel) gewonnen werden, nur dann an diesem Ort sofort in eine elektronische Datei umgewandelt werden, wenn ein Benutzer eine elektronische Kamera und einen Notebook-Computer oder dergleichen mit sich führt. Außerdem ist das Programm einer Zeichenerkennungssoftware mit guter Leistung im Allgemeinen groß. Es ist nicht wünschenswert, ein solch großes Programm auf einem einfachen tragbaren Endgerät zu installieren.
Außerdem gelangte in den letzten Jahren eine elektrische Post (E-Mail) schnell zur breiten Anwendung im geschäftlichen und privaten Bereich. Die E-Mail hat einen breiten Anwendungsbereich, der z. B. von einem kleinen innerbetrieblichen Postsystem zum Senden von dienstlichen Angelegenheiten in einem LAN (lokales Netzwerk) bis zu einem solchen System reicht, das eine E-Mail an eine gewünschte andere Partei irgendwo auf der Welt über das Internet sendet.
Wenn eine E-Mail gesendet wird, gibt der Benutzer in der Regel ein zu sendendes Dokument und eine Zieladresse mithilfe von Tasten ein, und schreibt somit einen Brief. Dann schickt der Benutzer den Brief an das Netzwerk, indem er z. B. eine "Senden"-Schaltfläche auf einer E-Mail-Anwendung anklickt. Oder in einigen Fällen wird das zu sendende Dokument erlangt, indem auf Papier oder dergleichen geschriebene Sätze als Bilddaten mittels eines Bildscanners oder dergleichen abgetastet werden und eine Zeichenerkennungsverarbeitung oder dergleichen auf den Bilddaten ausgeführt wird, anstatt das zu sendende Dokument einzugeben. Nach Empfang eines Briefs (in Wirklichkeit ein Paket, das den Brief speichert) sendet das Netzwerk diesen Brief an das vom Benutzer angegebene Ziel entsprechend einer in diesem Brief angegebenen Zieladresse.
Wenn eine E-Mail gesendet wird, wird gewöhnlich eine vom Benutzer mithilfe von Tasten eingegebene Zeichenfolge oder Information, die wenigstens in eine Folge von Zeichencodes umgewandelt wurden, an das Netzwerk abgeschickt. Die Zieladresse wird vom Benutzer eingegeben.
Es gibt einen großen Bedarf an einer einfachen Schnittstelle beim Verwenden einer E-Mail. Es gibt z. B. eine Menge von Benutzern, die eine Folge von Zeichen unter Verwendung eines Verhahrens anders als die Tasteneingabe einzugeben wünschen. In einer Form, bekannt als Zeicheneingabeverfahren anders als die Tasteneingabe, werden mit einem speziellen Stift Zeichen von Hand auf den Anzeigeschirm eines Endgeräts geschrieben. In einigen Fällen ist es jedoch schwierig, feine Muster zu zeichnen. Wenn gewünscht wird, einen bereits auf Papier oder dergleichen geschriebenen Inhalt wie er ist als eine E-Mail zu senden, wird es erforderlich, den Inhalt erneut mittels des speziellen Stifts einzugeben, und dies ist mühsam. Außerdem gibt eine Menge von Schauplätzen, wo der Benutzer eine E-Mail von einem bewegten Ziel mittels eines tragbaren Endgeräts sendet. Auch wenn eine auf Papier oder dergleichen geschriebene Zeichenfolge unter Verwendung einiger Einrichtungen als Bilddaten genommen wird, kann der so genommene Inhalt nur dann als ein E-Mail-Dokument gesendet werden, wenn das tragbare Endgerät Software zur Zeichenerkennung besitzt. Im Allgemeinen ist Zeichenerkennungssoftware mit guter Leistung recht umfangreich. Es ist nicht wünschenswert, ein solches Programm auf einem einfachen tragbaren Endgerät oder dergleichen zu installieren.
US 5,287,199 offenbart ein Faksimile-Nachrichtenverarbeitungs- und -leitsystem. Die zu leitende Faksimilenachricht enthält Information, die erkannt und zum Gewinnen der Zieladresse verwendet wird. Das Dokument offenbart außerdem, dass das Format der empfangenen Faksimilenachricht umgewandelt wird, z. B. von Text in Sprache.
EP 0 465 011 A2 offenbart einen Faxserver, der die erste Seite einer ankommenden Faxnachricht untersucht, um einen barcodierten Vorspann zu lokalisieren. Aus diesem Vorspann bestimmt der Faxserver eine E-Mail-Adresse, und das Fax wird automatisch als E-Mail an diese Adresse geleitet.
Es ist die Aufgabe der Erfindung, eine Host-Einrichtung bereitzustellen, die an ein tragbares Endgerät angeschlossen werden kann, einen einfachen Aufbau hat und leicht zu bedienen ist.
Diese Aufgabe wird durch die Erfindung, wie in dem unabhängigen Anspruch beansprucht, erfüllt.
Bevorzugte Ausführungen werden in den abhängigen Ansprüchen definiert.
Entsprechend einem ersten Aspekt der Erfindung wird eine Host-Vorrichtung für ein System, das verschiedene Endgeräte über ein Netzwerk verbindet, bereitgestellt, die umfasst: Eine Einrichtung zum Empfangen von Daten, die von einem Endgerät gesendete Bilddaten enthalten, und Ausführen von Zeichenerkennung auf Information über ein in den Bilddaten enthaltenes Sendeziel, und eine Einrichtung zum Senden von in den empfangenen Daten enthaltener zu sendender Information an ein Endgerät des durch die Zeichenerkennung erlangten Sendeziels, entsprechend Anspruch 1.
Nach einem zweiten Aspekt der wird ein tragbares Endgerät bereitgestellt, das umfasst: Eine Einrichtung, die Daten, die ein Sendeziel und Sendedaten angeben, als ein Bild liest, um voneinander unterscheidbar zu sein; eine Einrichtung zum Eingeben der so gelesenen Daten und einer Verarbeitungsanweisung für die Bilddaten, und eine Einrichtung zum Senden der Bilddaten und des Befehls, der die Verarbeitungsanweisung angibt, an eine mit einem Netzerk verbundene Host-Vorrichtung.
Nach einem dritten Aspekt der Erfindung wird ein Dokument, das eine gewünschte handgeschriebene Notiz oder dergleichen enthält, durch eine in dem tragbaren Endgerät enthaltene Kamera als ein Bild aufgenommen, und diese hangeschriebene Notiz oder dergleichen kann in eine elektronische Datei umgewandelt werden, indem lediglich eine Host-Vorrichtung aufgefordert wird, eine Erkennungsverarbeitung durchzuführen. Auf diese Weise stellt die vorliegende Erfindung eine Benutzerschnittstelle mit verbesserter Handhabungsleistung bereit. Das Bild wird erkannt, indem nur ein Bereich innerhalb eines geschlossenen Musters, ein Bereich, der eine unterstrichene Zeichenfolge enthält, oder ein Bereich, der ein mit einer bestimmten Farbe gezeichnetes Muster enthält, extrahiert wird. Als Ergebnis wird nur benötigte Information genau erkannt.
Des Weiteren kann eine handgeschriebene Notiz oder dergleichen einfach als eine E-Mail oder ein Fax an eine gewünschte andere Partei gesendet werden, indem ein Dokument, das eine gewünschte Zeichenfolge enthält, mit einer in einem tragbaren Endgerät enthaltenen Kamera oder dergleichen als Bilddaten aufgenommen und ein benötigter Service von der Host-Vorrichtung verlangt wird. Auf diese Weise stellt die vorliegende Erfindung eine Benutzerschnittstelle mit verbesserter Handhabungsleistung bereit.
Da außerdem die mit hoher Geschwindigkeit auszuführende Bilddatenverarbeitung, insbesondere die Mustererkennungsverarbeitung und die Zeichenerkennungsverarbeitung, nicht auf der Seite des tragbaren Endgeräts ausgeführt werden, ist es möglich, ein hoch entwickeltes Bilddatenverarbeitungsergebnis zu erlangen, ohne einen Speicher großer Kapazität oder einen Hochleistungsprozessor bereitzustellen.
Die Erfindung kann aus der folgenden ausführlichen Beschreibung bessser verstanden werden, wenn sie mit den begleitenden Zeichnungen in Verbindung gebracht wird. Inhalt der Zeichnungen:
1 ist ein Blockschaltbild einer Systemkonfiguration einer Ausführung der vorliegenden Erfindung.
2 ist eine Außenansicht eines tragbaren Endgeräts.
3 ist ein Konfigurationsblockschaltbild des tragbaren Endgeräts.
4 ist ein Flussdiagramm der Verarbeitung zum Senden von Bilddaten, die durch Abbilden mit einer Kamera in dem tragbaren Endgerät aufgenommen wurden, an eine Hostvorrichtung und Anfordern eines vorbestimmten Dienstes.
5A und 5B zeigen erste Beispiele von Bilddaten, die von einer Kamera eingegeben und auf einer Anzeigeeinheit des tragbaren Endgeräts angezeigt werden.
6A und 6B zeigen zweite Beispiele von Bilddaten, die von einer Kamera eingegeben und auf einer Anzeigeeinheit des tragbaren Endgeräts angezeigt werden.
7 zeigt dritte Beispiele von Bilddaten, die von einer Kamera eingegeben und auf einer Anzeigeeinheit des tragbaren Endgeräts angezeigt werden.
8A und 8B zeigen vierte Beispiele von Bilddaten, die von einer Kamera eingegeben und auf einer Anzeigeeinheit des tragbaren Endgeräts angezeigt werden.
9 ist eine Zeichnung, die das Konzept des "Erkennens" der vorliegenden Ausführung veranschaulicht.
10A ist eine Zeichnung, die die Struktur eines von dem tragbaren Endgerät abgeschickten Pakets zeigt.
10B ist ein detailliertes Flussdiagramm der Paketerzeugungsverarbeitung.
11 ist ein Flussdiagramm der Verarbeitung zum Extrahieren von Bilddaten eines Erkennungsobjekts.
12 ist eine Zeichnung, die ein Beispiel der Anwendung der in 4 gezeigten Bildverarbeitung zeigt.
13A und 13B zeigen Beispiele zum Unterscheiden eines zu erkennenden Bilds.
14A und 14B ist ein Flussdiagramm, das die Verarbeitung zum Extrahieren von Bilddaten eines Erkennungsobjekts in dem Fall veranschaulicht, wo eine Notiz oder dergleichen wie in 13A und 13B gezeigt geschrieben wird.
15 ist ein Konfigurationsblockschaltbild einer Host-Vorrichtung.
16 und 17 sind Flussdiagramme, die die Verarbeitung der Host-Vorrichtung veranschaulichen.
18 ist ein Flussdiagramm, das die Verarbeitung für einen vom Benutzer aus empfangenen Bilddaten angeforderten Erkennungsservice veranschaulicht.
19 ist ein Flussdiagramm, das die Verarbeitung zum Extrahieren einer Zeichenfolge von Mail-Sätzen aus empfangenen Bilddaten veranschaulicht.
20 ist ein Flussdiagramm, das die Mail-Sendeverarbeitung veranschaulicht.
21 zeigt ein Diagramm, das ein Paket, das Mail-Sätze speichert, veranschaulicht.
22 ist ein Flussdiagramm, das die Verarbeitung veranschaulicht, die durchgeführt wird, wenn eine Mail-Anfrage von einem anderen Endgerät empfangen wird.
23 ist eine Konfigurationszeichnung einer Tabelle, die E-Mail-Adressen, die zu jeder Gruppe gehören, speichert, um mit einem Gruppennamen verbunden zu werden
Eine bevorzugte Ausführung einer Daten-Sende/Empfangs-Vorrichtung nach der vorliegenden Erfindung wird nun mit Verweis auf die begleitenden Zeichnungen beschrieben.
1 ist ein Systemkonfigurationsblockschaltbild einer ersten Ausführung der vorliegenden Erfindung. Ein tragbares Endgerät 1 hat eine Kommunikationsfunktion und ist in der Lage, eine andere mit einem Netzwerk 3 verbundene Einrichtung aufzufordern, eine gegebene Datenverarbeitung durchzuführen, ein Ergebnis davon zu empfangen und es anzuzeigen. Das tragbare Endgerät 1 ist mit dem Netzwerk 3 mittels eines Schemas zum Senden/Empfangen von Daten auf einem Funkkanal über eine nahe gelegene Basisstation, eines Schemas zum Senden/Empfangen von Daten an/von einer Einrichtung mit einer Kommunikationsfunktion (optische Verbindungseinheit) mittels Ir- (Infrarotstrahl) Kommunikation oder dergleichen oder eines verdrahteten Schemas zum Senden/Empfangen von Daten verbunden. Das tragbare Endgerät 1 besitzt eine Bildeingabeeinheit 1a, die eine elektronische Kamera enthält. Das tragbare Endgerät 1 besitzt eine Funktion zum Senden mittels der Bildeingabeeinheit 1a eingegebener Bilddaten an eine andere mit dem Netzwerk 3 verbundene Einrichtung (z. B. Host-Vorrichtung 4) und Aufforden der anderen Einrichtung, Bildverarbeitung durchzuführen. Außerdem ist das tragbare Endgerät auch in der Lage, die mittels der Bildeingabeeinheit 1a eingegebenen Bilddaten zu verarbeiten und die eingegebenen oder verarbeiteten Bilddaten auf einer Bildanzeigeeinheit 1c anzuzeigen.
Das Netzwerk 3 ist ein öffentliches Telefonnetz, ein PHS-Netzwerk oder ein LAN. Die Host-Vorrichtung 4 ist in dem Netzwerk 3 untergebracht. Die Host-Vorrichtung 4 ist eine Servermaschine. Die Host-Vorrichtung 4 führt eine Datenverarbeitung entsprechend einer von dem tragbaren Endgerät 1 übertragenen Anforderung aus. Die Host-Vorrichtung 4 besitzt eine Bilderkennungseinheit 5, eine Mail-Sende/Empfangseinheit 6 und eine Fax-Sende/Empfangseinheit 7. Die Bilderkennungseinheit 5 führt eine Musterkennungsverarbeitung oder Zeichenerkennungsverarbeitung auf von dem tragbaren Endgerät 1 gesendeten Bilddaten aus und erfasst ein in den empfangenen Bilddaten enthaltenes vorbestimmtes Muster und eine vorbestimmte Zeichenfolge. Die Mail-Sende/Empfangseinheit 6 besitzt eine Funktion zum Senden/Empfangen einer E-Mail an/von einem anderen Endgerät 9, das z. B. mit dem Internet 8 verbunden ist, und ist imstande, von der Bilderkennungseinheit 5 erkannte Zeichenfolgedaten an das andere Endgerät 9 zu senden. Die Fax-Sende/Empfangseinheit 7 hat eine Funktion zum Senden/Empfangen eine Faxsignals an/von einem Faxendgerät 10, das z. B. über das Netzwerk 3 angeschlossen ist, und ist imstande, von dem tragbaren Endgerät 1 gesendete Bilddaten an das Faxendgerät 10 zu senden.
Wenn der Benutzer des tragbaren Endgeräts 1 wünscht, einen z. B. auf Papier oder dergleichen als eine Notiz geschriebenen Inhalt an das Endgerät 9 als eine E-Mail zu senden, fügt der Benutzer die Mail-Adresse des Endgeräts 9 und Information, die anzeigt, dass der Service, der von der Host-Vorrichtung 4 verlangt wird, "Mail-Senden" ist, der geschriebenen No tiz als Bildinformation auf dem Papier hinzu, gibt das Bild auf dem Papier mittels der Bildeingabeeinheit 1a (die mit dem tragbaren Endgerät 1 verbundene Kamera) ein und sendet die so eingegebenen Bilddaten an die Host-Vorrichtung 4. Die Host-Vorrichtung 4 analysiert die empfangenen Bilddaten mittels der Bilderkennungseinheit 5. Nach Erkennen, dass der Service, den das tragbare Endgerät 1 von der Host-Vorrichtung 4 verlangt, "Mail-Senden" ist, startet die Host-Vorrichtung 4 die Mail-Sende/Empfangseinheit 6 und sendet den in den Bilddaten enthaltenen Inhalt der geschriebenen Notiz an die in den Bilddaten enthaltene Mail-Adresse.
Wenn der Benutzer des tragbaren Endgeräts 1 wünscht, einen z. B. auf Papier oder dergleichen als eine Notiz geschriebenen Inhalt an das Fax-Endgerät 10 als eine Fax-Sendung zu senden, fügt in gleicher Weise der Benutzer die Telefonnummer des Fax-Endgeräts 10 und Information, die anzeigt, dass der Service, den die Host-Vorrichtung 4 bereitstellen soll, "Fax-Senden" ist, der geschriebenen Notiz als Bildinformation auf dem Papier hinzu, gibt das Bild auf dem Papier mittels der Bildeingabeeinheit 1a ein und sendet die so eingegebenen Bilddaten an die Host-Vorrichtung 4. Nach Erkennen, dass der Service, den das tragbare Endgerät 1 verlangt, "Fax-Senden" ist, startet die Host-Vorrichtung 4 die Fax-Sende/Empfangseinheit 7 und sendet den in den Bilddaten enthaltenen Inhalt der geschriebenen Notiz als eine Fax-Sendung an eine Einrichtung mit der in den Bilddaten enthaltenen Telefonnummer.
Die Host-Vorrichtung 4 kann durch einen einzelnen Computer gebildet werden. Oder eine Bildverarbeitungs-Servereinrichtung, eine Mail-Servereinrichtung und eine Fax-Servereinrichtung können durch jeweils unabhängige Computer gebildet werden. Die Host-Vorrichtung 4 ist ein Server-Computer, der von einem Internet-Provider, einer Personal-Computer-Kommunikationsfirma oder einem Intranet-Verwaltungsabschnitt bereitgestellt wird.
Wenn gewünscht wird, in dem System der vorliegenden Erfindung eine E-Mail-Übertragung oder eine Faxübertragung durchzuführen, ist es nur erforderlich, einen auf dem zu sendenden Dokument geschriebenen Inhalt mittels einer Kamera oder dergleichen abzutasten und die Abtastdaten als Bilddaten an die Host-Vorrichtung 4 zu senden. Der Benutzer kann daher den E-Mail-Sendeservice oder den Fax-Sendeservice empfangen, indem er lediglich gewünschte Zeichen und/oder Figuren als eine Notiz auf Papier oder dergleichen schreibt und sie mit der Kamera liest. Des Weiteren muss das tragbare Endgerät 1 nur die Funktion zum Eingeben von Bilddaten und die Kommunikationsfunktion als wesentliche Voraussetzung zum Empfangen des oben beschriebenen Services besitzen. Als Folge können ein verringertes Gewicht und gesenkte Kosten erzielt werden.
Wenn der Benutzer des tragbaren Endgeräts 1 wünscht, eine z. B. auf Papier oder dergleichen handgeschriebene Notiz in eine elektronische Datei umzuwandeln, zeichnet der Benutzer ein geschlossenes Muster, um so einen Bereich auf dem Papier, auf dem die Notiz oder dergleichen geschrieben ist, zu umschließen, und das Papier wird mittels der Bildeingabeeinheit 1a gelesen. Die Bildverarbeitungseinheit 1b analysiert die von der Eingabeinheit 1a eingegebenen Bilddaten. Bei Erfassen eines geschlossenen Musters extrahiert die Bildverarbeitungseinheit 1b Bilddaten eines Bereichs innerhalb des geschlossenen Musters. In den extrahierten Bilddaten sind unnötige Bereiche aus der auf Papier geschriebenen Notiz oder dergleichen gelöscht worden. Das tragbare Endgerät 1 sendet die von der Bildverarbeitungseinheit 1b extrahierten Bildmusterdaten über das Netzwerk 3 an die Host-Vorrichtung 4.
Nach Empfangen der Bildmusterdaten von dem tragbaren Endgerät 1 veranlasst die Host-Vorrichtung 4 die Bilderkennungseinheit 5, das Bildmuster zu analysieren. Hier ist das von der Bilderkennungseinheit 5 analysierte und erkannte Bildmuster der von dem Benutzer auf Papier oder dergleichen geschriebene Inhalt selbst, und ein unnötiges Bild ist entfernt. Die Host-Vorrichtung 4 kann daher nur den vom Benutzer auf Papier oder dergleichen geschriebenen Inhalt als Ergebnis der Erkennung erlangen.
Alternativ kann eine Konfiguration, bei der die Verarbeitung der Bildverarbeitungseinheit 1b durch die Host-Vorrichtung 4 ausgeführt wird, adoptiert werden. In diesem Fall sendet das tragbare Endgerät 1 das mittels der Bildeingabeeinheit 1a gelesene Bild wie es ist, und die Bilderkennungseinheit 5 extrahiert Bilddaten, die sich in einem Bereich innerhalb des geschlossenen Musters befinden, und analysiert das extrahierte Bildmuster.
Das Ergebnis der von der Bilderkennungseinheit 5 durchgeführten Erkennung kann in der Host-Vorrichtung 4 gespeichert werden, oder es kann automatisch oder als Reaktion auf Anforderungen an das tragbare Endgerät 1 gesendet werden. In diesem Fall zeigt das tragbare Endgerät 1 das von der Host-Vorrichtung 4 empfangene Erkennungsergebnis auf der Bildanzeigeeinheit 1c an. Des Weiteren kann das Ergebnis der von der Erkennungseinheit 5 durchgeführten Erkennung an eine vorbestimmte Endgeräteinrichtung gesendet werden. Des Weiteren kann eine Rückgewinnungsverarbeitung unter Verwendung des Erkennungsergebnisses als ein Stichwort durchgeführt werden, und das Erkennungsergebnis kann in eine vorbestimmte Sprache übersetzt werden.
Die Bilderkennungseinheit 5 kann als eine Funktion implementiert werden, die durch Ausführen eines vorbestimmten Programms durch die Host-Vorrichtung 4 gewonnen wird, oder sie kann durch einen Computer implementiert werden, der unabhängig von der Host-Vorrichtung 4 ist.
Wenn gewünscht wird, auf Papier oder dergleichen als eine Notiz geschriebene Zeichen oder Figuren in eine elektronische Datei (Digitaldaten) in dem System der vorliegenden Ausführung umzuwandeln, muss der Benutzer nur ein geschlossenes Muster zeichnen, um so einen Bereich auf Papier zu umschließen, in dem die Notiz oder dergleichen geschrieben ist, ihn mit einer Kamera oder dergleichen abbilden und die Bilddaten (oder der vorbestimmten Bildverarbeitung unterzogene Bilddaten) an die Host-Vorrichtung 4 senden. Mit anderen Worten, der Benutzer muss nur die Notiz oder dergleichen mit einem geschlossenen Muster umschließen und sie mit einer Kamera oder dergleichen abbilden. Das ist sehr einfach. Als wesentliche Voraussetzung zum Erkennen der oben beschriebenen Notiz oder dergleichen muss das tragbare Endgerät 1 die Zeichenerkennungsfunktion nicht besitzen, und muss nur die Funktion zum Lesen eines Bilds und die Kommunikationsfunktion besitzen. Abhängig von der Konfiguration wird auch die Funktion zum Erkennen eines geschlossenen Musters benötigt. Das Gewicht und die Kosten können daher reduziert werden.
2 ist eine Außenansicht des tragbaren Endgeräts 1. Das tragbare Endgerät 1 besitzt eine LCD-Anzeigeeinheit 11, ein Kamera 12, einen IC-Kartenschlitz 13 und eine Funkübertragungsantenne 14. Um andere Übertragungsschemas zu unterstützen, besitzt das tragbare Endgerät 1 des Weiteren einen Ir-Übertragungssockel 15 und einen Draht-Übertragungssockel 16. Die LCD-Anzeigeeinheit 11 hat eine Tastfeldfunktion. Das tragbare Endgerät kann daher handgeschriebene Eingabeinformation verarbeiten. Verweiszeichen 17 bezeichnet eine Stromschalter.
3 ist ein Konfigurationsschaltbild des tragbaren Endgeräts 1. Eine CPU 21 führt ein in einer Speichereinrichtung (ein ROM und ein RAM) 22 gespeichertes Programm aus. Die CPU 21 und die Speichereinrichtung 22 sind über einen Bus 23 miteinander verbunden.
Die Speichereinrichtung 22 wird durch einen Halbleiterspeicher, ein Magnetaufzeichnungsmedium oder ein optisches Aufzeichnungsmedium gebildet und speichert Programme und Daten. Die Speichereinrichtung 22 kann in dem tragbaren Endgerät fest montiert sein, oder sie kann abnehmbar angebracht sein.
Ein Aufzeichnungsmediumtreiber 24 ist mit dem Bus 23 verbunden. Der Aufzeichnungsmediumtreiber 24 ist eine Einrichtung, die in einem abnehmbaren Aufzeichnungsmedium 25 (das einen Halbleiterspeicher, eine Magnetplatte, eine optische Platte oder eine optische Magnetplatte einschließt) gespeicherte Daten liest oder Daten in das abnehmbare Aufzeichnungsmedium 25 schreibt. Es wird angenommen, dass eine IC-Karte als ein Beispiel des abnehmbaren Aufzeichnungsmediums 25 verwendet wird. Die CPU 21 kann auch ein in dem abnehmbaren Aufzeichnungsmedium 25 gespeichertes Programm ausführen.
In der Speichereinrichtung 22 gespeicherte Programme und Daten können von einer anderen Einrichtung, die über eine Übertragungsleitung oder dergleichen angeschlossen ist, empfangen und darin gespeichert werden. Außerdem kann die CPU 21 ein Programm und Daten, die in einer auf der Seite der anderen Einrichtung installierten Speichereinrichtung gespeichert sind, über eine Übertragungsleitung oder dergleichen benutzen.
Eine der LCD-Anzeigeeinheit 11 entsprechende Einheit ist aus einer Flüssigkristallanzeige (LCD) 31, einem Speicher 32 zum Speichern der auf der Flüssigkristallanzeige 31 anzuzeigenden Information, einem LCD-Treiber 33 zum Ausgeben der in dem Speicher 32 gespeicherten Information an die Flüssigkristallanzeige 31 unter Kontrolle des LCD-Controllers 34, einem LCD-Controller 34 zum Steuern des Speichers 32 und des LCD-Treibers 33, einer Tastfeldeinheit 35 und einem Tastfeld-Controller 35 gebildet, der die CPU 21 über von der Tastfeldeinheit 35 erfasste Eingabeinformation informiert.
Die Kamera 12 ist z. B. eine CCD-Kamera. Der Ausgang der CCD-Kamera 12 wird durch einen A/D-Umsetzer in digitale Daten in Bitmapform umgewandelt und in einen Speicher 38 geschrieben. Ein Kamera-Controller 39 gibt in dem Speicher 38 gespeicherte Bilddaten an den Bus 23 basierend auf einem von der CPU 21 erteilten Befehl aus.
Wenn Daten von dem tragbaren Endgerät 1 abgeschickt werden, erzeugt ein Kommunikations-Controller 40 ein Sendepaket basierend auf einem von der CPU 21 gegebenen Befehl und sendet es an einen Funktransceiver 41 oder 42 oder einen Drahttransceiver 43. Wenn Daten empfangen werden, gibt der Kommunikations-Controller 40 Daten, die in einem Paket gespeichert sind, das über den Funktransceiver 41 oder 42 oder den Drahttransceiver 43 empfangen wird, auf den Bus 23 aus. Der Funktransceiver 41 ist mit der in 2 gezeigten Funkübertragungsantenne 14 verbunden und sendet/empfängt Funkdaten an/von einer Funkbasisstation. Der Funktransceiver 41 ist ein Transceiver zum Durchführen von Ir-Kommunikation. Der Drahttransceiver 43 ist z. B. ein Modem. Der Funktransceiver 42 und der Drahttransceiver 43 werden optional angebracht. Außerdem besitzt das tragbare Engerät 1 eine Uhr 44.
4 ist ein Flussdiagramm, das die Verarbeitung zum Senden von Bilddaten, die durch die Kamera 12 des tragbaren Endgeräte 1 eingegeben werden, an die Host-Vorrichtung 4 und Anfordern eines gewünschten Services. Programme, die jeweilige in diesem Flussdiagramm gezeigte Funktionen implementieren, sind in der Speichereinrichtung 22 in einer Form von Programmcode gespeichert, die von der CPU 21 gelesen werden kann.
Dieses Flussdiagramm zeigt die Verarbeitung, die durchgeführt wird, nachdem das tragbare Endgerät 1 eine Eingabe in einem Eingabewartezustand erfasst hat. Außerdem wird nun in dieser Ausführung ein Beispiel, bei dem vom Benutzer als eine Notiz geschriebene Zeichen oder dergleichen durch die Kamera eingegeben werden, beschrieben.
Wenn in Schritt S1 festgestellt wird, dass die erfasste Eingabe eine Eingabe von der Kamera 12 ist, wird die Verarbeitung von Schritt S2 und folgenden Schritten ausgeführt. Wenn sie eine Eingabe von woanders ist, wird eine andere Verarbeitung, die dieser Eingabe entspricht, in Schritt S13 ausgeführt. Wenn die Zeichen oder dergleichen von der Kamera 12 durch den Benutzer eingegeben werden, wird die Verarbeitung von Schritt S2 und folgenden Schritten gestartet. Wenn es eine Kameraeingabe gibt, wird von der Uhr 44 ausgegebene Zeitinformation gespeichert.
In Schritt S2 werden die von der Kamera 12 eingegebenen Bilddaten auf der LCD-Anzeigeeinheit 11 angezeigt. Mit anderen Worten, von der Kamera 12 eingegebene Bilddaten werden in den Speicher 32 der LCD-Anzeigeeinheit 11 geschrieben, und die Bilddaten werden auf der Flüssigkristallanzeige 31 angezeigt. Als Folge kann der Benutzer das eingegebene Bild sofort sehen. 5A zeigt ein Beispiel der Anzeige von durch die Kamera 12 eingegebenen Bilddaten. In diesem Beispiel schreibt der Benutzer E-Mail-Sätze "Hallo! Danke für Deine E-Mal. Was den Plan für nächste Woche angeht, ..." als eine Notiz. Außerdem wird "E-Mail Senden" als Service einer an die Host-Vorrichtung 4 gerichteten Anforderung geschrieben, und "abc@xyz.co.jp" wird als Adresse des Mail-Sendeziels geschrieben. Ein Kameraeingabebereich Q, in dem diese Nachrichten geschrieben sind, wird abgebildet. Jeder spezifizierte Service und die Adresse sind in eckige Klammern gesetzt.
Zum Senden von Bilddaten an die Host-Vorrichtung 4 und Veranlassen der Host-Vorrichtung 4, eine Datenübertragungsverarbeitung entsprechend in diesen Bilddaten enthaltener Information durchzuführen, müssen die Information, die den Service spezifiziert, und die Information, die das Mail-Sendeziel spezifiziert, in Bezug auf die Mail-Sätze (Mail-Inhalt) erkennbar sein, wie oben mit Verweis auf 1 beschrieben. In dem Beispiel von 5A wurde es zur Regel gemacht, die Information, die den Service spezifiziert, und die Information, die das Mail-Sendeziel spezifiziert, in eckige Klammern zu setzen. Die eckigen Klammern können durch andere Satzzeichen, z. B. runde Klammern, ersetzt werden. Alternativ kann es zur Regel gemacht werden, eine Zeichenverzierung, z. B. als Unterstreichungen der Information, die den Service spezifiziert und der Information, die das Mail-Sendeziel spezifiziert, durchzuführen. Außerdem kann Service-Klassifizierung mit einer Farbe verbunden werden. Zum Beispiel wird im Voraus festgelegt, dass ein Befehl, der den Mail-Senden-Service angibt, durch eine rote Farbe dargestellt wird, und ein Befehl, der den Fax-Senden-Service angibt, durch eine blaue Farbe dargestellt wird. Es wird zur Regel gemacht, dass ein mit einer solchen Farbe geschriebener Inhalt das Sendeziel spezifiziert. In einem in 5B gezeigten Beispiel wird "abc@xyz.co.jp" mit der roten Farbe geschrieben. Durch Analysieren der Bilddaten, die dieses Bild enthalten, kann daher die Host-Vorrichtung 4 den vom Benutzer verlangten Service als das "E-Mail Senden" und die Sendezieladresse als "abc@xyz.co.jp" erkennen. In jedem Fall werden der Befehl, der den Service angibt, und die Information, die das Mail-Sendeziel spezifiziert, durch Unterscheidungsinformation wie Symbole, Zeichenverzierung oder Farbe unterschieden.
Wenn gewünscht wird, ein durch die Kamera 12 eingegebenes Bild als eine Faxsendung an ein gewünschtes Faxendgerät zu senden, schreibt der Benutzer "Fax Senden" nahe einer zu senden gewünschten Notiz (hier ein Plan) als der von der Host-Vorrichrichtung 4 verlangte Service und setzt die Zeichenfolge in eckige Klammem, wie in 6A gezeigt. Außerdem schreibt der Benutzer die Telefonnummer des Fax-Endgeräts des Sendeziels ebenfalls mit eckigen Klammem.
Wenn der als eine E-Mail- oder Fax-Senung zu sendende Inhalt mittels der Kamera 12 gelesen wird, kann ein vorbestimmtes Format benutzt werden. 6B zeigt ein Beispiel eines Formats zum Eingeben des als eine E-Mail zu senden gewünschten Inhalts. Das Format hat einen Adresseneingabebereich und einen E-Mail-Satzeingabebereich.
Hinsichtlich des Services, den die Host-Vorrichtung bereitstellen soll, ist neben dem Senden von Daten an eine gewünschte Einrichtung, z. B. als eine E-Mail-Sendung oder eine Fax-Sendung, auch eine empfange Mail-Anfrage möglich. In der empfangenen Mail-Anfrage wird verlangt, eine an den Benutzer adressierte Mail, die in dem Mailserver (die Mail-Sende/Empfangseinheit 6 von 1) eintrifft, auf das tragbare Endgerät 1 herunterzuladen. In diesem Fall schreibt der Benutzer "Mail Anfrage" auf Papier oder dergleichen als eine Notiz eines Anforderungsbefehls für die Host-Vorrichtung 4 und setzt die Zeichenfolge in eckige Klammern, wie in 7 gezeigt. Wenn der Benutzer nur eine von einer bestimmten Person kommende Mail zu lesen wünscht, schreibt der Benutzer z. B. "von Hr. K" auf Papier. Der Kame raeingabebereich Q des Papiers mit der geschriebenen Notiz darauf wird von der Kamera 12 abgebildet, und die eingegebenen Bilddaten werden an die Host-Vorrichtung 4 gesendet.
Zu dem Flussdiagramm von 4 zurückkehrend wird in Schritt S3 festgestellt, ob die Kameraeingabebilddaten berichtigt sind. Hier wird nun ein Beispiel der Manipulation des Benutzers beschrieben, die durchgeführt wird, wenn ein in 8A gezeigter Schirm durch die Verarbeitung von Schritt S2 angezeigt wird. Wenn der Benutzer den Inhalt des angezeigten Schirms zu berichtigen wünscht, gibt der Benutzer den Berichtigungsinhalt auf der LCD-Anzeige mittels eines Handschriftstifts ein. Wenn z. B innerhalb "Übrigens, ein von xxx diesen Monat auf dem Markt gebrachtes tragbares Endgerät hat erweiterte Mail-Funktionen" "Übrigens" unnötig ist, wird ein Löschen-Symbol auf "Übrigens" mittels des Handschriftstifts auf der LCD-Anzeigeeinheit 11 geschrieben, wie in 8B gezeigt. Wenn die Berichtigung des angezeigten Inhalts beendet ist, gibt der Benutzer die Berichtigungsvollendung ein. Diese Verarbeitung wird durchgeführt, indem z. B. auch eine Taste "Berichtigung Ende" angezeigt wird, wenn das durch die Kamera 12 eingegebene Bild auf der LCD-Anzeigeeinheit 11 angezeigt wird. Der Benutzer drückt diese Taste mit dem Handschriftstift. In dem Fall, wo es keine Berichtigung gibt, drückt der Benutzer die "Berichtigung Ende" Taste, ohne das von der Kamera 12 eingegebene Bild zu berichtigen.
Übereinstimmend mit der oben beschriebenen Operation des Benutzers werden die Schritte S3 und S4 ausgeführt. Mit anderen Worten, wenn in Schritt S3 festgestellt wird, dass die "Berichtigung Ende" Taste gedrückt wurde, geht die Verarbeitung zu Schritt S4. Wenn der Benutzer die "Berichtigung Ende" Taste drückt, ohne die auf der Anzeigeeinheit 11 angezeigten Bilddaten zu ändern, wird Schritt S4 übersprungen, und die Verarbeitung geht zu Schritt S5.
In Schritt S4 werden die Bilddaten entsprechend der Stifteingabe des Benutzers aktualisiert. Mit anderen Worten, ein auf der LCD-Anzeigeeinheit 11 durch die Stifteingabe gedrücktes Ortsmuster wird im Speicher 32 als Daten einer Bitmapform überschrieben. Zu dieser Zeit werden die momentan auf der Anzeigeeinheit 11 angezeigten Bilddaten in dem Speicher 32 gespeichert. Die mit der Kamera eingegebenen Bilddaten und das durch Stifteingabe geschriebene Ortsmuster werden vereinigt.
In Schritt S5 wird ein Schirm angezeigt, der den Benutzer veranlasst, anzugeben, ob das von der Kamera eingegebene Bild an die Host-Vorrichtung 4 gesendet werden soll. Zu dieser Zeit werden die im Speicher 32 gespeicherten Bilddaten im RAM der Speichereinrichtung 22 gespeichert. Bilddaten des Schirms zum Veranlassen des Benutzers, einen gewünschten Service zu spezifizieren, werden aus dem ROM der Speichereinrichtung 22 ausgelesen und in den Speicher 32 geschrieben. Der Benutzerbefehlseingabeschirm enthält Tasten zum Eingeben von Verarbeitungsbefehlen wie "Senden", "Erkennen", "Speichern" und "Löschen".
Wenn der Benutzer einen Verarbeitungsbefehl auf dem Benutzerbefehlseingabeschirm eingibt, d. h. der Benutzer drückt eine der angezeigten Tasten, wird die Verarbeitung von Schritt S6 und den folgenden Schritten ausgeführt. Zuerst wird in Schritt S6 der Befehl des Benutzers erkannt. In Schritt S7 wird festgestellt, ob der Benutzerbefehl "Senden" ist. Wenn die Senden-Taste gedrückt wird, wird gefolgert, dass der Benutzerbefehl einen Befehl, z. B. "E-Mail Senden" oder "Fax Senden", enthält, und die Verarbeitung geht zu Schritt S8.
In Schritt S8 wird ein Paket zum Speichern von Bilddaten erzeugt, wenn die von der Kamera eingegebenen Bilddaten an die Host-Vorrichtung 4 gesendet werden. Die Paketerzeugungsverarbeitung wird später beschrieben. In Schritt S9 wird das in Schritt S8 erzeugte Paket an das in 1 gezeigte Netzwerk 3 abgeschickt.
Wenn der Benutzer "Erkennen" auf dem Benutzerbefehlseingabeschirm befiehlt, wird in Schritt S10 festgestellt, dass der Benutzer die "Erkennen" Taste drückt, der Benutzerbefehl wird als Bilderkennungsservice bestimmt, und die Verarbeitung geht zu Schritt S11.
9 ist eine Zeichnung, die das Konzept des Bilderkennungsdiensts der vorliegenden Erfindung veranschaulicht, und es zeigt ein Beispiel eines Bilds, das erhalten wird, wenn eine von dem Benutzer auf Papier handgeschriebene Notiz durch die Kamera abgebildet wird. In diesem Beispiel wird eine Notiz "Treffen mit Hr. K am 18. August" in einen leeren Platz von Papier, auf den zuvor Buchstaben A bis Z geschrieben wurden, geschrieben, und diese Notiz wird von der Kamera 12 gelesen. Um zwischen dem gewünschten, der Zeichenerkennung zu unterziehenden Teil und übrigen Teilen zu unterscheiden, zeichnet der Benutzer eine geschlossene Schleife auf Papier, die den Notizsatz umgibt, der der Zeichenerkennung unterzogen werden soll. Die geschlossene Schleife kann mittels eines gewöhnlichen Sfifts oder Bleistifts auf Papier gezeichnet werden.
Der Benutzer scannt das Papier, sodass wenigstens der Notizsatz, der der Zeichenerkennung unterzogen werden soll, und die den Notizsatz umgebende geschlossene Schleife gelesen werden können. Zu dieser Zeit werden in dem in 9 gezeigten Beispiel unnötige Bilder, die sich in einem Kameraeingabebereich P befinden, d. h. Buchstaben Q bis Z, als Bilddaten zusammen mit der Notiz gelesen.
Auch in diesem Zustand wird in der Bildverarbeitung der vorliegenden Ausführung die Bilderkennungsverarbeitung in Bezug auf einen Bereich "Q", der sich innerhalb der geschlossenen Schleife befindet, ausgeführt. Die Buchstaben Q bis Z, die außerhalb der geschlossenen Schleife liegen, werden daher nicht erkannt, sondern nur die als "Treffen mit Hr. K am 18. August" geschriebene Notiz wird erkannt. Auf diese Weise kann nur das gewünschte Muster erkannt werden, während unnötige Muster mit einer Benutzerschnittstelle entfernt werden.
Wieder zu dem Flussdiagramm von 4 zurückkehrend werden von der Kamera 12 eingegebene Bilddaten vorübergehend in einem RAM-Bereich der Speichereinrichtung 22 gespeichert, und Bilddaten des Erkennungsobjekts werden in Schritt S11 aus den gespeicherten Bilddaten extrahiert. In dem z. B. in 9 gezeigten Beispiel wird der in der geschlossenen Schleife befindliche Bereich als der Bereich des Erkennungsobjekts angesehen, und die Bilddaten dieses Bereichs werden extrahiert. Die Verarbeitung von Schritt S11 wird später im Einzelnen beschrieben. Anschließend wird in Schritt S8 das Paket zum Senden der in Schritt S11 extrahierten Bilddaten an die Host-Vorrichtung 4 erzeugt. Die Verarbeitung von Schritt S8 wird ebenfalls später beschrieben. In Schritt S9 wird das in Schritt S8 erzeugte Paket an das in 1 gezeigte Netzwerk 3 abgeschickt.
Wenn andererseits der Benutzerbefehl in Schritt S10 nicht als "Erkennen" erachtet wird, wird in Schritt S12 festgestellt, ob der Benutzer die "Speichern" Taste drückt. Wenn der Benutzer die "Speichern" Taste drückt, werden in Schritt S14 die Bilddaten auf der Seite des tragbaren Endgeräts 1 gespeichert. Wenn andererseits der Benutzer die "Speichern" Taste nicht drückt, wird angenommen, dass der Benutzer die "Löschen" Taste drückt, und die Bilddaten werden in Schritt S13 weggeworfen.
Nach Lesen des Bildes, in dem der Bereich des Erkennungsobjekts durch ein im Wesentlichen geschlossenes Schleifenmuster dargestellt wird, erachtet das tragbare Endgerät 1 den Bereich innerhalb des im Wesentlichen geschlossenen Schleifenmusters als den Bereich des Erkennungsobjekts, extrahiert den Bereich und sendet die extrahierten Bilddaten des Bereichs des Erkennungsobjekts an die Host-Vorrichtung 4. Wie oben beschrieben, enthalten die extrahierten Bilddaten den Bereich, der tatsächlich der Bilderkennung unterzogen werden soll, und ein unnötiges Bild wird daraus entfernt.
10A ist ein Diagramm, das die Struktur eines von dem tragbaren Endgerät abgeschickten Pakets zeigt. Dieses Paket wird in dem in 4 gezeigten Schritt S8 erzeugt.
Jedes Paket wird aus einem Vorspannteil und einem Datenteil gebildet. Der Vorspannteil speichert eine Sendequellenadresse, eine Zieladresse und dergleichen. Welche als die Sendequellenadresse und die Zieladresse gespeicherten Systemadressen dazu gehören, hängt von der Netzwerkkonfiguration ab, auf die vorliegenden Ausführung angewandt wird. In der TCP/IP-Kommunikation werden z. B. IP-Adressen gespeichert.
In dem Datenteil werden Anwendungsidentifikationsinformation, Endgerät-ID, Bilddaten, Zeitinformation und dergleichen gespeichert. Die Anwendungsidentifikationsinformation ist Information, die ein in dem Zielendgerät (hier die Host-Vorrichtung 4) zu startendes Anwendungsprogramm identifiziert. Mit anderen Worten, die Anwendungsidentifikationsinformation ist ein Befehl zum Starten eines vorbestimmten Programms in dem Endgerät des Empfangsziels. In der vorliegenden Ausführung wird ein Befehl, der das Mail-Senden, Fax-Senden, Mail-Auslesen, Fax-Auslesen, Erkennen oder dergleichen identifiziert, festgelegt. In der TCP/ IP-Kommunikation wird die Anwendungsidentifikationsinformation als eine Portnummer spezifiziert.
Die Endgerät-ID ist eine Identifikationsnummer des tragbaren Endgeräts 1. Die Bilddaten sind von der Kamera eingegebene Bilddaten und werden komprimiert, wenn sie in einem Paket gespeichert werden. Wenn es eine Eingabe mit dem Handschriftstift gibt, wird das Ortsmuster der Stifteingabe auch als Bilddaten eingemischt, wie oben mit Verweis auf 8 beschrieben. Die Zeitinformation ist Information, die die Zeit darstellt, als die an die Host-Vorrichtung 4 gesendeten Bilddaten durch die Kamera eingegeben wurden.
10B ist ein detailliertes Flussdiagramm der Paketerzeugungsverarbeitung des in 4 gezeigten Schritts S8. In Schritt S21 werden die an die Host-Vorrichtung 4 zu sendenden Bilddaten komprimiert und in dem Datenteil gespeichert. Das Kompressionsschema ist z. B. das JPEG. In Schritt S22 wird die Zeitinformation, die Zeit darstellt, als die oben beschriebenen Bilddaten durch die Kamera eingegeben wurden, eingestellt. In Schritt S23 wird Information, die ein Bilddatenanalyse- und Erkennungsprogramm identifiziert, als die Anwendungsidentifikationsinformation eingestellt. In Schritt S24 wird eine Endgerät-ID als die Information, die das Endgerät 1 identifizert (d. h. Information, die die eigene Einrichtung identifiziert), eingestellt. Außerdem wird in Schritt S25 der Vorspannteil erzeugt. In dem Vorspannteil werden wenigstens die Adresse des tragbaren Endgeräts 1 (d. h. die Adresse der eigenen Einrichtung) und die Adresse der Host-Vorrichtung 4 als die Sendequellenadresse bzw. die Zieladresse eingestellt. Das wie oben beschrieben erzeugte Paket wird an das Netzwerk 3 abgeschickt. Entsprechend der Zieladresse sendet das Netzwerk 3 das Paket an die Host-Vorrichtung 4.
11 ist ein detailliertes Flussdiagramm der Verarbeitung des in 4 gezeigten Schritts S11, und es zeigt die Verarbeitung zum Extrahieren der Bilddaten des Erkennungsobjekts. In Schritt S31 werden die von der Kamera 12 gelesenen Bilddaten aus dem RAM-Bereich der Speichereinrichtung 22 ausgelesen und einer Vorverarbeitung unterzogen, um das Rauschen der Bilddaten zu entfernen, und danach wird eine Linienerfassungsverarbeitung ausgeführt. Die Linienerfassungsverarbeitung ist eine bekannte Technik. Wenn z. B. die Dichteverteilung oder die Farbverteilung der Bilddaten untersucht wird, kann eine Linie erfasst werden, indem Punkte, die jeweils ein großes Änderungsverhältnis aufweisen, verbunden werden. Auch an einer Grenze zwischen einem bestimmten Bereich und einem anderen Bereich wird das Änderungsverhältnis der Dichteverteilung oder der Farbverteilung groß. Das Unterscheiden zwischen einer "Linie" und einer "Grenze zwischen Bereichen" wird jedoch in einer konventionellen Technik durchgeführt. Indem die Dichteverteilung oder Farbverteilung in dem ganzen Bereich der Bilddaten, die der oben beschriebenen Vorverarbeitung zu unterziehen sind, so untersucht wird, wird die in dem Bild enthaltene "Linie" erfasst.
In Schritt S32 wird eine Linienverbindungsverarbeitung zum Verbinden eines Bruchs der in Schritt S31 erfassten "Linie" ausgeführt. Zum Beispiel umgibt in dem in 9 gezeigten Beispiel das geschlossene Schleifenmuster im Wesentlichen die handgeschriebene Notiz. Ein Teil davon ist jedoch unterbrochen, und es gibt einen so genannten "Linienbruch". Die Linienverbindungsverarbeitung ist eine Verarbeitung zum Reparieren eines solchen "Linienbruchs". Dies ist ebenfalls eine bekannte Technik. Zum Beispiel wird von einer Spitze einer Linie, auf der der "Linienbruch" vorkommt, ein Segment einer Linie mit einer vorbestimmten Länge in der Ausdehnungsrichtung der Linie erweitert. Um die Spitze der Linie herum wird das erweiterte Segment der Linie in einem vorbestimmten Winkelbereich gedreht. Wenn das Segment der Linie mit einer anderen Linie in Berührung kommt, wird eine Verarbeitung zum Verbinden dieser zwei Linien durchgeführt. Durch diese Linienverbindungsverarbeitung wird das teilweise unterbrochene geschlossene Schleifenmuster (im Wesentlichen geschlossenes Schleifenmuster) repariert, um zu einem vollständig geschlossenen Schleifenmuster zu werden.
Unter den in den Bilddaten enthaltenen geschlossenen Schleifenmustern wird in Schritt S33 ein solches geschlossenes Schleifenmuster, bei dem die Fläche des von ihm umgebenen Bereichs größer als ein vorbestimmter Wert ist, erfasst. Zum Beispiel besteht eine Möglichkeit, dass ein Buchstabe "Q" in 9 als ein geschlossenes Schleifenmuster angesehen wird. Durch Ausführen von Schritt S33 werden daher geschlossene Schleifenmuster anders als ein geschlossenes Schleifenmuster, das den Bereich des Erkennungsobjekts spezifiziert, ausgeschlossen. Die Zahl von durch diese Verarbeitung erfassten geschlossenen Schlei fenmustern muss nicht eins sein, sondern kann zwei oder mehr sein. In Schritt S34 werden die Bilddaten in dem Bereich, der von dem in Schritt S33 erfassten geschlossenen Schleifenmuster umgeben ist, ausgegeben.
12 ist eine Zeichnung, die ein Beispiel der Anwendung der oben beschriebenen Bildverarbeitung zeigt. Wie oben beschrieben, kann eine Grenze zwischen Bereichen erfasst werden, indem die Dichteverteilung oder Farbverteilung der Bilddaten untersucht wird. In dem in 12 gezeigten Beispiel wird diese Technik benutzt. Es wird jetzt angenommen, dass eine Notiz, die der Bilderkennung unterzogen werden soll, auf Papier Q geschrieben wird. Das Papier Q mit der darauf geschriebenen Notiz wird auf einen Tisch oder dergleichen mit einer von der des Papiers Q abweichenden Farbe gelegt. Wenn das Papier Q mittels der Kamera 12 abgebildet wird, wird ein Kameraeingabebereich P, der das Papier Q einschließt abgebildet.
Für die so eingegebenen Bilddaten innerhalb des Kameraeingabebereichs P wird Schritt S11 in 4 ausgeführt. Da sich die Farbe des Papiers von der Farbe der Oberfläche des Tisches unterscheidet, wird die Randkante des Papiers als ein geschlossenes Schleifenmuster erfasst, und nur das Bild des Papiers wird als die Bilddaten des Erkennungsobjekts extrahiert. Wenn das Abbildungsverfahren so geändert wird, kann der benötigte Bereich extrahiert werden, ohne ein die Notiz umschließendes geschlossenes Schleifenmuster mit einem Stift oder Bleistift auf Papier zu zeichnen.
In dem in 9 oder 12 gezeigten Beispiel wird der Bereich des Erkennungsobjekts von einem unnötigen Bereich unterschieden, indem die handgeschriebene Notiz mit einem im Wesentlichen geschlossenen Schleifenmuster umgeben wird. Es kann jedoch auch ein anderes Verfahren verwendet werden. Zum Beispiel kann es zur Regel gemacht werden, "eine zu erkennende Zeichenfolge zu unterstreichen", und nur die unterstrichene Zeichenfolge kann aus den mittels der Kamera 12 eingegebenen Bilddaten extrahiert werden. In dem in 13A gezeigten Beispiel ist nur "Treffen mit Hr. K am 18. August" unterstrichen. In diesem Fall werden die Buchstaben Q bis Z nicht extrahiert, und nur "Treffen mit Hr. K am 18. August" wird erfasst.
14A ist ein Flussdiagramm, das die Bilddatenextraktionsverarbeitung des Erkennungsobjekts in dem Fall veranschaulicht, wo die zu erkennende Zeichenfolge durch Unterstreichen identifiziert wird. In dem Flussdiagramm von 4 wird diese Verarbeitung als Schritt S11 ausgeführt.
Schritte S41 und S42 sind die gleichen wie Schritte S31 bzw. S32 von 11. "Linien" werden aus den von der Kamera 12 gelesenen Bilddaten erfasst, und die "Linien" werden repariert. Unter den durch die oben beschriebene Verarbeitung gewonnenen "Linien" werden in Schritt S43 "Linien", die in der horizontalen Richtung oder einer nahezu horizontalen Richtung länger als eine vorbestimmte Länge sind, erfasst. Hier können mehrere "Linien" erfasst werden. In dem in 13A gezeigten Beispiel werden zwei Linien erfasst. Entlang jeder in Schritt S43 erfassten Linie wird ein Bereich über der Linie mit einer vorbestimmten Breite ausgeschnitten, und die ausgeschnittenen Bereiche werden in Schritt S44 als Erkennungsobjektbereiche ausgegeben.
Als ein Verfahren zum Identifizieren des Objektbereichs der Bilderkennung kann auch eine Farbe verwendet werden. Zum Beispiel kann es zur Regel gemacht werden, "die Zeichenfolge mit einer roten Farbe zu schreiben". Unter den mittels der Kamera 12 eingegebenen Bilddaten wird nur die mit einer roten Farbe geschriebene Zeichenfolge extrahiert. In dem in 13B gezeigten Beispiel werden nur die Zeichen "Treffen mit Hr. K am 18. August" mit einer roten Farbe geschrieben, und die übrigen Zeichen werden mit einer schwarzen Farbe geschrieben. In diesem Fall werden die Buchstaben Q bis Z nicht extrahiert, und nur "Treffen mit Hr. K am 18. August" wird extrahiert.
14B ist ein Flussdiagramm, das die Extraktionsverbeitung der Erkennungsobjekt-Bilddaten in dem Fall veranschaulicht, wo die Zeichenfolge des Erkennungsobjekts zur Identifikation mit einer im Voraus spezifizierten Farbe geschrieben wird. Diese Verarbeitung wird auch als Schritt S7 in dem Flussdiagramm von 4 ausgeführt. In Schritt S51 wird ein Bereich, der Pixeln einer im Voraus spezifizierten Farbe mit einer vorbestimmten Dichte oder mehr enthält, aus den mittels der Kamera 12 eingegebenen Bilddaten ausgeschnitten, und die in dem ausgeschnittenen Bereich enthaltenen Bilddaten werden als der Erkennungsobjektbereich ausgegeben. Die Zeichenfolge des Erkennungsobjekts kann anstelle der Unterstreichung oder der Farbe unter Verwendung anderer Zeichenverzierungsinformation spezifiziert werden.
15 ist ein Konfigurationsdiagramm der Host-Vorrichtung 4. Eine Speichereinrichtung 51 wird durch einen Halbleiterspeicher, ein Magnetaufzeichnungsmedium oder ein optisches Aufzeichnungsmedium gebildet und speichert Programme, Daten und dergleichen. Die Speichereinrichtung kann in der Host-Vorrichtung 4 fest angebracht sein oder kann so angebracht sein, dass sie beliebig befestigt und abgenommen werden kann.
Ein Aufzeichnungsmediumtreiber 52 ist eine Einrichtung, die in einem abnehmbaren Auf zeichnungsmedium (Halbleiterspeicher, Magnetplatte, optische Platte, optische Magnetplatte oder dergleichen) 53 gespeicherte Daten ausliest oder Daten in das abnehmbare Aufzeichnungsmedium 53 schreibt. Ein Kommunikations-Controller 54 ist eine Einheit, die den Austausch von Daten mit dem Netzwerk steuert. Das Senden und Empfangen von Paketen in Bezug auf das tragbare Endgerät 1 werden ebenfalls von dem Kommunikations-Controller 54 gesteuert.
Eine CPU 55 lädt ein Programm oder dergleichen aus der Speichereinrichtung 51 oder dem abnehmbaren Aufzeichnungsmedium 53 in einen Speicher 56 und führt es aus. Die in der Speichereinrichtung 51 gespeicherten Daten und dergleichen können gewonnen werden, indem das Programm, Daten und dergleichen, die in dem abnehmbaren Aufzeichnungsmedium 53 gespeichert sind, in die Speichereinrichtung 51 geschrieben werden oder das Programm, Daten und dergleichen von einer anderen Einrichtung auf dem Netzwerk über eine Kommunikationsleitung oder dergleichen empfangen und in der Speichereinrichtung 51 aufgezeichnet werden. Außerdem kann die CPU 55 das Programm, Daten und dergleichen, die in einer anderen auf dem Netzwerk installierten Einrichtung gespeichert sind, über eine Kommunikationsleitung oder dergleichen benutzen. Die Bilderkennungseinheit 5, die Mail-Sende/Empfangseinheit 6 und die Fax-Sende/Empfangseinheit 7, gezeigt i 7, stellen die von der CPU 55 ausgeführten Funktionen und das Programm über den Kommunikations-Controller 54 als Blöcke dar.
16 und 17 sind Flussdiagramme, die die Verarbeitung der Host-Vorrichtung 4 veranschaulichen. Die Host-Vorrichtung 4 empfängt ein von dem tragbaren Endgerät 1 gesendetes Paket (d. h. ein durch die Verarbeitung des Flussdiagramms von 4 erzeugtes Paket) und verarbeitet die Bilddaten entsprechend der in seinem Datenteil eingestellten Information. Die Operation, die durchgeführt wird, wenn ein Paket von dem Netzwerk 3 empfangen wird, wird nun beschrieben.
Nach Empfang eines Pakets in Schritt S31 wird in Schritt S32 das Endgerät, das das Paket sendete, durch Untersuchen der in dem Paket eingestellten Endgerät-ID erkannt. In Schritt S33 wird festgestellt, ob das empfangene Paket E-Mail-Daten enthält. Wenn E-Mail-Daten enthalten sind, werden sie als Mail-Empfang erkannt, und die Verarbeitung geht zu Schritt S41. In Schritt S41 wird die Mail-Sende/Empfangseinheit 6 gestartet und aufgefordert, die Verarbeitung bezüglich des Mail-Empfangs durchzuführen. Die Mail-Sende/Empfangseinheit 6 speichert die empfangene E-Mail unter Verwendung ihres Ziels als einen Schlüssel und informiert den Zielbenutzer auf Verlangen über den Empfang der Mail.
In Schritt S34 wird festgestellt, ob das empfangene Paket Faxdaten enthält. Wenn Faxdaten enthalten sind, werden sie als "Fax-Empfang" angesehen, und die Verarbeitung geht zu Schritt S42. In Schritt S42 wird die Fax-Sende/Empfangseinheit 7 gestartet und aufgefordert, die Verarbeitung bezüglich des Fax-Empfangs durchzuführen. Die Fax-Sende/Empfangseinheit 7 speichert das empfangene Fax unter Verwendung seines Ziels als einen Schlüssel und informiert den Zielbenutzer auf Verlangen über den Empfang des Faxes.
In Schritt S35 wird eine Anwendung, die durch die in dem empfangenen Paket eingestellte Anwendungsidentifikationsinformation spezifiziert ist, gestartet. In Schritt S36 wird festgestellt, ob die gestartete Anwendung Bilderkennungsverarbeitung enthält. Wenn die Anwendung keine Bilderkennungsverarbeitung enthält, wird die Verarbeitung dieser Anwendung in Schritt S43 ausgeführt. Wenn die Anwendung Bilderkennungsverarbeitung enthält, werden in dem empfangenen Paket enthaltene Bilddaten in Schritt S37 expandiert, und in Schritt S38 werden die Mustererkennungsverarbeitung und Zeichenerkennungsverarbeitung auf den Bilddaten ausgeführt. Durch diese Bilderkennungsverarbeitung wird der von dem Benutzer verlangte Service erkannt. Die Erkennungsverarbeitung von Schritt S38 wird später beschrieben.
In Schritt S51 wird festgestellt, ob der vom Benutzer verlangte Service "Mail Senden" ist. Wenn der Service "Mail Senden" ist, geht die Verarbeitung zu Schritt S52. In Schritt S52 werden die Mustererkennungsverarbeitung und Zeichenerkennungsverarbeitung auf den in Schritt S37 expandierten Bilddaten ausgeführt. Während die Zeichenerkennungsverarbeitung nur für einen Bereich ausgeführt wird, der benötigt wird, um den durch den Benutzer in Schritt S38 verlangten Service zu erkennen, wird in Schritt S52 die Zeichenerkennungsverarbeitung für den ganzen Bereich der expandierten Bilddaten ausgeführt. Zeichen, die durch diese Zeichenerkennungsverarbeitung gewonnenen werden, werden in einen vorbestimmten Zeichencode (z. B. ASCII-Code oder JIS-Code) umgewandelt. Der hier gewonnene Zeichencode sind vom Benutzer mittels des tragbaren Endgeräts 1 eingegebene Mail-Sätze. In Schritt S53 wird die Mail-Sende/Empfangseinheit 6 gestartet, und die Mail-Sende/Empfangseinheit 6 sendet die in Schritt S52 gewonnenen Mail-Sätze. Die Schritte S52 und S53 werden später im Einzelnen beschrieben.
In Schritt S54 wird festgestellt, ob der vom Benutzer verlangte Service "Fax Senden" ist. Wenn der Service "Fax Senden" ist, geht die Verarbeitung zu Schritt S55. In Schritt S55 wird die Fax-Sende/Empfangseinheit 7 gestartet, und die Fax-Sende/Empfangseinheit 7 sendet die in Schritt S37 expandierten Bilddaten an ein in dem Bild spezifiziertes Sendeziel.
In Schritt S56 wird festgestellt, ob der vom Benutzer verlangte Service "Mail Auslesen" ist. Wenn der Service "Mail Auslesen" ist, geht die Verarbeitung zu Schritt S57. In Schritt S57 wird die Mail-Sende/Empfangseinheit 6 gestartet. Wenn Mail mit der in Schritt S32 erfassten Endgerät-ID als ihr Ziel empfangen wird, sendet die Mail-Sende/Empfangseinheit 6 die Mail an das Endgerät mit der Endgerät-ID. Schritt S57 wird später beschrieben.
In Schritt S58 wird festgestellt, ob der vom Benutzer verlangte Service "Fax Ausgeben" ist. Wenn der Service "Fax Ausgeben" ist, geht die Verarbeitung zu Schritt S59. In Schritt S59 wird die Fax-Sende/Empfangseinheit 7 gestartet. Wenn ein Fax mit der in Schritt S32 erfassten Endgerät-ID als sein Ziel empfangen wird, sendet die Fax-Sende/Empfangseinheit 7 das Fax an das Endgerät mit der Endgerät-ID.
Wenn in Schritt S74 festgestellt wird, dass der Service der Erkennen-Servive ist, werden die in dem empfangenen Paket gespeicherten Bilddaten in Schritt S76 expandiert, und die Mustererkennungsverarbeitung und die Zeichenerkennungsverarbeitung werden in Schritt S76 auf den Bilddaten ausgeführt. Die der Erkennungsverarbeitung unterzogenen Bilddaten sind die in Schritt S11 von 4 extrahierten Bilddaten. Mit anderen Worten, in dem Beispiel von 9 oder 13 wird die Bilderkennungsverarbeitung auf den Bilddaten des Bereichs, der nur "Treffen mit Hr. K am 18. August" enthält, ausgeführt. Als Ergebnis dieser Bilderkennungsverarbeitung wird daher nur der vom Benutzer als Notiz geschriebene Inhalt erkannt.
Wenn das Ergebnis der Erkennung in Schritt S76 Zeichen enthält, werden in Schritt S77 die Zeichen in einen Zeichencode (z. B. ASCII-Code oder JIS-Code) umgewandelt. In Schritt S78 wird ein Paket zu Rückgeben des Erkennungsergebnisses an das tragbare Endgerät 1 erzeugt. Mit anderen Worten, die Sendezieladresse dieses Pakets ist das tragbare Endgerät 1, und das oben beschriebene Erkennungsergebnis wird in seinem Datenteil gespeichert. In Schritt S79 wird das erzeugte Paket an das Netzwerk 3 abgeschickt.
Das in Schritt S79 an das Netzwerk 3 abgeschickte Paket wird an das tragbare Endgerät 1 gesendet. Nach Empfang dieses Pakets zeigt das tragbare Endgerät 1 das Ergebnis der von der Host-Vorrichtung 4 ausgeführten Bilderkennungsverarbeitung auf der LCD-Anzeigeeinheit 11 an. Außerdem wird das Erkennungsergebnis in dem tragbaren Endgerät auf Befehl des Benutzers gespeichert.
Wie oben beschrieben, kann das Ergebnis der Bilderkennung in der Host-Vorrichtung 4 gespeichert werden. In diesem Fall wird das Erkennungsergebnis so gespeichert, dass es mit der Endgerät-ID der Endgeräteinrichtung, die die verschiedenen Bilddaten sendete (d. h. das tragbare Endgerät 1) verbunden ist. Außerdem kann dieses Erkennungsergebnis an eine im Voraus spezifizierte Endgeräteinrichtung gesendet werden. Des Werteren kann eine Rückgewinnungsverarbeitung unter Verwendung einer in diesem Erkennungsergebis enthaltenen Zeichenfolge als Stichwort ausgeführt werden, oder die Zeichenfolge kann in eine vorbestimmte Sprache übersetzt werden. In diesem Fall wird das Rückgewinnungsergebnis oder das Übersetzungsergebnis an das tragbare Endgerät 1 gesendet.
Es gibt eine starke Forderung, Größe, Gewicht und Kosten von tragbaren Endgeräten zu reduzieren. In der Anwendung der vorliegenden Ausführung können diese Forderungen erfüllt werden, indem ein Teil der von dem tragbaren Endgerät ausgeführten Verarbeitung in die Host-Vorrichtung verlagert wird. Zum Beispiel ist es möglich, die Host-Vorrichtung 4 zu veranlassen, die Verarbeitung von Schritt S11 des Flussdiagramms von 4 auszuführen. Wie oben beschrieben, enthält Schritt S11 die Bildverarbeitung. Wenn versucht wird, eine solche Verarbeitung mit hoher Genauigkeit oder in einer kurzen Zeit zu implementieren, werden im Allgemeinen ein Prozessor mit großem Verarbeitungsvermögen und ein großes Programm benötigt. Beim Verringern von Größe, Gewicht und Kosten des tragbaren Endgeräts 1 ist es daher wirkungsvoll, die Host-Vorrichtung 4 zu veranlassen, die Verarbeitung von Schritt S11 auszuführen.
In dem Fall, wo die Host-Vorrichtung 4 dazu gebracht wird, die Verarbeitung von Schritt S11 auszuführen, sendet das tragbare Endgerät 1 die mittels der Kamera 12 gelesenen Bilddaten wie sie sind an die Host-Vorrichtung 4. In dem Flussdiagramm von 17 führt die Host-Vorrichtung 4 die Verarbeitung von Schritt S11 nach der Verarbeitung von Schritt S75 aus.
Wie oben beschrieben, ist das Bildverarbeitungssystem der vorliegenden Ausführung so aufgebaut, dass ein Papierbild mit einer darauf geschriebenen Notiz durch eine Kamera oder dergleichen des tragbaren Endgeräts 1 eingegeben wird und die Host-Vorrichtung 4 die Erkennungsverarbeitung nur für einen benötigten Bereich in diesem Bild ausführt. Indem das tragbare Endgerät 1 mit einer Funktion zum Eingeben des Bilds und Senden desselben an die Host-Vorrichtung 4 und einer Funktion zum Auffordern der Host-Vorrichtung 4, die Verarbeitung durchzuführen (und in einer Konfiguration eine Funktion zum Extrahieren eines benötigten Bereichs), ausgestattet wird, kann daher der Inhalt der geschriebenen Notiz mit einer derart einfachen Schnittstelle in eine elektronische Datei umgewandelt werden, dass eine handgeschriebene Notiz oder dergleichen mittels einer Kamera eingegeben wird.
18 ist ein detailliertes Flussdiagramm von Schritt S38 von 16. Durch Ausführen der Mustererkennungsverarbeitung und der Zeichenerkennungsverarbeitung auf den in dem empfangenen Paket gespeicherten Bilddaten wird der von dem Benutzer verlangte Service erfasst.
In Schritt S61 wird ein bestimmtes Symbol oder Farbe in den empfangenen Bilddaten nach einer vorbestimmten Regel erfasst. Zum Beispiel wird in dem Fall, wo eckige Klammern als Symbole benutzt werden, die die Positionen einer Zeichenfolge angeben, die den Service spezifiziert, oder einer Zeichenfolge, die das Sendeziel spezifiziert, wie in 5A gezeigt, das Bild innerhalb der eckigen Klammern extrahiert. In dem Fall, wo die Serviceklassifizierung mit einer Farbe verbunden ist und das Sendeziel mittels einer durch eine bestimmte Farbe dargestellten Zeichenfolge spezifiziert wird, wie in 5B gezeigt, wird ein Bereich, der die bestimmte Farbe verwendet, extrahiert.
In Schritt S62 wird die Zeichenerkennungsverarbeitung auf den in Schritt S61 extrahierten Bilddaten ausgeführt. In Schritt S63 wird der vom Benutzer verlangte Service aus dem Ergebnis der Zeichenerkannungsverarbeitung erfasst. In dem Beispiel von 5A oder 5B wird die Adresse des Sendeziels der E-Mail gleichzeitig mit dem Erfassen, dass der vom Benutzer verlangte Service "E-Mail Senden" ist, erfasst.
19 ist ein detailliertes Flussdiagramm von Schritt S52 von 17 und zeigt die Verarbeitung zum Erfassen jedes Zeichencodes der als die Mail-Sätze zu sendenden Zeichenfolge.
In Schritt S71 wird die Zeichenerkennungsverarbeitung auf den empfangenen Bilddaten ausgeführt, und von dem tragbaren Endgerät 1 abgebildete Zeichen werden erkannt. Hier wird die Zeichenerkennungsverarbeitung für den in Schritt S38 verarbeiteten Bereich nicht ausgeführt.
In Schritt S72 wird die Position aller in Schritt S71 erfassten Zeichen erfasst. Zum Beispiel wird die Mittenposition jedes Zeichens als eine relative Position in Bezug auf die obere linke Ecke des mittels der Kamera abgebildeten Schirms erfasst.
In Schritt S73 wird der Abstand zwischen Zeichen geprüft, und es wird festgestellt, ob die Sätze senkrecht oder quer geschrieben sind. Im Fall der Querschreibung ist der Zeichenabstand in der Querrichtung im Allgemeinen kleiner als der Zeichenabstand in der Vertikalrichtung. Im Fall der Vertikalschreibung ist der Zeichenabstand in der Vertikalrichtung im Allgemeinen kleiner als der Zeichenabstand in der Querrichtung. Dieses Merkmal wird hier ausgenutzt.
In Schritt S74 werden Zeichen in der in Schritt S73 erlangten Richtung extrahiert. Zum Beispiel werden im Fall von quer geschriebenen Sätzen Zeichen auf einer oberen Zeile von links nach rechts eines nach dem anderen extrahiert. Danach wird die gleiche Verarbeitung der Reihe nach für die tieferen Zeilen ausgeführt. Diese extrahierten Zeichen werden in einen Zeichencode umgewandelt und der Reihe nach Zeichen für Zeichen gespeichert.
Durch die oben beschriebene Verarbeitung werden mittels des tragbaren Endgeräts 1 durch den Benutzer abgebildete Zeichen von Sätzen der Reihe nach extrahiert und in Zeichencodes umgewandelt.
20 ist ein detailliertes Flussdiagramm von Schritt S53 von 17 und zeigt die Mail-Sendeverarbeitung. Diese Verarbeitung wird von der Mail-Sende/Empfangseinheit 6 von 1 ausgeführt.
In Schritt S81 wird die in Schritt S38 gewonnene Sendezieladresse durch den Benutzer des tragbaren Endgeräts 1 bestätigt. Das heißt, die durch die Bilderkennungsverarbeitung in Schritt S38 gewonnene Sendezieladresse wird an das Endgerät mit der in Schritt S32 erfassten Endgerät-ID gesendet, und eine Anfrage wird getätigt, ob die Sendezieladresse richtig ist. Nach Empfang dieser Anfrage zeigt das tragbare Endgerät 1 die empfangene Sendezieladresse auf der Anzeigeeinheit an und wartet auf einen Befehl des Benutzers.
In Schritten S82 und S83 wird auf eine Anwort von dem tragbaren Endgerät 1 gewartet. Wenn es innerhalb einer vorbestimmten Zeit keine Antwort gibt, endet die Verarbeitung. Wenn es aber eine Antwort gibt, wird in Schritten S84 und S85 festgestellt, ob die Antwort "OK: Sendezieladresse bestätigt" ist. Im Fall von "OK" geht die Verarbeitung zu Schritt S91. Wenn ein Änderungsbefehl enthalten ist, wird in Schritt S86 die Adresse diesem Befehl entsprechend geändert, und die Verarbeitung kehrt zu Schritt S81 zurück. Wenn die Antwort von dem tragbaren Endgerät 1 weder "OK" noch ein Änderungsbefehl ist, wird in Schritt S87 eine Fehlerverarbeitung ausgeführt.
In Schritt S91 wird ein in 21 gezeigtes TCP-Segment erzeugt. Das heißt, eine Portnummer, eine Folgenummer und dergleichen werden in einen TCP-Vorspann gesetzt. Die Portnummer ist z. B. eine Nummer, die SMTP spezifiziert. Was Daten angeht, wird die in Schritt S52 gewonnene Zeichenfolge als Mail-Sätze gespeichert.
In Schritt S92 wird eine IP-Adresse, die der in den Bilddaten enthaltenen Sendezieladresse entspricht, gewonnen. Die IP-Adresse wird gewonnen, indem z. B. ein DNS (Domain Name Server) angefragt wird, der auf dem Netzwerk vorhanden ist und nicht gezeigt wird. In Schritt S93 wird ein 21 gezeigtes Datagramm erzeugt. In einen Vorspann des hier erzeugten IP-Datagramms wird die in Schritt S92 gewonnene IP-Adresse gesetzt. Ein Datenteil des IP-Datagramms besitzt ein darin gespeichertes TCP-Segment.
In Schritt S94 wird ein in 21 gezeigtes Sendepaket erzeugt. Ein Datenteil des Sendepakets hat das oben beschriebene IP-Paket darin gespeichert. Das Format dieses Pakets wird durch ein Kommunikationsprotokoll auf dem Netzwerk 3 bestimmt, mit dem die Host-Vorrichtung 4 verbunden ist. In Schritt S95 wird das in Schritt S94 erzeugte Sendepaket an das Netzwerk 3 abgeschickt.
In Schritt S96 wird festgestellt, ob das oben beschriebene Sendepaket normal abgeschickt werden konnte. Wenn das Paket normal abgeschickt werden konnte, wird das tragbare Endgerät 1 in Schritt S97 informiert, dass das Mail-Senden vollendet ist, und die gesendete Mail wird in Schritt S98 in der Host-Vorrichtung 4 gespeichert. Wenn dagegen das oben bechriebene Sendepaket nicht normal abgeschickt werden konnte, wird das tragbare Endgerät über diese Tatsache informiert.
22 ist ein detailliertes Flussdiagramm von Schritt S57 von 17 und zeigt die Verarbeitung zum Auslesen in der Host-Vorrichtung 4 gespeicherter Mail von dem tragbaren Endgerät 1. Diese Verarbeitung wird z. B. in der folgenden Situation ausgeführt. An den Benutzer des tragbaren Endgeräts 1 gerichtete Mail wird von der Mail-Sende/Empfangseinheit 6 empfangen. Die Mail-Sende/Empfangseinheit 6 verwaltet die Mail. In dieser Situation bildet das tragbare Endgerät 1 die Notiz, wie in 7 gezeigt, mittels der Kamera 12 ab und sendet die Bilddaten an die Host-Vorrichtung 4.
In Schritt S101 wird auf die Mailbox des Endgeräts (Benutzers) der Anfragequelle zugegriffen. Dieses Endgerät wird durch die in dem oben beschriebenen Schritt S32 erfasste Endgerät-ID identifiziert. Im Übrigen wird an der Mail-Sende/Empfangseinheit 6 eingetroffene Mail entsprechend ihrem Ziel in eine spezifische Mailbox gelegt. Wenn z. B. an den Benutzer des tragbaren Endgeräts 1 gerichtete Mail eingetroffen ist, speichert die Mail-Sende/ Empfangseinheit 6 dieselbe in der für den Benutzer des tragbaren Endgeräts 1 installierten Mailbox. Durch Zugreifen mittels der in Schritt S32 erfassten Endgerät-ID als ein Schlüssel kann daher der an dieses Endgerät (Benutzer) gerichtete Brief ausgelesen werden.
In Schritt S102 wird festgestellt, ob es eine Spezifizierung einer mailsendenden Person gibt, indem die Zeichenerkennungsverarbeitung auf den empfangenen Bilddaten ausgeführt wird.
Wenn es keine Spezifizierung gibt, wird in Schritt S103 alle in der Mailbox dieses Endgeräts gespeicherte Mail ausgelesen. Wenn es dagegen eine Spezifizierung einer mailsendenden Person gibt, wird in Schritt S104 nur die Mail von dieser mailsendenden Person ausgelesen. Im Fall des in 7 gezeigten Beispiels wird nur die von Hr. K gesendete Mail ausgelesen. In Schritt S105 wird die ausgelesene Mail an das Endgerät der Anfragequelle gesendet.
In der oben beschriebenen Ausführung wird eine bestimmte Adresse als die Sendezieladresse einer E-Mail spezifiziert. Alternativ kann eine Gruppe, die eine Vielzahl von Endgeräten umfasst, spezifiziert werden. In diesem Fall ist es erforderlich, im Voraus eine Tabelle, wie in 23 gezeigt, in der Mail-Sende/Empfangseinheit 6 einzutragen. Nun wird angenommen, dass die Tabelle von 23 eingerichtet und die Sendezieladresse von 5A durch "Geschäftsabteilung" ersetzt ist. Eine solche Notiz wird durch die Kamera 12 eingegeben, und ihre Bilddaten werden an die Host-Vorrichtung 4 gesendet. Durch Ausführen der Zeichenerkennungsverarbeitung auf den empfangenen Bilddaten erkennt die Host-Vorrichtung 4, dass das Mailsendeziel die "Geschäftsabteilung" ist. Wenn zu dieser Zeit auf die Tabelle von 23 unter Verwendung der Endgerät-ID des tragbaren Endgeräts 1 zugegriffen wird, werden eine oder mehr zu der "Geschäftsabteilung" gehörende E-Mail-Adressen erlangt. Die folgende Verarbeitung ist die gleiche wie in der vorangehenden Beschreibung.
In der oben beschriebenen Ausführung werden die von der Host-Vorrichtung 4 ausgeführten Verarbeitungsprogramme, d. h. die Programme, die die in den Flussdiagrammen von 16 bis 20 und 22 gezeigten Funktionen implementieren, und das Programm zum Interpretieren und Verarbeiten der über das Netzwerk gesendeten Information im Voraus in der Speichereinrichtung 51 oder dem abnehmbaren Speichermedium 53 in einer Form eines Programmcodes gespeichert, die von der CPU 55 gelesen werden kann. Oder Programme, die in einer anderen über das Netzwerk angeschlossene Einrichtung gespeichert sind, werden verwendet.
19 bis 23 zeigen die Verarbeitung für eine E-Mail-Sendung. Im Grunde ist die Operation für eine Faxsendung auch die gleiche. Wenn ein Fax gesendet wird, ist es jedoch erforderlich, die Telefonnummer des Sendeziels durch Ausführen der Bilderkennungsverarbeitung auf den empfangenen Bilddaten zu erfassen. Für den als Fax zu sendenden Inhalt (Fax-Sätze) muss jedoch die Erkennungsverarbeitung nicht ausgeführt werden.
In der oben beschriebenen Ausführung wird eine solche Konfiguration gezeigt, die Bilddaten mittels einer Kamera eingibt. Die vorliegende Erfindung ist jedoch nicht auf diese Konfiguration beschränkt. Zum Beispiel können mittels eines Bildscanners gelesene Bilddaten an die Host-Vorrichtung gesendet werden.
Dementsprechend werden in dem Bilddatenverarbeitungssystem nach der vorliegenden Ausführung von dem tragbaren Endgerät 1 eingegebene Bilddaten an die Host-Vorrichtung 4 gesendet. Durch Analysieren der Bilddaten erkennt die Host-Vorrichtung 4 den vom Benutzer des tragbaren Endgeräts 1 verlangten Service und sendet die in den Bilddaten enthaltenen Übertragungsdaten als eine E-Mail oder ein Fax entsprechend der in den Bilddaten enthaltenen Zielinformation. Indem das tragbare Endgerät 1 nur mit der Funktion zum Eingeben von Bilddaten oder dergleichen und Senden derselben an die Host-Vorrichtung 4 und der Funktion zum Auffordern der Host-Vorrichtung 4, die Verarbeitung auszuführen, ausgestattet wird, kann daher eine E-Mail oder dergleichen mit einer solchen Benutzerschnittstelle gesendet werden, dass eine handgeschriebene Notiz oder dergleichen durch eine Kamera abgebildet wird. Das heißt, das tragbare Endgerät 1 muss keine hoch genaue Mustererkennungsverarbeitung und verschiedene Verarbeitungsarten, die Hochgeschwindigkeitsverarbeitung erfordern, ausführen. Das tragbare Endgerät 1 kann sich daher Ergebnissen von in der Host-Vorrichtung 4 ausgeführter hoch entwickelter Bildverarbeitung erfreuen, ohne über einen Speicher großer Kapazität oder einen Hochleistungsprozessor zu verfügen.

Claims

Host-Vorrichtung, die über ein Netz (3) mit einem tragbaren Endgerät (1, 9) verbunden werden kann, und die umfasst: eine Einrichtung (5) zum Empfangen von Bilddaten, die von dem tragbaren Endgerät gesendet werden, wobei die Bilddaten eine erste spezifische Information, die eine Empfänger-Identifizierungsnummer und einen Sendebefehl anzeigt, der anzeigt, ob die empfangenen Daten mittels E-Mail oder mittels Fax zu einem Ziel gesendet werden, und eine zweite spezifische Information enthalten, die ein Inhaltsbild anzeigt, das ein Benutzer des tragbaren Endgerätes senden möchte, wobei die Einrichtung (5) den Sendebefehl und ein Sendeziel durch Zeichenerkennung der durch die erste spezifische Information angezeigten Bilddaten erfasst und aus den Bilddaten das durch die zweite spezifische Information angezeigte Inhaltsbild extrahiert; und eine Einrichtung (6, 7) zum Senden des extrahierten Bildes zu dem Sendeziel auf eine Weise, die dem erfassten Sendebefehl entspricht.
Host-Vorrichtung nach Anspruch 1, wobei die Sendeeinrichtung (6, 7) das extrahierte Bild mittels einer E-Mail sendet, wenn der erfasste Sendebefehl ein E-Mail-Sendebefehl ist.
Host-Vorrichtung nach Anspruch 1, wobei die Sendeeinrichtung (6, 7) das extrahierte Bild per Fax sendet, wenn der erfasste Sendebefehl ein Fax-Sendebefehl ist.
Host-Vorrichtung nach Anspruch 1, wobei die Einrichtung (5) von dem tragbaren Endgerät gesendete Bilddaten empfängt und die Bilddaten des Weiteren eine dritte spezifische Information enthalten, die eine Sende-Zielradresse anzeigt, und die Einrichtung (5) die Sende-Zieladresse durch Zeichenerkennung der durch die dritte spezifische Information angezeigten Bilddaten erfasst; und die Sendeeinrichtung (6, 7) das extrahierte Bild zu der erfassten Sende-Zieladresse sendet.
Host-Vorrichtung nach Anspruch 4, wobei die Sendeeinrichtung (6, 7) die erfasste Sende-Zieladresse an das tragbare Endgerät sendet, um die erfasste Sende-Zieladresse zu bestätigen, und die erfasste Sende-Zieladresse korrigiert, wenn das tragbare Endgerät einen Änderungsbefehl sendet.
Host-Vorrichtung nach Anspruch 1, die des Weiteren umfasst: eine Einrichtung zum Speichern von E-Mails; eine Einrichtung zum Extrahieren der E-Mail für das tragbare Endgerät und zum Senden der extrahierten E-Mail, wenn die Einrichtung (5) einen E-Mail-Abfragebefehl erfasst.