EP1584181A1 - Mobiltelefon mit einer scan-hilfe - Google Patents

Mobiltelefon mit einer scan-hilfe

Info

Publication number
EP1584181A1
EP1584181A1 EP03815051A EP03815051A EP1584181A1 EP 1584181 A1 EP1584181 A1 EP 1584181A1 EP 03815051 A EP03815051 A EP 03815051A EP 03815051 A EP03815051 A EP 03815051A EP 1584181 A1 EP1584181 A1 EP 1584181A1
Authority
EP
European Patent Office
Prior art keywords
camera
images
image
document
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03815051A
Other languages
English (en)
French (fr)
Inventor
Markus Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Siemens AG
BenQ Mobile GmbH and Co OHG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, BenQ Mobile GmbH and Co OHG, Siemens Corp filed Critical Siemens AG
Priority to EP03815051A priority Critical patent/EP1584181A1/de
Publication of EP1584181A1 publication Critical patent/EP1584181A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional [2D] array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional [2D] array
    • H04N1/19594Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional [2D] array using a television camera or a still video camera

Definitions

  • the invention relates to a method for scanning, in particular documents, and a mobile phone according to the preamble of claim 2.
  • the use of a camera with, for example, low resolution for scanning documents is known.
  • the camera or mobile phone is moved over the document from a short distance.
  • a result image is generated from the images or partial images recorded in the process.
  • the images are recorded, for example, with a high sampling frequency of typically 15 or 30 Hertz. For this reason, neighboring images have a very high image overlap.
  • a high-resolution result image can be continuously built up by lining up narrow image strips from the respective image center and taking into account the camera shift.
  • the invention has for its object in a method for scanning and to facilitate the scanning of documents in a mobile phone.
  • the method or mobile phone according to the invention enables the relative position of the camera sensor to the document to be determined quickly and robustly.
  • a reference pattern is faded into the field of view of the camera.
  • the evaluation of the geometry of the pattern in the images enables the differences in imaging in the images to be compensated for.
  • a small reference pattern is permanently projected to the same position within the camera field of view and evaluated in the recorded image by an image processing algorithm.
  • the position of the sensor relative to the document is clearly determined in three-dimensional space from the geometric information of the reference pattern projected onto the document surface and imaged in the sensor.
  • a suitable reference pattern is, for example, a small crosshair that is permanently projected onto the same position within the camera field of view. From the information of the crosshair size (distance) and the relative lengths of the Crosshair axes (tilt in x and y direction) the position of the sensor relative to the document is clearly determined in three-dimensional space.
  • the method for determining the position of a camera K relative to a document is implemented, for example, on a cell phone or mobile radio device which has the following features:
  • Camera K for example on the back of the mobile phone MT, for recording images from the surroundings
  • the mobile phone MT is moved a short distance above the document.
  • the characteristic features of the projection of a reference pattern F for determining the relative sensor position are roughly sketched using a constructed example:
  • Case a) compared to case b)
  • the camera is parallel to the document surface.
  • the distance from the camera to the document is greater in case a) than in case b).
  • the projected cross hair F in the camera image is smaller in case b) than in case a).
  • the crosshair size is directly related to the sensor distance and can be calculated from the individual camera image.
  • the camera K or the camera sensor is tilted relative to the document template.
  • the position of the sensor in 3-dimensional space relative to the document can be clearly determined from the absolute size of the crosshair in connection with the information about the relative lengths of the crosshair axes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Telephone Function (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Scannen, insbesondere von Dokumenten, mit einer Kamera (K), wobei eine Folge von Bildern oder Teilbildern zu einem Ergebnisbild zusammengefügt wird, bei dem ein Referenzmuster (F) in das Kameragesichtsfeld projeziert wird, und bei dem auf Grundlage der geometrischen Information des Musters (F) in den einzelnen Bildern Abbildungsunterschiede in den Bildern kompensiert werden.

Description

Mobiltelefon mit einer Scan-Hilfe
Die Erfindung betrifft ein Verfahren zum Scannen, insbesondere von Dokumenten, sowie ein Mobiltelefon gemäß dem Oberbegriff des Patentanspruchs 2.
Die Verwendung einer Kamera mit beispielsweise niedriger Auflösung zum Scannen von Dokumenten ist bekannt. Dabei wird die Kamera beziehungsweise das Mobiltelefon aus einem niedrigen Abstand über das Dokument bewegt. Aus den dabei aufgenommenen Bildern beziehungsweise Teilbildern wird ein Ergebnisbild generiert.
Die Aufzeichnung der Bilder erfolgt beispielsweise mit einer hohen Abtastfrequenz von typischer Weise 15 oder 30 Hertz. Benachbarte Bilder besitzen aus diesem Grund einen sehr hohen Bildüberlapp. Durch Aneinanderreihung von schmalen Bildstreifen aus der jeweiligen Bildmitte und unter Berücksichtigung der Kameraverschiebung kann ein hochauflösendes Ergebnisbild kontinuierlich aufgebaut werden.
Schon geringe Variationen des Abstandes zwischen Kamera und Dokument sowie eine leichte Verkippung der Kamera, wie sie bei einer in der Hand gehaltenen Kamera auftreten, führen jedoch zu sehr störenden Größenänderungen der abgebildeten Dokumenteninhalte. Die Größenänderungen müssen in einem ersten Verarbeitungsschritt untereinander ausgeglichen werden, damit das hochauflösende Ergebnisbild fehlerfrei aufgebaut werden kann. Die Bestimmung der Lage des Kamerasensors gegenüber dem Dokument insbesondere hinsichtlich Abstand und Verkippung ist die wesentliche und wichtige Voraussetzung zur Fehlerkompensation. Die Berechnung der relativen Lageinformation aus aufeinanderfolgenden Bildern ist ein bekannter Ansatz, der sehr komplex ist und meist sehr instabile Ergebnisse liefert. Verkippungen der Kamera gegenüber dem Dokument können im Allge- meinen nur sehr schwer auf der Basis der aufgezeichneten Bildinformation durch Bildverarbeitung erfasst werden.
Der Erfindung liegt die Aufgabe zugrunde bei einem Verfahren zu Scannen und bei einem Mobiltelefon das Scannen von Dokumenten zu erleichtern.
Diese Aufgabe wird erfindungsgemäß für ein Verfahren durch die im Patentanspruch 1 und für ein Mobiltelefon durch die im Patentanspruch 2 angegebenen Merkmale gelöst.
Das erfindungsgemäße Verfahren beziehungsweise Mobiltelefon ermöglicht die schnelle und robuste Bestimmung der relativen Lage des Kamerasensors gegenüber dem Dokument.
Erfindungsgemäß wird in das Gesichtsfeld der Kamera ein Referenzmuster eingeblendet. Die Auswertung der Geometrie des Musters in den Bildern ermöglicht die Kompensation der Abbildungsunterschiede in den Bildern.
Ein kleines Referenzmuster wird permanent an die gleiche Position innerhalb des Kameragesichtsfeldes projiziert und durch einen Bildverarbeitungsalgorithmus in dem aufgezeichneten Bild ausgewertet. Aus der geometrischen Information des auf die Dokumentenoberfläche projizierten und im Sensor abgebildeten Referenzmusters ist die Lage des Sensors relativ zum Dokument eindeutig im dreidimensionalen Raum bestimmt. Durch das Verwenden eines Referenzmusters ist die Extraktion der notwendigen geometrischen Information zur Kompensation der Abbildungsunterschiede in Bildern mit den Methoden der digitalen Bildverarbeitung sehr robust und schnell und erfolgt unabhängig von dem Inhalt des gescannten Dokumentes.
Ein geeignetes Referenzmuster ist zum Beispiel ein kleines Fadenkreuz, das permanent an die gleiche Position innerhalb des Kameragesichtsfeldes projiziert wird. Aus der Information der Fadenkreuzgröße (Abstand) und der relativen Längen der Fadenkreuzachsen (Verkippung in x und y Richtung) ist die Lage des Sensors relativ zum Dokument eindeutig im dreidimensionalen Raum bestimmt.
Zusammenfassung der Vorteile des Verfahrens:
• Schnelligkeit und Robustheit in der Bestimmung der relativen Lage des Sensors zum Dokument
• Sehr genaue Bestimmung des Abstands und der Verkippung des Sensors unabhängig von dem Inhalt des gescannten Dokuments.
Im folgenden wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispieles beschrieben.
Das Verfahren zur Lagebestimmung einer Kamera K relativ zu einem Dokument (nicht näher bezeichnet) wird, wie in der Figur 1 dargestellt, beispielsweise auf einem Handy oder Mobilfunkgerät realisiert, das die folgenden Merkmale besitzt:
• Kamera K beispielsweise auf der Rückseite des Mobiltelefons MT zur Aufzeichnung von Bildern aus der Umgebung
• Prozessor zur Verarbeitung der Bildinformation und zur Bestimmung der relativen Sensorlage
• Leuchtdioden L auf der Rückseite des Handys MT zur Projektion eines Fadenkreuzes F in das Gesichtsfeld der Kamera K.
Zum Einscannen, beispielsweise eines Dokumentes, wird das Mobiltelefon MT in einem geringen Abstand über das Dokument bewegt. Die charakteristischen Merkmale der Projektion eines Referenzmusters F zur Bestimmung der relativen Sensorlage werden an einem konstruierten Beispiel grob skizziert:
Fall a) im Vergleich zu Fall b) Die Kamera ist in Fall a) und b) parallel zur Dokumentenoberfläche. Der Abstand der Kamera zum Dokument ist in Fall a) größer als in Fall b) . Das projizierte Fadenkreuz F im Kamerabild ist aus diesem Grund im Fall b) kleiner als in Fall a) . Die Fadenkreuzgröße steht in unmittelbarem Zusammenhang mit dem Sensorabstand und kann jeweils aus dem Kameraeinzelbild errechnet werden.
Fall c)
Die Kamera K beziehungsweise der Kamerasensor ist gegenüber der Dokumentvorlage verkippt. Aus der absoluten Größe des Fadenkreuzes im Zusammenhang mit der Information über die relativen Längen der Fadenkreuzachsen kann die Lage des Sensors im 3 dimensionalen Raum gegenüber dem Dokument eindeutig bestimmt werden.

Claims

Patentansprüche
1. Verfahren zum Scannen, insbesondere von Dokumenten, mit einer Kamera (K) , wobei eine Folge von Bildern oder Teilbildern zu einem Ergebnisbild zusammengefügt wird, bei dem ein Referenzmuster (F) in das Kameragesichtsfeld projeziert wird, und bei dem auf Grundlage der geometrischen Information des Musters (F) in den einzelnen Bildern Abbildungsunterschiede in den Bildern kompensiert werden.
2. Mobiltelefon (MT) mit einer Kamera (K) und mit einer Bildverarbeitungseinrichtung zur Generierung eines Ergebnisbildes aus den bei einem Scanvorgang gewonnenen Bildern oder Teilbildern, g e k e n n z e i c h n e t d u r c h eine Projektionseinrichtung (L) , über die ein Referenzmuster (F) in das Kameragesichtsfeld projizierbar ist, und Mittel zur Kompensation von Abbildungsunterschieden in den einzelnen Bildern auf Grundlage der geometrischen Information des Musters (F) in den Bildern.
EP03815051A 2003-01-15 2003-10-30 Mobiltelefon mit einer scan-hilfe Withdrawn EP1584181A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP03815051A EP1584181A1 (de) 2003-01-15 2003-10-30 Mobiltelefon mit einer scan-hilfe

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP03000869A EP1439689A1 (de) 2003-01-15 2003-01-15 Mobiltelefon mit einer Scan-Hilfe
EP03000869 2003-01-15
PCT/EP2003/012096 WO2004064383A1 (de) 2003-01-15 2003-10-30 Mobiltelefon mit einer scan-hilfe
EP03815051A EP1584181A1 (de) 2003-01-15 2003-10-30 Mobiltelefon mit einer scan-hilfe

Publications (1)

Publication Number Publication Date
EP1584181A1 true EP1584181A1 (de) 2005-10-12

Family

ID=32524137

Family Applications (2)

Application Number Title Priority Date Filing Date
EP03000869A Withdrawn EP1439689A1 (de) 2003-01-15 2003-01-15 Mobiltelefon mit einer Scan-Hilfe
EP03815051A Withdrawn EP1584181A1 (de) 2003-01-15 2003-10-30 Mobiltelefon mit einer scan-hilfe

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP03000869A Withdrawn EP1439689A1 (de) 2003-01-15 2003-01-15 Mobiltelefon mit einer Scan-Hilfe

Country Status (5)

Country Link
US (1) US7773120B2 (de)
EP (2) EP1439689A1 (de)
JP (1) JP2006514797A (de)
CN (1) CN1739284A (de)
WO (1) WO2004064383A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0611021A2 (pt) * 2005-05-31 2010-08-10 Novartis Ag combinação de inibidores de hmg-coa redutase e inibidores de mtor
US8947453B2 (en) 2011-04-01 2015-02-03 Sharp Laboratories Of America, Inc. Methods and systems for mobile document acquisition and enhancement
US9094617B2 (en) 2011-04-01 2015-07-28 Sharp Laboratories Of America, Inc. Methods and systems for real-time image-capture feedback
KR101352377B1 (ko) * 2012-01-20 2014-01-24 한국지질자원연구원 노두의 상태를 확인하기 위한 촬영장치
US9485203B2 (en) 2013-02-08 2016-11-01 Xerox Corporation Method and system for attaching scanned documents to email replies via a mobile communications device
WO2015039210A1 (en) * 2013-09-18 2015-03-26 Matter and Form Inc. Device, system and method for three-dimensional modeling
CN104159000B (zh) * 2014-08-21 2018-09-04 广东欧珀移动通信有限公司 一种扫描图像获取方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US5663806A (en) * 1995-10-03 1997-09-02 International Business Machines Corp. Non-destructive target marking for image stitching
DE19638882A1 (de) * 1996-09-21 1998-04-02 Kai Rosenboom Integration von CCD-Kameras in Telefone und Funktelefone zur Aufnahme von Bildern, die als Fax versendet werden; Foto-Fax per Telefon oder GSM-Handy
JPH11232378A (ja) * 1997-12-09 1999-08-27 Canon Inc デジタルカメラ、そのデジタルカメラを用いた文書処理システム、コンピュータ可読の記憶媒体、及び、プログラムコード送出装置
US7038716B2 (en) * 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
CN1199536C (zh) * 1999-10-26 2005-04-27 伊比登株式会社 多层印刷配线板及多层印刷配线板的制造方法
WO2001058128A2 (en) * 2000-02-03 2001-08-09 Alst Technical Excellence Center Active aid for a handheld camera
DE60101823T2 (de) * 2000-06-09 2004-11-04 Sagem S.A. Mobiltelefon versehen mit einer Kamera
FR2813479A1 (fr) * 2000-08-31 2002-03-01 Sagem Telephone mobile muni d'une camera
JP4010754B2 (ja) 2000-08-10 2007-11-21 株式会社リコー 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2002077707A (ja) 2000-08-30 2002-03-15 Minolta Co Ltd 撮像装置および撮像方法
JP4012710B2 (ja) * 2001-02-14 2007-11-21 株式会社リコー 画像入力装置
US20040218069A1 (en) 2001-03-30 2004-11-04 Silverstein D Amnon Single image digital photography with structured light for document reconstruction
US6978052B2 (en) * 2002-01-28 2005-12-20 Hewlett-Packard Development Company, L.P. Alignment of images for stitching
DE50313038D1 (de) * 2002-04-23 2010-10-14 Palm Inc Erzeugung eines gesamtbildes durch abtasten von teilbereichen einer vorlage scannen
US6834965B2 (en) * 2003-03-21 2004-12-28 Mitsubishi Electric Research Laboratories, Inc. Self-configurable ad-hoc projector cluster
JP4428371B2 (ja) * 2006-09-22 2010-03-10 セイコーエプソン株式会社 投写型画像表示装置及び平面被投写体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004064383A1 *

Also Published As

Publication number Publication date
US7773120B2 (en) 2010-08-10
EP1439689A1 (de) 2004-07-21
CN1739284A (zh) 2006-02-22
JP2006514797A (ja) 2006-05-11
WO2004064383A1 (de) 2004-07-29
US20060146359A1 (en) 2006-07-06

Similar Documents

Publication Publication Date Title
DE69734855T2 (de) Vorrichtung und Verfahren zur Extraktion eines Objektes in einem Bild
EP2031558A2 (de) Bildmessvorrichtung
EP0993651B1 (de) Messmarke und verfahren zur erkennung von messmarken sowie verfahren zur objektvermessung
US7747080B2 (en) System and method for scanning edges of a workpiece
DE3505331A1 (de) Verfahren und geraet zur vermessung des bei der eindringhaertepruefung in einer probe hinterlassenen eindrucks
WO2008077538A1 (de) Verfahren zur bildmarken-unterstützen bildauswertung
CN111310753A (zh) 一种表计对准方法及装置
WO2004064383A1 (de) Mobiltelefon mit einer scan-hilfe
US6295384B1 (en) Removing noise caused by artifacts from a digital image signal
US6324297B1 (en) Skin pattern feature extracting apparatus
DE102017116380B3 (de) Lichtblattmikroskopisches Verfahren zur Erzeugung eines Volumenbildes einer Probe und Lichtblattmikroskop
EP4185986A1 (de) Verfahren und system bzw. vorrichtung zum erkennen eines objektes in einem elektronischen bild
DE112015006181B4 (de) Ladungsträgerstrahlvorrichtung, Ausrichtungsverfahren für die Ladungsträgerstrahlvorrichtung, Ausrichtungsprogramm und Speichermedium
EP1910999B1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102019000235A1 (de) 3D-Form-Autotracing-Verfahren und Messvorrichtung
CN119295379A (zh) 一种对于板材表面的检测方法及装置
CN115343364B (zh) 新能源汽车电池汇流排的焊接区域快速定位方法
EP0353644A2 (de) Konfigurierbare Korrelationsfenster zur direkten Messung von Differential-Verzerrung von Feldern
DE102005025220A1 (de) Gerät, Verfahren und Programm zum Beseitigen von Poren
DE112022001672T5 (de) Abstandsmessvorrichtung
US20040041806A1 (en) Image processing apparatus, image processing method, computer readable medium, and computer program thereof
DE102007021107B4 (de) Vorrichtung und Verfahren zum Bestimmen des Hauptpunktes eines Kamerasystems
JP2008116206A (ja) パターン寸法測定装置、方法及びプログラム
EP1394739A1 (de) Mosaikbildung von mikroskopischen Aufnahmen eines Präparats
EP3798570B1 (de) Verfahren zur kalibrierung eines optischen messsystems, optisches messsystem und kalibrierobjekt für ein optisches messsystem

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050318

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB IT

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: BENQ MOBILE GMBH & CO. OHG

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SIMON, MARKUS

19U Interruption of proceedings before grant

Effective date: 20070101

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20070702

19W Proceedings resumed before grant after interruption of proceedings

Effective date: 20091001

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PALM, INC.

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P.

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: QUALCOMM INCORPORATED

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170103

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170516