EP4208771A1 - Verfahren zur erkennung einer bewegung eines eingabegegenstands gegenüber einer anzeigevorrichtung über optische merkmale, aufnahmevorrichtung mit recheneinheit, anzeigevorrichtung und kraftfahrzeug - Google Patents

Verfahren zur erkennung einer bewegung eines eingabegegenstands gegenüber einer anzeigevorrichtung über optische merkmale, aufnahmevorrichtung mit recheneinheit, anzeigevorrichtung und kraftfahrzeug

Info

Publication number
EP4208771A1
EP4208771A1 EP21758377.2A EP21758377A EP4208771A1 EP 4208771 A1 EP4208771 A1 EP 4208771A1 EP 21758377 A EP21758377 A EP 21758377A EP 4208771 A1 EP4208771 A1 EP 4208771A1
Authority
EP
European Patent Office
Prior art keywords
image
pattern
input object
surface structure
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP21758377.2A
Other languages
English (en)
French (fr)
Inventor
Markus Klug
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP4208771A1 publication Critical patent/EP4208771A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the invention relates to a method for controlling a display function of a display device.
  • Some electronics manufacturers offer styluses for electronic devices such as tablets and displays that allow the user to draw or write on their device.
  • some manufacturers have long been concerned with accurately detecting the position, posture and movement of the pen as an input device in relation to the electronic device. This allows virtual brush tips to be simulated as a 3D object, which enables the drawing device to behave in a realistic manner when drawing.
  • the said systems are based on inductive methods or other hardware solutions (accelerometer, gyro sensor, optical and magnetic) and require special hardware.
  • a magnetic field is generated via a screen or drawing surface and an input device comprising at least three coils is moved in the magnetic field.
  • An orientation of the input device can be detected on the basis of the orientation of the respective coils in the magnetic field above the screen or drawing surface.
  • a movement around a roll, tilt and tilt axis corresponds to a movement and/or a rotation around one of the respective axes three-dimensional coordinate system whose origin is on the screen surface.
  • DE 11 2013 003647 T5 discloses a display device with a computing unit for detecting gesture and touch inputs via a touch screen by means of force sensing.
  • the display device has a touch screen with a force sensor, which is set up to measure a force and a force center on the screen surface. If the center of gravity is within a boundary, for example within the screen surface, a force input and a touch gesture can be recognized when the input force exceeds a threshold value and a function can be controlled by a computing unit.
  • DE 10 2011 084 809 A1 discloses a user interface and a method for computer-aided control of the user interface.
  • any parameter values are set via a user interface by means of a rotary movement of the token using a token which has the shape of a puck and has a barcode printed on the underside.
  • Said token can be placed on a surface of a touch screen, with a recording device detecting the underside of the token with the barcode on the side of the screen surface facing away from the user and thereby determining a position and alignment of the token on the touch screen.
  • a parameter can be set by a user by rotating the token.
  • a disadvantage of the known control methods is that user input is restricted to a special input medium, namely the token.
  • DE 10 2017 004 860 A1 discloses a system for handwriting recognition in a vehicle via an input surface of a touchpad using a Camera and a computing unit known.
  • a hand or a hand movement of a user directed towards the touch-sensitive input element is detected by means of the camera.
  • the computing unit determines the entered character by means of a shape comparison between a reference character stored in the database and the rotationally transformed character recorded by the camera unit.
  • a disadvantage of the known method is that only an orientation in a tilting direction of the hand and with respect to the touchpad is detected and not an object orientation in a rolling direction or in a tilting direction, therefore in all three dimensions.
  • the object of the invention is to provide a movement comprising a rotation and/or a translation of an input object with respect to a screen surface in a motor vehicle.
  • the invention provides a method for controlling a display function of a display device, comprising the following steps: a) Capturing images of an image sequence of a surface structure of an input object in an input area on a user-facing side of a screen surface of the display device using a recording device, with the input area being viewed from a direction away from the user side of the screen surface is optically detected through the screen surface; b) recognition by the recording device that a surface structure is in focus on the user-facing side of the screen surface of the recording device; c) searching the first image of the image sequence for a pattern in the surface structure of the input object by a computing unit; d) If a pattern of the surface structure of the input object is recognized in the respective images of the image sequence, the computing unit determines an orientation and/or a position of the pattern of the surface structure of the input object in the input area; e) determination of a motion vector of the pattern between the respective orientation and position of the surface structure between an image and an image of the image sequence following the image (4) by the computing
  • the invention is characterized in that it is tracked when the input object is tilted and/or tilted and/or unrolled by using the processing unit to detect a change in the pattern in the images of the image sequence that occurs during tilting and/or tilting and/or unrolling motion vector is mapped as tilting and/or rolling and/or pitching of the input object.
  • the surface structure can be the part of the input object that is visible to the recording device.
  • the surface structure can contain a pattern. If the input object is a finger, for example, the surface structure can be the part of the finger visible to the recording device with respect to the screen surface, hence a finger outline or the skin surface of the part of the finger facing the screen surface.
  • the pattern can then be an image of a depth profile of the skin surface of the finger, such as the papillary ridges of the fingertip, which can leave a fingerprint.
  • the recording device can change the visible image of the pattern, hence the fingerprint.
  • the processing unit of the recording device can determine a movement vector of the finger for controlling a display function from the change in the fingerprint of the papillary ridges visible to the recording device and/or from a change in the part of the surface structure visible to the recording device.
  • the respective tilting, tilting or rolling movement can include a rotational movement about a coordinate axis of a three-dimensional Cartesian coordinate system, which can have its origin on the screen surface.
  • the x-axis on the screen surface of the display device can be in a longitudinal direction
  • the z-axis of the coordinate system can be perpendicular to the screen surface pointing to the side facing the user.
  • a tilting motion may be a rotation of the input object about the y-axis
  • a tilting motion may be a rotation of the input object about the x-axis
  • a rolling motion may be a rotation about the z-axis.
  • the respective tilting, tilting or rolling movement can also include a combination with a further tilting, tilting or rolling movement or a combination with a translational movement of the input object on the screen surface.
  • the display device can include a screen with a screen surface via which a touch input can be made by means of the input object.
  • the screen surface of the touch screen of the display device can have a side facing the user and a side remote from the user.
  • On the user-facing side of the screen a user who, for example using a finger as an input object to provide user input on the touch screen.
  • the display device can be a touch screen of a mobile device, such as a smartphone, a tablet or a computer, or a touch screen of a motor vehicle.
  • the input object can be, for example, any object, such as a finger on the user's hand or an eraser.
  • a capture device may be located on the user-remote side of the screen surface of the display device and optically capture the user input on the touch screen through the input object.
  • the recording device can be attached in or behind the display of the touch screen and can be, for example, a holographic-optical element, a display camera or a camera behind a translucent display.
  • a sequence of images of the side of the screen surface facing away from the user is now recorded by the recording device.
  • the camera device of the recording device can have a focus, which can be set on the user-facing side of the screen surface or in an area close to the user-facing side of the screen surface.
  • An input object with a surface structure for example a finger with a depth profile, in particular a papillary ridge pattern for a fingerprint, can be brought into the focus of the recording device near the screen surface on the user-facing side in order to make a user input.
  • the surface structure can be the part of any input object visible to the recording device.
  • the surface structure can comprise a pattern, in which case the pattern can also have a depth profile, such as the depth profile of the fingerprint.
  • the recording device is set up to recognize the surface structure of the input object, and therefore the surface structure of the finger.
  • the recognition of the pattern in the surface structure of the finger can be carried out by the processing unit in an initial image as the first image of the image sequence from which the input object is in the focus of the recording device. det, be made.
  • the processing unit can search for a pattern in the surface structure. This can be done, for example, by means of an interpolation or a vectorization of the respective image in the image sequence.
  • the initial image can be a first image, which the recording device records of the surface structure, and can be used as a reference image for determining a change in the pattern during a rolling and/or tilting and/or tilting movement of the input object.
  • the respective rolling, tilting or tilting movement can be combined with a translational movement of the input object in a plane parallel to the screen surface facing the user.
  • the processing unit can calculate a motion vector for the respective movement from the respective change in the pattern in an image of the image sequence compared to the reference image and/or to a previous image in the image sequence.
  • the arithmetic unit for calculating the motion vector can also use image sizes that change in comparison to the reference image and/or to a previous image in the image sequence, such as contrast, image sharpness or scaling.
  • the surface structure which is located opposite the side of the screen surface facing the user, can also be visible to the camera device, a depth profile of the surface structure.
  • the camera device of the recording device can be set up to recognize the depth profile of the surface structure, such as the fingerprint of a finger or a rough surface of an input pen.
  • the pattern can have prominent points or a connection of the prominent points of the surface structure.
  • the pattern may comprise a number of distinctive ridges of the fingerprint of the respective finger. If, for example, a finger is placed lengthwise on the screen surface, the recognized pattern can, for example the fingerprint and the surface structure must be the part of the body of the finger that is visible to the recording device. If a pattern is detected in the surface structure of an object, for example the prominent ridges, an alignment and/or a position of the pattern and thus of the input object in the input area of the touch screen can be recognized by the processing unit.
  • the processing unit can use the difference between the recognized pattern and the stored pattern to determine a movement vector and thus an alignment of the input object in the input area of the touchscreen.
  • the stored pattern can be a pattern stored before the input or a pattern learned in an initial image of the image sequence.
  • a position of the input object in the input area can also be detected using the pattern.
  • a position of the input object in the input area can also be determined independently of the pattern.
  • the recording device can be designed to record from an optically recorded surface structure of any non-reflective or transparent input object.
  • the pattern may be, for example, a perimeter or an outline of that part of the surface structure of the input object that is visible to the imaging device.
  • the processing unit can determine a motion vector of the input object from the change in the alignment and/or position of the pattern between at least a first image in the image sequence after the initial image and a second image in the image sequence following the first image.
  • the arithmetic unit can control a display function of the display device by means of the movement vector.
  • a rotation of the pattern about a normal axis of the input object with respect to the screen surface and thus a rotation of the input object for controlling the display function can be determined from the alignment of the pattern.
  • any object can be used as an input object for an input via a touch screen, provided the object has a corresponding opacity and a non-reflective surface structure.
  • this can be a finger or a pen.
  • a 3D input with all degrees of freedom (rotation, translation, if necessary pressure and height) and thus new operating approaches is made possible.
  • no further input device has to be carried along and a possible loss of the input device is irrelevant since, for example, a finger can also be used as an input device and space can thus be saved.
  • the invention also includes embodiments that result in additional advantages.
  • the processing unit can use image processing to perform pattern recognition in the initial image of the surface structure captured by the recording device. This can be done, for example, by means of an initial image or a plurality of initial images if no pattern could be successfully recognized by the processing unit in the first image alone.
  • the first image in which a pattern in the surface structure was recognized by the processing unit can be used as a reference image for determining the changing image sizes, such as contrast, image sharpness or scaling. This results in the advantage that any objects that can be detected optically can be used as input devices.
  • the computing unit can be set up to recognize a pattern from any surface structure and to determine a movement vector of the input device based on the change in the pattern.
  • a determination of the motion vector a evaluating a change in image sharpness and/or contrast and/or scaling of the pattern and/or a part of the surface structure of the input object that is visible to the recording device in the images of the image sequence.
  • the computing unit can take into account a change in the pattern in the respective images of the image sequence when calculating the motion vector.
  • the image sizes can be a change in the contrast and/or a change in the image sharpness and/or the scaling of the pattern in an image in the image sequence compared to the previous image in the image sequence and/or to the reference image.
  • the processing unit can determine a movement from a change in the part of the surface structure visible to the recording device for the respective image in the image sequence compared to the previous image in the image sequence and/or to the reference image.
  • the recording device can detect a change in contrast when the finger is raised and from this can determine a movement vector of the finger in addition to or as an alternative to the corresponding change in the pattern, such as a fingerprint.
  • the processing unit can use the change in the image values of the fingerprint recognized by the processing unit to store the movement vector of the finger as a pattern in the respective Calculate images and/or the change in the visible part of the surface structure during the erection movement.
  • the change in pattern that occurs when the finger is raised and/or the part of the surface structure visible to the recording device can be determined by the computing unit by changing the image sizes of the respective images of the visible part of the surface structure, including the contrast and/or the image sharpness and/or the scaling.
  • the processing unit can determine a motion vector of the input object from the change in the respective image size or a combination of the image sizes of the respective images in the image sequence.
  • the computing unit can determine a movement in the direction of the degrees of freedom with regard to the rotation about the axes of the respective three-dimensional coordinate system. Likewise, by using the change in said image values in combination, a redundant determination of the respective 3D input by the input object can take place.
  • a movement vector can be determined by the processing unit.
  • the display function of the display device is controlled only after a stored, authorized pattern of the surface structure of the input object has been recognized in an image from the image sequence.
  • the control of the display function can only be triggered after the arithmetic unit has recognized a specific, stored and authorized pattern. For example, after a fingerprint has been recognized, which was previously stored in a memory of the computing unit as an authorizing fingerprint, the controlling of the display function by the computing unit can be authorized. Therefore, for example, only a user with his specific fingerprint can control a display function of the display device.
  • At least one display function is assigned to at least one pattern of the input object.
  • a specific display function can be assigned to a specific previously stored pattern. For example, a function of painting or drawing can be triggered by means of the fingerprint of the index finger and a function of virtual erasing when the fingerprint of the little finger is recognized.
  • the 3D input can also be extended by the input object with an additional parameter.
  • the respective image of the image sequence is captured in combination with a pressure sensor on the screen surface, the pressure sensor measuring a pressure of an input by the input object and the respective image of the image sequence is captured when the pressure exceeds a threshold value is triggered or at least one announcement function is assigned to a value of the measured pressure.
  • the touch screen of the display device can include a pressure sensor, which can measure a pressure and/or a pressure centroid. If an input is made using the input object on the screen surface, the input can be combined with a print. For example, a display function can be triggered when the input pressure measured by the pressure sensor is exceeded.
  • a display function can also be connected to a pressure value and assigned to it. For example, if the pressure of the input exceeds a first threshold, a thin line may be drawn, and if the pressure exceeds a second threshold, which is greater than the first threshold, a bold line different from the thin line may be drawn. This results in the advantage that an expanded range of display functions can be assigned by combining 3D input with a print.
  • a display function can also be assigned to an optical marker.
  • the pattern of the input object comprises at least one optical marker comprising at least one pattern for controlling a display function in each case.
  • an input pen for operating a tablet computer can be used as an input object, for example.
  • the pen can include a marker, which can be designed as a QR code, for example. If a specific QR code is recognized on the screen surface by the processing unit of the recording device, an erasing function can be triggered by the QR code, for example. Likewise, an erasing function can be assigned as a display function to a first QR code, drawing thin lines can be assigned to a second QR code, and drawing bold lines can be assigned to a third QR code.
  • a QR code can also be used to assign a change to a vehicle-specific parameter. For example, a change in air conditioner temperature can be associated with a specific QR code.
  • the optical markers can also be used for anatomical features of a body object, such as a fingerprint of a specific finger, such as that of a middle finger.
  • a fingerprint of a specific finger such as that of a middle finger.
  • an air conditioning system temperature can only be set using the fingerprint of the middle finger and a navigation function can be operated using the fingerprint of an index finger. This results in the advantage that a display function can also be expanded by specific optical markers of the input object.
  • One embodiment provides a computing unit which is set up to carry out the method described above for detecting a movement of an input object relative to a display device.
  • One embodiment provides a recording device with a computing unit that is set up to carry out the method described above.
  • a further embodiment also provides a display device with said recording device and the computing unit.
  • the display device can be a touch screen of a mobile device, such as a smartphone, a tablet or a computer, or a touch screen of a motor vehicle.
  • One embodiment provides a motor vehicle with the computing unit or the receiving device and the computing unit.
  • the invention also includes the combinations and features of the described embodiments.
  • the invention also includes the control device for the motor vehicle.
  • the control device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention.
  • the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor).
  • the processor device can have program code which is set up to carry out the embodiment of the method according to the invention when executed by the processor device.
  • the program code can be stored in a data memory of the processor device.
  • the invention also includes developments of the method according to the invention, which have features as have already been described in connection with the developments of the motor vehicle according to the invention. For this reason, the corresponding developments of the method according to the invention are not described again here.
  • the motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.
  • the invention also includes the combinations of features of the described embodiments.
  • FIG. 2 shows a schematic representation of the method for controlling the display function of the display device
  • FIG 3 shows a perspective of the recording device onto the input object from a side of the screen surface facing away from the user
  • the exemplary embodiment explained below is a preferred embodiment of the invention.
  • the described components of the embodiment each represent individual features of the invention to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than that shown.
  • the embodiment described can also be supplemented by further features of the invention already described.
  • the same reference symbols designate elements with the same function.
  • the display device 1 shows a side view of the display device 1 .
  • the display device 1 has a touch screen with a screen surface 2 facing the user and a screen surface 2' remote from the user.
  • the display device 1 can be a touch screen, for example.
  • the display device 1 has two optical carrier media 21 and 23, the optical carrier medium 21 being the user-side carrier medium and the carrier medium 23 being the carrier medium remote from the user.
  • a holographic-optical layer 22 is located between the carrier media 21 and 23.
  • the display device 1 further includes a detection area 13 and a recording device 3 consisting of a recording area 32, a camera device 31 and a computing unit 5.
  • the detection area 13 can be, for example, a screen area on which touch inputs can be made by the user.
  • the recording device is designed in such a way that the camera device of the recording device takes a picture of the user-facing side of the screen surface 2 at a previously set time interval.
  • one image 4 of the image sequence 14 is processed in the processing unit.
  • the image sequence 14 consists of an initial image 4' as a first image of the image sequence and at least one image 4 following the initial image.
  • the recording device 3 records an image of the surface structure 7 of the input object 6 which is located in the input area 13 of the recording device 3 in the focus 15 above or on the screen surface 2 .
  • the input object 6 is a user's finger here.
  • the user's finger has a surface structure 7 , such as the side of the input object 6 facing the screen surface 2 , and a fingerprint as a pattern 11 in the surface structure 7 .
  • a Cartesian coordinate system is located next to the recording device 3 for orientation, the x-axis being in the longitudinal direction of the display device 1 , the y-axis being in the transverse direction of the display device 1 and the z-axis being vertical to the display device 1 .
  • a longitudinal axis 17 and a transverse axis 18 are drawn in the input object 6 to describe the movement of the input object 6 .
  • the longitudinal axis 17 moves parallel to the x-axis of the Cartesian coordinate system and the transverse axis 18 parallel to the y-axis.
  • the recording device 3 is set up in relation to the display device 1 in such a way that it records an image of the user-facing side of the screen surface 2 by means of the holographic-optical layer from the perspective of a camera device arranged on the user-facing side of the screen surface 2'.
  • this is shown as a holographic-optical detection device.
  • An image of the surface structure 7 of the input object 6 is shown over the detection area 13 and the light 28 is refracted by means of the image of the input object 6 through the holographic-optical layer 22 by means of a respective grating structure in the detection area 13 and in the recording area 32 of the recording device 3 and through the carrier medium 21 and 23 are each conducted to the camera device 31 of the recording device 3 by internal reflection.
  • the holographic-optical layer breaks the light 28 and directs it from the carrier medium 23 into the camera device 31 of the recording device 3.
  • the camera device 31 is now set up to continuously record an image 4 of an image sequence 14 of the detection region 13 at least at a specific time interval.
  • the camera device 31 views the input area 13 via the carrier media 21 and 23 analogously to the manner of a periscope, with which one can see the user-facing side of the screen surface from below.
  • the field of view in the camera device 31 is the entire detection area 13, which can be a screen surface 2 of an operating area of the display device 1, for example.
  • the Detection area 13 can also be a drawing area, such as a touchpad.
  • the camera device 31 is now designed to record an image 4 of an image sequence 14 at least at a predetermined time interval.
  • the respective images 4' and 4 of the image sequence 14 of the camera device 31 are evaluated by the processing unit 5 and an initial image 4' and/or an image 4 is stored. If the computing unit 5 of the recording device 3 detects a surface structure in the area of the focus 15 in an initial image 4' of the camera device 31, then the first image 4, in which the surface structure 7 of the input object 6 is detected, is the initial image 4' of the image sequence 14
  • the camera device 31 recognizes the surface structure 7 by first placing the input object 6, i.e. the finger, on the user-facing screen surface 2 in the input area 13.
  • the processing unit 5 searches the initial image 4' for a pattern 11 in the surface structure 7.
  • the fingerprint of the finger can be recognized by the processing unit 5 as the pattern 11 and the initial image 4' with the recognized fingerprint can be stored as a reference image.
  • the pattern 11 in the initial image 4' can now be used to align and position the input object 6 in the input area 13, for example whether the finger is positioned at the bottom right or at the top left in the input area.
  • a change in the pattern 11 is determined by the computing unit 5 with respect to the initial image 4 ′ and/or with respect to an image 4 preceding an image 4 in the image sequence 14 .
  • the arithmetic unit 5 can determine a movement vector of the input object 6 from the difference in alignment and position when the input object 6 moves in the respective images 4 of the image sequence 14 .
  • the motion vector 16 can be a tilting motion, for example, which corresponds to a rotation of the input object 6 about the y-axis, and therefore about its transverse axis 18 .
  • the lower Half 11' of the pattern 11 in the image 4 is perceived in comparison to the initial image 4', from which the processing unit 5 can determine that a tilting movement of the input object 6 analogous to the movement vector 16 is present.
  • the disappearance of the lower half 11' of the pattern 11 can be recorded over a number of images 4 of the image sequence 14.
  • the processing unit 5 can determine a motion vector 16 of the input object 6 from the change in the pattern 11 in the respective images 4 of the image sequence 14 .
  • the processing unit 5 can calculate a movement vector 16 of the input object 6 by changing the contrast and/or the image sharpness of that part of the surface structure of the finger that is visible to the recording device in the images 4 in comparison to the reference image and/or to an image 4 in Determine the picture 4 preceding the picture sequence.
  • the recording device 3 can detect a change in contrast in the lower half 1T of the pattern 11 in image 4 compared to the initial image 4' when the finger is raised and can determine the movement vector 16 of the finger from this.
  • the processing unit 5 can change the sharpness of the image and/or the scaling of the pattern 11 in image 4 in comparison to the initial image 4' and/or to one of the image 4 in use the image 4 preceding the image sequence to determine the motion vector 16 .
  • the processing unit 5 can determine a motion vector 16 of the input object 6 from the change in the respective image size or a combination of the image sizes of the respective images 4 of the image sequence 14 .
  • Fig. 2 the method for controlling the display function is shown step by step.
  • images 4' and 4 of an image sequence 14 are recorded by the recording device 3 on the user-facing side of the screen surface 2 of the display device 1.
  • a surface structure 7 of the input object 6 is recognized in a focus 15 on the user-facing side of the screen surface 2 of the recording device 3. This can be used, for example, by recognizing an outline of the surface structure 7 or a threshold value for a drop in contrast of the part of the surface structure 7 visible to the recording device 3 in an image 4 of the image sequence 14 as a trigger for the recognition of a user input by the processing unit 5.
  • the processing unit 5 looks for a pattern 11 in the surface structure 7 in the first image 4 of the image sequence 14, the so-called initial image 4' Pattern 11 recognized in the surface structure 7, the search for the pattern 11 can be continued in the next image 4 up to a suitable maximum number of images 4.
  • the initial image 4' is stored by the processing unit 5 as a reference image.
  • step S2 If in the second step S2 the computing unit 5 does not recognize a pattern 11 in the surface structure 7 or no suitable surface structure 7, for example if the change in contrast of the visible part of the surface structure 7 falls below a threshold value, then the computing unit 5 goes back to step S1. However, if the processing unit 5 recognizes a pattern 11 in the surface structure 7 or the visible part of the surface structure 7 exceeds a threshold value for a contrast change, then the method continues in the third step S3.
  • An orientation 8 and/or a position 9 of the input object 6 in the input area 13 is now determined for the pattern 11 by the computing unit 5 in step S3. For example, this can initially be a specific position in the input area 13 on the screen surface 2 facing the user.
  • further images 4 of surface structure 7 are now recorded by recording device 3 , which are compared by processing unit 5 with initial image 4 ′ and/or with an image 4 preceding image 4 in image sequence 14 .
  • From the difference in the pattern 11 and/or the difference in the image values, such as A motion vector 16 of the input object 6 is determined by the computing unit 5 based on the contrast, image sharpness and/or scaling of the pattern and/or the visible part of the surface structure 7 of the respective images 4 and 4′.
  • a display function of the display device 1 is now controlled from the calculated motion vector 16 .
  • the movement vector 16 represents a tilting movement, i.e. if, for example, the finger is placed with the fingertip on the screen surface of the display device 1 and the hand is now tilted against the display surface
  • a setting for a drawing can be changed that, for example, draws from changed from an initially thin line to a bold line.
  • FIG. 3 now shows a view of the screen surface 2 from the perspective of the camera device 31 of the recording device 3, the camera device 31 seeing the side of the screen surface 2 facing the user from the perspective of the side of the screen surface 2' facing away from the user.
  • the screen surface 2, the input object 6 with the surface structure 7 and the pattern 11 can now be seen.
  • the Cartesian coordinate system, which has been rotated accordingly is also shown.
  • the camera device 31 looks from below through a display of the display device 1 at the finger as the input object 6.
  • the longitudinal axis 17 and the transverse axis 18 of the input object 6 are also shown.
  • a motion vector 16 of the input object 6 can be determined by the computing unit 5 from a change in the pattern 11 of the surface structure 7 .
  • the camera device 31 of the recording device 3 records an initial image 4' of the surface structure 7 and searches it for a pattern 11.
  • a value for an image sharpness, a scaling, a contrast and the part of the surface structure 7 that is visible to the recording device is stored for the initial image 4' as a reference image. This can for example be the outline of finger 6 in picture a).
  • the image values are recorded by the camera device 31 for each pixel of the initial image 4'.
  • image a a rolling movement of the input object 6 is carried out.
  • the finger rotates around the z-axis. If the input object 6 is now rotated about the z-axis, there is no change in contrast and image sharpness, since the finger as the input object 6 is in the same focus 15 of the camera device 31, i.e. not removed from a plane parallel to the screen surface 2 . Likewise, the scaling of the pattern 11 and the visible part 6' of the surface structure 7, here the outline of the finger, does not change. In this case, the computing unit 5 can recognize whether the input object 6 remains in the same plane with respect to the screen surface.
  • the processing unit 5 can rotate the input object 6 in an image 4 compared to the initial image 4 ' detect.
  • image a the texture of the input object 6 is rotated clockwise. There is no scaling or contrast change.
  • the fingertip rotates around its vertical axis z.
  • image b a tilting movement of the input object 6, and therefore a rotation around the y-axis, is now to be shown.
  • the surface structure 7 can now be recognized as a fingertip, which has the pattern 11 as a fingerprint.
  • the hand 19 for orientation may or may not actually be visible to the camera device 31 .
  • the camera device 31 now records the view shown in image b) as an image 4 and can calculate a difference from the initial image 4'.
  • the processing unit 5 can detect a change in the pattern 11 and in the part of the surface structure 7 that is visible to the camera device 31 .
  • the computing unit 5 can recognize that said part of the surface structure 7' is moving away from a plane parallel to the screen surface 2.
  • the computing unit 5 can determine a motion vector 16 which indicates a tilting motion.
  • Image c) now shows a tilting movement of the input object 6, and therefore a rotation of the input object 6 about the x-axis.
  • the computing unit 5 can determine a movement vector 16 for a tilting movement from the respective direction of the change in the contrast of the pattern 11 and additionally the visible part 6' of the surface structure 7.
  • the surface structure 7 is transformed linearly, but offset by 90° with respect to image b).
  • the fingertip rotates around its longitudinal axis 17.
  • the computing unit 5 can now infer a rotational movement of the input object 6 .
  • a position of the input object 6 to the input area 13 can be determined.
  • Translational movements can be determined from the change in position. This also makes it possible to combine the rotary and the translatory movement with one another, for example when the finger as the input object 6 is rolled over the screen surface in the same way as a roller that rolls across the display.
  • the change in the visible part 6' of the surface structure 7, the image sharpness and the contrast takes place together with a change in the position of the visible part 6' of the surface structure 7.
  • FIG. 1 Application forms for controlling a display function based on the determined motion vector 16 are now shown in FIG.
  • a sequence of movements in images a), b) and c) is shown in FIG.
  • image a a user performs a rotational movement on the screen surface 2 with the finger as the input object 6 .
  • the finger therefore rotates about its longitudinal axis 17 or transverse axis.
  • drawing with a bold line analogous to a text marker 25 with a tip 24 can be shown in image a) below as a display function.
  • drawing with a bold line can be analogous to holding a highlighter at the same angle 27 as a display function to be executed.
  • a rotation of the finger as the input object 6 about the longitudinal axis 17 can also be represented by a rotation of the virtual highlighter 25 at the same angle 27 with respect to the screen surface 2 . To do this, the tip rotates in the same way as angle 27.
  • the display function can now draw a provide a thin line, analogous to viewing the tip 24 of the virtual highlighter 25 with respect to the screen surface 2. If the finger as the input object 6 is rotated with respect to the longitudinal axis 17, this can rotate the highlighter 25 with respect to the screen surface 2.
  • the room is recorded directly via the screen using a recording device behind the display (holocam, pixels in the display, camera behind a transparent display) with or without touch functionality.
  • the focus should be as close as possible to the screen surface and enable the recognition of relevant textures and higher contrast.
  • the consecutively recorded images are searched for recognizable image content (textures, fingerprints, markers, image sharpness).
  • This image content is now analyzed image by image, whereby the movement of the pixels, as well as the distortion and the contrasts can be used to estimate the type and direction of movement.
  • the backlighting of the display in the case of an OLED display, the display itself or specially installed IR pixels (infrared) can be used to illuminate the object.
  • the system can be expanded with special optical markers (e.g. QR code - fixed to the input object, can be stuck on or displayed on a display), to which special properties can be assigned. For example an erasing function, a color change.
  • the markers can also be invisible, for example via IR.
  • the position is detected via the recorded image or in combination with a touch sensor (pressure, resistive, capacitive, inductive, IR, ultrasonic).
  • the subject from DE 10 2011 084 809 A1 uses a method for computer-assisted control of a user interface using a high-resolution camera, touching the touch screen with an object or a hand, with a barcode on the underside of the object being used for control.
  • the idea uses object features such as fingerprints, skin texture or surface structure.
  • the system is not limited to any special input media.
  • the idea relates to a method for controlling a display function of a display device using any input object via a touch screen.
  • a camera device of a recording device creates an image sequence from the user-facing screen surface of the display device.
  • a computing unit of the recording device tracks when the input object is tilted, inclined or rolled with respect to the screen surface.
  • the processing unit searches for a pattern comprising a depth profile in the surface structure of the input object and evaluates a change in the image values for contrast, image sharpness of the pattern or additionally or alternatively the visible part of the surface structure in the image sequence. From the change in the pattern or in the part of the surface structure that is visible to the camera device, the processor determines a motion vector of the input object for controlling a display function.
  • the example shows how a method for detecting a movement of an input object relative to a display device via optical features can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung (1) mittels eines beliebigen Eingabeobjekts (6) über einen Berührbildschirm. Dazu erstellt eine Kameravorrichtung (31) einer Aufnahmevorrichtung (3) eine Bildfolge (14) von der benutzerzugewandten Bildschirmoberfläche (2) der Anzeigevorrichtung (1). In den Bildern (4) der Bildfolge (14) wird von einer Recheneinheit (5) der Aufnahmevorrichtung (3) verfolgt, wenn das Eingabeobjekt (6) bezüglich der Bildschirmoberfläche (2) gekippt, geneigt oder abgerollt wird. Dazu wird von der Recheneinheit (5) nach einem Muster (11) umfassend ein Tiefenprofil in der Oberflächenstruktur (7) des Eingabeobjekts (6) gesucht und eine Veränderung der Bildwerte zum Kontrast, der Bildschärfe des Musters (11) oder ergänzend oder alternativ des sichtbaren Teils (6') der Oberflächenstruktur (7) in der Bildfolge (14) ausgewertet. Die Recheneinheit (5) bestimmt aus der Veränderung des Musters (11) oder des für die Kameravorrichtung (31) sichtbaren Teils (6') der Oberflächenstruktur (7) einen Bewegungsvektor (16) des Eingabeobjekts (6) zum Steuern einer Anzeigefunktion.

Description

Verfahren zur Erkennung einer Bewegung eines Eingabegegenstands gegenüber einer Anzeigevorrichtung über optische Merkmale, Aufnahmevorrichtung mit Recheneinheit, Anzeigevorrichtung und Kraftfahrzeug
BESCHREIBUNG:
Die Erfindung betrifft ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung.
Einige Elektronikhersteller bieten Stifte für elektronische Geräte wie Tablets und Displays an, mit denen der Nutzer auf seinem Gerät zeichnen oder schreiben kann. Im Speziellen beschäftigen sich einige Hersteller schon lange mit der akkuraten Abnahme von Position, Haltung und Bewegung des Stifts als Eingabegerät gegenüber dem elektronischen Gerät. Dadurch können virtuelle Pinselspitzen als 3D-0bjekt simuliert werden, wodurch ein realitätsnahes Verhalten des Zeichengeräts beim Zeichnen ermöglicht wird. Die besagten Systeme basieren dabei auf induktiven Verfahren oder anderweitigen Hardwarelösungen (Accelerometer, Gyrosensor, optisch und magnetisch) und benötigen spezielle Hardware.
Bei dem besagten induktiven Verfahren wird über eine Bildschirm- oder Zeichenoberfläche ein Magnetfeld erzeugt und ein Eingabegerät umfassend zumindest drei Spulen in dem Magnetfeld bewegt. Auf Basis der Ausrichtung der jeweiligen Spulen im Magnetfeld oberhalb der Bildschirm- oder Zeichenoberfläche kann eine Ausrichtung des Eingabegeräts erkannt werden. Beispielsweise ist mit dem Finger als Eingabegerät derzeit keine erweiterte Erfassung von Roll-, Kipp- und Neigeachse und damit von einer Ausrichtung des Fingers gegenüber der Bildschirm- oder Zeichenfläche möglich. Als eine Bewegung um eine Roll-, Kipp- und Neigeachse wird entspricht dabei einer Bewegung und/oder einer Rotation um eine der jeweiligen Achsen eines dreidimensionalen Koordinatensystems, dessen Ursprung sich auf der Bildschirmoberfläche befindet.
Aus folgenden Veröffentlichungen sind verschiedene Eingabeverfahren mittels eines speziellen Eingabegeräts oder einem Finger bekannt.
Aus der DE 11 2013 003647 T5 ist eine Anzeigevorrichtung mit einer Recheneinheit zur Erfassung von Gesten- und Berührungseingaben über einen Berührbildschirm mittels einer Kraftabtastung bekannt. Die .Anzeigevorrichtung weist dabei einen Berührbildschirm mit einem Kraftsensor auf, welcher dazu eingerichtet ist, eine Kraft und einen Kraftschwerpunkt auf der Bildschirmoberfläche zu messen. Wenn sich der Kraftschwerpunkt innerhalb einer Begrenzung befindet, beispielsweise innerhalb der Bildschirmoberfläche, kann bei Überschreiten der Eingabekraft über einen Schwellenwert eine Krafteingabe und eine Berührgeste erkannt und von einer Recheneinheit eine Funktion angesteuert werden.
Aus der DE 10 2011 084 809 A1 sind eine Benutzerschnittstelle und ein Verfahren zur rechnergestützten Ansteuerung der Benutzerschnittstelle bekannt. Dabei werden mittels eines Tokens, welches die Form eines Pucks aufweist und auf der Unterseite einen Barcode aufgedruckt hat, über eine Benutzerschnittstelle beliebige Parameterwerte mittels einer Drehbewegung des Tokens eingestellt. Auf einer Oberfläche eines Berührbildschirms kann das besagte Token aufgelegt werden, wobei auf der dem Benutzer abgewandten Seite der Bildschirmoberfläche eine Aufnahmevorrichtung die Unterseite des Tokens mit dem Barcode erfasst und dabei eine Position und Ausrichtung des Tokens auf dem Berührbildschirm ermittelt. Mittels einer Rotationsbewegung des Tokens kann ein Parameter durch einen Benutzer eingestellt werden. Nachteilig bei den bekannten Verfahren zur Ansteuerung ist, dass eine Benutzereingabe auf ein spezielles Eingabemedium, nämlich das Token, beschränkt ist.
Aus der DE 10 2017 004 860 A1 ist ein System zur Handschrifterkennung in einem Fahrzeug über eine Eingabeoberfläche eines Touchpads mittels einer Kamera und einer Recheneinheit bekannt. Mittels der Kamera wird eine Hand beziehungsweise eine auf das berührungssensitive Eingabeelement gerichtete Handbewegung eines Benutzers erfasst. Die Recheneinheit bestimmt das eingegebene Schriftzeichen dabei mittels eines Formvergleichs zwischen einem in der Datenbank abgelegten Referenzschriftzeichen und dem durch die Kameraeinheit erfassten drehtransformierten Schriftzeichen. Nachteilig bei dem bekannten Verfahren ist, dass nur eine Ausrichtung in einer Kipprichtung der Hand und bezüglich des Touchpads erfasst wird und nicht eine Objektausrichtung in einer Rollrichtung oder in einer Neigerichtung, daher in allen drei Dimensionen.
Nachteilig bei den Lösungen in den oben genannten Veröffentlichungen ist, dass keine dreidimensionalen Berührgesten erfasst werden.
Der Erfindung liegt die Aufgabe zugrunde, in einem Kraftfahrzeug eine Bewegung umfassend eine Rotation und/oder eine Translation eines Eingabegegenstands bezüglich einer Bildschirmoberfläche bereitzustellen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Durch die Erfindung ist ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung umfassend folgende Schritte bereitgestellt: a) Erfassen von Bildern einer Bildfolge einer Oberflächenstruktur eines Eingabeobjekts in einem Eingabebereich an einer benutzerzugewandten Seite einer Bildschirmoberfläche der Anzeigevorrichtung durch eine Aufnahmevorrichtung, wobei der Eingabebereich aus Richtung einer benutzerabgewandten Seite der Bildschirmoberfläche durch die Bildschirmoberfläche hindurch optisch erfasst wird; b) Erkennen durch die Aufnahmevorrichtung, dass eine Oberflächenstruktur in einem Fokus auf der benutzerzugewandten Seite der Bildschirmoberfläche der Aufnahmevorrichtung ist; c) Durchsuchen des ersten Bildes der Bildfolge nach einem Muster in der Oberflächenstruktur des Eingabeobjekts durch eine Recheneinheit; d) Falls ein Muster der Oberflächenstruktur des Eingabeobjekts in den jeweiligen Bildern der Bildfolge erkannt wird, Bestimmen einer Ausrichtung und/oder einer Position des Musters der Oberflächenstruktur des Eingabeobjekts im Eingabebereich durch die Recheneinheit; e) Bestimmen eines Bewegungsvektors des Musters zwischen der jeweiligen Ausrichtung und Position der Oberflächenstruktur zwischen einem Bild und einem dem Bild (4) folgenden Bild der Bildfolge durch die Recheneinheit; f) Steuern der Anzeigefunktion der Anzeigevorrichtung mittels des Bewegungsvektors.
Die Erfindung ist dadurch gekennzeichnet, dass verfolgt wird, wenn das Eingabeobjekt gekippt und/oder geneigt und/oder abgerollt wird, indem durch die Recheneinheit eine beim Kippen und/oder Neigen und/oder Abrollen entstehende Veränderung des Musters in den Bildern der Bildfolge in dem Bewegungsvektor als Kippen und/oder Rollen und/oder Neigen des Eingabeobjekts abgebildet wird.
Mit anderen Worten, die Oberflächenstruktur kann der für die Aufnahmevorrichtung sichtbare Teil des Eingabeobjektes sein. Dabei kann die Oberflächenstruktur ein Muster beinhalten. Wenn das Eingabeobjekt beispielsweise ein Finger ist, kann die Oberflächenstruktur der für die Aufnahmevorrichtung bezüglich der Bildschirmoberfläche sichtbare Teil des Fingers, daher ein Fingerumriss oder die Hautoberfläche des der Bildschirmoberfläche zugewandten Teils des Fingers, sein. Das Muster kann dann ein Abbild eines Tiefenprofils der Hautoberfläche des Fingers sein, wie beispielsweise die Papillarleisten des Fingerkuppe, welche einen Fingerabdruck hinterlassen können. Bei einer Roll-, Kipp- oder Neigbewegung des Fingers auf der Bildschirmoberfläche kann die Aufnahmevorrichtung eine Veränderung des sichtbaren Abbilds des Musters, daher des Fingerabdrucks, erkennen. Die Recheneinheit der Aufnahmevorrichtung kann aus der Veränderung des für die Aufnahmevorrichtung sichtbaren Fingerabdrucks der Papillarleisten und/oder aus einer Veränderung des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur einen Bewegungsvektor des Fingers zum Steuern einer Anzeigefunktion bestimmen.
Die jeweilige Kipp-, Neig- oder Rollbewegung kann eine Rotationsbewegung um eine Koordinatenachse eines dreidimensionalen kartesischen Koordinatensystems umfassen, welches seinen Ursprung auf der Bildschirmoberfläche haben kann. Dabei kann beispielsweise die x-Achse auf der Bildschirmoberfläche der Anzeigevorrichtung in einer Längsrichtung liegen, die y-Achse in einer Querrichtung zur Bildschirmoberfläche und die z-Achse des Koordinatensystems senkrecht auf der Bildschirmoberfläche zur benutzerzugewandten Seite zeigend liegen. Eine Neigbewegung kann beispielsweise eine Rotation des Eingabeobjekts um die y-Achse, eine Kippbewegung kann eine Rotation des Eingabeobjekts um die x-Achse und eine Rollbewegung kann eine Rotation um die z-Achse sein. Beim Durchführen der jeweiligen Bewegung kann nach dem besagten Verfahren ein Bewegungsvektor durch die Recheneinheit bestimmt werden und anhand des Bewegungsvektors auf die jeweilige Kipp-, Neig- oder Rollbewegung des Eingabeobjekts zurückgeschlossen werden.
Ebenfalls kann die jeweilige Kipp-, Neig- oder Rollbewegung eine Kombination mit einer weiteren Kipp-, Neig- oder Rollbewegung oder eine Kombination mit einer Translationsbewegung des Eingabeobjekts auf der Bildschirmoberfläche umfassen.
Die Anzeigevorrichtung kann einen Bildschirm mit einer Bildschirmoberfläche umfassen, über welche eine Berühreingabe mittels des Eingabeobjekts vorgenommen werden kann. Die Bildschirmoberfläche des Berührbildschirms der Anzeigevorrichtung kann dabei eine benutzerzugewandte Seite und eine benutzerabgewandte Seite aufweisen. Auf der benutzerzugewandten Seite der Bildschirmoberfläche kann sich ein Benutzer, welcher beispielsweise mittels eines Fingers als Eingabeobjekt eine Benutzereingabe auf dem Berührbildschirm vornimmt, befinden. Die Anzeigevorrichtung kann ein Berührbildschirm eines mobilen Gerätes, wie beispielsweise ein Smartphone, ein Tablet oder ein Computer, oder ein Berührbildschirm eines Kraftfahrzeugs sein. Das Eingabeobjekt kann dabei beispielsweise ein beliebiger Gegenstand, wie beispielsweise ein Finger einer Hand des Benutzers oder ein Radiergummi, sein. Eine Aufnahmevorrichtung kann sich auf der benutzerabgewandten Seite der Bildschirmoberfläche der Anzeigevorrichtung befinden und optisch die Benutzereingabe auf dem Berührbildschirm durch das Eingabeobjekt erfassen. Die Aufnahmevorrichtung kann dabei im oder hinter dem Display des Berührbildschirms angebracht sein und beispielsweise ein holografisch-optisches Element, eine Displaykamera oder eine Kamera hinter einem transluzentem Display sein.
Durch die Aufnahmevorrichtung wird nun eine Folge von Bildern der benutzerabgewandten Seite der Bildschirmoberfläche aufgenommen. Die Kameravorrichtung der Aufnahmevorrichtung kann dabei einen Fokus aufweisen, welcher sich auf der benutzerzugewandten Seite der Bildschirmoberfläche oder in einem Bereich in der Nähe der benutzerzugewandten Seite der Bildschirmoberfläche eingestellt sein kann. Ein Eingabeobjekt mit einer Oberflächenstruktur, beispielsweise ein Finger mit einem Tiefenprofil, insbesondere ein Papillarleistenmuster für einen Fingerabdruck, kann zum Vornehmen einer Benutzereingabe in den Fokus der Aufnahmevorrichtung in der Nähe der Bildschirmoberfläche auf der benutzerzugewandten Seite geführt werden. Die Oberflächenstruktur kann der für die Aufnahmevorrichtung sichtbare Teil eines beliebigen Eingabeobjekts sein. Dabei kann die Oberflächenstruktur ein Muster umfassen, wobei das Muster auch ein Tiefenprofil, wie beispielsweise das Tiefenprofil des Fingerabdrucks, aufweisen kann.
Dabei ist die Aufnahmevorrichtung dazu eingerichtet, die Oberflächenstruktur des Eingabeobjekts, daher die Oberflächenstruktur des Fingers zu erkennen. Das Erkennen des Musters in der Oberflächenstruktur des Fingers kann durch die Recheneinheit in einem Initialbild als erstes Bild der Bildfolge, ab welchem das sich Eingabeobjekt im Fokus der Aufnahmevorrichtung befin- det, vorgenommen werden. In einem Initialbild als ein erstes Bild der Bildfolge, in welchem eine Oberflächenstruktur des Eingabeobjekts für die Aufnahmevorrichtung sichtbar werden kann, kann durch die Recheneinheit nach einem Muster in der Oberflächenstruktur gesucht werden. Dies kann beispielsweise mittels einer Interpolation oder einer Vektorisierung des jeweiligen Bildes in der Bildfolge erfolgen. Das Initialbild kann ein erstes Bild sein, welches die Aufnahmevorrichtung von der Oberflächenstruktur aufnimmt, und kann als ein Referenzbild für die Bestimmung einer Veränderung des Musters bei einer Roll- und/oder Neig- und/oder Kippbewegung des Eingabeobjekts verwendet werden. Dabei kann die jeweilige Roll-, Kipp- oder Neigebewegung mit einer Translationsbewegung des Eingabeobjekts in einer Ebene parallel zur benutzerzugewandten Bildschirmoberfläche kombiniert werden. Aus der jeweiligen Veränderung des Musters in einem Bild der Bildfolge im Vergleich zum Referenzbild und/oder zu einem vorherigen Bild in der Bildfolge kann die Recheneinheit einen Bewegungsvektor zur der jeweiligen Bewegung berechnen.
Ebenfalls kann die Recheneinheit für die Berechnung des Bewegungsvektors sich im Vergleich zum Referenzbild und/oder zu einem vorherigen Bild in der Bildfolge verändernde Bildgrößen, wie beispielsweise Kontrast, Bildschärfe oder Skalierung, verwenden.
Dabei kann für die Kameravorrichtung die Oberflächenstruktur, welche sich gegenüber der benutzerzugewandten Seite der Bildschirmoberfläche befindet, ebenfalls ein Tiefenprofil der Oberflächenstruktur sichtbar sein. Die Kameravorrichtung der Aufnahmevorrichtung kann dazu eingerichtet sein, das Tiefenprofil der Oberflächenstruktur zu erkennen, wie beispielsweise der Fingerabdruck eines Fingers oder eine raue Oberfläche eines Eingabestiftes.
Das Muster kann dabei markante Punkte oder eine Verbindung der markanten Punkte der Oberflächenstruktur aufweisen. Beispielsweise kann das Muster eine Anzahl von markanten Leisten des Fingerabdrucks des jeweiligen Fingers umfassen. Wird beispielsweise ein Finger seiner Länge nach auf die Bildschirmoberfläche gelegt, kann das erkannte Muster beispielsweise der Fingerabdruck und die Oberflächenstruktur der für die Aufnahmevorrichtung sichtbare Teil des Körpers des Fingers sein. Falls ein Muster in der Oberflächenstruktur des einen Objekts, beispielsweise die markanten Leisten, erfasst wird, kann eine Ausrichtung und/oder eine Position des Musters und damit des Eingabeobjekts im Eingabebereich des Berührbildschirms durch die Recheneinheit erkannt werden.
Liegt beispielsweise zu dem erkannten Muster ein gespeichertes Muster in einem Speicher der Recheneinheit vor, so kann anhand der Differenz zwischen dem erkannten Muster und dem gespeicherten Muster ein Bewegungsvektor durch die Recheneinheit bestimmt werden und damit eine Ausrichtung des Eingabeobjekts im Eingabebereich des Berührbildschirms. Dabei kann das gespeicherte Muster ein vor der Eingabe abgespeichertes Muster oder ein in einem Initialbild der Bildfolge angelerntes Muster sein. Ebenfalls kann anhand des Musters eine Position des Eingabeobjekts im Eingabebereich erfasst werden. Ebenfalls kann unabhängig von dem Muster eine Position des Eingabeobjekts im Eingabebereich bestimmt werden. Die Aufnahmevorrichtung kann dazu ausgelegt sein, aus einer optisch erfassten Oberflächenstruktur eines beliebigen, nicht reflektierenden oder transparenten Eingabeobjekts, zu erfassen. Das Muster kann beispielsweise aus einem Umfang oder einem Umriss des Teils der Oberflächenstruktur des Eingabeobjekts sein, welcher für die Aufnahmevorrichtung sichtbar ist.
Aus der Veränderung der Ausrichtung und/oder Position des Musters zwischen zumindest einem ersten Bild der Bildfolge nach dem Initialbild und einem auf das erste Bild folgende zweite Bild der Bildfolge kann die Recheneinheit einen Bewegungsvektor des Eingabeobjekts bestimmen. Mittels des Bewegungsvektors kann die Recheneinheit eine Anzeigefunktion der Anzeigevorrichtung steuern.
Alternativ kann aus der Ausrichtung des Musters eine Rotation des Musters um eine Normalachse des Eingabeobjekts bezüglich der Bildschirmoberfläche und damit eine Rotation des Eingabeobjekts zum Steuern der Anzeigefunktion bestimmt werden. Hierdurch ergibt sich der Vorteil, dass ein beliebiger Gegenstand als Eingabeobjekt für eine Eingabe über einen Berührbildschirm verwendet werden kann, sofern der Gegenstand einen entsprechende Lichtundurchlässigkeit und eine nicht reflektierende Oberflächenstruktur aufweist. Beispielsweise kann dies ein Finger oder ein Stift sein. Dazu wird eine 3D-Eingabe mit allen Freiheitsgraden (Rotation, Translation, gegebenenfalls Druck und Höhe) und damit neue Bedienansätze ermöglicht. Des Weiteren ist kein weiteres Eingabegerät mitzuführen und ein eventueller Verlust des Eingabegeräts unerheblich, da als Eingabegerät auch beispielsweise ein Finger verwendet werden kann und damit Platz gespart werden kann.
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
Eine Ausführungsform sieht vor, dass das Muster in einem oder mehreren Initialbildern der Bildfolge angelernt wird. Mit anderen Worten, ist die Oberflächenstruktur des Eingabeobjekts für die Recheneinheit unbekannt, so kann die Recheneinheit in dem durch die Aufnahmevorrichtung erfassten Initialbild der Oberflächenstruktur eine Mustererkennung mittels Bildverarbeitung durchführen. Dies kann beispielsweise mittels einem Initialbild oder mehreren Initialbildern erfolgen, wenn im ersten Bild alleine von der Recheneinheit noch kein Muster erfolgreich erkannt werden konnte. Als Referenzbild zur Bestimmung der sich verändernden Bildgrößen, wie beispielsweise Kontrast, Bildschärfe oder die Skalierung, kann das erste Bild genommen werden, in welchem von der Recheneinheit ein Muster in der Oberflächenstruktur erkannt wurde. Hierdurch ergibt sich der Vorteil, dass beliebige Objekte, welche optisch erfasst werden können, als Eingabegeräte verwendet werden können.
Die Recheneinheit kann dazu eingerichtet sein, aus einer beliebigen Oberflächenstruktur ein Muster zu erkennen und anhand der Veränderung des Musters einen Bewegungsvektor des Eingabegeräts zu bestimmen. So sieht eine Ausführungsform vor, dass eine Bestimmung des Bewegungsvektors ein Auswerten einer Veränderung einer Bildschärfe und/oder eines Kontrasts und/oder einer Skalierung des Musters und/oder eines für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur des Eingabeobjekts in den Bildern der Bildfolge umfasst. Mit anderen Worten, die Recheneinheit kann in der Berechnung des Bewegungsvektors eine Veränderung des Musters in den jeweiligen Bildern der Bildfolge berücksichtigen. Die Bildgrößen können dabei eine Veränderung des Kontrasts und/oder eine Veränderung der Bildschärfe und/oder der Skalierung des Musters in einem Bild der Bildfolge im Vergleich zum vorherigen Bild in der Bildfolge und/oder zum Referenzbild sein.
Ergänzend oder alternativ zur Muster kann die Recheneinheit eine Bewegung aus einer Veränderung des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur für das jeweilige Bild der Bildfolge im Vergleich zum vorherigen Bild in der Bildfolge und/oder zum Referenzbild ermitteln.
Wird beispielsweise der auf der Bildschirmoberfläche aufliegende Finger aufgerichtet, so dass der Finger die Bildschirmoberfläche nur mit der Fingerspitze berührt, so kann an der Stelle, an der vor der Aufrichtung des Fingers der Körper des Fingers auf der Bildschirmoberfläche auflag, eine Veränderung des Kontrasts und/oder der Bildschärfe des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur des Fingers im Vergleich zum Referenzbild entstehen. Beispielsweise kann die Aufnahmevorrichtung eine Kontrastveränderung beim Aufrichten des Fingers erkennen und daraus einen Bewegungsvektor des Fingers ergänzend oder alternativ zur entsprechenden Veränderung des Musters, wie beispielsweise ein Fingerabdruck, bestimmen. Wenn beispielsweise ein auf der Bildschirmoberfläche liegender Finger aufgerichtet wird, so dass der Finger nach dem Aufrichten nur noch mit der Fingerspitze die Bildschirmoberfläche berührt, kann die Recheneinheit den Bewegungsvektor des Fingers mittels der Veränderung der Bildwerte des von der Recheneinheit erkannten Fingerabdrucks als Muster in den jeweiligen Bildern und/oder in der Veränderung des sichtbaren Teils der Oberflächenstruktur während der Bewegung des Aufrichtens berechnen. Die beim Aufrichten des Fingers entstehenden Veränderung des Musters und/oder des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur kann von der Recheneinheit mittels einer Veränderung der Bildgrößen der jeweiligen Bilder des sichtbaren Teils der Oberflächenstruktur umfassend den Kontrast und/oder die Bildschärfe und/oder die Skalierung bestimmt werden. Aus der Veränderung der jeweiligen Bildgröße oder einer Kombination der Bildgrößen der jeweiligen Bilder der Bildfolge kann die Recheneinheit einen Bewegungsvektor des Eingabeobjekts bestimmen.
Hierdurch ergibt sich der Vorteil, dass auf eine Bewegung in Richtung der Freiheitsgrade bezüglich der Rotation um die Achsen des jeweiligen dreidimensionalen Koordinatensystems durch die Recheneinheit bestimmt werden kann. Ebenfalls kann durch die Verwendung der Veränderung besagen Bildwerte in Kombination eine redundante Bestimmung der jeweiligen 3D- Eingabe durch das Eingabeobjekt erfolgen.
Nach der erfolgreichen Erkennung des Musters durch die Recheneinheit der Aufnahmevorrichtung kann durch die Recheneinheit ein Bewegungsvektor bestimmt werden. Eine Ausführungsform sieht nun vor, dass das Steuern der Anzeigefunktion der Anzeigevorrichtung nur nach einem Erkennen eines gespeicherten, autorisierten Musters der Oberflächenstruktur des Eingabeobjekts in einem Bild aus der Bildfolge erfolgt. Mit anderen Worten, nur nach einem Erkennen eines bestimmten, gespeicherten und autorisierten Musters durch die Recheneinheit kann das Steuern der Anzeigefunktion ausgelöst werden. Beispielsweise kann nach einem Erkennen eines Fingerabdrucks, welcher vorher in einem Speicher der Recheneinheit als ein autorisierender Fingerabdruck gespeichert wurde, das Steuern der Anzeigefunktion durch die Recheneinheit autorisieren. Daher kann beispielsweise nur ein Benutzer mit seinem spezifischen Fingerabdruck eine Anzeigefunktion der Anzeigevorrichtung steuern. Hierdurch ergibt sich der Vorteil, dass eine Codierung der Eingabe mittels eines Fingerabdrucks oder eines spezifischen Merkmals einer Oberflächenstruktur erfolgen kann. Ebenfalls ergibt sich hierdurch der Vorteil, dass bestimmte Anzeigefunktionen von einem bestimmten, erkannten Muster ausgelöst werden können. Eine Ausführungsform sieht nun vor, dass zumindest eine Anzeigefunktion jeweils zumindest einem Muster des Eingabeobjekts zugeordnet wird. Mit anderen Worten, einem bestimmten, zuvor gespeicherten Muster kann eine bestimmte Anzeigefunktion zugeordnet werden. Beispielsweise kann mittels des Fingerabdrucks des Zeigefingers eine Funktion eines Malens oder Zeichnens ausgelöst werden und bei Erkennen des Fingerabdrucks des kleinen Fingers eine Funktion eines virtuellen Radierens. Hierdurch ergibt sich der Vorteil, dass nach einem Muster eine Codierung der Anzeigefunktion vorgenommen werden kann.
Ebenfalls kann die 3D-Eingabe durch das Eingabeobjekt mit einem weiteren Parameter erweitert werden. So sieht eine Ausführungsform vor, dass das Erfassen des jeweiligen Bildes der Bildfolge in Kombination mit einem Drucksensor auf der Bildschirmoberfläche erfolgt, wobei der Drucksensor einen Druck einer Eingabe durch das Eingabeobjekt misst und das Erfassen des jeweiligen Bildes der Bildfolge bei Überschreiten des Drucks über einen Schwellenwert ausgelöst wird oder zumindest eine Ansagefunktion einem Wert des gemessenen Drucks zugeordnet wird. Mit anderen Worten, der Berührbildschirm der Anzeigevorrichtung kann einen Drucksensor umfassen, welcher einen Druck und/oder einen Druckschwerpunkt messen kann. Wenn eine Eingabe mittels des Eingabeobjekts auf der Bildschirmoberfläche vorgenommen wird, so kann die Eingabe mit einem Druck verbunden werden. Beispielsweise kann es bei Überschreiten des durch den Drucksensor gemessenen Drucks der Eingabe eine Anzeigefunktion ausgelöst werden. Hierdurch ergibt sich der Vorteil, dass beispielsweise eine Fehleingabe, welche beispielsweise durch eine Fliege auf der Bildschirmoberfläche ausgelöst werden könnte, vermieden werden kann. Ebenfalls kann eine Anzeigefunktion mit einem Wert des Drucks verbunden und dieser zugeordnet werden. Beispielsweise kann bei Überschreiten des Drucks der Eingabe über einen ersten Schwellenwert das Zeichnen eines dünnen Strichs ausgelöst werden und bei Überschreiten des Drucks über einen zweiten Schwellenwert, welcher größer ist als der erste Schwellenwert, das Zeichen eines fetten, vom dünnen Strich verschiedenen Strichs erfolgen. Hierdurch ergibt sich der Vorteil, dass mittels der Kombination der 3D-Eingabe mit einem Druck ein erweitertes Spektrum von Anzeigefunktionen zugeordnet werden kann.
Ebenfalls kann eine Anzeigefunktion einem optischen Marker zugeordnet werden. So sieht eine Ausführungsform vor, dass das Muster des Eingabeobjekts zumindest einen optischen Marker umfassend zumindest ein Muster zum Steuern jeweils einer Anzeigefunktion umfasst. Mit anderen Worten, als Eingabeobjekt kann beispielsweise einen Eingabestift für die Bedienung eines Tabletcomputers verwendet werden. Der Stift kann dabei einen Marker umfassen, welcher beispielsweise als ein QR-Code ausgeführt sein kann. Wird ein spezifischer QR-Code durch die Recheneinheit der Aufnahmevorrichtung auf der Bildschirmoberfläche erkannt, so kann beispielsweise eine Radierfunktion durch den QR-Code ausgelöst werden. Ebenfalls kann einem ersten QR-Code eine Radierfunktion als Anzeigefunktion zugeordnet, einem zweiten QR-Code ein Zeichnen von dünnen Linien und einem dritten QR- Code ein Zeichnen von fetten Linien zugeordnet werden. Ebenfalls kann durch einen QR-Code eine Veränderung eines fahrzeugspezifischen Parameters zugeordnet werden. Beispielsweise kann eine Veränderung einer Klimaanlagentemperatur einem bestimmten QR-Code zugeordnet werden.
Dabei können die optischen Marker auch anatomische Merkmale eines Körpergegenstandes, wie beispielsweise eines Fingerabdrucks eines spezifischen Fingers, wie beispielsweise den eines Mittelfingers, verwendet werden. So kann beispielsweise nur mittels des Fingerabdrucks des Mittelfingers eine Klimaanlagentemperatur eingestellt werden und mittels des Fingerabdrucks eines Zeigefingers eine Navigationsfunktion bedient werden. Hierdurch ergibt sich der Vorteil, dass eine Anzeigefunktion ebenfalls durch bestimmte optische Marker des Eingabeobjekts erweitert werden kann.
Eine Ausführungsform sieht eine Recheneinheit vor, welche dazu eingerichtet ist, das oben beschriebene Verfahren zur Erkennung einer Bewegung eines Eingabegegenstandes gegenüber einer Anzeigevorrichtung durchzuführen. Eine Ausführungsform sieht eine Aufnahmevorrichfung mit einer Recheneinheit vor, welche dazu eingerichtet ist, das oben beschriebene Verfahren durchzuführen.
Ebenfalls sieht eine weitere Ausführungsform eine Anzeigevorrichtung mit der besagten Aufnahmevorrichfung und der Recheneinheit vor. Die Anzeigevorrichtung kann ein Berührbildschirm eines mobilen Gerätes, wie beispielsweise ein Smartphone, ein Tablet oder ein Computer, oder ein Berührbildschirm eines Kraftfahrzeugs sein.
Eine Ausführungsform sieht ein Kraftfahrzeug mit der Recheneinheit oder der Aufnahmevorrichfung und der Recheneinheit vor.
Die Erfindung umfasst auch die Kombinationen und Merkmale der beschriebenen Ausführungsformen.
Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
Fig. 1 eine schematische Darstellung eines Längsschnitts der Anzeigevorrichtung,
Fig. 2 eine schematische Darstellung des Verfahrens zum Steuern der Anzeigefunktion der Anzeigevorrichtung,
Fig. 3 eine Perspektive der Aufnahmevorrichtung auf das Eingabeobjekt von einer benutzerabgewandten Seite der Bildschirmoberfläche, und
Fig. 4 eine Zuordnung einer Anzeigefunktion zu einer Gestik.
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar. In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
Fig. 1 zeigt eine Seitenansicht der Anzeigevorrichtung 1 . Die Anzeigevorrichtung 1 weist dabei einen Berührbildschirm mit einer benutzerzugewandten Bildschirmoberfläche 2 und einer benutzerabgewandten Bildschirmoberfläche 2‘ auf. Die Anzeigevorrichtung 1 kann dabei beispielsweise ein Berührbildschirm sein. Die Anzeigevorrichtung 1 weist zwei optische Trägermedien 21 und 23 auf, wobei das optische Trägermedium 21 das benutzerseitige Trägermedium und das Trägermedium 23 das benutzerabgewandte Trägermedium ist. Zwischen den Trägermedien 21 und 23 befindet sich ein holografisch-optische Schicht 22.
Die Anzeigevorrichtung 1 umfasst weiterhin einen Erfassungsbereich 13 und eine Aufnahmevorrichtung 3 bestehend aus einem Aufnahmebereich 32, einer Kameravorrichtung 31 und einer Recheneinheit 5. Der Erfassungsbereich 13 kann beispielsweise eine Bildschirmfläche sein, auf welcher Berühreingaben durch den Benutzer vorgenommen werden können. Die Aufnahmevorrichtung ist dabei derart ausgelegt, dass die Kameravorrichtung der Aufnahmevorrichtung in einem vorher eingestelltem, zeitlichen Abstand jeweils ein Bild von der benutzerzugewandten Seite der Bildschirmoberfläche 2 aufnimmt. Dabei wird in der Recheneinheit jeweils ein Bild 4 der Bildfolge 14 verarbeitet. Die Bildfolge 14 besteht dabei aus einem Initialbild 4’ als ein erstes Bild der Bildfolge und einem auf das Initialbild folgende zumindest eine Bild 4.
Die Aufnahmevorrichtung 3 nimmt ein Bild der Oberflächenstruktur 7 des Eingabeobjekts 6 auf, welches sich in dem Eingabebereich 13 der Aufnahmevorrichtung 3 in dem Fokus 15 oberhalb oder auf der Bildschirmoberfläche 2 befindet. Das Eingabeobjekt 6 ist hier der Finger eines Benutzers. Der Finger des Benutzers weist dabei eine Oberflächenstruktur 7, wie beispielsweise die der Bildschirmoberfläche 2 zugewandten Seite des Eingabeobjekts 6, und einem Fingerabdruck als Muster 11 in der Oberflächenstruktur 7 auf. Zur Orientierung befindet sich neben der Aufnahmevorrichtung 3 ein kartesisches Koordinatensystem, wobei sich die x-Achse in der Längsrichtung der Anzeigevorrichtung 1 , die y-Achse in der Querrichtung der Anzeigevorrichtung 1 und die z-Achse vertikal zur Anzeigevorrichtung 1 befinden. Analog dazu sind in dem Eingabeobjekt 6 eine Längsachse 17 und eine Querachse 18 zur Beschreibung der Bewegung des Eingabeobjekts 6 gezeichnet. Dabei bewegt sich die Längsachse 17 parallel zur x-Achse des kartesischen Koordinatensystems und die Querachse 18 parallel zur y-Achse.
Die Aufnahmevorrichtung 3 ist derart bezüglich der Anzeigevorrichtung 1 eingerichtet, dass diese ein Bild von der benutzerzugewandten Seite der Bildschirmoberfläche 2 mittels der holographisch-optischen Schicht aus der Perspektive einer an der benutzerabgewandten Seite der Bildschirmoberfläche 2‘ angeordneten Kameravorrichtung aufnimmt. In der Fig. 1 ist dies dabei als eine holografisch-optische Erfassungseinrichtung dargestellt. Über den Erfassungsbereich 13 wird ein Bild der Oberflächenstruktur 7 des Eingabeobjekts 6 gezeigt und das Licht 28 mittels des Bildes des Eingabeobjekts 6 durch die holografisch-optische Schicht 22 mittels einer jeweiligen Gitterstruktur im Erfassungsbereich 13 und im Aufnahmebereich 32 der Aufnahmevorrichtung 3 gebrochen und durch das Trägermedium 21 und 23 jeweils durch interne Reflexion zur Kameravorrichtung 31 der Aufnahmevorrichtung 3 geleitet. Die holografisch-optische Schicht bricht dabei das Licht 28 und leitet es aus dem Trägermedium 23 in die Kameravorrichtung 31 der Aufnahmevorrichtung 3.
Die Kameravorrichtung 31 ist nun dazu eingerichtet, in zumindest einem bestimmten zeitlichen Abstand jeweils ein Bild 4 einer Bildfolge 14 des Erfassungsbereichs 13 fortlaufend aufzunehmen. Dabei betrachtet die Kameravorrichtung 31 den Eingabebereich 13 über die Trägermedien 21 und 23 analog zu der Weise eines Periskops, mit welchem man von unten die benutzerzugewandte Seite der Bildschirmoberfläche sehen kann. Das Blickfeld in der Kameravorrichtung 31 ist dabei der gesamte Erfassungsbereich 13, welcher beispielsweise eine Bildschirmoberfläche 2 eines Bedienbereichs der Anzeigevorrichtung 1 sein kann. Ergänzend oder alternativ kann der Erfassungsbereich 13 auch eine Zeichenfläche, wie beispielsweise ein Touchpad, sein.
Die Kameravorrichtung 31 ist nun dazu ausgelegt, in zumindest einem vorbestimmten zeitlichen Abstand jeweils ein Bild 4 einer Bildfolge 14 aufzunehmen. Dabei werden die jeweiligen Bilder 4‘ und 4 der Bildfolge 14 der Kameravorrichtung 31 durch die Recheneinheit 5 ausgewertet und ein Initialbild 4‘ und/oder ein Bild 4 gespeichert. Erkennt die Recheneinheit 5 der Aufnahmevorrichtung 3 in einem Initialbild 4‘ der Kameravorrichtung 31 eine Oberflächenstruktur im Bereich des Fokus 15, so ist das erste Bild 4, in welchem die Oberflächenstruktur 7 des Eingabeobjekts 6 erkannt wird, das Initialbild 4‘ der Bildfolge 14. Das Erkennen der Oberflächenstruktur 7 durch die Kameravorrichtung 31 erfolgt dabei durch ein erstes Auflegen des Eingabeobjekts 6, also des Fingers, auf die benutzerzugewandte Bildschirmoberfläche 2 im Eingabebereich 13. Die Recheneinheit 5 durchsucht das Initialbild 4‘ nach einem Muster 11 in der Oberflächenstruktur 7.
Als das Muster 11 kann im dargestellten Fall der Fingerabdruck des Fingers von der Recheneinheit 5 erkannt werden und das Initialbild 4‘ mit dem erkannten Fingerabdruck als Referenzbild gespeichert werden. Anhand des Musters 11 im Initialbild 4‘ kann nun eine Ausrichtung und eine Position des Eingabeobjekts 6 im Eingabebereich 13 erfolgen, beispielsweise ob der Finger unten rechts oder oben links im Eingabebereich positioniert ist. Nun wird in den folgenden Bildern 4 der Bildfolge 14 eine Veränderung des Musters 11 durch die Recheneinheit 5 bezüglich des Initialbildes 4‘ und/oder bezüglich eines zu einem Bild 4 in der Bildfolge 14 vorangegangenen Bildes 4 bestimmt. Aus der Differenz der Ausrichtung und Position bei einer Bewegung des Eingabeobjekts 6 in den jeweiligen Bildern 4 der Bildfolge 14 kann die Recheneinheit 5 einen Bewegungsvektor des Eingabeobjekts 6 bestimmen. Der Bewegungsvektor 16 kann in dem dargestellten Fall beispielsweise eine Kippbewegung sein, welches ein Rotieren des Eingabeobjekts 6um die y-Achse, daher um seine Querachse 18, entspricht. Aus der Perspektive der Kameravorrichtung 31 , welche sich auf der benutzerabgewandten Seite der Bildschirmoberfläche 2‘ befindet, wird als ein Verschwinden der unteren Hälfte 11 ' des Musters 11 im Bild 4 im Vergleich zum Initialbild 4' wahrgenommen, woraus die Recheneinheit 5 bestimmen kann, dass eine Kippbewegung des Eingabeobjekts 6 analog zu dem Bewegungsvektor 16 vorliegt. Dabei kann das Verschwinden der unteren Hälfte 11 ' des Musters 11 über mehrere Bilder 4 der Bildfolge 14 verteilt aufgenommen werden. Aus der Veränderung des Musters 11 in den jeweiligen Bildern 4 der Bildfolge 14 kann die Recheneinheit 5 einen Bewegungsvektor 16 des Eingabeobjekts 6 bestimmen.
Ergänzend oder alternativ kann die Recheneinheit 5 einen Bewegungsvektor 16 des Eingabeobjekts 6 mittels einer Veränderung des Kontrasts und/oder der Bildschärfe des für die Aufnahmevorrichfung sichtbaren Teils der Oberflächenstruktur des Fingers in den Bildern 4 im Vergleich zum Referenzbild und/oder zu einem zum Bild 4 in der Bildfolge vorangegangenen Bild 4 bestimmen. Im Bild 4 kann die Aufnahmevorrichtung 3 eine Kontrastveränderung in der unteren Hälfte 1 T des Musters 11 im Bild 4 im Vergleich zum Initialbild 4' beim Aufrichten des Fingers erkennen und daraus den Bewegungsvektor 16 des Fingers bestimmen.
Ergänzend oder alternativ zur Kontrastveränderung der unteren Hälfte 1 T des Musters 11 im Bild 4 kann die Recheneinheit 5 eine Veränderung der Bildschärfe und/oder die Skalierung des Musters 11 im Bild 4 im Vergleich zum Initialbild 4' und/oder zu einem zum Bild 4 in der Bildfolge vorangegangenen Bild 4 zur Bestimmung des Bewegungsvektors 16 verwenden. Aus der Veränderung der jeweiligen Bildgröße oder einer Kombination der Bildgrößen der jeweiligen Bilder 4 der Bildfolge 14 kann die Recheneinheit 5 einen Bewegungsvektor 16 des Eingabeobjekts 6 bestimmen.
In Fig. 2 ist das Verfahren zum Steuern der Anzeigefunktion schrittweise dargestellt. In einem ersten Schritt S1 werden Bilder 4' und 4 einer Bildfolge 14 durch die Aufnahmevorrichtung 3 der benutzerzugewandten Seite der Bildschirmoberfläche 2 der Anzeigevorrichtung 1 aufgenommen. Es wird nun in einem zweiten Schritt S2 eine Oberflächenstruktur 7 des Eingabeobjekts 6 in einem Fokus 15 auf der benutzerzugewandten Seite der Bildschirmoberfläche 2 der Aufnahmevorrichtung 3 erkannt. Dies kann beispielsweise durch das Erkennen eines Umrisses der Oberflächenstruktur 7 oder eines Schwellenwertes für einen Kontrastabfall des für die Aufnahmevorrichtung 3 sichtbaren Teils der Oberflächenstruktur 7 in einem Bild 4 der Bildfolge 14 als Auslöser für das Erkennen einer Benutzereingabe von der Recheneinheit 5 verwendet werden. Wird nun die Oberflächenstruktur 7 des Eingabeobjekts 6 erkannt, so sucht die Recheneinheit 5 in dem ersten Bild 4 der Bildfolge 14, dem sogenannten Initialbild 4‘, nach einem Muster 11 in der Oberflächenstruktur 7. Wird in dem Initialbild 4‘ von der Recheneinheit 5 kein Muster 11 in der Oberflächenstruktur 7 erkannt, kann die Suche nach dem Muster 11 im nächsten Bild 4 bis zu einer geeigneten maximalen Anzahl von Bildern 4 fortgesetzt werden. Das Initialbild 4‘ wird als Referenzbild von der Recheneinheit 5 gespeichert.
Falls in dem zweiten Schritt S2 die Recheneinheit 5 kein Muster 11 in der Oberflächenstruktur 7 oder keine geeignete Oberflächenstruktur 7, beispielsweise wenn die Kontrastveränderung des sichtbaren Teils der Oberflächenstruktur 7 einen Schwellenwert unterschreitet, erkennt, so geht die Recheneinheit 5 zu Schritt S1 zurück. Wenn jedoch die Recheneinheit 5 ein Muster 11 in der Oberflächenstruktur 7 erkennt oder der sichtbare Teil der Oberflächenstruktur 7 einen Schwellenwert für eine Kontrastveränderung überschreitet, so geht das Verfahren in dem dritten Schritt S3 weiter.
Für das Muster 11 wird nun durch die Recheneinheit 5 in dem Schritt S3 eine Ausrichtung 8 und/oder eine Position 9 des Eingabeobjekts 6 im Eingabebereich 13 bestimmt. Beispielsweise kann dies zunächst eine bestimmte Position im Eingabebereich 13 auf der benutzerzugewandten Bildschirmoberfläche 2 sein. Im Rahmen des Schrittes S3 werden nun weitere Bilder 4 der Oberflächenstruktur 7 durch die Aufnahmevorrichtung 3 aufgenommen, welche von der Recheneinheit 5 mit dem Initialbild 4‘ und/oder mit einem zum Bild 4 in der Bildfolge 14 vorangegangenen Bild 4 verglichen werden. Aus der Differenz des Musters 11 und/oder der Differenz der Bildwerte wie beispielsweise Kontrast, Bildschärfe und oder Skalierung des Musters und/oder des sichtbaren Teils der Oberflächenstruktur 7 der jeweiligen Bilder 4 und 4‘ wird durch die Recheneinheit 5 ein Bewegungsvektor 16 des Eingabeobjekts 6 bestimmt.
Aus dem berechneten Bewegungsvektor 16 wird nun in einem vierten Schritt S4 eine Anzeigefunktion der Anzeigevorrichtung 1 gesteuert. Beispielsweise kann, wenn der Bewegungsvektor 16 eine Kippbewegung darstellt, also wenn beispielsweise der Finger mit der Fingerspitze auf die Bildschirmoberfläche der Anzeigevorrichtung 1 gesetzt wird und dabei die Hand nun entgegen der Anzeigeoberfläche kippt, eine Einstellung für ein Zeichnen verändert werden, die das Zeichnen beispielsweise von einer anfangs dünnen Linie zu einer fetten Linie verändert.
Fig. 3 zeigt nun eine Ansicht der Bildschirmoberfläche 2 aus der Perspektive der Kameravorrichtung 31 der Aufnahmevorrichtung 3, wobei die Kameravorrichtung 31 die benutzerzugewandte Seite der Bildschirmoberfläche 2 aus Sicht der benutzerabgewandten Seite der Bildschirmoberfläche 2‘ sieht. Zu sehen ist nun die Bildschirmoberfläche 2, das Eingabeobjekt 6 mit der Oberflächenstruktur 7 und dem Muster 11 . Zur Orientierung ist auch weiterhin das entsprechend in der Perspektive gedrehte kartesische Koordinatensystem dargestellt. Die Kameravorrichtung 31 blickt von unten durch ein Display der Anzeigevorrichtung 1 auf den Finger als Eingabeobjekt 6. Ferner sind die Längsachse 17 und die Querachse 18 des Eingabeobjekts 6 dargestellt.
Nun soll gezeigt werden, wie aus einer Veränderung des Musters 11 der Oberflächenstruktur 7 ein Bewegungsvektor 16 des Eingabeobjekts 6 durch die Recheneinheit 5 bestimmt werden kann. Ab dem Initialbild 4‘ nimmt die Kameravorrichtung 31 der Aufnahmevorrichtung 3 ein Initialbild 4‘ der Oberflächenstruktur 7 auf und durchsucht diese nach einem Muster 11 . Zu dem Initialbild 4‘ als Referenzbild wird dabei ein Wert einer Bildschärfe, einer Skalierung, eines Kontrastes sowie des für die Aufnahmevorrichtung sichtbaren Teils der Oberflächenstruktur 7 gespeichert. Dies kann beispielsweise der Umriss des Fingers 6 im Bild a) sein. Die Bildwerte werden dabei durch die Kameravorrichtung 31 für jeden Bildpunkt des Initialbilds 4‘ erfasst.
Für die jeweiligen Bewegungen des Fingers werden nun drei beispielhafte Möglichkeiten gezeigt:
Im Bild a) wird eine Rollbewegung des Eingabeobjekts 6 durchgeführt. Der Finger rotiert dabei um die z-Achse. Wird nun das Eingabeobjekt 6 um die z- Achse gedreht, so findet keine Veränderung des Kontrastes und der Bildschärfe statt, da sich der Finger als Eingabeobjekt 6 im selben Fokus 15 der Kameravorrichtung 31 befindet, also sich nicht von einer Ebene parallel zur Bildschirmoberfläche 2 entfernt. Ebenfalls verändert sich die Skalierung des Musters 11 und des sichtbaren Teils 6‘ der Oberflächenstruktur 7, hier der Umriss des Fingers, nicht. Dabei kann die Recheneinheit 5 erkennen, ob das Eingabeobjekt 6 in derselben Ebene bezüglich der Bildschirmoberfläche bleibt. Aus der Veränderung der Ausrichtung des Musters 11 , ergänzend einem unveränderten Kontrast, einer unveränderten Bildschärfe des Musters 11 und/oder ergänzend des sichtbaren Teils 6‘ der Oberflächenstruktur 7 kann die Recheneinheit 5 eine Rotation des Eingabeobjekts 6 in einem Bild 4 im Vergleich zum Initialbild 4‘ erkennen.
Im Bild a) wird die Textur des Eingabeobjekts 6 im Uhrzeigersinn rotiert. Es findet keine Skalierung oder Kontraständerung statt. Die Fingerkuppe rotiert um ihre Hochachse z.
Im Bild b) soll nun eine Kippbewegung des Eingabeobjekts 6, daher eine Rotation um die y-Achse, dargestellt werden. Für die Kameravorrichtung 31 ist nun die Oberflächenstruktur 7 als Fingerspitze erkennbar, welche das Muster 11 als Fingerabdruck aufweist. Die Hand 19 zur Orientierung kann dabei für die Kameravorrichtung 31 eigentlich sichtbar sein oder auch nicht. Die Kameravorrichtung 31 nimmt nun die in Bild b) dargestellte Ansicht als ein Bild 4 auf und kann eine Differenz zu dem Initialbild 4‘ berechnen. Dabei kann die Recheneinheit 5 eine Veränderung des Musters 11 und des für die Kameravorrichtung 31 sichtbaren Teils Oberflächenstruktur 7 erkennen. Durch eine Veränderung des Kontrastes des sichtbaren Teils der Oberflächenstruktur 7‘ kann die Recheneinheit 5 erkennen, dass sich der besagte Teil der Oberflächenstruktur 7‘ von einer Ebene parallel zur Bildschirmoberfläche 2 entfernt. Es dabei eine Kontraständerung in den besagten Bereichen statt, wobei das Muster 11 linear transformiert wird. Aus den entsprechenden Veränderungen des Musters 11 und des Kontrastes sowie der Bildschärfe des Musters 11 und des sichtbaren Teils der Oberflächenstruktur 7‘ kann die Recheneinheit 5 einen Bewegungsvektor 16 bestimmen, welcher eine Kippbewegung anzeigt.
Im Bild b) wird die Textur linear transformiert, tonnenförmig verzerrt und es gibt einen Kontrastabfall am Rand. Die Fingerkuppe rotiert um ihre Querachse 18.
Im Bild c) wird nun eine Neigbewegung des Eingabeobjekts 6, daher eine Rotation des Eingabeobjekts 6 um die x-Achse, dargestellt. Dabei findet als Differenz zu dem Initialbild 4‘ aus Bild a) nun ebenfalls eine Kontraständerung des Musters 11 , jedoch keine Veränderung des sichtbaren Teils 6‘ der Oberflächenstruktur 7 statt. Aus der jeweiligen Richtung der Veränderung des Kontrastes des Musters 11 und ergänzend des sichtbaren Teils 6‘ der Oberflächenstruktur 7 kann die Recheneinheit 5 einen Bewegungsvektor 16 für eine Neigbewegung bestimmen. Dabei wird die Oberflächenstruktur 7 linear transformiert, jedoch um 90° versetzt bezüglich zu Bild b). Die Fingerkuppe rotiert um ihre Längsachse 17.
Zwar nicht skizziert, aber es sind translatorische Bewegungen (Textur bleibt gleich, bewegt sich aber in eine Richtung) sowie Bewegung hin und weg vom Display (Kontrast nimmt ab/zu) sowie Berührung des Displays oder Druck auf das Display (über Touch, 3D-Touch und Veränderung der Textur selbst), möglich.
Aus dem Bewegungsvektor 16 kann die Recheneinheit 5 nun auf eine Rotationsbewegung des Eingabeobjekts 6 schließen. Je nach der Position des Eingabeobjekts 6 auf der Bildschirmoberfläche 2 kann auch eine Position des Eingabeobjekts 6 zum Eingabebereich 13 bestimmt werden. Aus der Veränderung der Position sind translatorische Bewegungen bestimmbar. Ebenfalls ist es dadurch möglich, die rotatorische und die translatorische Bewegung miteinander zu kombinieren, beispielsweise wenn der Finger als Eingabeobjekt 6 über der Bildschirmoberfläche analog zu einer Walze abgerollt wird, die quer über das Display rollt. Dabei erfolgt die Veränderung des sichtbaren Teils 6‘ der Oberflächenstruktur 7, der Bildschärfe und des Kontrastes zusammen mit einer Positionsveränderung des sichtbaren Teils 6‘ der Oberflächenstruktur 7.
In Fig. 4 sind nun Anwendungsformen zum Steuern einer Anzeigefunktion anhand des bestimmten Bewegungsvektors 16 dargestellt. Hierzu ist in Fig. 4 eine Abfolge von Bewegungen in Bild a), b) und c) gezeigt. In der Folge im Bild a) wird durch einen Benutzer mit dem Finger als Eingabeobjekt 6 eine Rotationsbewegung auf der Bildschirmoberfläche 2 durchgeführt. Der Finger rotiert daher um seine Längsachse 17 oder Querachse. Hierzu kann in Bild a) unten als Anzeigefunktion ein Zeichnen mit einer fetten Linie analog zu einem Textmarker 25 mit einer Spitze 24 dargestellt sein. Wird der Finger nun in einem geringen Winkel 27, beispielsweise unter 45°, analog zum Teil a) im Bild a) auf die Bildschirmoberfläche 2 gelegt, so kann ein Zeichnen mit einer fetten Linie analog zu einem Halten eines Textmarkers im gleichen Winkel 27 als Anzeigefunktion ausgeführt werden. Ein Rotieren des Fingers als Eingabeobjekt 6 um die Längsachse 17 kann dabei ebenfalls eine Rotation des virtuellen Textmarkers 25 im gleichen Winkel 27 bezüglich der Bildschirmoberfläche 2 dargestellt werden. Hierzu verdreht sich die Spitze analog zum Winkel 27. Wird der Winkel 27 über das Bild b) weiter vergrößert, sodass das Eingabeobjekt 6 wie schließlich in Bild c) im Winkel 27 senkrecht auf der Bildschirmoberfläche 2 steht, so kann nun die Anzeigefunktion das Zeichnen einer dünnen Linie vorsehen, analog zum Betrachten der Spitze 24 des virtuellen Textmarkers 25 bezüglich der Bildschirmoberfläche 2. Wird der Finger als Eingabeobjekt 6 bezüglich der Längsachse 17 rotiert, kann dies einem Rotieren des Textmarkers 25 bezüglich der Bildschirmoberfläche 2 entsprechen. Über eine Aufnahmevorrichtung, hinter dem Display (Holocam, Pixel im Display, Kamera hinter transparentem Display) mit oder ohne Touch- Funktionalität wird der Raum direkt über den Bildschirm aufgenommen. Der Fokus sollte hierbei möglichst nahe an der Bildschirmoberfläche liegen und das Erkennen relevanter Textur und auch höheren Kontrast ermöglichen.
Die hintereinander aufgenommenen Bilder werden nach wiedererkennbaren Bildinhalten (Texturen, Fingerabdrücke, Marker, Bildschärfe) durchsucht. Diese Bildinhalte werden nun Bild für Bild analysiert, wobei die Bewegung der Pixel, als auch die Verzerrung sowie der Kontraste genutzt werden können, um die Bewegungsart und -richtung abzuschätzen.
Nicht skizziert, aber möglich sind translatorische Bewegungen (Textur bleibt gleich, bewegt sich aber in eine Richtung), sowie Bewegungen hin und weg vom Display (Kontrast nimmt ab/zu), sowie Berührung des Displays oder Druck auf das Display (über Touch, 3D-Touch und Veränderung der Textur selbst).
Diese zusätzlichen Achsen können, wie die Illustration mit dem Stift rechts unten zeigt, für das Bewegen einer virtuellen Stiftspitze genutzt werden oder für Menüparameter.
Die Hintergrundbeleuchtung des Displays, im Falle eines OLED-Displays, das Display selbst oder aber speziell verbaute IR-Pixel (Infrarot) kann zur Beleuchtung des Objekts dienen.
Das System kann mit speziellen optischen Markern erweitert werden (zum Beispiel QR-Code - fix am Eingabeobjekt montiert, aufklebbar oder per Display anzeigbar), denen spezielle Eigenschaften zugewiesen werden können. Zum Beispiel eine Radierfunktion, eine Farbänderung. Die Marker können auch unsichtbar sein, beispielsweise über IR. Die Positionserkennung erfolgt über das aufgenommene Bild oder aber in Kombination mit einem Touch-Sensor (Druck, resistiv, kapazitiv, induktiv, IR, Ultraschall).
Der Gegenstand aus der DE 10 2011 084 809 A1 nutzt ein Verfahren zur rechnergestützten Ansteuerung einer Benutzerschnittstelle mittels einer hochauflösenden Kamera, einer Tastschirmberührung durch ein Objekt oder einer Hand, wobei zur Ansteuerung ein Barcode auf der Unterseite des Gegenstands benutzt wird. Im Gegensatz dazu nutzt die Idee Objektmerkmale, wie zum Beispiel den Fingerabdruck, die Hautbeschaffenheit oder die Oberflächenstruktur. Dadurch ist das System auf keine speziellen Eingabemedien beschränkt.
Die Idee betrifft ein Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung mittels eines beliebigen Eingabeobjekts über einen Berührbildschirm. Dazu erstellt eine Kameravorrichtung einer Aufnahmevorrichtung eine Bildfolge von der benutzerzugewandten Bildschirmoberfläche der Anzeigevorrichtung. In den Bildern der Bildfolge wird von einer Recheneinheit der Aufnahmevorrichtung verfolgt, wenn des Eingabeobjekt bezüglich der Bildschirmoberfläche gekippt, geneigt oder abgerollt wird. Dazu wird von der Recheneinheit nach einem Muster umfassend ein Tiefenprofil in der Oberflächenstruktur des Eingabeobjekts gesucht und eine Veränderung der Bildwerte zum Kontrast, der Bildschärfe des Musters oder ergänzend oder alternativ des sichtbaren Teils der Oberflächenstruktur in der Bildfolge ausgewertet. Die Recheneinheit bestimmt aus der Veränderung des Musters oder des für die Kameravorrichtung sichtbaren Teils der Oberflächenstruktur einen Bewegungsvektor des Eingabeobjekts zum Steuern einer Anzeigefunktion.
Insgesamt zeigt das Beispiel, wie ein Verfahren zur Erkennung einer Bewegung eines Eingabegegenstandes gegenüber einer Anzeigevorrichtung über optische Merkmale bereitgestellt werden kann.

Claims

27
PATENTANSPRÜCHE: Verfahren zum Steuern einer Anzeigefunktion einer Anzeigevorrichtung (1 ), umfassend die Schritte: a) Erfassen von Bildern (4) einer Bildfolge (14) einer Oberflächenstruktur (7) eines Eingabeobjekts (6) in einem Eingabebereich (13) an einer benutzerzugewandten Seite einer Bildschirmoberfläche (2) der Anzeigevorrichtung (1 ) durch eine Aufnahmevorrichtung (3), wobei der Eingabebereich (13) aus Richtung einer benutzerabgewandten Seite (2‘) der Bildschirmoberfläche (2) durch die Bildschirmoberfläche (2) hindurch optisch erfasst wird; b) Erkennen, dass eine Oberflächenstruktur (7) in einem Fokus (15) auf der benutzerzugewandten Seite der Bildschirmoberfläche (2) der Anzeigevorrichtung (3) ist, durch die Aufnahmevorrichtung; c) Durchsuchen des ersten Bildes (4‘) oder mehrerer Initialbilder (4‘) der Bildfolge (14) nach einem Muster (11 ) in der Oberflächenstruktur (7) des Eingabeobjekts (6) durch eine Recheneinheit (5); d) Falls ein Muster (11 ) der Oberflächenstruktur (7) des Eingabeobjekts (6) in den jeweiligen Bildern (4) der Bildfolge (14) erkannt wird, Bestimmen einer Ausrichtung (8) und/oder einer Position (9) des Musters (11 ) der Oberflächenstruktur (7) des Eingabeobjekts (6) im Eingabebereich (13) durch die Recheneinheit (5); e) Bestimmen eines Bewegungsvektors (16) des Musters (11 ) zwischen der jeweiligen Ausrichtung (8) und Position (9) der Oberflächenstruktur (7) zwischen einem Bild (4) und einem dem Bild (4) folgenden Bild (4) der Bildfolge (14) durch die Recheneinheit (5); f) Steuern der Anzeigefunktion der Anzeigevorrichtung (1 ) durch die Recheneinheit (5) mittels des Bewegungsvektors (16), dadurch gekennzeichnet, dass verfolgt wird, wenn das Eingabeobjekt (6) gekippt und/oder geneigt und/oder abgerollt wird, indem durch die Recheneinheit (5) eine beim Kippen und/oder Neigen und/oder Rollen entstehende Veränderung des Musters (11 ) in den Bildern (4) der Bildfolge (14) in dem Bewegungsvektor (16) als Kippen und/oder Rollen und/oder Neigen des Eingabeobjekts (6) abgebildet wird. Verfahren nach Anspruch 1 , wobei das Muster (11 ) in einem oder mehreren Initialbildern (4‘) der Bildfolge (14) angelernt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Bestimmung des Bewegungsvektors (16) ein Auswerten einer Veränderung einer Bildschärfe und/oder eines Kontrasts und/oder einer Skalierung des Musters (11 ) und/oder eines für die Aufnahmevorrichtung (3) sichtbaren Teils der Oberflächenstruktur (7) des Eingabeobjekts (6) in den Bildern (4) der Bildfolge (14) umfasst. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Steuern der Anzeigefunkton (12) der Anzeigevorrichtung (1 ) nur nach einem Erkennen eines gespeicherten, autorisierten Musters (11 ) der Oberflächenstruktur (7) des Eingabeobjekts (6) in einem Bild (4) aus der Bildfolge (14) erfolgt. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest eine Anzeigefunktion (12) jeweils zumindest einem Muster (11 ) des Eingabeobjekts (6) zugeordnet wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erfassen des jeweiligen Bildes (4) der Bildfolge (14) in Kombination mit einem Drucksensor auf der Bildschirmoberfläche (2) erfolgt, wobei der Drucksensor einen Druck einer Eingabe durch das Eingabeobjekt misst und das Erfassen des jeweiligen Bildes (4) der Bildfolge (14) bei Überschreiten des Drucks über einen Schwellenwert ausgelöst wird oder ein Wert des gemessenen Drucks zumindest einer Anzeigefunktion zugeordnet wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Muster (11 ) des Eingabeobjekts (6) zumindest einen optischen Marker umfassend zumindest ein Muster (11 ) zum Steuern jeweils einer Anzeigefunktion (12) umfasst. Aufnahmevorrichfung (3) mit einer Recheneinheit (5), welche dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen. Anzeigevorrichtung (1 ), welche eine Aufnahmevorrichtung (3) und eine Recheneinheit (5) nach Anspruch 8 umfasst. Kraftfahrzeug, welches eine Recheneinheit nach Anspruch 8 oder eine Anzeigevorrichtung (1 ) nach Anspruch 9 umfasst.
EP21758377.2A 2020-09-02 2021-08-11 Verfahren zur erkennung einer bewegung eines eingabegegenstands gegenüber einer anzeigevorrichtung über optische merkmale, aufnahmevorrichtung mit recheneinheit, anzeigevorrichtung und kraftfahrzeug Withdrawn EP4208771A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020122969.0A DE102020122969B4 (de) 2020-09-02 2020-09-02 Verfahren zur Erkennung einer Bewegung eines Eingabegegenstands gegenüber einer Anzeigevorrichtung über optische Merkmale, Aufnahmevorrichtung mit Recheneinheit, Anzeigevorrichtung und Kraftfahrzeug
PCT/EP2021/072344 WO2022048869A1 (de) 2020-09-02 2021-08-11 Verfahren zur erkennung einer bewegung eines eingabegegenstands gegenüber einer anzeigevorrichtung über optische merkmale, aufnahmevorrichtung mit recheneinheit, anzeigevorrichtung und kraftfahrzeug

Publications (1)

Publication Number Publication Date
EP4208771A1 true EP4208771A1 (de) 2023-07-12

Family

ID=77431305

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21758377.2A Withdrawn EP4208771A1 (de) 2020-09-02 2021-08-11 Verfahren zur erkennung einer bewegung eines eingabegegenstands gegenüber einer anzeigevorrichtung über optische merkmale, aufnahmevorrichtung mit recheneinheit, anzeigevorrichtung und kraftfahrzeug

Country Status (5)

Country Link
US (1) US20230367428A1 (de)
EP (1) EP4208771A1 (de)
CN (1) CN116113994A (de)
DE (1) DE102020122969B4 (de)
WO (1) WO2022048869A1 (de)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604364B2 (en) * 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
US20110285648A1 (en) * 2010-01-22 2011-11-24 Lester Ludwig Use of fingerprint scanning sensor data to detect finger roll and pitch angles
DE102011084809A1 (de) 2011-10-19 2013-04-25 Siemens Aktiengesellschaft Benutzerschnittstelle und Verfahren zur rechnergestützten Ansteuerung einer Benutzerschnittstelle
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
JP2018049391A (ja) 2016-09-20 2018-03-29 富士通株式会社 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム
KR20180094323A (ko) 2017-02-15 2018-08-23 삼성전자주식회사 인터랙션을 수행하는 방법 및 이를 사용하는 전자 장치
DE102017004860A1 (de) 2017-05-19 2018-11-22 Daimler Ag Handschrifterkennung in einem Fahrzeug
US10216975B1 (en) * 2018-02-23 2019-02-26 Shenzhen GOODIX Technology Co., Ltd. Optical imaging via imaging lens and imaging pinhole in under-screen optical sensor module for on-screen fingerprint sensing in devices having organic light emitting diode (OLED) screens or other screens
DE102018122896A1 (de) * 2018-09-18 2020-03-19 JENETRIC GmbH Verfahren und Vorrichtung zur Kontrolle eines mobilen Eingabegeräts
US11216641B2 (en) 2019-01-22 2022-01-04 Invensense, Inc. Latent fingerprint detection

Also Published As

Publication number Publication date
CN116113994A (zh) 2023-05-12
DE102020122969A1 (de) 2022-03-03
US20230367428A1 (en) 2023-11-16
DE102020122969B4 (de) 2023-05-04
WO2022048869A1 (de) 2022-03-10

Similar Documents

Publication Publication Date Title
DE102010007455B4 (de) System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
DE102009023875A1 (de) Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche
DE102008016215A1 (de) Informationsvorrichtungsbediengerät
DE102008028223A1 (de) Modusabhängige Verarbeitung von Berührungsdaten
DE102014204820A1 (de) Dreidimensionale Fingerspitzenverfolgung
EP3642696A1 (de) Verfahren und vorrichtung zum erfassen einer nutzereingabe anhand einer geste
DE102014204320A1 (de) Informationsabfrage durch Zeigen
EP2876526B1 (de) Verfahren zur Erkennung von Gesten und Vorrichtung zur Gestenerkennung
DE102014226553A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung, Kraftfahrzeug
WO2020057993A1 (de) Verfahren und vorrichtung zur kontrolle eines mobilen eingabegeräts
DE102013000066A1 (de) Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung
EP3232372B1 (de) Verfahren, anwendereingabevorrichtung und computerprogamm zur erkennung einer ausrichtung einer hand eines anwenders
DE102013114794A1 (de) Gekrümmter Bildschirm
WO2016120251A1 (de) Verfahren zum betreiben einer eingabevorrichtung, eingabevorrichtung
DE102013211046B4 (de) Verfahren und Vorrichtung zum Gewinnen eines Stellsignals aus einer Bediengeste
DE102018121317B4 (de) Verfahren, Vorrichtung und Computerprogramm zur Schätzung einer durch eine Freiraumgeste vermittelten Richtungsinformation zur Bestimmung einer Benutzereingabe an einer Mensch-Maschine-Schnittstelle
DE102013000072A1 (de) Bedienschnittstelle für eine handschriftliche Zeicheneingabe in ein Gerät
DE102020122969B4 (de) Verfahren zur Erkennung einer Bewegung eines Eingabegegenstands gegenüber einer Anzeigevorrichtung über optische Merkmale, Aufnahmevorrichtung mit Recheneinheit, Anzeigevorrichtung und Kraftfahrzeug
DE202015100273U1 (de) Eingabevorrichtung
EP3642697A1 (de) Verfahren und vorrichtung zum erfassen einer nutzereingabe anhand einer geste
DE102009031158A1 (de) Vorrichtung und Verfahren zur Erkennung einer Zeigegeste eines Nutzers zur Interaktion mit einer Eingabefläche
DE102014224599A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102014206443A1 (de) Verfahren und Vorrichtung zum berührungslosen Eingeben von Schriftzeichen
DE102014224632A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE102014224598A1 (de) Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230203

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20250718