EP2092408A1 - Integrierter schaltkreis zur erkennung von bewegungen von personen - Google Patents

Integrierter schaltkreis zur erkennung von bewegungen von personen

Info

Publication number
EP2092408A1
EP2092408A1 EP07820218A EP07820218A EP2092408A1 EP 2092408 A1 EP2092408 A1 EP 2092408A1 EP 07820218 A EP07820218 A EP 07820218A EP 07820218 A EP07820218 A EP 07820218A EP 2092408 A1 EP2092408 A1 EP 2092408A1
Authority
EP
European Patent Office
Prior art keywords
integrated circuit
person
image data
processing system
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07820218A
Other languages
English (en)
French (fr)
Inventor
Jens Schick
Alexander Wuerz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2092408A1 publication Critical patent/EP2092408A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the invention relates to an integrated circuit, an electronic data processing system, a method for calculating output data of an integrated circuit and a computer program.
  • PC Personal computers
  • the orientation in the program or the feedback takes place via a graphical interface on a screen partly together with a speaker output.
  • the disadvantage is that in narrow workplaces such as the seat in an airplane, the mouse can not be moved freely and the operation of the keyboard is difficult.
  • Video games are finding more and more followers and are becoming increasingly popular.
  • Video games are used on personal computers as well as game consoles.
  • the input is preferably via keyboard, mouse or joysticks.
  • the disadvantage is that the use of these instruments the player to the
  • German patent application DE 195 14 877 A1 discloses a game console based on a personal computer.
  • interfaces for joystick or trackball are provided.
  • an interface is provided for the output of a screen over which sound and image data are output.
  • the integrated circuit described below has the advantage that the determination of the optical flow of image data and the integration of this algorithm in an integrated circuit enables cost-effective, precise and rapid determination of output data, which is a measure of the position and / or movement of
  • Body parts of a person are and / or represent the gestures of the person.
  • the first unit which implements the algorithm for determining the optical flow, the stereo disparities and / or the symmetry clusters is hard-wired, since this results in an optimization of the integrated
  • the programmable second unit in which the calculation of the output data is performed, has the advantage that thereby an application and function-specific adjustment is possible, so that the same integrated circuit can be used in many applications.
  • the output data encode the sign language, as this deaf and very hard of hearing people a simple communication platform with electronic data processing systems is provided.
  • FIG. 1 shows an electronic data processing system
  • Figure 2 shows an integrated circuit
  • Figure 3 shows a person in side view
  • - Figure 4 shows a person in front view.
  • an integrated circuit processes image data from a video camera by means of optical flow determination and calculates therefrom output data which is either a measure of the position and / or movement of human body parts or represent and encode gestures of people. Furthermore, an electronic data processing system, a method and a computer program are described.
  • the video camera is designed as a stereo camera and is located above the screen and observes the space in front of the personal computer.
  • this input of information over an optical channel serves to give a player of a video game a greater opportunity to intervene and thus to convey a higher game value.
  • These intervention options are for controlling a virtual player or other object of a video game, such as a car.
  • the personal computer 10 includes a processor 14 for processing data, a Memory 20 for storing data and the integrated circuit 12.
  • the processor 14 is connected via interfaces optionally with the interposition of other electronic components, such as interface modules, with a mouse 22 and a keyboard 24 as input units.
  • the processor is optionally via interfaces with the interposition of other electronic components, such as
  • Interface modules connected to a speaker 26 and a screen 28 as output units.
  • An input of the processor 14 is further connected to an output of the integrated circuit 12.
  • the integrated circuit in turn is optionally connected to a stereo camera 16 with the interposition of further electronic components, such as interface modules.
  • Stereo camera 16 consists of two video cameras 18 which record substantially the same scene.
  • the video cameras 18 are arranged side by side and their optical axes are substantially parallel so that the video cameras 18 record substantially the same scene, albeit from a slightly different angle.
  • the stereo camera 16 is above the
  • the stereo camera 16 generates image data by means of the two video cameras 18 and transmits them to the integrated circuit 12.
  • the structure of the integrated circuit 12 will be explained in more detail below with reference to FIG.
  • the memory 20 of the electronic data processing system 1 the one hand the
  • the memory 20 serves on the one hand for the storage of programs of office applications, such as word processing programs, and on the other hand for the storage of software programs of video games.
  • the electronic data processing system 1 for both office applications and for
  • the integrated circuit 12 is for calculating movements and distances of objects located in the area captured by the stereo camera 16. If, for example, a person raises a hand in the detection range of the stereo camera 16, the hand is detected by the movement and measured by means of a stereo evaluation, wherein the resolution enables the individual measurement of fingers.
  • the integrated circuit 12 simultaneously detects and interprets the movement of all body parts of the persons located in the field of view of the stereo camera 16, the integrated circuit 12 providing output data which is a measure of the position and / or movement of Are body parts of a person and / or represent the gestures of the person at the output of the processor 14 provides.
  • the integrated circuit 12 is thus configured such that on the one hand it provides pure position and / or movement data and on the other hand interpreted data which encode a gesture of the person.
  • FIG. 2 shows the integrated circuit 12 consisting of a first unit 30 and a second unit 32.
  • the integrated circuit 12 comprises two inputs 34 and 36 for connecting two video cameras 18 of a stereo camera 16 and an output 38.
  • the integrated circuit 12 acts it is in the preferred embodiment to an ASIC.
  • the abbreviation ASIC stands for "Application Specific Integrated Circuit", ie for an application-specific integrated circuit.
  • An ASIC is an electronic circuit realized as an integrated circuit.
  • an FPGA is used instead of the ASIC.
  • the abbreviation FPGA stands for "Field Programmable Gate Array” and denotes a freely programmable logic circuit. Common to both variants is that the integrated circuit 12 consists of two logic units 30, 32.
  • the first unit 30 is hardwired and not programmable. This first unit 30 calculates pre-processed image data by means of a determination of the optical flow from the image data of the stereo camera. In the preferred embodiment, the first unit 30 additionally computes stereo disparities and / or symmetry clusters. Overall, the first unit 30 calculates preprocessed image data and thereby performs data reduction.
  • the preprocessed image data is passed to the second unit 32.
  • the second unit 32 is characterized in that the second unit 32 is programmable. In the second unit, application-specific determines which output data the second unit 32 from the preprocessed
  • the baseline data is a measure of the position and / or movement of a person's body parts and / or represents the gestures of the person being photographed.
  • This output data is provided at the output 38 of the integrated circuit 12.
  • FIG. 3 schematically shows a person 40 taken by the video cameras in left side view to explain the output data which is a measure of the position and / or movement of body parts of persons 40 and provided by the integrated circuit at the output.
  • the person 40 includes a head 42, a trunk 44, a right arm 46 with a right hand 48, and a left arm 50 with a left hand 52.
  • FIG. 3 shows a coordinate system 54 having a y and a z axis.
  • crosses indicate some points which are output data of the integrated circuit and indicate positions of body parts 42, 44, 48, 52 of person 40:
  • P RV (z) of the foremost space point of the fuselage 44
  • P HR (x, y, z) of the foremost space point of the right hand 48
  • P HL (x, y, z) of the foremost space point of the left hand 52
  • P K v (z) of the foremost space point of the head 42
  • P ⁇ o (y) of the top spatial point of the head
  • Figure 4 schematically shows a person 40 taken by the video cameras in front view to explain the output data which is a measure of the position and / or movement of body parts of persons 40 and provided by the integrated circuit at the output.
  • the person 40 includes a head 42, a hull
  • FIG. 4 shows a coordinate system 54 having an x and a y axis.
  • some points are marked by crosses, which are output data of the integrated circuit and identify positions of body parts 42, 44, 48, 52 of person 40:
  • B HR (Xb, yb) of the foremost space point of the right hand 48
  • B HL (Xb, yb) of the foremost space point of the left hand 52
  • K s angle of the symmetry axis in the image
  • B K G (Xb, yb) as pixels the face reference
  • B K S (Xb, yb) of the point on the symmetry axis closest to B K o
  • I KR distance of the rightmost point of the head 42 B KR to the symmetry axis in the picture
  • MHL (XHL, YHL, ZHL-ZRV) ⁇ $ Measures for the relative position of the left hand 52
  • M HR (X HR , Y HR , Z HR -Z RV ) -> Measures for the relative position of the right hand 48
  • M GV (Z KV - Z RV ) -> measure of the forward speed
  • MGR (0.5 - IKL / (IKL + IKR)) ⁇ $ Measure for body rotation
  • the output data are further calculated in the integrated circuit from the image data of the video cameras by means of the determination of the optical flow, which is a measure of the position and / or movement of
  • Lifting a finger of a person's hand means a start condition, lowering the finger a stop.
  • the gesture of movement of this finger is one
  • the integrated circuit calculates output data suitable for controlling virtual objects such as figures, games, cars, video games.
  • the programmable second unit of the integrated circuit applies the following rules for coding the detected gestures of the person:
  • Locomotion coding standing of the virtual figure no movement of the person's trunk -> no movement of the virtual
  • Figure coding walking the virtual figure alternately change the position and angle of the two thighs of the person -> the frequency determines the speed of the virtual figure
  • the strength of the vertical movement determines the strength of the jump of the virtual
  • Rotation of the head around the vertical axis of the person -> rotational position of the head corresponds to rotation speed of the virtual player
  • Turning speed of the head of the person -> corresponds to spin of the virtual figure face towards the person's video camera -> means stoppage of the person
  • Rotation of the virtual figure (measurement of the angle of rotation of the head by distance from the head center axis to the axis of facial symmetry, face is the sum of the features of the eye, nose and mouth, measurement of the rate of rotation of the head by horizontal optical flow in the face and the displacement speed of the head center axis)
  • Rotation of the head about its horizontal axis, rotational position of the head corresponds to the viewing direction of the virtual figure, (measurement of the center of gravity relative to the top of the head, calibration at the beginning of the game) Coding: shaking of the virtual figure
  • Rotation of the head around the axis forward of the person -> rotational position of the head corresponds to the fast sideways deflection of the virtual figure (measurement of the direction of the axis of symmetry of the face) - actions, communication
  • a scene change and / or switching of devices is performed by combining gestures as pantomime.
  • the processing of the image data by the integrated circuit and thus the provision of output data representing and encoding the person's gestures, and the association of the person's recorded gestures with behavioral elements of the video game's virtual objects are enabled that these virtual objects in the areas of locomotion (standing, walking, running at speeds, jumping with its strength), rotation (turning at its rotational speed around the vertical axis, pitch axis and roll axis), actions and communication (actions with both arms independently , Activation of devices, communication with partners) by the person being captured, controlled and controlled by the video camera.
  • output data is provided by the integrated circuit, the gestures of the widely used Codify sign language.
  • gestures of hands in connection with facial expressions and mouth images of the person are detected by the video cameras and evaluated by the integrated circuit and provided as output data. This is preferably evaluated by the integrated circuit in the context of body posture.
  • aids for example a rod and / or a dumbbell, which are used by the person, are used to improve the calculation. This contributes in particular to an improved fine measurement of the hand movements since their position can be measured more accurately, because the shape and coloring of the
  • Another variant provides that the integrated circuit and the video camera replace the function of the keyboard. This is done by simultaneously observing the ten fingers of the person from the video cameras. For this purpose, both hands of the person are held in front of the video cameras. The kinking of one finger or the combination of several fingers completely emulates the keyboard through the integrated circuit.
  • the described integrated circuit, the data processing system, the method and the computer program are not limited to the field of personal computers and video games, but can also be used in industrial control, as well as screen-free systems.
  • the feedback of the input via other media, such as speakers is particularly advantageous.
  • Driver assistance systems for detecting pedestrians in the environment of a motor vehicle with a video camera Furthermore, as an alternative or in addition to the stereo camera, a single video camera is used.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

Es werden ein integrierter Schaltkreis vorgeschlagen, wobei der integrierte Schaltkreis Bilddaten einer Videokamera mittels der Bestimmung des optischen Flusses verarbeitet und daraus Ausgangsdaten berechnet, die entweder ein Maß für die Position und/oder Bewegung von Körperteilen von Personen sind oder Gesten von Personen repräsentieren und codieren. Ferner werden eine elektronische Datenverarbeitungsanlage, ein Verfahren und eine Computerprogramm vorgeschlagen.

Description

Beschreibung
Titel
INTEGRIERTER SCHALTKREIS ZUR ERKENNUNG VON BEWEGUNGEN VON PERSONEN
Stand der Technik
Die Erfindung betrifft einen integrierten Schaltkreis, eine elektronische Datenverarbeitungsanlage, ein Verfahren zur Berechnung von Ausgangsdaten eines integrierten Schaltkreises sowie ein Computerprogramm.
Personalcomputer (PC) haben eine Tastatur und eine Maus zur Eingabe. Die Orientierung im Programm oder die Rückmeldung erfolgen über eine graphische Oberfläche an einem Bildschirm zum Teil zusammen mit einem Lautsprecherausgang. Nachteilig ist, dass in engen Arbeitsplätzen wie dem Sitz in einem Flugzeug die Maus nicht frei bewegt werden kann und auch die Bedienung der Tastatur schwierig ist.
Zunehmend finden Videospiele immer mehr Anhänger und erfreuen sich immer größerer Beliebtheit. Videospiele werden sowohl auf Personalcomputern als auch auf Spielekonsolen eingesetzt. Die Eingabe erfolgt vorzugsweise über Tastatur, die Maus oder Joysticks. Nachteilig ist, dass die Benutzung dieser Instrumente den Spieler an das
Gerät bindet.
Aus der deutschen Offenlegungsschrift DE 195 14 877 Al ist eine auf einem Personalcomputer basierte Spielekonsole bekannt. Für die Bedienung sind Schnittstellen für Joystick oder Trackball vorgesehen. Ferner ist für die Ausgabe eine Schnittstelle für einen Bildschirm vorgesehen, über die Ton- und Bilddaten ausgegeben werden.
Offenbarung der Erfindung
Vorteile der Erfindung Der nachfolgend beschriebene integrierte Schaltkreis hat den Vorteil, dass mittels der Bestimmung des optischen Flusses von Bilddaten und die Integration dieses Algorithmus in einem integrierten Schaltkreis eine kostengünstige, präzise und schnelle Ermittlung von Ausgangsdaten möglich ist, die ein Maß für die Position und/oder Bewegung von
Körperteilen einer Person sind und/oder die Gesten der Person repräsentieren.
Besonders vorteilhaft ist, wenn die erste Einheit, die den Algorithmus zur Bestimmung des optischen Flusses, der Stereodisparitäten und/oder der Symmetriehäufungen implementiert, fest verdrahtet ist, da hierdurch eine Optimierung des integrierten
Schaltkreise möglich ist, so dass dieser besonders schnell und effizient arbeitet. Die programmierbare zweite Einheit, in der die Berechnung der Ausgangsdaten durchgeführt wird, hat den Vorteil, dass hierdurch eine anwendungs- und funktionsspezifische Anpassung möglich ist, so dass derselbe integrierte Schaltkreis in vielen Anwendungsgebieten eingesetzt werden kann.
Vorteilhaft ist ferner, dass die Ausgangsdaten die Gebärdensprache codieren, da hierdurch gehörlosen und stark schwerhörigen Menschen eine einfache Kommunikationsplattform mit elektronischen Datenverarbeitungsanlagen zur Verfügung gestellt wird.
Die vorstehend beschriebenen Vorteile des integrierten Schaltkreises gelten entsprechend auch für die elektronische Datenverarbeitungsanlage, das Verfahren und das Computerprogramm.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die Figuren und aus den abhängigen Patentansprüchen.
Zeichnung
Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausführungsform näher erläutert.
Es zeigen: Figur 1 eine elektronische Datenverarbeitungsanlage, Figur 2 einen integrierten Schaltkreis, Figur 3 eine Person in Seitenansicht, - Figur 4 eine Person in Vorderansicht.
Beschreibung von Ausführungsbeispielen
Nachfolgend wird ein integrierter Schaltkreis beschrieben, wobei der integrierte Schaltkreis Bilddaten einer Videokamera mittels der Bestimmung des optischen Flusses verarbeitet und daraus Ausgangsdaten berechnet, die entweder ein Maß für die Position und/oder Bewegung von Körperteilen von Personen sind oder Gesten von Personen repräsentieren und codieren. Ferner werden eine elektronische Datenverarbeitungsanlage, ein Verfahren und eine Computerprogramm beschrieben.
Im Folgenden wird eine hochauflösende Vermessung der Gestik von Personen in einem dichten Stereobild zur Steuerung eines Personalcomputers oder einer Spielekonsole beschrieben. Die Videokamera ist als Stereokamera ausgeführt und ist oberhalb des Bildschirmes angeordnet und beobachtet den Raum vor dem Personalcomputer. Im bevorzugten Ausführungsbeispiel wird die Position von Fingern, Händen, Armen,
Rumpf, Beinen, Füßen und/oder Kopf der Person mit ihren Drehungen aus den Bilddaten der Videokamera ermitteln und zur Eingabe als Alternative zur Maus, Tastatur oder Joystick verwenden. Hierzu werden Algorithmen zur Vermessung des optischen Flusses, von Stereo-Disparitäten und/oder Symmetriehäufungen eingesetzt. Im bevorzugten Ausführungsbeispiel dient diese Eingabe von Informationen über einen optischen Kanal dazu, einem Spieler eines Videospiels eine größere Eingriffsmöglichkeit zu geben und damit einen höheren Spielewert zu vermitteln. Diese Eingriffsmöglichkeiten dienen zur Kontrolle eines virtuellen Spielers oder eines anderen Objektes eines Videospiels, wie beispielsweise eines Autos.
Figur 1 zeigt eine elektronische Datenverarbeitungsanlage 1 des bevorzugten Ausführungsbeispiels, bestehend aus einem Personalcomputer 10 (PC), einem integrierten Schaltkreis 12 und einer Stereokamera 16. Alternativ zum Personalcomputer 10 wird in einer Variante ein Notebook oder eine Spielekonsole verwendet. Der Personalcomputer 10 umfasst einen Prozessor 14 zur Verarbeitung von Daten, einen Speicher 20 zur Speicherung von Daten und den integrierten Schaltkreis 12. Der Prozessor 14 ist über Schnittstellen gegebenenfalls unter Zwischenschaltung von weiteren elektronischen Komponenten, wie Schnittstellenbausteinen, mit einer Maus 22 und einer Tastatur 24 als Eingabeeinheiten verbunden. Ferner ist der Prozessor über Schnittstellen gegebenenfalls unter Zwischenschaltung von weiteren elektronischen Komponenten, wie
Schnittstellenbausteinen, mit einem Lautsprecher 26 und einem Bildschirm 28 als Ausgabeeinheiten verbunden. Ein Eingang des Prozessors 14 ist ferner mit einem Ausgang des integrierten Schaltkreises 12 verbunden. Der integrierte Schaltkreis wiederum ist gegebenenfalls unter Zwischenschaltung von weiteren elektronischen Komponenten, wie Schnittstellenbausteinen, mit einer Stereokamera 16 verbunden. Die
Stereokamera 16 besteht aus zwei Videokameras 18 die im Wesentlichen dieselbe Szene aufnehmen. Die Videokameras 18 sind nebeneinander angeordnet und ihre optischen Achsen sind im Wesentlichen parallel, so dass die Videokameras 18 zwar im Wesentlichen dieselbe Szene aufnehmen, allerdings unter einem leicht unterschiedlichen Blickwinkel. Im bevorzugten Ausführungsbeispiel ist die Stereokamera 16 über dem
Bildschirm 28 angeordnet und beobachtet den Bereich in dem sich der Bediener des Personalcomputers 10 befindet. Die Stereokamera 16 erzeugt mittels der beiden Videokameras 18 Bilddaten und überträgt diese an den integrierten Schaltkreis 12. Der Aufbau des integrierten Schaltkreises 12 wird nachstehend anhand Figur 2 näher erläutert. Im Speicher 20 der elektronischen Datenverarbeitungsanlage 1 ist einerseits das
Betriebssystem des Personalcomputers 10 abgelegt. Andererseits dient der Speicher 20 einerseits zur Speicherung von Programmen von Büroanwendungen, wie Textverarbeitungsprogrammen, und andererseits zur Speicherung von Softwareprogrammen von Videospielen. Im bevorzugten Ausführungsbeispiel wird die elektronische Datenverarbeitungsanlage 1 sowohl für Büroanwendungen als auch für
Videospiele verwendet.
Der integrierte Schaltkreis 12 dient zur Berechnung von Bewegungen und Entfernungen von Objekten, die sich in dem von der Stereokamera 16 aufgenommen Bereich befinden. Hebt beispielsweise eine Person im Erfassungsbereich der Stereokamera 16 eine Hand, so wird die Hand über die Bewegung entdeckt und über eine Stereoauswertung vermessen, wobei die Auflösung die einzelne Vermessung von Fingern ermöglicht. Der integrierte Schaltkreis 12 erfasst alle im Sichtbereich der Stereokamera 16 befindlichen Körperteile der Personen gleichzeitig und interpretiert deren Bewegung, wobei der integrierte Schaltkreis 12 Ausgangsdaten, die ein Maß für die Position und/oder Bewegung von Körperteilen einer Person sind und/oder die Gesten der Person repräsentieren, an seinem Ausgang dem Prozessor 14 zur Verfügung stellt. Der integrierte Schaltkreis 12 ist also derart konfiguriert, dass er einerseits reine Positions- und/oder Bewegungsdaten zur Verfügung stellt und andererseits interpretierte Daten, die eine Geste der Person codieren.
Figur 2 zeigt den integrierten Schaltkreis 12, bestehend aus einer ersten Einheit 30 und einer zweiten Einheit 32. Der integrierte Schaltkreis 12 umfasst zwei Eingänge 34 und 36 zum Anschluss von zwei Videokameras 18 einer Stereokamera 16 und einen Ausgang 38. Bei dem integrierten Schaltkreis 12 handelt es sich im bevorzugten Ausführungsbeispiel um einen ASIC. Die Abkürzung ASIC steht für "Application Specific Integrated Circuit", also für eine anwendungsspezifisch integrierte Schaltung. Ein ASIC ist eine elektronische Schaltung, die als integrierter Schaltkreis realisiert ist. In einer Variante des bevorzugten Ausführungsbeispiels wird statt dem ASIC ein FPGA verwendet. Die Abkürzung FPGA steht für "Field Programmable Gate Array" und bezeichnet einen frei programmierbarer Logikschaltkreis. Beiden Varianten gemeinsam ist, dass der integrierte Schaltkreis 12 aus zwei logischen Einheiten 30, 32 besteht. Die erste Einheit 30 ist fest verdrahtet und nicht programmierbar. Diese erste Einheit 30 berechnet mittels einer Bestimmung des optischen Flusses aus den Bilddaten der Stereokamera vorverarbeitete Bilddaten. Im bevorzugten Ausführungsbeispiel berechnet die erste Einheit 30 zusätzlich Stereo- Disparitäten und/oder Symmetriehäufungen. Insgesamt berechnet die erste Einheit 30 vorverarbeitete Bilddaten und führt damit eine Datenreduktion durch. Die vorverarbeiteten Bilddaten werden an die zweite Einheit 32 weitergegeben. Im Gegensatz zur ersten Einheit 30 zeichnet sich die zweite Einheit 32 dadurch aus, dass die zweite Einheit 32 programmierbar ist. In der zweiten Einheit wird anwendungsspezifisch festgelegt, welche Ausgangsdaten die zweite Einheit 32 aus den vorverarbeiteten
Bilddaten berechnet. Die Ausgangsdaten sind ein Maß für die Position und/oder Bewegung von Körperteilen einer Person und/oder repräsentieren die Gesten der aufgenommen Person. Diese Ausgangsdaten werden am Ausgang 38 des integrierten Schaltkreises 12 zur Verfügung gestellt.
Figur 3 zeigt schematisiert eine von den Videokameras aufgenommene Person 40 in linker Seitenansicht, um die Ausgangsdaten zu erläutern, die ein Maß für die Position und/oder Bewegung von Körperteilen von Personen 40 sind und von dem integrierten Schaltkreis am Ausgang bereitgestellt werden. Die Person 40 umfasst einen Kopf 42, einen Rumpf 44, einen rechten Arm 46 mit einer rechten Hand 48 und einen linken Arm 50 mit einer linken Hand 52. Ferner zeigt Figur 3 ein Koordinatensystem 54 mit einer y- und einer z- Achse. In Figur 3 sind durch Kreuze einige Punkte eingezeichnet, die Ausgangsdaten des integrierten Schaltkreises sind und Positionen von Körperteilen 42, 44, 48, 52 der Person 40 kennzeichnen:
PRV = (z) des vordersten Raumpunktes des Rumpfes 44 PHR = (x, y, z) des vordersten Raumpunktes der rechten Hand 48 PHL = (x, y, z) des vordersten Raumpunktes der linken Hand 52 PKv = (z) des vordersten Raumpunktes des Kopfes 42 Pκo = (y) des obersten Raumpunktes des Kopfes
Figur 4 zeigt schematisiert eine von den Videokameras aufgenommene Person 40 in Vorderansicht, um die Ausgangsdaten zu erläutern, die ein Maß für die Position und/oder Bewegung von Körperteilen von Personen 40 sind und von dem integrierten Schaltkreis am Ausgang bereitgestellt werden. Die Person 40 umfasst einen Kopf 42, einen Rumpf
44, einen rechten Arm 46 mit einer rechten Hand 48 und einen linken Arm 50 mit einer linken Hand 52. Ferner zeigt Figur 4 ein Koordinatensystem 54 mit einer x- und einer y- Achse. In Figur 4 sind durch Kreuze einige Punkte eingezeichnet, die Ausgangsdaten des integrierten Schaltkreises sind und Positionen von Körperteilen 42, 44, 48, 52 der Person 40 kennzeichnen:
BHR = (Xb, yb) des vordersten Raumpunktes der rechten Hand 48 BHL = (Xb, yb) des vordersten Raumpunktes der linken Hand 52 ΦKs = Winkel der Symmetrieachse im Bild BKG= (Xb, yb) als Bildpunkte der Gesichtsreferenz
Bκo = (Xb, yb) des obersten Raumpunktes des Kopfes 42
BKS = (Xb, yb) des Punktes auf der Symmetrieachse am Nächsten zu BKo
Ferner werden aus den in den Figuren 3 und 4 dargestellten Positionen der Körperteile 42, 44, 48, 52 der Person 40 im bevorzugten Ausführungsbeispiel weitere Ausgangsdaten berechnet und am Ausgang des integrierten Schaltkreises zur Verfügung gestellt:
IKR = Abstand des am weitesten rechts hegenden Punktes des Kopfes 42 BKR zur Symmetrieachse im Bild IKL = Abstand des am weitesten links hegenden Punktes des Kopfes 42 BKι_ zur Symmetrieachse im Bild lκo = Abstand des Punktes BKs zu BKG MHL = (XHL, YHL, ZHL-ZRV) ■$ Maße für die relative Position der linken Hand 52
MHR = (XHR, YHR, ZHR-ZRV) -> Maße für die relative Position der rechten Hand 48
MGV = (ZKV - ZRV) -> Maß für die Vorwartsgeschwindigkeit
MGS = (ΦKS) "^ Maß für die Seitwartsgeschwindigkeit
MGR = ( 0,5 - IKL/ (IKL + IKR) ) ■$ Maß für die Korperdrehung
MGH = ( yκo(k) - yκo(k-1 ) ) -> Maß für das Springen
MBR = ( I κo / (IKL + IKR) ) ■$ Maß für die Blickrichtung
Im bevorzugten Ausführungsbeispiel werden ferner im integrierten Schaltkreis aus den Bilddaten der Videokameras mittels der Bestimmung des optischen Flusses weitere Ausgangsdaten berechnet, die ein Maß für die Position und/oder Bewegung von
Körperteilen der Person darstellen:
Fußposition
Knickwinkel des Fußes zum Unterschenkel - Knieposition
Knickwinkel zwischen Unter- und Oberschenkel
Raumwinkel des Oberschenkels
Knickwinkel zwischen Oberschenkel und Rumpf
Raumwinkel des Rumpfes - Winkel und Positionen von Finger und Zehen
Nachfolgend wird die Berechnung von Ausgangsdaten dargelegt, welche die Gesten der
Person repräsentieren und damit die Gesten codieren:
Das Anheben eines Fingers einer Hand der Person bedeutet eine Startbedingung, das Senken des Fingers ein Stopp. Damit ist die Geste der Bewegung dieses Fingers eine
Alternative zur Maus. Eine Eingabebestätigung vergleichbar mit der Tastatur „Enter" oder einem Klick der rechten Maustaste wird über die abrupte Bewegung des Fingers generiert und durch den integrierten Schaltkreis berechnet. Unter Einbindung und Kombination der Bewegung und Vermessung der übrigen Körperteile ist die Eingabevielfalt nahezu unbegrenzt.
Ferner berechnet der integrierte Schaltkreis Ausgangsdaten die zur Steuerung von virtuellen Objekten, wie Figuren, Spielen, Autos, von Videospielen geeignet sind. Dabei wendet die programmierbare zweite Einheit des integrierten Schaltkreises im bevorzugten Ausführungsbeispiel folgende Regeln zur Codierung der erfassten Gesten der Person an:
Fortbewegung Codierung: Stehen der virtuellen Figur keine Bewegung des Rumpfes der Person -> keine Bewegung der virtuellen
Figur Codierung: Gehen der virtuellen Figur wechselweise Veränderung der Position und Winkel der beiden Oberschenkel der Person -> die Frequenz bestimmt die Geschwindigkeit der virtuellen Figur
Codierung: Laufen der virtuellen Figur
Federndes Gehen, aber mit gleichzeitigem Auswerten der
Rumpfvertikalbewegung der Person -> die Frequenz bestimmt die
Geschwindigkeit der virtuellen Figur Codierung: Springen der virtuellen Figur starke Vertikalbewegung bei paralleler Stellung der Oberschenkel der Person ->
Stärke der Vertikalbewegung bestimmt Stärke des Absprungs der virtuellen
Figur Rotation Codierung: Drehung Hochachse der virtuellen Figur
Drehung des Kopfes um die vertikale Achse der Person -> Drehlage des Kopfes entspricht Drehgeschwindigkeit des virtuellen Spielers
Drehgeschwindigkeit des Kopfes der Person -> entspricht Drehbeschleunigung der virtuellen Figur Gesicht in Richtung Videokamera der Person -> bedeutet Stillstand der
Drehung der virtuellen Figur (Messung des Drehwinkels des Kopfes durch Abstand von Kopfmittelachse zur Gesichtssymmetrieachse, Gesicht ist die Summe der Merkmale von Auge, Nase und Mund, Messung der Drehrate des Kopfes durch horizontalen optischen Fluss im Gesicht anzüglich der Verschiebegeschwindigkeit der Kopfmittelachse)
Codierung: Nicken der virtuellen Figur
Drehung des Kopfes um seine horizontale Achse, Drehlage des Kopfes entspricht der Blickrichtung der virtuellen Figur, (Messung des Gesichtschwerpunktes relativ zur Kopfoberkante, Kalibrierung zu Beginn des Spiels) Codierung: Wanken der virtuellen Figur
Drehung des Kopfes um die Achse nach vorne der Person -> Drehlage des Kopfes entspricht dem schnellen seitlichen Ausweichen der virtuellen Figur (Messung der Richtung der Gesichtssymmetrieachse im Bild) - Aktionen, Kommunikation
Codierung: Positionierung von virtuellen Geräten
Position der Hände im Raum der Person zur Positionierung von virtuellen Geräten (Waffen, Schilde, Werkzeuge, Schaltknüppel, ...) relativ zum Körper der virtuellen Figur, auch in Kombination der beiden Hände (beispielsweise beim virtuelles Lenkrad)
Codierung: Ausrichtung von virtuellen Geräten
Richtung des Daumens der Person zur Ausrichtung der virtuellen Geräte. Position und Raumwinkel der Füße der Person zur Ansteuerung virtueller Fahrzeugpedale (Kupplung, Bremse, Gas) Codierung: Aktivierung der Geräte
Anzahl und Bewegung der ausgestreckten Finger der Person zum Aktivieren dieser Geräte oder zur Kommunikation mit einem anderen Spieler.
Ferner ist im bevorzugten Ausführungsbeispiel vorgesehen, dass durch Kombination von Gestiken als Pantomime ein Szenenwechsel und/oder eine Umschaltung von Geräten durchgeführt wird.
Zusammenfassend wird durch die Erfassung der Person durch die Videokameras, die Verarbeitung der Bilddaten durch den Integrierten Schaltkreis und damit der Bereitstellung von Ausgangsdaten, die Gesten der Person repräsentieren und codieren, und die Zuordnung der erfassten Gestiken der Person zu Verhaltenselementen der virtuellen Objekte des Videospiels ermöglicht, dass diese virtuellen Objekte in den Bereichen Fortbewegung (Stehen, Gehen, Laufen mit den Geschwindigkeiten, Springen mit seiner Stärke), Rotation (Drehen mit seiner Drehgeschwindigkeit um die Hochachse, Nickachse und Wankachse), Aktionen und Kommunikation (Aktionen mit beide Armen unabhängig voneinander, Aktivierung von Geräten, Kommunikation mit Partnern) von der Person, die von der Videokamera erfasst wird, gesteuert und kontrolliert werden.
In einer Variante des bevorzugten Ausführungsbeispiels werden von dem integrierten Schaltkreis Ausgangsdaten bereitgestellt, die Gestiken der weit verbreiteten Gebärdensprache kodieren. Dabei werden zur Codierung Gebärden von Händen in Verbindung mit Mimik und Mundbild der Person durch die Videokameras erfasst und durch den integrierten Schaltkreis ausgewertet und als Ausgangsdaten bereitgestellt. Dies wird durch den integrierten Schaltkreis vorzugsweise im Kontext der Körperhaltung ausgewertet.
In einer Variante werden zur Verbesserung der Berechnung Hilfsmittel, beispielsweise ein Stab und/oder eine Hantel, verwendet, die von der Person eingesetzt werden Dies trägt insbesondere zu einer verbesserten Feinvermessung der Handbewegungen bei, da deren Position genauer gemessen werden kann, weil die Form- und Farbgebung der
Hilfsmittel dem integrierten Schaltkreis bekannt sind.
Eine weitere Variante sieht vor, dass der integrierte Schaltkreis und die Videokamera die Funktion der Tastatur ersetzt. Dies erfolgt dadurch, dass die zehn Finger der Person von den Videokameras gleichzeitig beobachtet werden. Dazu werden beide Hände der Person vor die Videokameras gehalten. Durch das Knicken von einem Finger oder der Kombination von mehreren Fingern wird die Tastatur durch den integrierten Schaltkreis vollständig emuliert.
Der beschriebene integrierte Schaltkreis, die Datenverarbeitungsanlage, das Verfahren und das Computerprogramm sind nicht auf den Bereich Personalcomputer und Videospiele beschränkt, sondern können auch in Industriesteuerung, als auch bei bildschirmfreien Systemen verwendet werden. Dabei erfolgt vorzugsweise die Rückmeldung der Eingabe über andere Medien, beispielsweise Lautsprecher. Besonders vorteilhaft ist die Verwendung des integrierten Schaltkreises im Bereich der
Fahrerassistenzsysteme zur Erfassung von Fußgängern im Umfeld eines Kraftfahrzeuges mit einer Videokamera. Ferner wird alternativ oder zusätzlich neben der Stereokamera eine einzelne Videokamera eingesetzt.

Claims

Ansprüche
1. Integrierter Schaltkreis mit wenigstens einem Eingang zum Anschluss einer Videokamera und zum Empfang von Bilddaten der Videokamera, wobei der integrierte Schaltkreis eine erste Einheit aufweist, die aus den empfangenen Bilddaten mittels einer Bestimmung des optischen Flusses vorverarbeiteten Bilddaten berechnet, wobei der integrierte Schaltkreis eine zweite Einheit aufweist, die aus den vorverarbeiteten Bilddaten Ausgangsdaten berechnet, die ein Maß für die Position und/oder Bewegung von Körperteilen einer Person sind und/oder die Gesten der Person repräsentieren, wobei der integrierte Schaltkreis wenigstens einen Ausgang zur Bereitstellung der Ausgangsdaten aufweist.
2. Integrierter Schaltkreis nach Anspruch 1, dadurch gekennzeichnet, dass die erste Einheit fest verdrahtet und/oder die zweite Einheit programmierbar ist.
3. Integrierter Schaltkreis nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der integrierte Schaltkreis ein ASIC oder ein FPGA ist.
4. Integrierter Schaltkreis nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgangsdaten die Gebärdensprache codieren.
5. Elektronische Datenverarbeitungsanlage mit einem integrierten Schaltkreis nach einem der vorhergehenden Ansprüche und wenigstens einer Videokamera.
6. Elektronische Datenverarbeitungsanlage nach Anspruch 5, dadurch gekennzeichnet, dass die Videokamera eine Stereokamera ist.
7. Elektronische Datenverarbeitungsanlage nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass die Datenverarbeitungsanlage eine Tastatur und/oder eine Maus und/oder einen Bildschirm und/oder einen Lautsprecher umfasst.
8. Verfahren zur Berechnung von Ausgangsdaten eines integrierten Schaltkreises, vorzugsweise des integrierten Schaltkreises nach einem der Ansprüche 1 bis 4, wobei aus Bilddaten einer Videokamera mittels einer Bestimmung des optischen Flusses vorverarbeiteten Bilddaten berechnet werden, wobei aus den vorverarbeiteten Bilddaten Ausgangsdaten berechnet werden, die Gesten einer Person repräsentieren.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass Objekte eines Videospiels in Abhängigkeit der Ausgangsdaten gesteuert werden.
10. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem oder allen der Ansprüche 8 oder 9 durchzuführen, wenn das Programm auf einem Computer und/oder dem integrierten Schaltkreis nach einem der Ansprüche 1 bis 4 und/oder der elektronische Datenverarbeitungsanlage nach einem der Ansprüche 5 bis 7 ausgeführt wird.
EP07820218A 2006-11-14 2007-09-14 Integrierter schaltkreis zur erkennung von bewegungen von personen Withdrawn EP2092408A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006053837A DE102006053837A1 (de) 2006-11-14 2006-11-14 Integrierter Schaltkreis
PCT/EP2007/059713 WO2008058783A1 (de) 2006-11-14 2007-09-14 Integrierter schaltkreis zur erkennung von bewegungen von personen

Publications (1)

Publication Number Publication Date
EP2092408A1 true EP2092408A1 (de) 2009-08-26

Family

ID=38961794

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07820218A Withdrawn EP2092408A1 (de) 2006-11-14 2007-09-14 Integrierter schaltkreis zur erkennung von bewegungen von personen

Country Status (4)

Country Link
US (1) US20090322888A1 (de)
EP (1) EP2092408A1 (de)
DE (1) DE102006053837A1 (de)
WO (1) WO2008058783A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
KR101620502B1 (ko) * 2010-01-04 2016-05-23 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
EP2369443B1 (de) * 2010-03-25 2017-01-11 BlackBerry Limited System und Verfahren für Gestenerkennung und Rückmeldung
DE102011002577A1 (de) 2011-01-12 2012-07-12 3Vi Gmbh Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung
WO2012104772A1 (en) 2011-02-04 2012-08-09 Koninklijke Philips Electronics N.V. Gesture controllable system uses proprioception to create absolute frame of reference
US10346680B2 (en) * 2013-04-12 2019-07-09 Samsung Electronics Co., Ltd. Imaging apparatus and control method for determining a posture of an object
DE102013207177A1 (de) 2013-04-19 2014-10-23 Robert Bosch Gmbh Verfahren zum Ansteuern eines Geräts
CN111695404B (zh) * 2020-04-22 2023-08-18 北京迈格威科技有限公司 行人跌倒检测方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19514877A1 (de) 1995-04-22 1996-10-24 Carsten Germer Personalcomputer basierte Spielkonsole
DE69830295T2 (de) 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
US7088396B2 (en) * 2001-12-21 2006-08-08 Eastman Kodak Company System and camera for creating lenticular output from digital images
JP4035610B2 (ja) 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
US20060094504A1 (en) * 2004-11-03 2006-05-04 George Polchin Method and apparatus for dynamic enhancement of video games with vendor specific data
KR100819251B1 (ko) * 2005-01-31 2008-04-03 삼성전자주식회사 방송 통신 융합 시스템에서 수화 비디오 데이터를제공하는 시스템 및 방법
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
US7667747B2 (en) * 2006-03-15 2010-02-23 Qualcomm Incorporated Processing of sensor values in imaging systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008058783A1 *

Also Published As

Publication number Publication date
WO2008058783A1 (de) 2008-05-22
US20090322888A1 (en) 2009-12-31
DE102006053837A1 (de) 2008-05-15

Similar Documents

Publication Publication Date Title
EP2092408A1 (de) Integrierter schaltkreis zur erkennung von bewegungen von personen
DE102011081370B4 (de) Vorrichtung zur Unterstützung der Fahrt eines mobilen Objekts auf der Grundlage von dessen Sollortskurve
DE102011113197B4 (de) Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger, und Fahrzeug
DE102015206110A1 (de) System und verfahren zur herstellung von computersteuersignalen aus atemattributen
DE102017112188A1 (de) Bildverarbeitungseinrichtung für ein Fahrzeug
DE112013002018T5 (de) Echtzeithaltungs- und Bewegungsvorhersage bei der Ausführung von Betriebsaufgaben
DE102015115526A1 (de) Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
WO2015110207A1 (de) Verfahren und steuergerät zum erkennen einer veränderung eines relativen gierwinkels innerhalb eines stereo-video-systems für ein fahrzeug
EP2506807A1 (de) Adaptives steuerungs- und regelungssystem für prothesen mit willkürlicher steuerung
DE102016108966A1 (de) Visuell-haptischer Sensor für 6D-Kraft/Drehmoment
DE102019128587A1 (de) Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm
DE102017217664A1 (de) Bestimmung eines Nutzerempfindens eines Nutzers in einem zumindest teilweise autonom fahrenden Fahrzeug
DE102019201134B4 (de) Verfahren, Computerprogramm mit Instruktionen und System zum Einmessen einer Augmented-Reality-Brille und Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug
EP2838700B1 (de) Bewegungssystemzustand
DE102021105068A1 (de) Verfahren und system zur handgestenbasierten vorrichtungssteuerung
DE102020126690A1 (de) Verfahren zum Bestimmen eines Bewegungsmodells eines Objekts in einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE102020122551A1 (de) Verfahren zur Rückkopplung von exogenen Kräften an einen Nutzer mittels elektrischer Muskelstimulation, Steuereinheit zur Steuerung einer Kraftrückkopplungsvorrichtung, Kraftrückkopplungsvorrichtung und Verwendung einer Steuereinheit oder einer Kraftrückkopplungsvorrichtung
DE102011103736B4 (de) Ansteuerung eines Bewegungssystems
DE102021120629B3 (de) Verfahren und Vorrichtung zur Bewegungssteuerung eines virtuell verkörperten realphysischen Avatars, Computerprogramm zur Durchführung eines solchen Verfahrens
DE10149795B4 (de) Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze
WO2012156159A1 (de) Auswertungsverfahren für eine folge von zeitlich aufeinander folgenden tiefenbildern
DE102019001778B3 (de) Verfahren und Anordnung zur Steuerung der Perspektive in immersiven Medien durch den Anwender
DE112021007811T5 (de) Blickverfolgungsvorrichtung
DE102016214391A1 (de) Verfahren zum Steuern eines Betriebes eines Koordinatenmessgerätes und Koordinatenmessgerät mit Steuerung
WO2023117723A1 (de) Verfahren und eine vorrichtung zur optischen erkennung und analyse in einer bewegungsumgebung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090615

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20090917

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20161112