<Desc/Clms Page number 1>
Werkwijze voor het registreren en simuleren van de bewegingen van lichaamsdelen en inrichting die deze werkwijze toepast.
De huidige uitvinding heeft betrekking op een werkwijze voor registreren en simuleren van de bewegingen van lichaamsdelen, in het bijzonder het digitaal registreren en simuleren van deze bewegingen.
Meer speciaal, is de uitvinding bedoeld voor het registreren en simuleren van de bewegingen van de lichaamsdelen van mensen of dieren of zelfs van de bewegende delen van een robot of dergelijke.
Het is bekend dat het registreren van dergelijke bewegingen onder andere van toepassing is bij de studie van de motoriek van mens en dier, bijvoorbeeld om een diagnose te kunnen stellen van mogelijke verkeerde gedragingen en bewegingen die aan de basis kunnen liggen van medische klachten of die van invloed kunnen zijn op de prestaties van mens of dier.
Het is eveneens bekend dat het ontwerp van industrieruimten, productielijnen, interieurs van wagens en dergelijke, volledig met de computer geschiedt in een virtuele drie-dimensionele omgeving, waarbij rekening gehouden wordt met de mogelijke interacties van een virtueel persoon of dergelijke, ten opzichte van deze virtuele omgeving, waarbij de bewegingen van deze virtuele persoon een simulatie weergeven van de bewegingen van een
<Desc/Clms Page number 2>
fysieke persoon of dergelijke, zoals deze geregistreerd zijn in een proefomgeving. Op deze manier kunnen vroegtijdig ontwerpfouten vermeden worden vóór de eigenlijke realisatie van het project.
Een andere toepassing is bekend in de wereld van de computerspellen waarbij de bewegingen van een speler geregistreerd worden voor het interactief sturen in reële tijd van een spel dat zich afspeelt in een 3D-virtuele omgeving.
Tot op heden worden voor de registratie van de bewegingen van proefpersonen, de positiecoördinaten van een aantal referentiepunten op de lichaamsdelen bepaald, waarbij deze referentiepunten zich meestal op de gewrichten bevinden en waarbij voor het bepalen van deze coördinaten gebruik wordt gemaakt van zenders die ter plaatse van deze referentiepunten op het lichaam worden aangebracht en waarvan de signalen worden opgevangen door één of meerdere vaste ontvangers.
Hiertoe wordt tot nu toe gebruik gemaakt van laserstralen, akoestische of elektromagnetische golven, digitale camera' s, of dergelij ke, waarbij er zich tussen de zenders en ontvangers geen hindernissen mogen bevinden die het contact tussen beiden kunnen verstoren, hetgeen een nadeel is aangezien de ruimte waarin de proefpersoon geobserveerd wordt, desgevallend eerst moet opengewerkt worden, met andere woorden bepaalde delen van zulke ruimte zullen moeten worden verwijderd, zodat de zenders op het lichaam steeds zichtbaar zijn vanaf de standplaats van de
<Desc/Clms Page number 3>
ontvangers voor alle mogelijke bewegingen van de proefpersoon.
Indien de voornoemde ruimte bijvoorbeeld een wageninterieur is, dienen hiertoe minstens de deuren en desgevallend ook bijkomende carrosseriedelen te worden weggenomen, waardoor de omstandigheden van de proef verschillend zijn van een reële verkeerssituatie en waardoor bijgevolg ook het waargenomen rijgedrag van de proefpersoon enigszins beïnvloed en afwijkend zal zijn.
Een ander nadeel in dit verband is dat aangezien de zenders zich steeds in het gezichtsveld van de ontvangers moeten bevinden, dergelijke waarnemingen van de bewegingen van een proefpersoon slechts kunnen plaatsvinden in een speciaal daarvoor ingerichte testruimte van een laboratorium of dergelijke.
Nog een ander nadeel van de bekende technieken is dat de zenders die op het lichaam van een proefpersoon worden aangebracht relatief groot en zwaar zijn, zodat de bewegingsvrijheid van de proefpersoon in belangrijke mate beperkt wordt, en dat bovendien de middelen om de zenders op het lichaam aan te brengen weinig comfort bieden, waardoor de waarnemingen niet volledig de werkelijkheid weerspiegelen.
Een bijkomend nadeel van de bekende technieken is dat gebruik gemaakt wordt van een vereenvoudigd en benaderd model van bijvoorbeeld het menselijk lichaam, waarbij er ondermeer van uitgegaan wordt dat de lichaamsdelen ten
<Desc/Clms Page number 4>
opzichte van elkaar bewegen rond een gemeenschappelijk vast scharnierpunt dat samenvalt met het gekozen referentiepunt op het gewricht tussen de lichaamsdelen.
In werkelijkheid zijn echter de lichaamsdelen, door de complexe bouw van de gewrichten, niet alleen scharnierbaar ten opzichte van elkaar, maar zijn zij bovendien in zekere mate ook onderling verschuifbaar ten opzichte van elkaar, zodat door deze benadering van de kinematische gedragingen van de gewrichten, de gesimuleerde bewegingen van het virtueel model slechts bij benadering juist zijn.
De huidige uitvinding heeft tot doel aan de voornoemde andere nadelen een oplossing te bieden.
Hiertoe beoogt de uitvinding een werkwijze voor het registreren en simuleren van de bewegingen van lichaamsdelen, waarbij gebruik gemaakt wordt van een virtueel 3D-model en waarbij de werkwijze er minstens in bestaat de absolute hoekposities te bepalen die de te volgen lichaamsdelen op een bepaald ogenblik in de ruimte innemen en deze in de tijd te registreren en in te voeren in de sofware van het virtueel model, teneinde de lichaamsdelen van dit virtueel model synchroon in de tijd op dezelfde manier te oriënteren als de overeenstemmende te volgen lichaamsdelen.
Een voordeel van deze werkwijze is dat de bepaling van de positie van een lichaamsdeel gebeurt door de hoekbepaling van het betreffende lichaamsdeel zodat men niet gebonden is aan een a priori benaderde zienswijze waarbij men ervan
<Desc/Clms Page number 5>
uitgaat dat de gekozen referentiepunten overeenstemmen met een gemeenschappelijk vast scharnierpunt tussen de betreffende lichaamsdelen.
Volgens een voorkeurdragende uitvoeringsvorm wordt voor de werkwijze gebruik gemaakt van een virtueel model dat, enerzijds, rekening houdt met de kinematische eigenschappen van reële gewrichten, en, anderzijds, aanpasbaar is met betrekking tot de vorm en afmetingen, waarbij de werkwijze er supplementair in bestaat de vorm en afmetingen van de te volgen lichaamsdelen te bepalen en deze gegevens te gebruiken als parameters voor het aanpassen van het virtueel model.
Op deze manier wordt een natuurgetrouw en fotorealistisch virtueel model bekomen van de te volgen lichaamsdelen, waarbij dit model bovendien een perfecte simulatie mogelijk maakt van de kinematische gedragingen van de lichaamsdelen, zodat de gesimuleerde bewegingen de realiteit weerspiegelen met een tot op heden ongekende nauwkeurigheid.
De uitvinding heeft eveneens betrekking op een inrichting die toelaat van de hiervoor beschreven werkwijze met al haar voordelen toe te passen, waarbij deze inrichting hoofdzakelijk bestaat uit, enerzijds, één of meer sensoren die elk op een te volgen lichaamsdeel zijn bevestigd en die voorzien zijn van micro-sensorelementen die minstens bestaan uit één of meer gyroscopen die volgens onderling loodrechte richtingen georiënteerd zijn, en, anderzijds, een computer, waarmee de voornoemde sensoren, al dan niet
<Desc/Clms Page number 6>
rechtstreeks, verbonden zijn en waarop een beweegbaar virtueel 3D-model is geïnstalleerd.
Een bijkomend voordeel van zulke inrichting volgens de uitvinding is dat slechts één zulke sensor voor ieder lichaamsdeel dient voorzien te worden en dat bovendien, door het gebruik van micro-sensorelementen, zulke sensor zeer licht en compact kan uitgevoerd worden, waardoor een proefpersoon of een proefobject omzeggens geen hinder zal ondervinden van de aanwezigheid van een dergelijke sensor, wat het voordeel biedt dat de geobserveerde bewegingen een realistische weerspiegeling zijn van de gedragingen in reële omstandigheden.
Een ander voordeel is dat de gebruikte gyroscopen, meer speciaal micro-gyroscopen, relatief goedkoop zijn ; ze dynamisch zeer snel reageren op bewegingen van het lichaam; en dat ze een nauwkeurigheid bezitten die in overeenstemming is met de nauwkeurigheid van de bewegingen van het menselijk lichaam, in het bijzonder in de orde van grootte van één graad.
Volgens een voorkeurdragend kenmerk van de inrichting volgens de uitvinding worden de sensoren op het lichaam aangebracht door middel van één of meer kledingstukken die strak aansluiten op het lichaam en die voorzien zijn van zakjes waarin de sensoren passend kunnen opgeborgen worden.
Bij voorkeur zijn deze kledingstukken vervaardigd uit textielstof, bijvoorbeeld van het type coolmax, die licht en comfortabel is en die bovendien de sensoren als het ware
<Desc/Clms Page number 7>
onbeweeglijk op het lichaam vasthoudt waardoor iedere sensor zeer nauwkeurig de bewegingen van het betreffende lichaamsdeel volgt.
Volgens een voorkeurdragende uitvoeringsvorm bevat de verbinding tussen de sensoren en de computer met het virtueel model, een draadloze verbinding met een zender en een ontvanger, zodat een proefpersoon of proefobject zich vrij, zonder gehinderd te worden door kabels of dergelijke, kan verplaatsen.
Met het inzicht de kenmerken van de uitvinding beter aan te tonen, zijn hierna, als voorbeeld zonder enig beperkend karakter, enkele voorkeurdragende uitvoeringsvormen beschreven van een inrichting volgens de uitvinding, met verwijzing naar de bijgaande tekeningen, waarin:
Figuur 1 schematisch een inrichting volgens de uitvinding weergeeft; figuur 2 op grotere schaal een doorsnede weergeeft volgens lijn II-II in figuur 1; figuur 3 een blokschema weergeeft van een inertiële sensor volgens de uitvinding; figuur 4 het blokschema weergeeft van een toegepaste zogenaamde Kalman filter; figuren 5 en 6 uitvoeringsvarianten weergeven van de inrichting van figuur 1.
In figuur 1 is schematisch een inrichting weergegeven voor het registreren en digitaal simuleren van de bewegingen van bepaalde lichaamsdelen 1 van een lichaam 2 van een
<Desc/Clms Page number 8>
proefpersoon, meer speciaal in dit geval van een schouder, een boven- en onderarm en een hand.
De inrichting bestaat in hoofdzaak uit een reeks kleine lichtgewicht sensoren 3, meer speciaal zogenaamde inertiële sensoren, die elk op een bepaald lichaamsdeel 1 zijn aangebracht voor de registratie van de beweging van dit betreffende lichaamsdeel 1 en waarvan de uitgangen verbonden zijn met een eerste computer 4 die de bekomen meetdata registreert en verwerkt tot bruikbare signalen voor het sturen van de bewegingen van een virtueel 3D-model 5 op een tweede computer 6 die met de eerste computer 4 in verbinding staat.
De sensoren 3 zijn op een niet verschuifbare manier op het lichaam 2 van de proefpersoon bevestigd door middel van één of meer kledingstukken 7, of gedeelten van kledingstukken, die strak passend over de betreffende lichaamsdelen 1 worden aangebracht en waarop zakjes 8 of dergelijke zijn bevestigd, bijvoorbeeld door stikken of lijmen, en waarbij deze sensoren 3 passend in deze zakjes 8 zijn ondergebracht.
In het voorbeeld van figuur 1 zijn de .sensoren 3 aangebracht respectievelijk op een mouw 9 met een schouderverlengstuk en op een handschoen 10 zonder vingers.
Elke sensor 3 wordt, zoals weergegeven in figuur 2, ondersteund door een kussentje 11 dat tussen de sensor 3 en het kledingstuk 7 is aangebracht en dat vervaardigd is uit
<Desc/Clms Page number 9>
een samendrukbaar materiaal zoals schuimrubber of dergelijke.
De textielstof waaruit de kledingstukken 7 gemaakt zijn, heeft bij voorkeur als kenmerk goed wasbaar te zijn, goed zweetdoorlatend te zijn, een comfortabel gevoel te geven bij het dragen ervan, een goed contact te geven met de lichaamsdelen 2 zodat de sensoren tijdens het bewegen niet verschuiven op het lichaam 2, en bovendien, door de rekbaarheid van de stof, geen belemmering te vormen voor de bewegingen van de proefpersoon. Bij voorkeur wordt hiervoor textielstof gebruikt van het zogenaamde type coolmax.
Elk van de voornoemde sensoren 3 is gevormd. door een behuizing 12 waarin, zoals weergegeven in figuur 3, een aantal micro-sensorelementen zijn ondergebracht, namelijk drie gyroscopen 13 die de absolute hoeksnelheid meten volgens drie loodrecht op elkaar staande richtingen ; magnetometers 14 die het aardmagnetisme opmeten en samen een elektronisch kompas vormen voor het meten van het azimut van de sensor, meer bepaald van het azimut van een vaste referentierichting van de sensor ; ten slotte twee accelerometers 15 die de versnelling van de sensor volgens de voornoemde drie loodrechte richtingen meet en die samen een elektronisch waterpas vormen voor het meten van de inclinatie van de sensor, meer bepaald van de inclinatie van de voornoemde vaste referentierichting van de sensor.
De uitgangssignalen van de voornoemde micro-sensorelementen 13-14-15 worden, eventueel na versterking door een versterker 16 en na omzetting in een analoog-digitaal
<Desc/Clms Page number 10>
convertor 17, verbonden met een microprocessor 18 die in dit geval een databuffer vormt voor de meetgegevens van de betreffende sensor 3 en waarvan de uitgang, al dan niet via een stekkerverbinding 19, door een kabel 20 verbonden is met de voornoemde eerste computer 4.
Het virtueel 3D-model 5 is in het weergegeven voorbeeld een gedigitaliseerd standaardmodel van een arm en een gedeelte van een romp, waarbij de virtuele lichaamsdelen 21 van de romp en de arm onderling ten opzichte van elkaar beweegbaar zijn door niet in de figuren weergegeven virtuele gewrichten ter hoogte van de schouder, de elleboog en de pols en waarbij deze gewrichten alle kinematische kenmerken vertonen van een echt gewricht.
Het gebruik van de voornoemde inrichting is zeer eenvoudig en als volgt.
Gedurende een voorbereidende stap worden de antropometrische gegevens van de proefpersoon, namelijk de afmetingen en de vormen van de lichaamsdelen 1 van deze proefpersoon, bepaald en als parameters ingevoerd in het virtuele model 5.
Het opmeten en invoeren van de parameters kan ofwel manueel gebeuren door meting van een beperkt aantal maten, zoals de breedte van de schouders, de lengte van de boven- en onderarm, en dergelijke, ofwel volledig automatisch uitgevoerd worden door het digitaal scannen van de proefpersoon door middel van een laserscanner of dergelijke.
<Desc/Clms Page number 11>
Gedurende een volgende stap wordt aan de proefpersoon gevraagd om een aantal handelingen uit te voeren die men wenst te bestuderen en worden tijdens het uitvoeren van deze handelingen alle signalen van de sensoren 3 geregistreerd met een bepaalde registratiefrequentie, bijvoorbeeld van 50 of 100 hertz.
De aldus bekomen signalen van de sensoren 3 worden, zoals verder zal blijken, door de eerste computer 4 verwerkt tot signalen die de hoekposities weerspiegelen van de sensoren 3 en dus van de lichaamsdelen 1 waarop deze zijn aangebracht, waarbij deze signalen gebruikt worden voor het aansturen van het virtueel model 5 om een synchroon bewegend beeld te bekomen op het scherm van de tweede computer 6.
Door de bekomen hoekposities te superposeren op het virtuele model 5, kunnen de lichaamsdelen 21 van dit virtuele model 5 op ieder ogenblik op precies dezelfde manier georiënteerd worden als deze van de proefpersoon, en dit door de lichaamsdelen 21 virtueel te laten scharnieren rond de virtuele gewrichten.
Doordat de registratie en de verwerking van de signalen' plaats heeft met een frequentie van 50 hertz of dergelijke, bekomt men een vloeiend bewegend beeld van de beweging.
Zoals blijkt uit hetgeen voorafgaat, worden de signalen van elke sensor 3 op ieder ogenblik door de eerste computer 4 verwerkt tot een ogenblikkelijke absolute hoekpositie van
<Desc/Clms Page number 12>
de betreffende sensor 3, gekenmerkt door een azimut en een inclinatie, en dit op de volgende manier.
De uitgangssignalen van gyroscopen 13 zijn zoals bekend evenredig met de hoeksnelheid waarmee zij zich bewegen.
Door dit uitgangssignaal wiskundig te integreren in de tijd bekomt men een absolute hoekpositie van de betreffende gyroscoop 13 en dus ook van de sensor 3 waarin deze geïntegreerd is.
In het geval dat men zou kunnen beschikken over perfecte gyroscopen 13, zou deze integratiebewerking kunnen volstaan om de bewegingen van het virtueel model 5 te kunnen sturen.
In de praktijk blijkt echter dat gyroscopen 13 een bepaalde nulafwijking vertonen, waarbij, zelfs zonder dat er een beweging is, toch een van nul afwijkend signaal wordt gemeten. Deze meetfout resulteert, na wiskundige integratie, in een berekende hoekpositie die op continue wijze in de tijd verandert alsof de gyroscoop 13 of dus ook de betreffende sensor 3, met een constante snelheid zou ronddraaien. Dit fenomeen is genoegzaam bekend als de zogenaamde drift van een gyroscoop 13.
Aangezien in deze toepassing in elke sensor 3 meerdere gyroscopen 13 worden gebruikt voor de bepaling van het azimut en van de inclinatie, vertoont zulke sensor 3 een verticale drift in azimut rond een verticale as en een horizontale drift in inclinatie rond een horizontale as.
<Desc/Clms Page number 13>
Om de voornoemde drift te elimineren wordt door de eerste computer 4 het signaal van de gyroscopen 13 vergeleken met de signalen van de voornoemde magnetometers 14 en van de accelerometers 15.
Wanneer de signalen van de acccelerometers 15 van een bepaalde sensor 3 nul zijn, betekent dit dat de betreffende sensor 3 een vaste inclinatie behoudt ten opzichte van de horizontale richting, zodat men er in dit geval op kan vertrouwen dat een horizontaal driftsignaal dat men op dat ogenblik bekomt van de gyroscopen 13 in feite een foutsignaal is dat moet uitgefilterd worden.
Volgens dezelfde redenering zal, wanneer er van de magnetometers 15 van de sensor 3 geen signalen uitgaan, de sensor 3 met zekerheid volgens een vast azimut georiënteerd zijn, zodat een mogelijk verticaal driftsignaal in azimut dat op dat ogenblik zou bestaan eveneens moet uitgefilterd worden.
Het uitfilteren van de horizontale en verticale drift van elke sensor 3 gebeurt volgens de uitvinding softwarematig met behulp van de eerste computer 4 door toepassing van een filter van het zogeheten Kalman type.
De werking van een dergelijke Kalman filter wordt geïllustreerd aan de hand van het blokschema van figuur 4.
De signalen afkomstig van de gyroscopen 13 worden door een bepaald en op zichzelf bekend softwarealgoritme 22 geëvalueerd, en omgerekend tot een best geschatte waarde 23
<Desc/Clms Page number 14>
van de hoekpositie van de sensor 3, gekenmerkt door een azimut en een inclinatie. Deze best geschatte waarde 23 worden vervolgens vergeleken met de waarde 24 van de hoekpositie van de sensor 3, gekenmerkt door het azimut en de inclinatie gemeten door de magnetometers 14 en de accelerometers 15, hetgeen aanleiding geeft tot een correctiesignaal 25 voor het uitfilteren van de verticale en horizontale drift.
Dit correctiesignaal 25 wordt vervolgens afgetrokken van het signaal 26 gemeten door de gyroscopen 13, een en ander zodanig dat na correctie een signaal 27 bekomen wordt dat na integratie door een integratiesoftware 28 een correcte waarde 29 oplevert van de hoekpositie van de betreffende sensor 3.
In figuur 5 wordt een uitvoeringsvariante weergegeven van een inrichting volgens de uitvinding, die een meer uitgebreide studie toelaat van de bewegingen van de romp, het bekken en alle ledematen van de proefpersoon. Hiertoe is deze proefpersoon in dit geval uitgerust met een groter aantal sensoren 3 die zijn aangebracht op een speciale kledij bestaande uit een tweedelig pak 30, handschoenen 10 en laarzen 30.
De signalen van deze sensoren 3 worden door middel van een radiozender 32 die op het lichaam 1 van de proefpersoon is aangebracht, draadloos naar een overeenstemmende ontvanger 33 gestuurd die op zijn op beurt verbonden is met de voornoemde eerste computer 4. Het is duidelijk dat voor de
<Desc/Clms Page number 15>
stroomvoorziening van de sensoren 3 en van de radiozender 32 batterijen op het draagpak dienen voorzien te worden.
De werking van deze inrichting is verder analoog aan deze van de vorige uitvoeringsvariante.
In figuur 6 wordt nog een andere uitvoeringsvariante van een inrichting volgens de uitvinding weergegeven, waarbij de gedragingen van een proefpersoon geobserveerd worden tijdens het besturen van een wagen 34. De proefpersoon is zoals in de vorige uitvoeringsvorm uitgerust met een gelijkaardige kledij met sensoren 3.
In dit geval is in de microprocessor 18 van elke sensor 3 een rekensoftware met Kalman filter geïntegreerd zodat elke sensor 3 een uitgangssignaal levert dat de juiste absolute hoekpositie van de sensor 3 vertegenwoordigt.
Deze uitgangssignalen worden rechtstreeks, zonder tussenkomst van een eerste computer 4, via een draadloze verbinding met een zender 32 en ontvanger 33 naar de tweede computer 6 doorgezonden voor de sturing van het virtueel model 5.
Bovendien is deze inrichting voorzien van een 3Dpositievolgsysteem 35 dat toelaat de absolute bewegingen te registreren van een referentiepunt 36 op het lichaam 2 van de proefpersoon, bijvoorbeeld een referentiepunt ter plaatse van de onderste nekwervel of dergelijke. Zulk positievolgsysteem 35 is op zich bekend en kan bijvoorbeeld gerealiseerd worden door een laser-volgcamera.
<Desc/Clms Page number 16>
Het positievolgsysteem 34 is gekoppeld aan de computer 6 zodat de geregistreerde bewegingen kunnen geprojecteerd worden op een overeenstemmend referentiepunt 37 van het virtueel model 5, waardoor in dit geval het virtueel model 5 zich ook in de virtuele ruimte kan verplaatsen, dit in tegenstelling tot de vorige proefopstellingen, waar het referentiepunt 37 van het model 5 als het ware bevroren is in de virtuele ruimte en men aldus enkel de relatieve bewegingen van de lichaamsdelen 21 ten opzichte van dit referentiepunt 37 kan waarnemen op het scherm, vergelijkbaar met de stereotype bewegingen van een marionet.
Het is duidelijk dat de hiervoor beschreven inrichtingen volgens de uitvinding nog verder kunnen uitgebreid worden met bijkomende sensoren voor bijvoorbeeld de registratie van de bewegingen van het hoofd, de ogen, de vingers, de kromming van de rug en dergelijke. Hiertoe kan de proefpersoon bijkomend uitgerust worden met respectievelijk een speciale helm voor het bepalen van de stand van het hoofd en de ogen; een zogenaamde "dataglove" of handschoen voor het registreren van de stand van de vingers; een optische vezel voor het meten van de kromming van de rug; en dergelijke.
De huidige uitvinding is geenszins beperkt tot de als voorbeeld beschreven en in de figuren weergegeven uitvoeringsvorm, doch een dergelijke werkwijze en inrichting kunnen volgens verschillende varianten worden
<Desc/Clms Page number 17>
verwezenlijkt zonder buiten het kader van de uitvinding te treden.
<Desc / Clms Page number 1>
Method for recording and simulating the movements of body parts and device applying this method.
The present invention relates to a method for recording and simulating the movements of body parts, in particular digitally recording and simulating these movements.
More specifically, the invention is intended to record and simulate the movements of the body parts of humans or animals or even of the moving parts of a robot or the like.
It is known that the registration of such movements is applicable, among other things, to the study of human and animal motor skills, for example in order to make a diagnosis of possible wrong behaviors and movements that may be the basis of medical complaints or those of can influence the performance of humans or animals.
It is also known that the design of industrial spaces, production lines, interiors of cars and the like is done entirely with the computer in a virtual three-dimensional environment, taking into account the possible interactions of a virtual person or the like, with respect to these virtual environment, where the movements of this virtual person represent a simulation of the movements of a
<Desc / Clms Page number 2>
physical person or the like, as registered in a test environment. In this way early design errors can be avoided before the actual realization of the project.
Another application is known in the world of computer games where the movements of a player are recorded for interactively controlling in real time a game that takes place in a 3D virtual environment.
To date, for the registration of the movements of test subjects, the position coordinates of a number of reference points on the body parts are determined, whereby these reference points are usually located on the joints and where for determining these coordinates use is made of transmitters which these reference points are applied to the body and the signals of which are received by one or more fixed receivers.
Laser beams, acoustic or electromagnetic waves, digital cameras, or the like have been used for this purpose, whereby there must be no obstacles between the transmitters and receivers that can disturb the contact between the two, which is a disadvantage since the room in which the subject is being observed, if necessary, the work must first be opened up, in other words certain parts of such room will have to be removed, so that the transmitters on the body are always visible from the location of the
<Desc / Clms Page number 3>
receivers for all possible movements of the test subject.
If the aforementioned space is, for example, a car interior, the doors and, if applicable, additional body parts must be removed for this purpose, as a result of which the test conditions are different from a real traffic situation and as a result of which the perceived driving behavior of the test subject will to be.
Another disadvantage in this regard is that since the transmitters must always be in the field of view of the receivers, such observations of the movements of a test subject can only take place in a specially designed test room of a laboratory or the like.
Yet another disadvantage of the known techniques is that the transmitters which are mounted on the body of a test subject are relatively large and heavy, so that the freedom of movement of the test subject is considerably restricted, and that, moreover, the means for transmitting the transmitters onto the body offer little comfort to be applied, so that the observations do not fully reflect reality.
An additional disadvantage of the known techniques is that use is made of a simplified and approximated model of, for example, the human body, whereby it is assumed, among other things, that the body parts
<Desc / Clms Page number 4>
move relative to each other around a common fixed pivot point that coincides with the chosen reference point on the joint between the body parts.
In reality, however, due to the complex construction of the joints, the body parts are not only pivotable with respect to each other, but moreover they are also mutually slidable relative to each other, so that through this approach to the kinematic behavior of the joints, the simulated movements of the virtual model are only approximately correct.
The present invention has for its object to provide a solution to the aforementioned other disadvantages.
To this end, the invention contemplates a method for recording and simulating the movements of body parts, wherein use is made of a virtual 3D model and wherein the method at least consists in determining the absolute angular positions that the body parts to be followed at a given moment in occupy the space and record it in time and enter it into the software of the virtual model, so as to orient the body parts of this virtual model synchronously over time in the same way as the corresponding body parts to be followed.
An advantage of this method is that the position of a body part is determined by determining the angle of the body part in question, so that one is not bound to an a priori approached view
<Desc / Clms Page number 5>
Assumes that the selected reference points correspond to a common fixed pivot point between the relevant body parts.
According to a preferred embodiment, the method uses a virtual model which, on the one hand, takes into account the kinematic properties of real joints, and, on the other hand, is adaptable with regard to shape and dimensions, the method additionally comprising the determine the shape and dimensions of the body parts to be followed and use this data as parameters for adjusting the virtual model.
In this way a true-to-life and photorealistic virtual model is obtained of the body parts to be followed, while this model also enables perfect simulation of the kinematic behavior of the body parts, so that the simulated movements reflect reality with an accuracy that is as yet unknown.
The invention also relates to a device which allows the method described above to be used with all its advantages, wherein this device mainly consists of, on the one hand, one or more sensors which are each mounted on a body part to be followed and which are provided with micro-sensor elements consisting at least of one or more gyros that are oriented in mutually perpendicular directions, and, on the other hand, a computer with which the aforementioned sensors, whether or not
<Desc / Clms Page number 6>
are directly connected and on which a movable virtual 3D model is installed.
An additional advantage of such a device according to the invention is that only one such sensor must be provided for each part of the body and that, moreover, through the use of micro-sensor elements, such sensor can be made very light and compact, so that a test subject or a test object will not be affected by the presence of such a sensor, which offers the advantage that the movements observed are a realistic reflection of the behavior in real circumstances.
Another advantage is that the used gyroscopes, more specifically micro-gyroscopes, are relatively inexpensive; they respond dynamically very quickly to body movements; and that they have an accuracy consistent with the accuracy of the movements of the human body, in particular in the order of magnitude of one degree.
According to a preferred feature of the device according to the invention, the sensors are applied to the body by means of one or more articles of clothing which fit tightly to the body and which are provided with pockets in which the sensors can be stored appropriately.
These garments are preferably made from textile fabric, for example of the coolmax type, which is light and comfortable and which moreover, as it were,
<Desc / Clms Page number 7>
holds onto the body immovably, so that each sensor follows the movements of the relevant body part very accurately.
According to a preferred embodiment, the connection between the sensors and the computer with the virtual model comprises a wireless connection with a transmitter and a receiver, so that a test subject or test object can move freely, without being hindered by cables or the like.
With the insight to better demonstrate the features of the invention, a few preferred embodiments of a device according to the invention are described below as an example without any limiting character, with reference to the accompanying drawings, in which:
Figure 1 schematically represents a device according to the invention; figure 2 represents a cross-section on a larger scale according to line II-II in figure 1; Figure 3 shows a block diagram of an inertial sensor according to the invention; Figure 4 shows the block diagram of an applied so-called Kalman filter; figures 5 and 6 show embodiments of the device of figure 1.
Figure 1 schematically shows a device for recording and digitally simulating the movements of certain body parts 1 of a body 2 of a
<Desc / Clms Page number 8>
test subject, more particularly in this case of a shoulder, an upper and lower arm and a hand.
The device consists essentially of a series of small, light-weight sensors 3, more in particular so-called inertial sensors, each of which is mounted on a specific body part 1 for recording the movement of this body part 1 in question and whose outputs are connected to a first computer 4 which registers the obtained measurement data and processes it into usable signals for controlling the movements of a virtual 3D model 5 on a second computer 6 which is connected to the first computer 4.
The sensors 3 are attached to the body 2 of the test subject in a non-slidable manner by means of one or more articles of clothing 7, or parts of articles of clothing, which are fitted tightly over the relevant body parts 1 and to which bags 8 or the like are attached, for example by stitching or gluing, and wherein these sensors 3 are accommodated in these bags 8 as appropriate.
In the example of Figure 1, the sensors 3 are arranged respectively on a sleeve 9 with a shoulder extension and on a glove 10 without fingers.
As shown in Figure 2, each sensor 3 is supported by a pad 11 which is arranged between the sensor 3 and the garment 7 and which is made of
<Desc / Clms Page number 9>
a compressible material such as foam rubber or the like.
The textile material from which the garments 7 are made is preferably characterized by being washable, permeable to sweat, feeling comfortable when wearing it, giving good contact with the body parts 2 so that the sensors do not move during movement. shifting on the body 2, and furthermore, by the stretchability of the substance, not hindering the movements of the subject. For this, textile fabric of the so-called cool max is preferably used.
Each of the aforementioned sensors 3 is formed. by a housing 12 in which, as shown in Figure 3, a number of micro-sensor elements are accommodated, namely three gyroscopes 13 which measure the absolute angular velocity in three directions perpendicular to each other; magnetometers 14 that measure the earth's magnetism and together form an electronic compass for measuring the azimuth of the sensor, in particular the azimuth of a fixed reference direction of the sensor; finally, two accelerometers 15 which measure the acceleration of the sensor according to the aforementioned three perpendicular directions and which together form an electronic level for measuring the inclination of the sensor, in particular of the inclination of the aforementioned fixed reference direction of the sensor.
The output signals of the aforementioned micro-sensor elements 13-14-15 become, possibly after amplification by an amplifier 16 and after conversion into an analog-digital
<Desc / Clms Page number 10>
converter 17, connected to a microprocessor 18 which in this case forms a data buffer for the measurement data of the relevant sensor 3 and whose output, whether or not via a plug connection 19, is connected by a cable 20 to the aforementioned first computer 4.
In the example shown, the virtual 3D model 5 is a digitized standard model of an arm and a part of a trunk, wherein the virtual body parts 21 of the trunk and the arm are mutually movable relative to each other by virtual joints not shown in the figures at the level of the shoulder, elbow and wrist and where these joints have all the kinematic characteristics of a real joint.
The use of the aforementioned device is very simple and as follows.
During a preparatory step, the anthropometric data of the test subject, namely the dimensions and shapes of the body parts 1 of this test subject, are determined and entered as parameters in the virtual model 5.
The measurement and input of the parameters can either be done manually by measuring a limited number of measures, such as the width of the shoulders, the length of the upper and lower arm, and the like, or can be performed fully automatically by digitally scanning the test subject. by means of a laser scanner or the like.
<Desc / Clms Page number 11>
During a next step, the subject is asked to perform a number of actions that one wishes to study and during the execution of these actions all signals from the sensors 3 are recorded with a certain recording frequency, for example of 50 or 100 hertz.
The signals thus obtained from the sensors 3 are, as will be seen further, processed by the first computer 4 into signals which reflect the angular positions of the sensors 3 and thus of the body parts 1 on which they are mounted, these signals being used for controlling of the virtual model 5 to obtain a synchronous moving image on the screen of the second computer 6.
By superposing the obtained angular positions on the virtual model 5, the body parts 21 of this virtual model 5 can be oriented in exactly the same way as those of the test subject at any time, and this by having the body parts 21 virtually pivot around the virtual joints .
Because the recording and processing of the signals takes place with a frequency of 50 hertz or the like, a smooth moving image of the movement is obtained.
As can be seen from the foregoing, the signals from each sensor 3 are processed by the first computer 4 at any time into an instantaneous absolute angular position of
<Desc / Clms Page number 12>
the relevant sensor 3, characterized by an azimuth and an inclination, and this in the following manner.
The output signals of gyroscopes 13 are, as is known, proportional to the angular speed at which they move.
By mathematically integrating this output signal in time, an absolute angular position of the relevant gyroscope 13 and therefore also of the sensor 3 in which it is integrated is obtained.
In the case that perfect gyroscopes 13 could be available, this integration operation could suffice to control the movements of the virtual model 5.
In practice, however, it appears that gyroscopes 13 exhibit a certain zero deviation, wherein, even without there being any movement, a signal deviating from zero is nevertheless measured. This mathematical error results, after mathematical integration, in a calculated angular position that continuously changes in time as if the gyroscope 13 or therefore also the relevant sensor 3 would rotate at a constant speed. This phenomenon is sufficiently known as the so-called drift of a gyroscope 13.
Since in this application several gyroscopes 13 are used in each sensor 3 for determining the azimuth and of the inclination, such sensor 3 exhibits a vertical drift in azimuth about a vertical axis and a horizontal drift in inclination about a horizontal axis.
<Desc / Clms Page number 13>
To eliminate the aforementioned drift, the first computer 4 compares the signal from the gyroscopes 13 with the signals from the aforementioned magnetometers 14 and from the accelerometers 15.
When the signals from the acccelerometers 15 of a certain sensor 3 are zero, this means that the relevant sensor 3 maintains a fixed inclination with respect to the horizontal direction, so that in this case one can be confident that a horizontal drift signal that one has at that moment of the gyroscopes 13 is in fact an error signal that must be filtered out.
According to the same reasoning, if no signals are emitted from the magnetometers 15 of the sensor 3, the sensor 3 will certainly be oriented according to a fixed azimuth, so that a possible vertical drift signal that would exist at that time must also be filtered out.
According to the invention, filtering out the horizontal and vertical drift of each sensor 3 takes place with the aid of the first computer 4 by using a filter of the so-called Kalman type.
The operation of such a Kalman filter is illustrated with reference to the block diagram of Figure 4.
The signals from the gyroscopes 13 are evaluated by a specific and known per se software algorithm 22, and converted into a best estimated value 23
<Desc / Clms Page number 14>
of the angular position of the sensor 3, characterized by an azimuth and an inclination. This best estimated value 23 is then compared with the value 24 of the angular position of the sensor 3, characterized by the azimuth and the inclination measured by the magnetometers 14 and the accelerometers 15, which gives rise to a correction signal 25 for filtering out the vertical and horizontal drift.
This correction signal 25 is then subtracted from the signal 26 measured by the gyroscopes 13, such that after correction a signal 27 is obtained that after integration by an integration software 28 a correct value 29 results from the angular position of the relevant sensor 3.
Figure 5 shows an embodiment variant of a device according to the invention, which allows a more extensive study of the movements of the trunk, the pelvis and all the limbs of the test subject. For this purpose, this test subject is in this case equipped with a larger number of sensors 3 which are arranged on a special clothing consisting of a two-piece suit 30, gloves 10 and boots 30.
The signals from these sensors 3 are wirelessly transmitted by means of a radio transmitter 32 mounted on the body 1 of the subject to a corresponding receiver 33 which in turn is connected to the aforementioned first computer 4. It is clear that for the
<Desc / Clms Page number 15>
power supply from the sensors 3 and from the radio transmitter 32 batteries to the carrying suit must be provided.
The operation of this device is further analogous to that of the previous embodiment variant.
Figure 6 shows yet another embodiment of a device according to the invention, wherein the behavior of a test subject is observed while driving a car 34. The test subject is, as in the previous embodiment, equipped with a similar clothing with sensors 3.
In this case, a calculation software with Kalman filter is integrated in the microprocessor 18 of each sensor 3 so that each sensor 3 supplies an output signal which represents the correct absolute angular position of the sensor 3.
These output signals are transmitted directly, without the intervention of a first computer 4, via a wireless connection to a transmitter 32 and receiver 33 to the second computer 6 for controlling the virtual model 5.
Moreover, this device is provided with a 3D position tracking system 35 which allows to register the absolute movements of a reference point 36 on the body 2 of the test subject, for example a reference point at the location of the lower neck vertebra or the like. Such position tracking system 35 is known per se and can for instance be realized by a laser tracking camera.
<Desc / Clms Page number 16>
The position tracking system 34 is coupled to the computer 6 so that the recorded movements can be projected on a corresponding reference point 37 of the virtual model 5, whereby in this case the virtual model 5 can also move in the virtual space, this in contrast to the previous one test set-ups, where the reference point 37 of the model 5 is, as it were, frozen in the virtual space and one can thus only observe the relative movements of the body parts 21 relative to this reference point 37 on the screen, comparable to the stereotypical movements of a puppet .
It is clear that the above-described devices according to the invention can be further expanded with additional sensors for, for example, recording the movements of the head, the eyes, the fingers, the curvature of the back and the like. To this end, the subject can additionally be equipped with a special helmet for determining the position of the head and eyes; a so-called "data wave" or glove for registering the position of the fingers; an optical fiber for measuring the curvature of the back; and such.
The present invention is by no means limited to the embodiment described as an example and shown in the figures, but such a method and device can be made according to different variants
<Desc / Clms Page number 17>
without departing from the scope of the invention.