EP2079537A2 - Procede d'ajustement d'affichage pour un systeme de jeux video - Google Patents

Procede d'ajustement d'affichage pour un systeme de jeux video

Info

Publication number
EP2079537A2
EP2079537A2 EP07866424A EP07866424A EP2079537A2 EP 2079537 A2 EP2079537 A2 EP 2079537A2 EP 07866424 A EP07866424 A EP 07866424A EP 07866424 A EP07866424 A EP 07866424A EP 2079537 A2 EP2079537 A2 EP 2079537A2
Authority
EP
European Patent Office
Prior art keywords
vehicle
circuit
video
display
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07866424A
Other languages
German (de)
English (en)
Inventor
Henri Seydoux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot SA
Original Assignee
Parrot SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot SA filed Critical Parrot SA
Publication of EP2079537A2 publication Critical patent/EP2079537A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5573—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history player location
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying

Definitions

  • the invention relates to a display adjustment method for a video game system.
  • Document US 2004/0110565 A1 discloses a video game system comprising a central entity in communication with a head-up display and a position sensor.
  • the system is used with a recreational vehicle, especially a jet ski.
  • the user is installed on the scooter and moves with it on a water surface looking through the head-up display.
  • the head-up display displays virtual elements that blend into the actual vision of the user moving on his vehicle.
  • the document contemplates that the head-up display embeds virtual elements such as obstacles.
  • the virtual obstacles are embedded in the user's field of vision as a function of the signal delivered by one or more sensors such as the position or speed of the vehicle.
  • the document that has just been described does not concern the remote-controlled vehicle and does not propose any solution for adjusting the display of a video game system in the context of a remote-controlled vehicle on a circuit. .
  • the document FR 2 849 522 A1 describes a video game with remote-controlled vehicles, but does not in any way envisage the hypothesis of a non-flat terrain, where the problem of the correspondence between the reality of climbs and descents and the image returned to the player on his screen.
  • the object of the invention is therefore to provide a method for such a display adjustment in the context of a remotely operated vehicle operating on a circuit. According to the invention, this object is achieved by a display adjustment method for a video game system, the system comprising:
  • an electronic entity comprising a display unit, the electronic entity used to remotely control the vehicle on a circuit; the method comprising the following steps: dynamic acquisition, through the sensor, of the instantaneous attitude of the vehicle;
  • the remotely controlled vehicle can preferably be represented by a toy in the form of a land vehicle, including a race car.
  • the electronic entity is a portable unit, in particular a portable game console or a mobile phone.
  • the communication between the electronic entity and the remote-controlled vehicle is carried out by short-distance radio transmission, in particular by Bluetooth or WiFi protocol (registered trademarks).
  • short-distance radio transmission in particular by Bluetooth or WiFi protocol (registered trademarks).
  • trim of the vehicle is meant the position of the vehicle relative to the horizontal plane. In particular, it is the angle that makes the longitudinal axis of the vehicle with the horizontal. The attitude is therefore the longitudinal inclination of the vehicle. This magnitude can also be called pitching, that is to say an inclination around the transverse axis of the vehicle.
  • the display unit of the electronic entity is preferably a video screen, for example an LCD screen, an active matrix screen or other video screen.
  • the vehicle attitude sensor may be part of an on-board vehicle control unit for sensing the position, speed and orientation of the vehicle.
  • the circuit on which the remotely operated vehicle operates is preferably a virtual circuit that is not defined in the real environment in which the vehicle moves, but virtually by the video game system.
  • the circuit may in particular be a racing circuit for a racing game; the remote control vehicle being in this case a toy such as a race car.
  • the dynamic estimate we mean the acquisition and the estimation in continuous time.
  • the dynamic acquisition may for example be a sampling of the sensor signal over time at a certain frequency.
  • the dynamic estimate consists in performing a first long-term average of the instantaneous attitude and / or a second short-term average of the instantaneous attitude to estimate respectively a first inclination parameter of the circuit, namely its slope, and / or a second inclination parameter of the circuit, namely its roughness.
  • the display of the electronic entity consists of a video image from a video sensor arranged on the remotely controlled vehicle, virtual elements being embedded in the video image.
  • the adjustment of the display may include the adjustment of virtual pads embedded in the display of the electronic entity, the pads used to delimit the circuit.
  • the method according to the invention may comprise a training routine with the following steps:
  • the estimate of the inclination parameter (s) of the circuit can be performed by a Kalman filter, that is to say an infinite impulse response filter which estimates the states of a dynamic system from a series of incomplete or noisy measurements.
  • the method according to the invention it is possible in particular to make a racing game with a toy remote controlled in the form of a race car. Indeed, thanks to the dynamic acquisition of the attitude of the vehicle during the game and the dynamic estimation of the inclination of the circuit that follows, it is possible to make a display on an electronic entity that emulates satisfactorily the circuit on the display. Thus, it is possible to take into account the topography of the circuit, which is rarely flat or flat, during the presentation of the display on the electronic entity, and this in real time.
  • FIG. 1 illustrates an overview of the video game system according to the invention
  • FIGS. 2a and 2b show two examples of remotely controlled vehicles according to the invention
  • FIGS. 3a and 3b are schematic diagrams of the electronic elements of a remotely controlled vehicle according to the invention
  • FIGS. 4a to 4c show several examples of aerial images used in the video game system according to the invention
  • FIG. 5 illustrates a game zone definition principle according to the invention
  • Figures 6a and 6b show the two-dimensional view according to the invention
  • Figures 7a to 7c show the perspective view according to the invention
  • FIG. 8 is an example of the point of view delivered by the video camera on board the remote-controlled vehicle according to the invention.
  • Figure 9 is an example of display on the portable console according to the invention.
  • FIG. 10 illustrates the virtual positioning of a racing circuit on an aerial image according to the invention
  • FIG. 11 illustrates the display adjustment method according to the invention
  • Figures 12a to 12c illustrate a method of defining a common reference system according to the invention.
  • Figures 13a to 13c illustrate an alternative version of a racing game according to the invention.
  • Figure 1 gives an overview of a system according to the invention.
  • the system comprises a video game system consisting of a remotely operated vehicle 1 (called by the acronym BTT, that is to say “BlueTooth Toy”, or WIT, that is to say “WiFiToy”) as well as a portable console 3 which communicates with the vehicle 1 via a Bluetooth link 5.
  • BTT that is to say “BlueTooth Toy”
  • WIT that is to say “WiFiToy”
  • the Vehicle 1 can be remotely controlled by the portable console 3 through the Bluetooth link 5.
  • the vehicle 1 is in relation with several satellites 7 through a GPS sensor on the vehicle 1.
  • the portable console 3 can be equipped with a high-speed wireless Internet access connection, such as a WiFi connection 9. This connection allows the console 3 to access the Internet 11.
  • a WiFi connection allows the console 3 to access the Internet 11.
  • an indirect connection to the Internet can be envisaged. 13 through a computer 15.
  • a database 17 containing terrestrial aerial images is accessible through the Internet 11.
  • FIGs 2a and 2b show by way of example two different embodiments of the remote control vehicle 1.
  • the remote control toy 1 is a race car.
  • This race car 1 has a video camera 19 integrated in its roof.
  • the image delivered by the video camera 19 is communicated to the portable console 3 by the Bluetooth link 5 to be displayed on the screen of the portable console 3.
  • FIG. 2b shows that the remote-controlled toy 1 can also be constituted of A quadrocopter with four propellers 21.
  • the quadcopter 1 has a domed video camera 19 located in the center of it.
  • the remote-controlled vehicle 1 can also be in the form of another machine, for example in the form of a boat, a motorcycle or a tank.
  • the remotely operated vehicle 1 is essentially a piloted vehicle that transmits the video, to which sensors are added.
  • Figures 3a and 3b schematically show the main electronic components of the remotely controlled vehicle 1.
  • Figure 3a details the basic electronic components.
  • a computer 23 is connected to various peripheral elements such as the video camera 19, motors 25 used to move the remote control vehicle, and various memories 27 and 29.
  • the memory 29 is an SD card, that is to say a card removable memory for storing digital data. This card 29 can be deleted but preferably it is This is because its function is to record the video image delivered by the camera 19 so as to allow the ironing of recorded video sequences.
  • FIG. 3b shows the additional functions on the remotely operated vehicle 1.
  • the vehicle 1 essentially comprises two additional functions: an inertial unit 31, comprising three accelerometers 33 and three gyroscopes 35, and a GPS sensor 37.
  • the additional functions are connected to the computer 23 for example by serial link.
  • USB connection Universal Serial Bus
  • the inertial unit 31 is an important element of the vehicle 1. It makes it possible to estimate in real time and precisely the coordinates of the vehicle. It estimates in all nine coordinates for the vehicle: the positions X 1 Y, Z of the vehicle in the space; vehicle orientation angles D, D, D (Euler angles); as well as the speeds VX, VY, VZ on each of the three Cartesian axes X, Y and Z.
  • These displacement coordinates come from the three accelerometers 33 as well as from the three gyroscopes 35. These coordinates can be obtained after a Kalman filter at the output of the measurements of the sensors. More specifically, a microcontroller performs the measurement and retransmits by serial link or Serial Bus (Serial Peripheral Interconnect, SPI) to the computer 23.
  • the computer 23 performs mainly Kalman filtering and returns via the Bluetooth connection 5 the determined position of the vehicle 1 3.
  • the calculation of the filtering can be optimized: the computer 23 knows the instructions that are sent to the propulsion engine and steering 25. It can use this information to establish the prediction of the Kalman filter.
  • the instantaneous position of the vehicle 1 determined using the inertial unit 31 is returned at a frequency of 25 Hz to the game console 3, that is to say that the game console receives a position per image.
  • the raw measurements from the inertial unit 31 can be sent to the game console which will itself perform the Kalman filter in place of the computer 23.
  • This solution is not desirable for the simplicity and the coherence of the system because it is better that the totality of the computations of the video game is made on the console 3 and that the entire acquisition of the data is made by the vehicle 1, but it is nevertheless possible.
  • the sensors of the inertial unit 31 can be made in the form of piezoelectric sensors. These sensors have a strong variation in temperature, which means that they must be kept at a constant temperature with a temperature probe and a rheostat or that, using a temperature sensor, the temperature must be measured at the same temperature.
  • the GPS sensor 37 is not an essential function of the remotely operated vehicle 1. However, it allows a great wealth of functions at a modest price. All that is needed is an entry-level GPS, which operates mainly outdoors and does not have a need for real-time tracking of the journey since the real-time monitoring of the journey is provided by the inertial station 29. It is also possible to use a GPS in the form of software.
  • the game console 3 is any portable console available on the market. Examples currently known of portable consoles are the Sony Playstation Portable (PSP) or the Nintendo DS Nintendo. It can be equipped with a Bluetooth 4 dongle (see Fig. 1) to communicate with the vehicle 1 by radio.
  • Database 17 ( Figure 1) contains an aerial image library preferably from around the world. These may be photographs obtained from satellites or planes or helicopters. Figures 4a to 4c show various examples of aerial images obtainable from the database 17.
  • the database 17 is accessible via the Internet so that the console 3 can access it.
  • the aerial images downloaded from the database 17 are used by the game console 3 to create synthetic viewpoints that are integrated into video games running on the console 3.
  • the method according to which the console will now be described will be described.
  • 3 acquires the aerial images from the database 17.
  • the user of the console 3 places his remote-controlled vehicle 1 in a real place, such as in a park or a garden, where he wants to play.
  • the vehicle 1 determines its terrestrial coordinates. These are then transmitted by the Bluetooth link or WiFi 5 to the console 3.
  • the console 3 then connects via the WiFi connection 9 via the Internet to the database 17. If there is no WiFi connection at the place of play, the console 3 stores the determined terrestrial position. Then, the player moves to a computer 15 having access to the Internet.
  • FIG. 5 gives an example of a geometric definition of a two-dimensional game background used for a video game involving the console 3 and the vehicle 1.
  • the squares and rectangles shown in FIG. 5 represent aerial images downloaded from the database 17.
  • the set square A is divided into 9 intermediate rectangles. Of these 9 intermediate rectangles the central rectangle itself is subdivided into 16 squares. Of these 16 squares, 4 squares in the center represent the game zone B itself.
  • This game zone B can be loaded with the maximum definition of the aerial images and the immediate surroundings of the game zone B, that is to say the remaining 12 squares of the 16 squares, can be loaded with a lesser definition of the images.
  • the margins of the game represented by the 8 undivided rectangles, at the periphery of the sub-divided central rectangle, can be loaded with aerial images of the database with still less definition.
  • the console 3 By playing on the definition of different images near or far from the center of the game, the amount of data to be stored and processed on the console is optimized and the visual effect of their perspective is not affected.
  • the farthest images of the center of the game are displayed with a definition corresponding to their distance.
  • Downloaded aerial images are used by console 3 to create different viewpoints that can be used in games corresponding video.
  • the console 3 is capable of creating at least two different viewpoints from the downloaded aerial images, namely a two-dimensional vertical viewpoint (see Figures 6a and 6b) as well as a perspective perspective in three dimensions (see Figures 7a to 7c).
  • Figure 6a shows an aerial image as downloaded by the console 3.
  • the remotely operated vehicle 1 is somewhere on the ground visualized by the aerial image of Figure 6a.
  • This aerial image is used to create a synthetic image as schematically shown in Figure 6b.
  • Rectangle 39 represents the aerial image of Figure 6a.
  • On this rectangle 39 are inlaid three graphic objects 41 and 43. These graphic objects respectively represent the position of the remotely operated vehicle on the game area represented by the rectangle 39 (see the spot 43 which corresponds to the position of the remotely controlled vehicle) and the position of other real or virtual objects (see crosses 41, for example representing the position of real competitors or virtual enemies of a video game).
  • Figures 7a and 7c show the perspective view that can be achieved by the console 3 from the downloaded aerial images.
  • This perspective image comprises a "ground” 45 in which is inserted the downloaded aerial image.
  • the sides 47 are virtual images of infinite perspective, an example of which is shown in FIG. 7b. These are generated by the real-time, three-dimensional graphics engine of game console 3.
  • Figure 8 shows the third point of view 49 which is envisaged in the video game system, namely the point The view provided by the video camera 19 on the remote-controlled vehicle 1.
  • Figure 8 shows an example of such a point of view.
  • Figure 9 shows the game console 3 with a display that summarizes how previously discussed points of view are presented to the player.
  • the point of view 49 corresponding to the video image delivered by the video camera 19.
  • the point of view 49 includes virtual inlays 51 which in the case of FIG. 9 are virtual plots delimiting the path of a circuit virtual.
  • the second viewpoint 55 corresponds to the two-dimensional vertical viewpoint shown in FIGS. 6a and 6b.
  • the viewpoint 55 consists of the reproduction of an aerial image of the playing field, on which is embedded a virtual race circuit 57 with a point 59 moving on the virtual circuit 57. This point 59 indicates the current position of 1.
  • the two-dimensional viewpoint 55 may be replaced by a perspective view as previously described.
  • the display as shown in FIG. 9 comprises a third zone 61 which here shows the virtual gas gauge of the vehicle 1.
  • a video game for the video game system shown in FIG. 1 will now be described.
  • the example is a car race carried out on real terrain using the remotely operated vehicle 1 and the game console 3, the particularity of this game being that the race circuit is not really demarcated in the field. real but is only positioned virtually on the real playing field in which the vehicle 1 is moving.
  • the user proceeds to the acquisition of the aerial image corresponding to his playing field in the manner that has already been described previously.
  • the software draws a virtual race circuit 57 on the downloaded aerial image 39 such that is shown in FIG. 10.
  • the circuit 57 is generated in such a way that its virtual starting line is positioned on the aerial image 39 close to the geographical position of the vehicle 1.
  • This geographical position of the vehicle 1 corresponds to the coordinates delivered by the GPS module, to which adds known physical values of the dimensions of the vehicle 1.
  • the player can rotate the circuit 57 around the starting line, subject the circuit 57 to a homothetic retaining the starting line as a point invariant of the homothety (The homothety is performed in defined proportions corresponding to the maneuverability of the car), or drag the circuit around the starting line.
  • an inertial unit of the flying machine is used to stabilize it.
  • a flight instruction is transmitted by the game console to the flying machine, for example "hovering” "right turn” or “landing".
  • the microcontroller software on board the flying machine uses the control surfaces of the latter: propeller speed modification or aerodynamic control of surfaces to make the measurements of the inertial unit coincide with the flight instruction.
  • instructions are retransmitted by the console to the vehicle microcontroller, for example "turn right” or "brake” or "speed 1 meter / second".
  • the video toy may have main sensors, for example a GPS and / or an inertial unit composed of accelerometers or gyrooscopes. It can also have additional sensors like a video camera, a way to count the turns of the wheels of a car, an air pressure sensor to estimate the speed for a helicopter or an airplane, a pressure sensor. water to determine the depth for a submarine, or analog-to-digital converters to measure power consumption at various points of the electronics. embedded, such as the consumption of each electric motor for propulsion or steering. '
  • the measurements can be used to estimate the position of the video toy on the circuit during the entire game sequence.
  • the measurement mainly used is that of the inertial unit which includes accelerometers and / or gyroscopes.
  • the measurement of this can be supported by using a filter, for example a Kalman filter, which reduces noise and merges the measurements of other sensors, cameras, pressure sensors, measurement of electricity consumption of the motors. , etc.
  • the estimated position of the vehicle 1 can be recaled periodically using the video image delivered by the camera 19 and estimating the movement from significant fixed points of the decoration in the image which are preferably points of strong contrast of the video image.
  • the distance to the fixed points can be estimated by minimizing matrices according to known triangulation techniques.
  • the position can also be recaled over a greater distance (approximately
  • the speed of the video toy can be estimated by counting the wheel turns using for example a coded wheel.
  • the video toy is powered by an electric motor, its speed can also be estimated by measuring the consumption of said engine. This requires knowledge of the performance of the engine at different speeds, which can be measured beforehand on a test bench.
  • Another way of estimating the speed is to use the video camera 19.
  • the video camera 19 In the case of a car or a flying machine, the video camera 19 is fixed or its position is known in relation to the body of the camera. gear and its focal length is also known.
  • the microcontroller of the video toy performs video coding of the MPEG4 type, for example using the H263 or H264 encoding.
  • This coding involves the computation of motion prediction of subset of the image between two video images.
  • this subset may be a square of 16 * 16 pixels.
  • the motion prediction is preferably performed by a hardware accelerator.
  • the set of movements of the subsets of the image provided a excellent speed measurement of the machine. When the vehicle is fixed, the sum of 'movements subsets of the image is close to zero. When the machine advances in a straight line, the image subsets move away from the vanishing point with a speed proportional to the speed of the machine.
  • the screen is divided into several elements as shown in FIG. 9.
  • the left-hand element 49 displays the image delivered by the video camera 19 of the car 1.
  • the right-hand element 55 makes it possible to see the circuit map and the competing cars (see the point of view at the top right of Figure 9).
  • Indicators can visualize the actual speed (at the scale of the car). Game parameters can be added, such as the speed or fuel consumption of the car, which can be simulated (as for a race of a formula 1 grand preced). As part of this video game, the console can also memorize races. If you only have one car, you can run against yourself. In this case, on the screen, we can consider displaying the three-dimensional image in transparency of the position of the car during a stored tour.
  • FIG. 11 details the manner in which the virtual inlays 51, that is to say the pads of the racing circuit, are adapted in the display 49 corresponding to the point of view of the video camera on board the vehicle 1.
  • FIG. 11 shows the topography 63 of the real terrain on which the vehicle 1 moves by executing the racing video game. It is noted that the ground of the playground is not flat but has descents and climbs. The slope of the terrain varies, which is represented by the arrows 65.
  • the inertial unit 31 of the Vehicle 1 has a sensor of the vehicle attitude.
  • the inertial unit makes a real-time acquisition of the instantaneous attitude of the vehicle 1. From the instantaneous values of the attitude, the vehicle electronics 1 estimates two values, namely the slope of the terrain (ie ie the long-term average of the attitude) and the roughness of the circuit (i.e. the short-term average of the base).
  • the software uses the value of the slope to compensate the display, that is to say to move the inlaid pads 51 on the video image as indicated by the arrow 67 in Figure 11.
  • the display software of the display of the pads 51 is learning. After the vehicle 1 has made a first turn on the virtual circuit 57, the slope and roughness values are known for the entire circuit, stored and used in the prediction component of a Kalman filter that re-estimates the slope and the roughness next round.
  • the overlay of the virtual pads 51 on the video image can also be improved by displaying only discontinuous pads and displaying a small number of pads, for example only 4 pads on each side of the road.
  • the remote pads may be of a different color and only serve as indications and not as actual definitions of the contour of the track.
  • the remote studs may also be more spaced than the nearby studs.
  • the estimation of the roughness of the circuit is preferably used to extract the measurement of the slope in the data from the sensors.
  • a learning phase can be conducted by the video game. This learning phase is advantageously performed before the game itself, slow and constant speed controlled by the game console. The player is asked to perform a first lap of circuit during which the measurement of the sensors is memorized. At the end of the lap, the value of the elevation at many points of the circuit is extracted from the stored data. These elevation values are then used during the game to correctly position the virtual pads 51 on the video image.
  • FIGS. 12a to 12c detail a method of defining a common reference frame when the racing game is performed by two or more vehicles Remote controlled 1.
  • the initialisation of such a two-person game can, for example, be carried out by selecting the "two cars" mode on its console. This has the effect that the Bluetooth or WiFi protocol of each car 1 enters "partner search" mode. When the partner car is found, each car 1 announces at its console 3 that the partner has been found. One of the consoles 1 then makes the selection of the game parameters: choice of the circuit as previously described, the number of laps, etc. Then the countdown is started on both consoles: the two cars communicate with each other thanks to the Bluetooth or WiFi protocol.
  • each car 1 communicates with its console 3 but not with those of other cars.
  • the cars 1 then send their coordinates in real time and each car 1 sends its own coordinates and the coordinates of the competitor (s) to its pilot console.
  • the display of the circuit 55 shows the positions of the cars 1.
  • the Bluetooth protocol is in a "Scatternet” mode.
  • One of the cars is then "Master” and the console that is paired with it is “Slave”, as is the other car, which is also "Slave”.
  • the cars exchange their position with each other.
  • Such a racing game with two or more remote-controlled vehicles 1 requires during the initialization of the game that cars 1 are put in the same common repository.
  • FIG. 12a detail the method of defining a corresponding common reference.
  • the remotely operated cars 1 with their video camera 19 are positioned in front of a bridge 69 placed on the actual playing field.
  • This real bridge 69 represents the starting line and is equipped with four LEDs, 71.
  • Each player puts his car 1 so that at least two LEDs 71 are visible on the screen of his console 3.
  • the LEDs 71 have known colors and can flash at a known frequency. In this way, the LEDs 71 can easily be located in the video images delivered by the two cameras respectively.
  • ras video 19 present on each vehicle 1 or each of the consoles 3 performs the image processing and estimated by triangulation the respective position of its car 1 with respect to the bridge 69.
  • FIG. 12b is a front view of the bridge 69 showing the four LEDs 71.
  • Figure 12c shows a representation of the display of a console 3 during the procedure of determining the position of a vehicle 1 with respect to the bridge 69.
  • the computer performing the image processing has succeeded in detecting the two flashing LEDs 71, which is indicated in FIG. 12c by two reticles 73.
  • Such a definition of a common repository compared to the ground and between vehicles is particularly useful for a racing game (each vehicle must refer to the racing circuit).
  • FIGS. 13a to 13c are snapshots corresponding to an alternative version of the racing video game, the racing game not involving this time one or more cars 1 but rather one or more quadcopters 1 as shown in FIG. 2b.
  • the inertial unit is not only used to transmit the three-dimensional coordinates of the toy to the console 3, but also to provide the processor on board the quadrocopter 1 the necessary information for the program that stabilizes the quadcopter 1. With a quadcopter, the race is no longer on a track as in the case of a car but in three dimensions.
  • the race circuit is no longer represented by embedded virtual studs as shown in FIG. 9, but for example by virtual circles 75 embedded in the video image (see FIG. 19 video camera that float in space.
  • the player must direct his quadcopter 1 through the virtual circles 75.
  • the video image delivered by the video camera 19 with virtual inlays the video image delivered by the video camera 19 with virtual inlays
  • the vertical view based on a downloaded aerial image
  • the perspective view also based on a satellite or aerial image downloaded.
  • Figure 13b gives an overview of a video image with embedded virtual circles 75 as it may be in a game involving a quadricopter.
  • the positioning of the circuit on the downloaded aerial image is performed in the same way as for the car race.
  • the circuit is positioned by hand by the player so as to position it correctly according to obstacles and buildings. In the same way, the user can homage the circuit, rotate it around the starting point and drag the starting point onto the track.
  • the step of positioning the circuit 57 is shown in FIG. 13a.
  • a race involving several quadcopters is provided with a separate element defining the starting line, for example a pylon 77 provided with three flashing LEDs or reflecting elements 71.
  • the quadrocopters or drones are aligned in the same mark thanks to the image of their camera 19 and the significant points in the image represented by the three LEDs 71 of the pylon 77 which are flashing. Since all the geometric parameters are known (camera position, focal length, etc.), the apparatus 1 is positioned unambiguously in the common reference frame. Specifically, it positions the machine 1 so that it is placed on the ground with the tower 77 in view, it is verified on the screen of its console 3 that we see the three LEDs 71 flashing.
  • the three flashing LEDs 77 represent the significant points for the recognition of the marker. The fact that they are flashing at a known frequency makes it easier to identify them by the software.
  • the quadricopters 1 exchange the information (each passes to the other its position relative to the pylon 77) and in this way each quadricopter 1 deduces the position of its competitor.
  • the race can begin from the position of the quadrocopter 1 to which the detection of the pylon 77 by image processing has been carried out. But of course the race can also start from another position, the inertial unit can memorize the movements of the quadrocopters 1 of their initial position vis-à-vis the pylon 77 before the race.
  • Another game considered is the shooter between two or more vehicles.
  • the shooting game may involve tanks with a video camera stationary or installed on a turret or quadrocopters or quadricopters against tanks.
  • Each machine has flashing LEDs at a known frequency, with known colors and / or geometry known in advance. Thanks to the communication protocol each machine exchanges with the others information on its type, the position of its LEDs 1 their flashing frequency, their color, etc. Each machine is placed so that at the beginning of the game the LEDs of the Another vehicle is in the field of view of its video sensor 19. By carrying out a triangulation operation it is possible to determine the position of each vehicle relative to one another. The game can then begin. Each machine knows, thanks to its inertial unit and its other means of measurement, its position and its movement. He transmits them to the other machines.
  • the image of a viewfinder is embedded for example in the center of the video image transmitted by each machine.
  • the player may give a projectile firing instruction to another craft.
  • the shooter's software can estimate if the shot has reached its goal.
  • the shot can simulate a projectile that immediately arrives at its target, or simulate the parabolic course of a munition, or the path of a guided missile.
  • the initial velocity of the machine that fires, the velocity of the projectile, the simulation of external parameters, for example atmospheric conditions, can be simulated. In this way, the shooting of the video game can be made more or less complex.
  • Machines such as rolling or flying vehicles can also estimate the position of other gears in the game. This can be done by a pattern recognition algorithm using the image of the camera 19. Otherwise the gears can be provided with parts allowing an identifica- tion such as LEDs. These parts permanently allow the other machines to estimate their position in addition to the information of the inertial unit transmitted by the radio means. This makes the game more realistic. For example, in a hunting game against each other, one of the players may be hiding behind a detail in the field, for example behind a tree. The video game, even if it is informed by radio means of the position of the opponent, can not locate it on the video image and therefore it will invalidate the shot even if it is in the right direction.
  • a sequence of simulation specific to video game scenario can snap.
  • a quadrocopter it can be jolted, no longer fly in a straight line, or be an emergency.
  • a tank it can simulate damage, drive slower or simulate the fact that its turret is blocked.
  • the video transmission can also be modified, for example the images can arrive scrambled, darkened, or effects as the broken cockpit windows can be embedded on the video image.
  • the video game according to the invention can mix:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Toys (AREA)
  • Processing Or Creating Images (AREA)

Abstract

L'invention concerne un procédé d'ajustement d'affichage (49) pour un système de jeux vidéo (1, 3). Le système comprend un véhicule télécommandé (1) avec un capteur (31) de l'assiette du véhicule (1) et une entité électronique (3) comprenant une unité d'affichage, l'entité électronique (3) servant à télécommander le véhicule (1) sur un circuit. Le procédé comprend les étapes suivantes : acquisition dynamique, à travers le capteur (31), de l'assiette instantanée du véhicule (1); estimation dynamique d'au moins un paramètre d'inclinaison du circuit à partir des valeurs de l'assiette instantanée délivrées par le capteur (31); ajustement de l'affichage (49) de l'entité électronique en fonction des valeurs estimées du (des) paramètre(s) d'inclinaison du circuit.

Description

Procédé d'ajustement d'affichage pour un système de jeux vidéo
L'invention concerne un procédé d'ajustement d'affichage pour un sys- tème de jeu vidéo.
Le document US 2004/0110565 A1 décrit un système de jeu vidéo comprenant une entité centrale en communication avec un affichage tête haute et un capteur de position. Le système est utilisé avec un véhicule de loisir, en particulier un scooter des mers. L'utilisateur est installé sur le scooter et se déplace avec celui-ci sur une surface d'eau en regardant à travers l'affichage tête haute. L'affichage tête haute affiche des éléments virtuels qui se fondent dans la vision réelle de l'utilisateur se déplaçant sur son véhicule. Le document envisage que l'affichage tête haute incruste des éléments virtuels tels que des obstacles. Les obstacles virtuels sont incrustés dans le champ de vision de l'utilisateur en fonction du signal délivré par un ou plusieurs capteurs tel que la position ou la vitesse du véhicule.
En revanche, le document qui vient d'être décrit ne s'intéresse pas au véhicule télécommandé et ne propose aucune solution pour l'ajustement de l'affichage d'un système de jeu vidéo dans le contexte d'un véhicule télécommandé sur un circuit.
Le document FR 2 849 522 A1 décrit un jeu vidéo avec des véhicules télécommandés, mais n'envisage en aucune façon l'hypothèse d'un terrain non plat, où se poserait le problème de la concordance entre la réalité des montées et des descentes et l'image restituée au joueur sur son écran. Le but de l'invention est donc de proposer un procédé permettant un tel ajustement d'affichage dans le contexte d'un véhicule télécommandé évoluant sur un circuit. Selon l'invention, ce but est atteint par un procédé d'ajustement d'affi- chage pour un système de jeu vidéo, le système comprenant :
- un véhicule télécommandé avec un capteur de l'assiette du véhicule ; et
- une entité électronique comprenant une unité d'affichage, l'entité électronique servant à télécommander le véhicule sur un circuit ; le procédé comprenant les étapes suivantes : - acquisition dynamique, à travers le capteur, de l'assiette instantanée du véhicule ;
- estimation dynamique d'au moins un paramètre d'inclinaison du circuit à partir des valeurs de l'assiette instantanée délivrées par le capteur ; - ajustement de l'affichage de l'entité électronique en fonction des valeurs estimées du (des) paramètre(s) d'inclinaison du circuit. Le véhicule télécommandé peut de préférence être représenté par un jouet sous forme d'un véhicule terrestre, notamment une voiture de course. De préférence, l'entité électronique est une unité portable, no- tamment une console de jeu portable ou un téléphone mobile.
De façon avantageuse, la communication entre l'entité électronique et le véhicule télécommandé s'effectue par transmission radio à courte distance, notamment par protocole Bluetooth ou WiFi (marques déposées). Par "assiette" du véhicule, on entend la position du véhicule par rapport au plan horizontal. En particulier, il s'agit de l'angle que fait l'axe longitudinal du véhicule avec l'horizontale. L'assiette est donc l'inclinaison longitudinale du véhicule. Cette grandeur peut aussi être appelée tangage, c'est- à-dire une inclinaison autour de l'axe transversal du véhicule. L'unité d'affichage de l'entité électronique est de préférence un écran vi- déo, par exemple un écran LCD, un écran à matrice active ou autre écran vidéo.
Le capteur de l'assiette du véhicule peut faire partie d'une centrale iner- tielle embarquée sur le véhicule servant à capter la position, la vitesse et l'orientation du véhicule. Le circuit sur lequel évolue le véhicule télécommandé est de préférence un circuit virtuel n'étant pas défini dans l'environnement réel dans lequel se déplace le véhicule mais de façon virtuelle par le système de jeu vidéo. Le circuit peut en particulier être un circuit de course pour un jeu de course ; le véhicule télécommandé étant dans ce cas un jouet tel qu'une voiture de course.
Par acquisition ou estimation "dynamique" on entend l'acquisition et l'estimation en continu dans le temps. L'acquisition dynamique peut par exemple être un échantillonnage du signal du capteur dans le temps à une certaine fréquence. De préférence, l'estimation dynamique consiste à effectuer une première moyenne à long terme de l'assiette instantanée et/ou une deuxième moyenne à court terme de l'assiette instantanée pour estimer respectivement un premier paramètre d'inclinaison du circuit, à savoir sa pente, et/ou un deuxième paramètre d'inclinaison du circuit, à savoir sa rugosité. De façon préférée, l'affichage de l'entité électronique est constitué d'une image vidéo en provenance d'un capteur vidéo agencé sur le véhicule télécommandé, des éléments virtuels étant incrustés dans l'image vidéo. De plus, l'ajustement de l'affichage peut comprendre l'ajustement de plots virtuels incrustés dans l'affichage de l'entité électronique, les plots servant à délimiter le circuit.
En outre, le procédé selon l'invention peut comprendre une routine d'apprentissage avec les étapes suivantes :
- mémorisation des valeurs estimées du (des) paramètre(s) d'inclinai- son correspondant à un tour du circuit ; et
- utilisation des valeurs mémorisées pour affiner l'estimation du (des) paramètre(s) d'inclinaison du circuit.
L'estimation du (des) paramètre (s) d'inclinaison du circuit peut être effectuée par un filtre de Kalman, c'est-à-dire un filtre à réponse impulsionnelle infinie qui estime les états d'un système dynamique à partir d'une série de mesures incomplètes ou bruitées.
Grâce au procédé selon l'invention, on peut en particulier réaliser un jeu de course avec un jouet télécommandé sous forme d'une voiture de course. En effet, grâce à l'acquisition dynamique de l'assiette du véhicule durant le jeu et l'estimation dynamique de l'inclinaison du circuit qui s'ensuit, il est possible de réaliser un affichage sur une entité électronique qui émule de façon satisfaisante le circuit sur l'affichage. Ainsi, il est possible de prendre en compte la topographie du circuit, qui est rarement plate ou plane, lors de la présentation de l'affichage sur l'en- tité électronique, et ceci en temps réel.
0
On va maintenant décrire des exemples de mise en œuvre des procédés de l'invention, ainsi que des dispositifs et systèmes représentant des for- mes de réalisation de l'invention, en référence aux dessins annexés où les mêmes références numériques désignent d'une figure à l'autre des éléments identiques ou fonctionnellement semblables. La figure 1 illustre une vue d'ensemble du système de jeu vidéo selon l'in- vention ;
Les figures 2a et 2b montrent deux exemples de véhicules télécommandés selon l'invention ;
Les figures 3a et 3b sont des schémas synoptiques des éléments électroniques d'un véhicule télécommandé selon l'invention ; Les figures 4a à 4c montrent plusieurs exemples d'images aériennes utilisées dans le système de jeu vidéo selon l'invention ; La figure 5 illustre un principe de définition de zones de jeu selon l'invention ; Les figures 6a et 6b montrent la vue en deux dimensions selon l'inven- tion ;
Les figures 7a à 7c montrent la vue en perspective selon l'invention ;
La figure 8 est un exemple du point de vue délivré par la caméra vidéo embarquée sur le véhicule télécommandé selon l'invention ;
La figure 9 est un exemple d'affichage sur la console portable selon l'in- vention ;
La figure 10 illustre le positionnement virtuel d'un circuit de course sur une image aérienne selon l'invention ;
La figure 11 illustre le procédé d'ajustement d'affichage selon l'invention ; Les figures 12a à 12 c illustrent un procédé de définition d'un référentiel commun selon l'invention ; et
Les figures 13a à 13 c illustrent une version alternative d'un jeu de course selon l'invention.
0
La figure 1 donne une vue d'ensemble d'un système selon l'invention.
Le système comprend un système de jeu vidéo constitué d'un véhicule télécommandé 1 (dénommé par l'acronyme BTT, c'est-à-dire « BlueTooth Toy », ou bien WIT, c'est-à-dire « WiFiToy ») ainsi que d'une console portable 3 qui communique avec le véhicule 1 par une liaison Bluetooth 5. Le véhicule 1 peut être télécommandé par la console portable 3 à travers la liaison Bluetooth 5.
Le véhicule 1 est en relation avec plusieurs satellites 7 à travers un capteur GPS embarqué sur le véhicule 1. La console portable 3 quant à elle peut être équipée d'une connexion d'accès à Internet sans fil à haut débit, telle qu'une connexion WiFi 9. Cette connexion permet à la console 3 d'accéder au réseau Internet 11. De façon alternative, si la console portable n'est pas équipée elle-même d'une connexion à Internet, on peut envisager une connexion indirecte à Internet 13 à travers un ordinateur 15.
Une base de données 17 contenant des images aériennes terrestres est accessible à travers l'Internet 11.
Les figures 2a et 2b montrent à titre d'exemple deux réalisations différentes du véhicule télécommandé 1. Sur la figure 2a, le jouet télécommandé 1 est une voiture de course. Cette voiture de course 1 dispose d'une caméra vidéo 19 intégrée dans son toit. L'image délivrée par la caméra vidéo 19 est communiquée à la console portable 3 par la liaison Bluetooth 5 pour être affichée sur l'écran de la console portable 3. La figure 2b montre que le jouet télécommandé 1 peut aussi être consti- tué d'un quadricoptère à 4 hélices 21. De même façon que pour la voiture de course, le quadricoptère 1 dispose d'une caméra vidéo 19 sous forme de dôme se trouvant au centre de celui-ci.
Bien entendu, le véhicule télécommandé 1 peut aussi se présenter sous la forme d'un autre engin, par exemple sous la forme d'un bateau, d'une moto ou d'un char.
En résumé, le véhicule télécommandé 1 est essentiellement un véhicule piloté qui transmet la vidéo, auquel on ajoute des capteurs. Les figures 3a et 3b montrent de façon schématique les principaux composants électroniques du véhicule télécommandé 1. La figure 3a détaille les composants électroniques de base. Un calculateur 23 est connecté à différents éléments périphériques tels que la caméra vidéo 19, des moteurs 25 servant à déplacer le véhicule télécommandé, et diverses mémoires 27 et 29. La mémoire 29 est une carte SD, c'est-à-dire une carte mémoire amovible de stockage de données numéri- ques. Cette carte 29 peut être supprimée mais de préférence elle est gar- dée car sa fonction est d'enregistrer l'image vidéo délivrée par la caméra 19 pour ainsi permettre le repassage de séquences vidéo enregistrées. La figure 3b montre les fonctions additionnelles embarquées sur le véhicule télécommandé 1. Le véhicule 1 comprend essentiellement deux fonc- tions additionnelles : une centrale inertielle 31, comprenant trois accélé- romètres 33 et trois gyroscopes 35, et un capteur GPS 37. Les fonctions additionnelles sont connectées au calculateur 23 par exemple par liaison série. On peut aussi ajouter une connexion USB (Universal Sériai Bus) au véhicule 1 pour pouvoir mettre à jour les logiciels exécutés dans le système électronique du véhicule 1.
La centrale inertielle 31 est un élément important du véhicule 1. Elle permet d'estimer en temps réel et précisément les coordonnées du véhicule. Elle estime en tout neuf coordonnées pour le véhicule : les positions X1 Y, Z du véhicule dans l'espace ; les angles d'orientation D, D, D du véhicule (angles d'Euler) ; ainsi que les vitesses VX, VY, VZ sur chacun des trois axes cartésiens X, Y et Z.
Ces coordonnées de déplacement proviennent des trois accéléromètres 33 ainsi que des trois gyroscopes 35. Ces coordonnées peuvent être obtenues après un filtre de Kalman en sortie des mesures des capteurs. Plus précisément, un microcontrôleur effectue la mesure et retransmet par liaison série ou bus série (Sériai Peripheral Interconnect, SPI) au calculateur 23. Le calculateur 23 effectue principalement un filtrage de Kalman et renvoie par la connexion Bluetooth 5 la position ainsi déterminée du véhicule 1 à la console de jeu 3. Le calcul du filtrage peut être optimisé : le calculateur 23 connaît les consignes qui sont envoyées au moteur de propulsion et de direction 25. Il peut utiliser ces informations pour établir la prédiction du filtre de Kalman. La position instantanée du véhicule 1 déterminée à l'aide de la centrale inertielle 31 est renvoyée à une fréquence de 25 Hz à la console de jeu 3, c'est-à-dire que la console de jeu reçoit une position par image.
Si le calculateur 23 est trop chargé en calcul, les mesures brutes issues de la centrale inertielle 31 peuvent être envoyées à la console de jeu qui effectuera elle-même le filtre de Kalman à la place du calculateur 23. Cette solution n'est pas souhaitable pour la simplicité et la cohérence du système car il vaut mieux que la totalité des calculs du jeu vidéo soit faite sur la console 3 et que la totalité de l'acquisition des données soit faite par le véhicule 1 , mais elle est néanmoins envisageable. Les capteurs de la centrale inertielle 31 peuvent être réalisés sous forme de capteurs piézoélectriques. Ces capteurs ont une forte variation à la température, ce qui signifie qu'on doit les maintenir à une température constante avec une sonde de température et un rhéostat ou qu'on doit, en utilisant une sonde de température, mesurer la température au niveau de ces capteurs piézoélectriques et compenser par logiciel la variation des capteurs à la température. Le capteur GPS 37 n'est pas une fonction essentielle du véhicule télécommandé 1. Cependant, il permet une grande richesse de fonctions à un prix modeste. Il suffit un GPS d'entrée de gamme qui fonctionne principalement en extérieur et qui n'a pas un besoin de suivi en temps réel du trajet puisque le suivi en temps réel du trajet est assuré par la centrale iner- tielle 29. Il est aussi envisageable d'utiliser un GPS sous forme de logiciel. La console de jeu 3 est une console portable quelconque disponible sur le marché. Des exemples connus actuellement de consoles portables sont la Playstation portable (PSP) de Sony ou la Nintendo DS de Nintendo. Elle peut être pourvue d'une clé (dongle) Bluetooth 4 (cf. fig. 1) pour commu- niquer par radio avec le véhicule 1.
La base de données 17 (figure 1 ) contient une bibliothèque d'images aériennes de préférence du monde entier. Il peut s'agir de photos obtenues à partir de satellites ou d'avions ou d'hélicoptères. Les figures 4a à 4c montrent divers exemples d'images aériennes pouvant être obtenues de la base de données 17. La base de données 17 est accessible par Internet afin que la console 3 puisse y accéder.
Les images aériennes téléchargées de la base de données 17 sont utilisées par la console de jeu 3 pour créer des points de vue synthétiques qui sont intégrés dans des jeux vidéo s'exécutant sur la console 3. On va maintenant décrire le procédé selon lequel la console 3 acquiert les images aériennes de la base de données 17. Pour cela, l'utilisateur de la console 3 place son véhicule télécommandé 1 à un endroit réel, tel que dans un parc ou un jardin, où il veut jouer. Grâce au capteur GPS 37, le véhicule 1 détermine ses coordonnées terrestres. Celles-ci sont alors transmises par la liaison Bluetooth ou WiFi 5 à la console 3. La console 3 se connecte alors par la connexion WiFi 9 à travers Internet à la base de données 17. S'il n'y a pas de connexion WiFi sur le lieu du jeu, la console 3 mémorise la position terrestre déterminée. Ensuite, le joueur se déplace vers un ordinateur 15 ayant accès à Internet. Le joueur branche la console 3 sur l'ordinateur et la connexion entre la console 3 et la base de données 17 s'effectue alors de façon indirecte à travers l'ordinateur 15. La connexion entre la console 3 et la base de données 17 étant établie, les coordonnées terrestres mémorisées par la console 3 sont utilisées pour effectuer une recherche d'images aériennes ou de cartes dans la base de données 17 qui correspondent aux coordonnées terrestres. Une fois qu'une image reproduisant la zone terrestre dans laquelle se trouve le véhicule 1 a été trouvée dans la base de données 17, la console 3 télécharge l'image aérienne trouvée. La figure 5 donne un exemple de définition géométrique d'un fond de jeu en deux dimensions utilisé pour un jeu vidéo impliquant la console 3 et le véhicule 1.
Les carrés et rectangles montrés à la figure 5 représentent des images aériennes téléchargées de la base de données 17. Le carré d'ensemble A est divisé en 9 rectangles intermédiaires. De ces 9 rectangles intermédiai- res le rectangle central est lui-même sous divisé en 16 carrés. De ces 16 carrés, 4 carrés au centre représentent la zone de jeu B proprement dite. Cette zone de jeu B peut être chargée avec la définition maximum des images aériennes et les alentours immédiats de la zone de jeu B, c'est-à- dire les 12 carrés restants des 16 carrés, peuvent être chargés avec une définition moindre des images aériennes et les marges du jeu représentées par les 8 rectangles non sous divisés, à la périphérie du rectangle central sous divisé, peuvent être chargées avec des images aériennes de la base de données avec une définition encore moindre. En jouant sur la définition des différentes images proches ou éloignées du centre du jeu, la quantité de données à stocker et à traiter sur la console est optimisée et l'effet visuel de leur mise en perspective n'en est pas affecté. Les images les plus lointaines du centre du jeu sont affichées avec une définition correspondant à leur éloignement. Les images aériennes téléchargées sont utilisées par la console 3 pour créer des points de vue différents qui pourront être utilisés dans des jeux vidéo correspondants. Plus précisément, on envisage que Ia console 3 est capable de créer au moins deux points de vue différents à partir des images aériennes téléchargées, à savoir un point de vue à la verticale en deux dimensions (cf. les figures 6a et 6b) ainsi qu'un point de vue en perspective en trois dimensions (cf. les figures 7a à 7c).
La figure 6a montre une image aérienne telle que téléchargée par la console 3. Le véhicule télécommandé 1 se trouve quelque part sur le terrain visualisé par l'image aérienne de la figure 6a. Cette image aérienne est utilisée pour créer une image de synthèse telle que montrée schéma- tiquement à la figure 6b. Le rectangle 39 représente l'image aérienne de la figure 6a. Sur ce rectangle 39 sont incrustés trois objets graphiques 41 et 43. Ces objets graphiques représentent respectivement la position du véhicule télécommandé sur la zone de jeu représentée par le rectangle 39 (cf. la tache 43 qui correspond à la position du véhicule télécommandé) et la position d'autres objets réels ou virtuels (cf. les croix 41 , pouvant par exemple représenter la position de concurrents réels ou d'ennemis virtuels d'un jeu vidéo).
Il est envisageable que le logiciel du véhicule 1 veille à ce que celui-ci ne sorte pas de la zone de jeu définie par le rectangle 39. Les figures 7a et 7c montrent le point de vue en perspective qui peut être réalisé par la console 3 à partir des images aériennes téléchargées. Cette image en perspective comprend un "sol" 45 dans lequel est inséré l'image aérienne téléchargée. Les côtés 47 quant à eux sont des images virtuelles de perspective à l'infini dont un exemple est montré à la figure 7b. Celles- ci sont générées par le moteur graphique trois dimensions en temps réel de la console de jeu 3.
Comme pour le point de vue en deux dimensions, des objets graphiques 41 et 43 indiquent aux joueurs la position de son propre véhicule (43) ainsi que la position de co-joueurs ou d'ennemis potentiels (41 ). Pour la création des points de vue, il est aussi envisageable de télécharger le maillage d'élévation de la base de données 17. La figure 8 montre le troisième point de vue 49 qui est envisagé dans le système de jeu vidéo, à savoir le point de vue délivré par la caméra vidéo 19 embarquée sur le véhicule télécommandé 1. La figure 8 montre un exemple d'un tel point de vue. Sur cette image réelle vidéo, on incruste différents objets graphiques virtuels en fonction du jeu vidéo utilisé par le joueur.
La figure 9 montre la console de jeu 3 avec un affichage qui résume de quelle façon les points de vue discutés antérieurement sont présentés au joueur. On distingue bien le point de vue 49 correspondant à l'image vidéo délivrée par la caméra vidéo 19. Le point de vue 49 comprend des incrustations virtuelles 51 qui dans le cas de la figure 9 sont des plots virtuels délimitant le parcours d'un circuit virtuel. Dans le point de vue 49, on peut aussi voir le capot réel 53 du véhicule téléguidé 1. Le deuxième point de vue 55 correspond au point de vue vertical en deux dimensions montré aux figures 6a et 6b. Le point de vue 55 est constitué de la reproduction d'une image aérienne du terrain de jeu, sur laquelle est incrusté un circuit de course virtuel 57 avec un point 59 se déplaçant sur le circuit virtuel 57. Ce point 59 indique la position actuelle de l'engin télé- guidé 1. En fonction du jeu vidéo, le point de vue en deux dimensions 55 peut être remplacé par une vue en perspective telle que décrite antérieurement. Finalement, l'affichage tel que montré à la figure 9 comprend une troisième zone 61 qui montre ici la jauge d'essence virtuelle du véhicule 1. On va maintenant décrire un exemple de jeu vidéo pour le système de jeu vidéo montré à la figure 1. L'exemple est une course de voitures effectuée sur un terrain réel à l'aide du véhicule télécommandé 1 et de la console de jeu 3, la particularité de ce jeu étant que le circuit de course n'est pas réellement démarqué sur le terrain réel mais est uniquement positionné de façon virtuelle sur le terrain réel de jeu dans lequel évolue le véhi- cule 1.
Pour initialiser le jeu vidéo de course, l'utilisateur procède à l'acquisition de l'image aérienne correspondant à son terrain de jeu de la façon qui a déjà été décrite antérieurement. Une fois que la console de jeu 3 a téléchargé l'image aérienne 39 reproduisant une vue verticale du terrain de jeu sur lequel se trouve la voiture 1 , le logiciel dessine un circuit de course virtuel 57 sur l'image aérienne 39 téléchargée tel que cela est montré à la figure 10. Le circuit 57 est généré de telle façon que sa ligne de départ virtuelle soit positionnée sur l'image aérienne 39 à proximité de la position géographique du véhicule 1. Cette position géographique du véhicule 1 correspond aux coordonnées délivrées par le module GPS, à laquelle on ajoute des valeurs physiques connues des dimensions du véhicule 1. Avec les touches 58 de la console 3, le joueur peut faire pivoter le circuit 57 autour de la ligne de départ, soumettre le circuit 57 à une homothétie en conservant la ligne de départ comme point invariant de l'homothétie (L'homothétie est réalisée dans des proportions définies correspondant à la manceuvrabilité de la voiture), ou faire glisser le circuit autour de la ligne de départ.
On peut aussi prévoir de faire glisser la ligne de départ sur le circuit, le véhicule devant dans ce cas là rejoindre la ligne de départ pour commen- cer la partie.
Tout cela peut par exemple être utile si le jardin de la maison où le joueur désire exécuter le jeu vidéo n'est pas assez grand pour le circuit dessiné initialement par le logiciel. Le joueur peut ainsi changer la position du circuit virtuel jusqu'à ce que celui-ci soit bien positionné sur le terrain de jeu réel.
Dans le cadre d'un jouet vidéo volant qui est une des applications préférées, par exemple un quadricoptère, une centrale inertielle de l'engin volant est utilisée pour le stabiliser. Une consigne de vol est transmise par la console de jeux à l'engin volant, par exemple « vol stationnaire » « virage à droite » ou « atterrissage ». Le logiciel du microcontrôleur embarqué sur l'engin volant utilise les gouvernes de celui-ci : modification de vitesse des hélices ou contrôle de gouvernes aérodynamiques pour faire coïncider les mesures de la centrale inertielle avec la consigne de vol. De même, dans le cas du jouet vidéo de type véhicule automobile, des consignes sont retransmises par la console au microcontrôleur du véhicule, par exemple « tourner à droite » ou « freiner » ou « vitesse 1 mètre/seconde ».
Le jouet vidéo peut disposer de capteurs principaux, par exemple un GPS et/ou une centrale inertielle composée d'accéléromètres ou de gy- roscopes. Il peut aussi disposer de capteurs additionnels comme une caméra vidéo, un moyen de compter les tours des roues d'une voiture, un capteur de pression de l'air pour estimer la vitesse pour un hélicoptère ou un avion, un capteur de pression d'eau pour déterminer la profondeur pour un sous marin, ou des convertisseurs analogique vers numérique pour mesurer la consommation de courant à divers points de l'électroni- que embarquée, comme par exemple la consommation de chaque moteur électrique pour la propulsion ou la direction. '
Ces mesures peuvent être utilisées pour estimer la position du jouet vidéo sur le circuit durant toute la séquence du jeu. La mesure principalement utilisée est celle de la centrale inertielle qui comprend des accéléromètres et/ou gyroscopes. La mesure de celle-ci peut être confortée en utilisant un filtre, par exemple un filtre de Kalman, qui permet de réduire le bruit et de fusionner les mesures des autres capteurs, caméras, capteurs de pression, mesure de consommation électri- que des moteurs, etc..
Par exemple, la position estimée du véhicule 1 peut être recalée périodiquement en utilisant l'image vidéo délivrée par la caméra 19 et en estimant le mouvement à partir de points fixes significatifs du décor dans l'image qui sont de préférence des points de fort contraste de l'image vi- déo. La distance aux points fixes peut être estimée en minimisant des matrices selon des techniques de triangulation connues. La position peut aussi être recalée sur une plus grande distance (environ
50 mètres) en utilisant le GPS, en particulier des modules GPS récents utilisant des mesures de phases du signal des satellites. La vitesse du jouet vidéo peut être estimée en comptant les tours de roue en utilisant par exemple une roue codée.
51 le jouet vidéo est propulsé par un moteur électrique, sa vitesse peut aussi être estimée en mesurant la consommation dudit moteur. Ceci requiert la connaissance du rendement du moteur à différents régimes, qui peut être mesuré préalablement sur un banc d'essai.
Un autre moyen d'estimer la vitesse est d'utiliser la caméra vidéo 19. Dans le cas d'une voiture ou d'un engin volant, la caméra vidéo 19 est fixe ou bien sa position est connue par rapport au corps de l'engin et sa longueur focale est aussi connue. Le microcontrôleur du jouet vidéo effectue un codage vidéo de type MPEG4, par exemple en utilisant le codage H263 ou H264. Ce codage implique le calcul de prédiction de mouvement de sous-ensemble de l'image entre deux images vidéo. Par exemple, ce sous-ensemble peut être un carré de 16*16 pixels. La prédiction de mouvement est de préférence effectuée par un accélérateur matériel. L'ensemble des mouvements des sous-ensembles de l'image fourni une excellente mesure de vitesse de l'engin. Lorsque l'engin est fixe, la somme des' mouvements des sous-ensembles de l'image est proche de zéro. Lorsque l'engin avance en ligne droite, les sous-ensembles d'image s'éloignent du point de fuite avec une vitesse proportionnelle à la vitesse de l'engin.
Dans le contexte du jeu vidéo de course de voitures, l'écran est divisé en plusieurs éléments tel que cela est montré à la figure 9. L'élément de gauche 49 visualise l'image délivrée par la caméra vidéo 19 de la voiture 1. L'élément de droite 55 permet de voir la carte du circuit et les voitures concurrentes (cf. le point de vue en haut à droite de la figure 9).
Des indicateurs peuvent visualiser la vitesse réelle (à l'échelle de la voiture). Des paramètres du jeu peuvent être ajoutés, comme la vitesse ou la consommation d'essence de la voiture, qui peuvent être simulés (comme pour une course d'un grand prix de formule 1 ). Dans le cadre de ce jeu vidéo, la console peut aussi mémoriser des courses. Si on ne dispose que d'une voiture, on peut courir contre soi-même. Dans ce cas là, sur l'écran, on peut envisager d'afficher l'image en trois dimensions en transparence de la position de la voiture lors d'un tour mémorisé. La figure 11 détaille la façon dont les incrustations virtuelles 51 , c'est-à- dire les plots du circuit de course, sont adaptées dans l'affichage 49 correspondant au point de vue de la caméra vidéo embarquée sur le véhicule 1. La figure 11 montre de côté la topographie 63 du terrain réel sur lequel se déplace le véhicule 1 en exécutant le jeu vidéo de course. On constate que le sol du terrain de jeu n'est pas plat mais présente des descentes et des montées. La pente du terrain varie, ce qui est représenté par les flèches 65.
Par conséquent, l'incrustation des limites du circuit 51 sur l'image vidéo ne peut pas être statique mais doit s'adapter en fonction de la pente du ter- rain de jeu. Pour prendre en compte ce problème, la centrale inertielle 31 du véhicule 1 dispose d'un capteur de l'assiette du véhicule. La centrale inertielle effectue une acquisition en temps réel de l'assiette instantanée du véhicule 1. A partir des valeurs instantanées de l'assiette, l'électronique du véhicule 1 estime deux valeurs, à savoir la pente du terrain (c'est-à-dire la moyenne à long terme de l'assiette) et la rugosité du circuit (c'est-à-dire la moyenne à court terme de l'assiette). Le logiciel utilise la valeur de la pente pour compenser l'affichage, c'est-à-dire pour déplacer les plots incrustés 51 sur l'image vidéo tel que cela est indiqué par la flèche 67 à la figure 11. II est aussi prévu que le logiciel d'ajustement de l'affichage des plots 51 fasse de l'apprentissage. Après que le véhicule 1 ait effectué un premier tour sur le circuit virtuel 57, les valeurs de pente et de rugosité sont connues pour tout le circuit, mémorisées et utilisées dans la composante prédiction d'un filtre de Kalman qui réestime la pente et la rugosité au pro- chain tour.
L'incrustation des plots virtuels 51 sur l'image vidéo peut aussi être améliorée en affichant uniquement des plots discontinus et en affichant un nombre faible de plots, par exemple uniquement 4 plots de chaque côté de la route. De plus, les plots distants peuvent être d'une couleur diffé- rente et uniquement servir comme indications et non comme définitions réelles du contour de la piste. De plus, les plots distants peuvent aussi être plus espacés que les plots proches.
En fonction de l'application envisagée, il peut s'avérer nécessaire d'estimer en plus le mouvement de roulis de la voiture pour ajuster la position des plots 51 , c'est-à-dire l'inclinaison éventuelle de la voiture par rapport à son axe longitudinal.
L'estimation de la rugosité du circuit sert de préférence à extraire la mesure de la pente dans les données issues des capteurs. Afin de définir précisément la géométrie du sol sur laquelle le circuit est posé, une phase d'apprentissage peut être conduite par le jeu vidéo. Cette phase d'apprentissage s'effectue avantageusement avant le jeu proprement dit, à vitesse lente et constante commandée par la console de jeux. Il est demandé au joueur de réaliser un premier tour de circuit pendant lequel la mesure des capteurs est mémorisée. A la fin du tour de piste, la valeur de l'élévation en de nombreux points du circuit est extraite des données mémorisées. Ces valeurs d'élévation sont ensuite utilisées durant le jeu pour positionner correctement les plots virtuels 51 sur l'image vidéo. Les figures 12a à 12c détaillent un procédé de définition d'un référentiel commun lorsque le jeu de course est effectué par deux ou plus véhicules télécommandés 1. Dans ce cas de figure, on est en présence de deux joueurs disposant chacun d'un véhicule télécommandé 1 et d'une console portable 3. Ces deux joueurs désirent effectuer l'un contre l'autre avec leurs deux véhicules 1 une course de voiture sur un circuit virtuel 57. L'ini- tialisation d'un tel jeu à deux peut par exemple s'effectuer en sélectionnant le mode "deux voitures" sur sa console. Ceci a pour effet que le protocole Bluetooth ou WiFi de chaque voiture 1 entre en mode "recherche de partenaire". Lorsque la voiture partenaire est trouvée, chaque voiture 1 annonce à sa console 3 que le partenaire a été trouvé. Une des consoles 1 effectue alors la sélection des paramètres du jeu : choix du circuit tel que décrit antérieurement, le nombre de tours de course, etc. Puis le compte à rebours est lancé sur les deux consoles : les deux voitures communiquent entre elles grâce au protocole Bluetooth ou WiFi. Dans un but de simplification des échanges entres les différents périphériques chaque voiture 1 communique avec sa console 3 mais non avec celles des autres voitures. Les voitures 1 s'envoient alors leurs coordonnées en temps réel et chaque voiture 1 envoie ses propres coordonnées et les coordonnées du ou des concurrents à sa console 3 pilote. Sur la console, l'affichage du circuit 55 montre les positions des voitures 1. Dans un tel jeu à voitures, le protocole Bluetooth se trouve dans un mode « Scatternet ». L'une des voitures est alors « Maître » et la console qui lui est appareillée est « Esclave », de même que l'autre voiture qui elle aussi est « Esclave ». De plus, les voitures s'échangent entre elles leur position. Un tel jeu de course avec deux ou plusieurs véhicules télécommandés 1 nécessite lors de l'initialisation du jeu que les voitures 1 soient mises dans le même référentiel commun. Les figures 12a à 12c détaillent le procédé de définition d'un référentiel commun correspondant. Tel que le montre la figure 12a, les voitures télécommandées 1 avec leur caméra vidéo 19 sont positionnées en face d'un pont 69 placé sur le ter- rain de jeu réel. Ce pont réel 69 représente la ligne de départ et est équipé de quatre LED ,71. Chaque joueur pose sa voiture 1 de manière à ce qu'au moins deux LED 71 soient visibles sur l'écran de sa console 3. Les LED 71 ont des couleurs connues et peuvent clignoter à une fréquence connue. De cette façon, les LED 71 peuvent être repérés facile- ment dans les images vidéo délivrées respectivement par les deux camé- ras vidéo 19. Un calculateur présent sur chacun des véhicules 1 ou chacune des consoles 3 effectue du traitement d'image et estime par triangulation la position respective de sa voiture 1 par rapport au pont 69. Une fois qu'une voiture 1 a estimé sa position par rapport au pont 69, elle transmet sa position à l'autre voiture 1. Les deux voitures 1 ayant estimé chacune leur position par rapport au pont 69, on en déduit la position des voitures 1 entre elles et la course peut commencer. La figure 12b est une vue de devant du pont 69 montrant les quatre LED 71. La figure 12c donne une représentation de l'affichage d'une console 3 lors de la procédure de détermination de Ia position d'un véhicule 1 par rapport au pont 69. Sur la figure 12c, on voit clairement que le calculateur effectuant le traitement d'image a réussi à détecter les deux LED clignotantes 71 , ce qui est indiqué sur la figure 12c par deux réticules 73. Une telle définition d'un référentiel commun par rapport au sol et entre les véhicules est particulièrement utile pour un jeu de course (chaque véhicule doit se référencer au circuit de course).
Pour d'autre jeux vidéo, tel qu'un jeu de tir, la définition d'un référentiel commun est plus simple : pour chaque véhicule il suffit de connaître sa position par rapport aux concurrents. Les figures 13a à 13c sont des clichés correspondant à une version alternative du jeu vidéo de course, le jeu de course n'impliquant cette fois non une ou plusieurs voitures 1 mais plutôt un ou plusieurs quadricoptères 1 tel que montré à la figure 2b. Dans ce cas là, où le véhicule télécommandé 1 est un quadricoptère, la centrale inertielle est non seulement utilisée pour transmettre les coordonnées en trois dimensions du jouet à la console 3, mais aussi pour fournir au processeur embarqué sur le quadricoptère 1 les informations nécessaires pour le programme qui stabilise le quadricoptère 1. Avec un quadricoptère, la course n'est plus sur une piste comme dans le cas d'une voiture mais en trois dimensions. Dans ce cas, le circuit de course n'est plus représenté par des plots virtuels incrustés tels que montré à la figure 9, mais par exemple par des cercles virtuels 75 incrustés dans l'image vidéo (cf. fig. 13b) délivrée par la caméra vidéo 19 qui flottent dans l'espace. Le joueur doit diriger son quadricoptère 1 à travers les cer- des virtuels 75. Comme pour la voiture, trois vues sont possibles : l'image vidéo livrée par la caméra vidéo 19 avec des incrustations virtuelles, la vue à la verticale reposant sur une image aérienne téléchargée et la vue en perspective se basant également sur une image satellite ou aérienne téléchargée. La figure 13b donne un aperçu d'une image vidéo à cercles virtuels incrustés 75 tel qu'elle pourra se présenter lors d'un jeu impliquant un qua- dricoptère.
Le positionnement du circuit sur l'image aérienne téléchargée est effectué de la même façon que pour la course de voiture. Le circuit est positionné à la main par le joueur de façon à le positionner correctement en fonction des obstacles et des bâtiments. De la même façon, l'utilisateur peut ho- mothétier le circuit, le faire tourner autour du point de départ et faire glisser le point de départ sur la piste. L'étape de positionnement du circuit 57 est visualisée à la figure 13a. De la même façon que pour la course de voitures, on prévoit pour une course impliquant plusieurs quadricoptères un élément séparé définissant la ligne de départ, par exemple un pylône 77 pourvu de trois LED clignotantes ou éléments réfléchissants 71. Les quadricoptères ou drones sont alignés dans le même repère grâce à l'image de leur caméra 19 et les points significatifs dans l'image représentés par les trois LED 71 du pylône 77 qui clignotent. Du fait que tous les paramètres géométriques sont connus (position de la caméra, longueur focale, etc.), on positionne l'engin 1 sans ambiguïté dans le référentiel commun. Plus précisément, on positionne l'engin 1 de telle façon qu'il soit posé sur le sol avec le pylône 77 en vue, on vérifie sur l'écran de sa console 3 que l'on voit bien les trois LED 71 clignoter. Les trois LED 77 clignotantes représentent les points significatifs pour la reconnaissance du repère. Le fait qu'elles clignotent à une fréquence connue permet de les identifier plus facilement par le logiciel. Une fois la position par rapport au pylône 77 connue, les quadricoptères 1 s'échangent les informations (chacun passe à l'autre sa position par rapport au pylône 77) et de cette manière chaque quadricoptère 1 déduit la position de son concurrent. La course peut commencer depuis la position du quadricoptère 1 à Ia- quelle a été effectuée la détection du pylône 77 par traitement d'image. Mais bien sûr la course peut aussi commencer depuis une autre position, la centrale inertielle pouvant mémoriser les déplacement des quadricoptè- res 1 de leur positon initiale vis-à-vis du pylône 77 avant la course. Un autre jeu envisagé est le jeu de tir entre deux ou plusieurs véhicules. Par exemple, le jeu de tir peut impliquer des chars munis d'une caméra vidéo fixe ou installée sur une tourelle ou bien des quadricoptères ou bien des quadricoptères contre des chars. Dans ce cas, il n'est pas nécessaire de connaître la position de chaque engin par rapport à un circuit mais plus simplement de connaître la position de chaque engin l'un par rapport à l'autre. Une procédure plus simple peut être mise en œuvre. Chaque engin dispose de LED clignotantes à une fréquence connue, avec des couleurs connues ou/et une géométrie connue à l'avance. Grâce au protocole de communication chaque engin échange avec les autres des informations sur son type, la position de ses LED1 leur fréquence de clignotement, leur couleur, etc.. On place chaque engin de manière qu'au début du jeu les LED de l'autre engin soit dans le champ de vision de son capteur vidéo 19. En effectuant une opération de triangulation on peut déterminer la position de chaque engin l'un par rapport à l'autre. Le jeu peut alors commencer. Chaque engin connaît, grâce à sa centrale inertielle et ses autres moyens de mesure, sa position et son mouvement. Il les transmet aux autres engins.
Sur la console vidéo, l'image d'un viseur est incrustée par exemple au centre de l'image vidéo transmise par chaque engin. Le joueur peut donner une consigne de tir de projectiles vers un autre engin. Au moment du tir, connaissant les positions retransmises par les autres engins et sa propre position, orientation et vitesse, le logiciel de l'engin tireur peut estimer si le tir a atteint son but. Le tir peut simuler un projectile qui arrive immédiatement sur sa cible, ou bien simuler le parcours parabolique d'une munition, ou le cheminement d'un missile guidé. La vitesse initiale de l'engin qui effectue le tir, la vitesse du projectile, la simulation de paramètres extérieurs, par exemple des conditions atmosphériques, peuvent être simulées. De cette manière, le tir du jeu vidéo peut être rendu plus ou moins complexe. La trajectoire des munitions missile, balle traçante, etc. peut être affichée en surimposition sur la console. Les engins tels que des véhicules roulants ou volants peuvent aussi estimer la position des autres engins dans le jeu. Cela peut se faire par un algorithme de reconnaissance de formes utilisant l'image de la caméra 19. Sinon les engins peuvent être munis de parties permettant une identifica- tion comme par exemple des LED. Ces parties permettent en permanence aux autres engins d 'estimer leur position en plus des informations de la centrale inertielle transmises par les moyens radio. Ceci permet de rendre le jeu plus réaliste. Par exemple lors d'un jeu de chasse les uns contre les autres, un des joueurs peut se cacher derrière un détail du ter- rain, par exemple derrière un arbre. Le jeu vidéo, même s'il est informé grâce au moyens radio de la position de l'adversaire, ne pourra pas le repérer sur l'image vidéo et donc il invalidera le tir même si il est dans la bonne direction. Lorsqu'un engin est informé par sa console qu'il a été touché, ou lors d'une autre action de jeu, par exemple la simulation de manque de carburant, d'une panne ou de conditions atmosphériques, une séquence de simulation propre au scénario du jeu vidéo peut s'enclencher. Par exemple, dans le cas d'un quadricoptère, celui-ci peut être pris de secousses, ne plus voler en ligne droite, ou bien se poser d'urgence. Dans le cas d'un char, celui-ci peut simuler des dommages, rouler moins vite ou simuler le fait que sa tourelle est bloquée. La transmission vidéo peut aussi être modifié, par exemple les images peuvent arriver brouillées, assombries, ou des effets comme les vitres de cockpit brisées peuvent être incrustées sur l'image vidéo. Le jeu vidéo selon l'invention peut mêler :
- les actions des joueurs : piloter les engins ;
- des éléments virtuels : un circuit ou des ennemis visualisés sur la console de jeux ;
- des simulations : des instructions envoyées au jouet vidéo pour modi- fier son comportement, par exemple une panne moteur et la limitation de la vitesse de l'engin ou une plus grande difficulté de pilotage. Ces trois niveaux d'interaction permettent d'accroître le réalisme entre le jeu vidéo sur la console et un jouet muni de capteurs et d'une caméra vidéo.

Claims

REVENDICATIONS
1. Procédé d'ajustement d'affichage (49) pour un système de jeux vidéo (1 , 3), le système comprenant : - un véhicule télécommandé (1) avec un capteur (31) de l'assiette du véhicule (1); et
- une entité électronique (3) comprenant une unité d'affichage, l'entité électronique (3) servant à télécommander le véhicule (1) sur un circuit (57); caractérisé en ce que le procédé comprend les étapes suivantes :
- acquisition dynamique, à travers le capteur (31 ), de l'assiette instantanée du véhicule (1);
- estimation dynamique d'au moins un paramètre d'inclinaison du circuit (57) à partir des valeurs de l'assiette instantanée délivrées par le cap- teur (31);
- ajustement de l'affichage (49) de l'entité électronique en fonction des valeurs estimées du (des) paramètre(s) d'inclinaison du circuit (57).
2. Procédé selon la revendication 1 , l'affichage (49) de l'entité électroni- que étant constitué d'une image vidéo en provenance d'un capteur vidéo
(19) agencé sur le véhicule télécommandé (1), des éléments virtuels (51) étant incrustés dans l'image vidéo.
3. Procédé selon la revendication 2, l'ajustement de l'affichage (49) com- prenant l'ajustement de plots virtuels (51) incrustés dans l'affichage de l'entité électronique, les plots (51) servant à délimiter le circuit (57).
4. Procédé selon l'une des revendications précédentes, comprenant en outre une routine d'apprentissage avec les étapes suivantes : - mémorisation des valeurs estimées du (des) paramètre(s) d'inclinaison correspondant à un tour du circuit (57) ; et
- utilisation des valeurs mémorisées pour affiner l'estimation du (des) paramètre(s) d'inclinaison du circuit (57).
5. Procédé selon l'une des revendications précédentes, l'estimation du (des) paramètre(s) d'inclinaison du circuit étant effectuée par un filtre de Kalman.
6. Procédé selon l'une des revendications précédentes, l'estimation dynamique consistant à effectuer une première moyenne à long terme de l'assiette instantanée et/ou une deuxième moyenne à court terme de l'assiette instantanée pour estimer respectivement un premier paramètre d'inclinaison du circuit (57), à savoir sa pente (65), et/ou un deuxième pa- ramètre d'inclinaison du circuit, à savoir sa rugosité.
7. Procédé selon l'une des revendications précédentes, le véhicule télécommandé (1) étant un véhicule terrestre, notamment une voiture de course.
8. Procédé selon l'une des revendications précédentes, l'entité électronique (3) étant une unité portable, notamment une console de jeux portable ou un téléphone mobile.
9. Procédé selon l'une des revendications précédentes, la communication entre l'entité électronique (3) et le véhicule télécommandé (1) s'effectuant par transmission radio à courte distance (5), notamment par protocole Bluetooth ou WiFi.
EP07866424A 2006-11-09 2007-10-24 Procede d'ajustement d'affichage pour un systeme de jeux video Withdrawn EP2079537A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0609776A FR2908324B1 (fr) 2006-11-09 2006-11-09 Procede d'ajustement d'affichage pour un systeme de jeux video
PCT/FR2007/001750 WO2008056051A2 (fr) 2006-11-09 2007-10-24 Procede d'ajustement d'affichage pour un systeme de jeux video

Publications (1)

Publication Number Publication Date
EP2079537A2 true EP2079537A2 (fr) 2009-07-22

Family

ID=37797488

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07866424A Withdrawn EP2079537A2 (fr) 2006-11-09 2007-10-24 Procede d'ajustement d'affichage pour un systeme de jeux video

Country Status (5)

Country Link
US (1) US20100009735A1 (fr)
EP (1) EP2079537A2 (fr)
JP (1) JP2010509946A (fr)
FR (1) FR2908324B1 (fr)
WO (1) WO2008056051A2 (fr)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2938774A1 (fr) * 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
US8939840B2 (en) 2009-07-29 2015-01-27 Disney Enterprises, Inc. System and method for playsets using tracked objects and corresponding virtual worlds
TWM406889U (en) 2010-12-29 2011-07-01 Puu Jiuh Co Ltd Remote control transmitter attached to portable touch-controlled communication device
FR2973256B1 (fr) * 2011-03-29 2013-05-10 Parrot Procede de detection d'une sollicitation appliquee par un utilisateur a un drone pour produire un marqueur de passage
US9609284B2 (en) * 2012-05-22 2017-03-28 Otoy, Inc. Portable mobile light stage
US9004973B2 (en) 2012-10-05 2015-04-14 Qfo Labs, Inc. Remote-control flying copter and method
US20140201205A1 (en) * 2013-01-14 2014-07-17 Disney Enterprises, Inc. Customized Content from User Data
US20140357357A1 (en) * 2013-05-30 2014-12-04 Microsoft Corporation Game bundle package
JP6572618B2 (ja) * 2015-05-08 2019-09-11 富士通株式会社 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム
CN105148513B (zh) * 2015-09-23 2017-06-06 腾讯科技（深圳）有限公司 智能硬件的操作方法及装置
US10258888B2 (en) 2015-11-23 2019-04-16 Qfo Labs, Inc. Method and system for integrated real and virtual game play for multiple remotely-controlled aircraft
FR3052084B1 (fr) 2016-06-03 2018-07-13 Drobot X Systeme pour le controle de l'evolution d'engins telecommandes
KR20180010884A (ko) * 2016-07-22 2018-01-31 삼성전자주식회사 무인 이동체를 제어하는 전자 장치, 그 제어 방법 및 저장 매체
EP3285148A1 (fr) 2016-08-19 2018-02-21 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
JP6533802B2 (ja) * 2017-02-27 2019-06-19 日本電産コパル株式会社 移動体システム及びゲームアプリケーション
JP6855348B2 (ja) * 2017-07-31 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびダウンロード処理方法
EP3444016A1 (fr) * 2017-08-17 2019-02-20 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
US20210118311A1 (en) * 2018-11-21 2021-04-22 Rakuten, Inc. Flight route guidance system, flight route guidance device and flight route guidance method
CN114681916A (zh) * 2020-12-28 2022-07-01 比亚迪股份有限公司 游戏场景确定方法、电子设备及存储介质
US12002371B2 (en) * 2021-05-14 2024-06-04 Rockwell Collins, Inc. Neuromorphic cameras for aircraft

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63277081A (ja) * 1987-05-08 1988-11-15 株式会社　アスキ− ゲ−ム装置
JPH07110301B2 (ja) * 1988-07-21 1995-11-29 株式会社セガ・エンタープライゼス サーキットゲーム装置
KR100305354B1 (ko) * 1997-10-28 2002-10-04 가부시끼가이샤 에스 엔 케이 게임장치및게임시스템
JPH11309269A (ja) * 1998-04-27 1999-11-09 Sony Corp ゲーム装置、シミュレーション装置及びゲーム画像表示方法
JP2000024160A (ja) * 1998-07-16 2000-01-25 Futaba Corp ゴルフ場運行管理システム
US6309306B1 (en) * 1999-03-03 2001-10-30 Disney Enterprises, Inc. Interactive entertainment attraction using telepresence vehicles
DE19921675A1 (de) * 1999-05-11 2000-11-16 Hornung Hans Georg Methode zur Erfassung von Kenn- und Meßgrößen von Batteriesätzen und dergleichen
US6752720B1 (en) * 2000-06-15 2004-06-22 Intel Corporation Mobile remote control video gaming system
US6439956B1 (en) * 2000-11-13 2002-08-27 Interact Accessories, Inc. RC car device
US6735435B2 (en) * 2001-03-30 2004-05-11 Motorola, Inc. Method for providing entertainment to portable device based upon predetermined parameters
US20040054481A1 (en) * 2002-09-18 2004-03-18 Lovett J. Timothy Airspeed indicator with quantitative voice output
US20040110565A1 (en) * 2002-12-04 2004-06-10 Louis Levesque Mobile electronic video game
US7072792B2 (en) * 2002-12-24 2006-07-04 Daniel Freifeld Racecourse lap counter and racecourse for radio controlled vehicles
FR2849522B1 (fr) * 2002-12-27 2008-01-18 Sgtd Dispositif destine a un modele reduit d'un vehicule pilote a distance au moyen d'une telecommande
JP4348468B2 (ja) * 2004-01-21 2009-10-21 株式会社キャンパスクリエイト 画像生成方法
US7704119B2 (en) * 2004-02-19 2010-04-27 Evans Janet E Remote control game system with selective component disablement
US7593821B2 (en) * 2004-11-23 2009-09-22 Lg Chem, Ltd. Method and system for joint battery state and parameter estimation
US7650207B2 (en) * 2005-05-04 2010-01-19 Lockheed Martin Corp. Locomotive/train navigation system and method
US7211980B1 (en) * 2006-07-05 2007-05-01 Battelle Energy Alliance, Llc Robotic follow system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008056051A2 *

Also Published As

Publication number Publication date
FR2908324B1 (fr) 2009-01-16
FR2908324A1 (fr) 2008-05-16
US20100009735A1 (en) 2010-01-14
WO2008056051A3 (fr) 2008-07-03
WO2008056051A2 (fr) 2008-05-15
JP2010509946A (ja) 2010-04-02

Similar Documents

Publication Publication Date Title
EP2079537A2 (fr) Procede d'ajustement d'affichage pour un systeme de jeux video
EP2099541A1 (fr) Procede de definition de zone de jeux pour un systeme de jeux video
EP2079533A1 (fr) Procédé de définition d'un référentiel commun pour un système de jeux vidéo
AU2008339124B2 (en) Vehicle competition implementation system
FR2912318A1 (fr) Reconnaissance d'objets dans un jeu de tir pour jouets telecommandes
CN101780321B (zh) 一种高临场感的运动健身器材虚拟实景的制作方法以及基于该虚拟实景的互动系统和方法
CN111228804B (zh) 在虚拟环境中驾驶载具的方法、装置、终端及存储介质
EP3273318B1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et localisation améliorée de la cible
EP3316068A1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible
US20080125224A1 (en) Method and apparatus for controlling simulated in flight realistic and non realistic object effects by sensing rotation of a hand-held controller
KR20140102232A (ko) 저장된 콘텐츠 및 ar 통신의 로컬 센서 증강
EP3306428A1 (fr) Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible
FR3000813A1 (fr) Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol.
CN110876849B (zh) 虚拟载具的控制方法、装置、设备及存储介质
EP3114650A2 (fr) Systèmes et procédés de visualisation virtuelle d'événements physiques
EP3392728A1 (fr) Procédé de pilotage d'un drone à voilure tournante, programme d'ordinateur, appareil électronique et drone associés
CN110249281A (zh) 位置处理装置、飞行体、位置处理系统、飞行系统、位置处理方法、飞行控制方法、程序以及记录介质
CN113694526A (zh) 虚拟对象的控制方法、系统、装置、设备、介质及程序
JP6901541B2 (ja) ゲームプログラム、コンピュータ、及びゲームシステム
US20200134922A1 (en) Movable body
Audronis Designing Purpose-built Drones for Ardupilot Pixhawk 2.1: Build Drones with Ardupilot
Adams Fundamentals of Vehicle Simulation Design
JP2021040871A (ja) ゲームプログラム、ゲーム装置、及びゲームシステム
JP6974780B2 (ja) ゲームプログラム、コンピュータ、及びゲームシステム
FR3083457A1 (fr) Methodes et systemes de realite mixte appliquees aux evenements collectifs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20090324

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20120503