CN114945295A - 基于运动的媒体创作 - Google Patents

基于运动的媒体创作 Download PDF

Info

Publication number
CN114945295A
CN114945295A CN202080093403.9A CN202080093403A CN114945295A CN 114945295 A CN114945295 A CN 114945295A CN 202080093403 A CN202080093403 A CN 202080093403A CN 114945295 A CN114945295 A CN 114945295A
Authority
CN
China
Prior art keywords
motion
visual effect
audio sample
user
primitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080093403.9A
Other languages
English (en)
Inventor
C.安登
B.莱加伊
H.T.范
A.特努塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nike Innovate CV USA
Original Assignee
Nike Innovate CV USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nike Innovate CV USA filed Critical Nike Innovate CV USA
Publication of CN114945295A publication Critical patent/CN114945295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/36—Footwear characterised by the shape or the use with electrical or electronic arrangements with light sources
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/38—Footwear characterised by the shape or the use with electrical or electronic arrangements with power sources
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/44—Footwear characterised by the shape or the use with electrical or electronic arrangements with sensors, e.g. for detecting contact or position
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/48—Footwear characterised by the shape or the use with electrical or electronic arrangements with transmitting devices, e.g. GSM or Wi-Fi®
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/50—Footwear characterised by the shape or the use with electrical or electronic arrangements with sound or music sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0209—Incentive being awarded or redeemed in connection with the playing of a video game
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/833—Sensors arranged on the exercise apparatus or sports implement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/74—Miscellaneous features of sport apparatus, devices or equipment with powered illuminating means, e.g. lights
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/22—Dancing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/326—Control glove or other hand or palm-attached control device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/336—Control shoe or boot, i.e. sensor-equipped lower part of lower limb, e.g. shoe, toe ring, sock, ankle bracelet or leg control attachment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)

Abstract

一种用于基于运动的媒体创作的系统，包括具有至少一个加速度计或惯性测量单元的鞋类或服装物品，该加速度计或惯性测量单元能够操作以监控该鞋类或服装物品的至少一部分的空间运动，并生成指示所监控的空间运动的数据流。该系统还包括与鞋类或服装物品进行网络无线通信的处理器。处理器被配置为从鞋类或服装物品接收数据流；从接收到的数据流中识别至少一个运动基元；并且响应于识别到的至少一个运动基元，触发音频样本或视觉效果的回放。

Description

基于运动的媒体创作
相关申请的交叉引用
本申请要求2019年11月22日提交的美国临时专利申请No.62/939,309和2020年5月31日提交的美国临时专利申请No.63/032,689的优先权，这两个申请的全部内容通过引用并入本文。
技术领域
本公开涉及一种用于将由电子鞋类或服装物品感测到的用户的实时运动转换成音频和/或视觉作品的系统。
背景技术
在音乐行业，作曲家或DJ将电子音轨叠层以制作音乐作品是很常见的。在创作这些作品时，艺术家可能依赖于由键盘或其他乐器数字接口(MIDI)控制器触发的离散音频样本。虽然最终的输出可能创造性地富有表现力，并且可能需要杰出的技巧来安排，但它通常缺乏任何表演属性。
当考虑身体表演(例如，舞蹈表演)时，艺术家通常可能与音乐作品同步响应或表演，然而，他们的运动通常只是对音乐的编舞响应。
发明内容
本公开总体上涉及一种可以捕捉用户的运动并将所感测到的运动转换成创造性表达形式的系统。该系统可以包括具有至少一个加速度计或惯性测量单元的鞋类或服装物品，该加速度计或惯性测量单元可操作以监控该鞋类或服装物品的至少一部分的空间运动，并生成指示所监控的空间运动的数据流。该系统还包括与鞋类或服装物品进行网络无线通信的处理器。处理器被配置为从鞋类或服装物品接收数据流；从接收到的数据流中识别至少一个运动基元；并且响应于所识别的至少一个运动基元，触发音频样本或视觉效果的回放。
附图说明
图1是用于基于动作的媒体创作的系统的实施例的示意图；
图2是电子的运动感应鞋类物品的示意图；
图3是基于运动的媒体创作的系统的操作方法的示意流程图；
图4是用于基于运动的媒体创作的系统的操作的示意性功能框图；
图5是多个可穿戴设备的示意图，每个可穿戴设备通过公共规则集将其感测到的运动转换成音频/视频输出；
图6是分组到荚(pod)中的多个可穿戴设备的示意图，每个荚已经通过荚特定的规则集将感测到的相关可穿戴设备的运动转换成音频/视频输出；
图7是多个可穿戴设备的示意图，每个可穿戴设备通过一组不同的规则将其感测到的运动转换成音频/视频输出；
图8是用户利用本系统执行基于运动的挑战的示意图；
图9是显示增强现实视觉效果的用户设备的示意图，该增强现实视觉效果是由感测到的所连接的可穿戴设备的运动产生的；
图10是快闪活动的示意图，其中每个参与者都具有可穿戴设备，该可穿戴设备具有对音频/视频输出的基于位置的访问；
图11是设置在鞋类物品内的运动激活光投射器的示意性局部横截面侧视图；
图12是具有多个发光元件的鞋类物品的示意性透视图；
图13是具有多个发光元件的服装物品的示意性后视图；
图14是设置在鞋类物品内的振动换能器的示意性局部横截面图；
图15是用于给多个可穿戴设备充电的感应充电器的示意性侧视图；
图16是用作聚会灯的图15的感应充电器的示意性侧视图；
图17是交互式零售亭的示意性透视图；
图18是例如利用图17的交互式零售亭获取实物或电子对象或代码的方法的示意流程图；
图19是一组表演艺术家使用连接的可穿戴设备来影响托管的虚拟世界中的表演的示意图；
图20是用于增强直播视频广播的可穿戴设备的示意图。
具体实施方式
以下讨论和附图公开了一种系统，该系统使用直接感测到的身体运动来触发一个或多个音频样本或视觉效果的回放。这项技术旨在创造一种新的表达形式，其中通过舞蹈演员或运动员的动作来驱动电子多媒体体验的创作。
除了简单地提供构建音频/视频(A/V)体验的工具之外，本技术的一些实施例可以使得多个用户之间能够进行社交协作。例如，在一些配置中，系统的多个用户可以以本地或联网的方式协作，以制作联合/协作的A/V作品。在另一个例子中，多个联网用户可以发出和/或响应来自彼此的基于运动的挑战。
在协作环境中，本技术的一些实施例可以使舞蹈团或社交网络的多个成员能够协作创作A/V作品，与交响乐进行的方式非常相似。具体而言，每个用户或一小组用户可能具有与其运动相关联的独特声音或视觉效果。在表演期间，由每个成员的运动产生的组合声音输出可以产生基于表演的A/V作品，其中各种用户的身体成为“乐器”
关于社交媒体背景下的挑战，个人通过各种社交媒体平台相互进行在线挑战已经变得越来越流行。这些挑战通常涉及用户表演一个或多个动作或随着特定的音频剪辑段跳舞。这种挑战的一个例子涉及用户拍摄自己将冰水倒在他们头上，然后向另一个用户发出同样的挑战。其他挑战涉及为歌曲的一部分表演特定的或即兴的舞蹈序列。在每种情况下，用户可以对他们自己表演舞蹈/动作进行录像，并将结果的视频剪辑段发布到在线视频托管服务。这种托管服务的例子包括TIKTOK和抖音，二者都由北京字节跳动科技有限公司运营，或者YOUTUBE，由谷歌有限责任公司的子公司Youtube,LLC运营。如下面将描述的，本技术可能非常适合类似的“挑战”
在一些实施例中，用户表达的输出可以仅存在于单独的介质中和/或仅供远离用户的其他人(即，“观看者”)消费。例如，用户的运动可用于触发虚拟环境中的一个或多个音频和/或视觉效果，虚拟环境例如可能存在于视频游戏中。替代地，这些效果可以在增强现实(AR)环境中呈现，其中它们可以覆盖在真实世界的自然感知上。在这种AR的背景下，效果可以传送到事件现场人员的用户设备，以便它们可以叠加在用户的真实世界视图上——如使用AR显示眼镜。替代地，这些效果可以叠加在所捕获的视频馈送上，所捕获的视频馈送例如流式视频(互联网或电视)广播，其可以由诸如移动电话或电视的用户设备观看。
如图1中示意性示出的，用于基于运动的媒体创作的系统10通常可以包括与用户控制台30进行联网通信的电子的运动感测鞋类或服装20。出于本公开的目的，“电子的运动感测鞋类或服装20”通常可以被称为“可穿戴设备20”。每个可穿戴设备20可以设计成类似于传统的鞋类或服装物品，尽管可以具有附加的电子功能以允许运动数据的检测和向外传输。合适的鞋类物品的例子可以包括鞋、靴子、凉鞋、带防滑钉的鞋类等。类似地，合适的服装物品的例子可以包括衬衫、夹克、裤子、短裤、袜子、压缩臂套(compression sleeves)、手套、帽子、臂带/手镯等。
在本技术中，如图2所示，可穿戴设备20可以包括运动感测电路22和通信电路24。运动感测电路22可以包括至少一个加速度计或惯性测量单元(IMU)26，其可操作以感测可穿戴设备20的至少一部分的空间运动，并且生成表示所感测的运动的数据输出流。在一些实施例中，运动感测电路22还可以包括处理器28、存储器和/或任何缓冲或滤波电路，所述缓冲或滤波电路可能被需要以准备用于传输的数据输出流和/或以将原始数据输出转换成识别到的运动基元的流序列(下面将更详细地讨论)。
与运动感测电路22耦合的通信电路24被配置为向外发送数据流到用户控制台30。通信电路24可以包括一个或多个收发机、天线和/或存储器，它们可能被需要以辅助实时或接近实时的数据传输。这种数据传输可以根据任何合适的无线标准来进行，然而特别合适的通信协议包括根据任何以下标准或工业公认协议的那些协议：IEEE 802.11、802.15、1914.1、1914.3；BLUETOOTH或BLUETOOTH LOW ENERGY(或由Bluetooth SIG设定的其他类似协议/标准)；4G LTE蜂窝，5G，5G NR、或类似的无线数据通信协议。
再次参考图1，与可穿戴设备20通信的用户控制台30可以包括计算设备，其操作软件或固件，该软件或固件被特别设计为使得计算设备如下所述地执行。用户控制台可以包括处理器32、存储器34和用户接口36。一般来说，与本系统10一起使用的处理器32可以实现为一个或多个数字计算机、数据处理设备和/或数字信号处理器(DSP)，其可以具有一个或多个微控制器或中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、高速时钟、模数(A/D)电路、数模(D/A)电路、输入/输出(I/O)电路和/或信号调节和缓冲电子设备。合适的用户控制台的例子包括智能手机、平板电脑、膝上型电脑、台式电脑等。
用户接口36可以被配置为向用户提供观看和/或收听可用的A/V效果的能力，同时还使得用户能够建立对应表。在一些实施例中，用户接口36可以包括可操作以向用户输出视觉信息的一个或多个显示器38和/或可操作以从用户接收输入的一个或多个用户输入设备40。用户输入设备40的示例包括触摸屏/数字化仪、鼠标、键盘和/或具有多个旋钮和/或按钮的控制面板、摄像头、基于手势的输入设备、AR/VR虚拟选择等。
继续参考图1，除了与可穿戴设备20通信之外，在一些实施例中，用户控制台30还可以与一个或多个视频源42、一个或多个音频源44、一个或多个音频输出设备46、一个或多个视觉效果控制器48和/或分布式计算网络50(例如，互联网)通信。视频源42可以包括实况视频流(例如，来自数码摄像头)、先前记录的视频流、存储有一个或多个先前记录的视频的数字存储器等。音频源44可以包括一个或多个乐器、键盘、合成器、数据文件、音频样本集合等。在一些实施例中，视频源42和/或音频源44可以在用户控制台30本地，或者在公共局域网(LAN)上提供。然而，在其他实施例中，这些源42、44中的一个或两个可以远离用户控制台30和/或可以由只能通过控制台的网络连接来访问的计算机托管。
一个或多个音频输出设备46可以包括一个或多个扬声器、放大器、耳机或可操作来响应于接收到的数字或模拟音频信号来广播可听声音的其他设备。正是通过这些音频输出设备46，用户控制台30将响应于感测到的运动而输出一个或多个音频样本。视觉效果控制器48可以包括可操作来点亮一个或多个灯、启动一个或多个灯光序列、启动一个或多个烟火效果等的一个或多个设备。在一些实施例中，视觉效果控制器48可以驻留在可穿戴设备20上，例如以驱动LED或光纤视觉点亮。下面将更详细地描述这样的实施方式的例子。
在操作中，用户控制台30可以用于将一个或多个感测到的运动(即，可穿戴设备20的运动)转换成一个或多个听觉或视觉效果。通过将各种运动链接在一起，用户可以能够“播放”一系列声音或视觉效果。图3从用户控制台30的角度示意性地示出了本系统10的操作方法。如图所示，该方法通过建立运动对应表(在62)开始，该运动对应表将所感测的运动与期望的音频/视觉响应相关联。该步骤主要是初始化步骤，并且在一些实施例中，可以仅通过将预先建立的运动对应表加载到存储器中来执行。
一旦建立了运动对应表，控制台30可以从鞋类或服装接收指示可穿戴设备的运动的数据流(在64)。用户控制台30可以连续地分析该数据流，以识别至少一个运动基元(在66)。如本文所使用的，“运动基元”是被定义的运动“块”，其表示离散的用户动作。可能的运动基元的例子可以包括感测到的线性平移、弓形平移、正弦/周期平移、旋转、加速、急动和/或冲击。在一般意义上，运动基元可以包括预编程运动、用户定义运动和/或自动检测运动的任何组合。
如果从数据流中识别出一个或多个运动基元(在66)，则控制台30可以触发先前已经与该运动基元相关联的音频样本或视觉效果的回放(在68)。在一些实施例中，先前已经与该运动基元相关联的音频样本或视觉效果可以是音频样本或视觉效果的序列，或者是音频样本或视频效果的重复序列。例如，在检测到用户跺脚时(例如，以向下的速度继之以突然减速为特征的运动基元)，用户控制台30可以触发单个低音节拍的回放。替代地，它可以触发多个低音节拍的回放，和/或可以触发低音节拍的循环序列的回放。以这种方式，系统为用户提供了极大的灵活性来定义每个移动(或移动序列)可以引起/启动什么音频或视频效果。
图4示意性地示出了本系统的操作的功能框图。每个所描述的模块或块可以包括作为软件或固件存储在存储器中的计算机可执行代码，使得当被执行时，处理器32可以执行指定的功能。在一些实施例中，每个块还可以包括可能是执行指定功能所需要的或者可能被有益地使用的任何或所有必需的硬件。这种硬件的例子可以包括视频或音频编码器/解码器、数字信号处理器(DSP)等。
参考图4，系统操作通常可以包括两种不同的模式：初始化100和媒体生成102。在初始化100期间，处理器32可以负责建立运动对应表110，该运动对应表110将所感测的运动与期望的音频/视频响应相关联。为此，处理器32可以与预先存在的运动数据库112、视频源42或运动跟踪可穿戴设备20中的至少一个通信。在建立运动对应表110之前，处理器32可以首先编译可用于以后的识别和回放的可用或预期的运动的运动目录114。
在最简单的实施例中，运动目录114可以简单地从预先存在的移动数据库112中导入，该移动数据库112可以识别舞蹈序列、运动、活动等中的典型或常见动作。如果通用的移动数据库将被证明过于笨拙(即，太多不适用的移动选项)或者对于期望的活动或舞蹈不够具体，则在一些实施例中，处理器32可以能够通过解析连接的可穿戴设备20的移动(即，经由接收到的数据流)、或者通过从所提供的视频源42提取移动信息来建立运动目录。
在从视频中提取移动信息的实施例中，视频源42可以包括例如实况且本地捕捉的视频、预先录制的视频和/或网络或互联网视频馈送/流。视频源42可以被传递通过对象识别和跟踪模块116，以识别和估计所描绘的可穿戴设备(或个体身体的一部分)的三维运动。在一个实施例中，对象识别和跟踪模块116可以利用诸如边界/边缘检测、模式识别和/或机器学习技术的图像处理技术来识别可穿戴设备20，并测量其相对于其环境或在更以对象为中心的坐标系中的移动。
一旦处理器32已经接收到来自可穿戴设备20的原始数据流，或者已经从视频流中识别出所描绘的可穿戴设备的运动，则它可以将原始运动传递通过基元检测模块118。在该模块中，处理器32可以检查一个或多个运动基元或基元序列的原始运动。对于检测到的每个新的基元或序列，处理器32可以在运动目录114中对新的一般运动或运动类型、新的特定运动或新的运动序列进行分类。一般运动或运动类型可以是例如平移(例如，任何平移)或冲击。特定运动可以例如是可穿戴设备20在特定方向上的特定平移(例如，鞋类物品在内侧方向上的平移或左脚的冲击)。最后，运动序列可以是例如顺序排列在一起的多个基元(例如，在侧向方向上的平移之后是在内侧方向上的平移)。
一旦通过直接导入、主动运动感测或视频分析和解构建立了运动目录114，则可以经由交互式用户界面36将其与可用的音频样本和/或视觉效果的集合120一起呈现给用户。用户界面36可以接收用户输入124，该用户输入124可操作来将一个或多个分类的运动(即，运动类型、特定运动或来自运动目录114的运动序列)与来自可用音频样本和/或视觉效果的集合120的一个或多个音频样本和/或视觉效果相链接。这些在运动和音频样本和/或视觉效果之间建立的关系然后可以存储在对应表110中。实际上，对应表110可以是将未来运动转换成声音或灯光效果的翻译器。除了在运动和声音/光之间建立对应之外，对应表110还可以将一个或多个运动基元与触觉响应相链接，使得观众，如果配备了与他们的身体进行机械交流的适当硬件，可以在某个运动基元之后感觉到规定的响应。
在一些实施例中，对应表110不必是与运动目录114完全分离的数据构造，而是可以简单地包括多个指针，每个指针被附加到运动目录114内不同的相应运动条目，并且引用不同的效果。此外，在一些实施例中，对应表可以进一步包括规则集，该规则集根据例如诸如运动的节奏、拍子或流动的时机掌握考虑来修改规定的输出。在这个例子中，定时参数可以用于改变规定的输出的音高、音调、拍子或速度(或者视觉输出的颜色、亮度、持续时间或时机掌握)。
一旦对应表110被创建并且初始化100完成，系统10然后可以被设置为媒体生成模式102。在媒体生成模式102中，处理器32可被操作以从可穿戴设备20接收数据流130，该数据流130指示可穿戴设备20的至少一部分的实时感测的运动。数据流130可以经由与处理器32相关联的通信电路来接收，并且可以实时或接近实时地对处理器可用。根据该接收的数据流130，处理器32可以用基元检测器132(其可以与初始化100期间使用的基元检测模块118相似或相同)来分析运动。如上所述，基元检测器132可以检查由数据流130表示的原始运动，并检测一个或多个运动基元或基元序列。
为了最小化处理时间，从而提高系统10的响应性，基元检测器132可以被配置为仅在数据流130中寻找先前已经在运动目录114中定义和/或已经在对应表110中被分配了相关联的音频样本和/或视觉效果的运动基元。在检测到基元时，处理器32可以查询对应表110，然后可以响应于所识别的至少一个运动基元，触发或启动音频样本或视觉效果的回放134。
在一些实施例中，可用的音频样本和/或视觉效果120的集合可以从预先存在的库中填充，该库可以与软件一起提供，或者可以从连接的分布式计算网络(例如，互联网)下载。然而，在一个实施例中，用户可以能够向该集合填充或添加，诸如通过从连接的音频源44(例如，个人计算机、数字音乐播放器、合成器、键盘等)直接上传一个或多个音频样本，或者通过记录由系统10由于用户移动而生成的一个或多个声音或声音序列。更具体地说，如果用户经由移动创建了特定的节拍/节奏/作品，他们可以能够将所创建的工作保存在集合120中，用于将来通过单个离散运动来回放/触发。以这种方式，使得可以将不同的声音/作品叠层以增加效果。
在一种配置中，用户可以具有改变各种音频/视频效果之间的平滑度或自动调谐度的能力。以这种方式，初学者用户可以能够创建听起来或看起来制作得很好的作品，即使他们的移动不是100％完整的或及时的。类似地，可穿戴设备20可以被配置成基于先前的运动来预测运动基元，或者如果用户在他们的时机掌握上落后，则基于领先的运动来预测运动基元。相反，更高级的用户可以减少平滑/自动调谐，以获得对输出的更直接的控制。在一些实施例中，平滑/自动调谐可以使用机器学习和人工智能技术来将音频/视频元素混合在一起，这可以依赖于穿插附加的节拍、引出音符、基于早期运动指示预测后续运动等。
在一种配置中，用户控制台30可以被配置为获取先前记录/制作的音频音轨/歌曲，并将其分成多个离散的片段(自动分段)。各种片段的性质、持续时间和/或分段可以由用户定制或者甚至单独创建(手动分段/片段修改)。用户控制台30然后可以自动地将运动基元分配给每个片段，或者可以提示用户将他们自己的运动基元分配给每个片段。这可以相当于为选定的歌曲编排舞蹈动作。然后，通过及时执行编排的运动，用户(或用户组)可以仅通过他们的移动来启动歌曲的回放——一段接一段。在一个实施例中，对应表110可以基于其他因素而是有条件的，而不是具有绝对的对应表。例如，如果给定的运动基元在时间00:00:00和00:00:10之间执行，或者如果作为初始移动执行，则该给定的运动基元可以启动(歌曲的)第一音频片段的重放，然而，如果相同的运动基元在时间00:01:40和00:02:00之间执行，或者如果它在第10个和第20个识别的基元之间，或者如果它是在识别到不同的基元或回放规定的音频片段之后，则相同的运动基元可以启动第二音频片段的重放。在另一个实施例中，平滑/自动调谐的变化量也可以应用于音乐片段的这种顺序回放，而片段可以被混合，或者最后的音符可以被延伸以产生从一个片段流到下一个片段而不会显得不连贯的输出。
在为现有歌曲编舞的情况下，用户控制台30可以包括其上存储有歌曲的本地存储器，或者控制台可以与例如用户可能单独订阅的基于互联网的流式音频源进行通信。
除了简单地输出基本声音或节拍，或者输出预先录制的音轨/歌曲的片段之外，在一些实施例中，对应表可以包括链接到音频动作/控制命令的一个或多个运动基元。例如，基元可用于启动完整歌曲的回放、启动列表中下一首歌曲的回放、暂停歌曲、倒回歌曲、改变歌曲的节拍、改变歌曲的音调、改变回放的音量、淡入/淡出等。以这种方式，用户通过他/她的运动可以充当DJ或制作人来回放来自本地或网络源的预先录制的音频。此外，音频动作/控制命令可以结合用户控制台的显示来操作。例如，基元可用于滚动列表(例如，查找某首歌曲/音轨)。
出于本文描述的任何用例示例的目的，应当理解，任何音频回放可以包括离散声音、声音集合、预先录制的声音、存储在本地存储器上的音频音轨/歌曲的片段、存储在本地存储器上的完整音频音轨/歌曲、从基于互联网的源提取的音频音轨/歌曲的片段(即，包括可能经由基于订阅的登录访问的歌曲)、或者从基于互联网的源提取的完整音轨/歌曲等。
如上所述，并且通常如图1所示，在一些实施例中，系统10可以容纳多个用户/可穿戴设备20。在这样的配置中，每个可穿戴设备20被配置成生成并无线传输相应的数据流130到用户控制台30，该数据流130指示该设备的被监控的空间运动。
如图5-7中示意性示出的，系统10可以被配置为使得对应表110针对所有设备被全局设置(图5)，针对设备组被设置(图6)，或者基于逐个设备被设置(图7)。如果被全局设置，如图5所示，则控制台30可以为每个连接的可穿戴设备(即，可穿戴设备20a、20b和20c)应用相同的规则/参考集。更具体地，来自每个可穿戴设备20a、20b、20c的数据流可以传递通过各自的基元检测器132a、132b、132c，然后在134处回放之前，基元检测器132a、132b、132c可以引用公共的对应表110。尽管只具有单个表，但是不同类型的可穿戴设备可能会因其不同的预期用途而产生不同的声音。例如，手表不太可能经受像篮球鞋会经受到的同样的冲击力。
图6示出了一个实施例，其中处理器32保持可穿戴设备的不同“荚”(即，可穿戴设备20a和20b，以及可穿戴设备20c和20d)，每个荚具有其自己的对应表110a和110b(由各自的基元检测器132a、132b、132c和132d馈送)。在该实施例中，多组可穿戴设备可以专用于它们的目的。例如，第一组可穿戴设备可以主要生成低音以供输出，而第二组可穿戴设备可以主要生成类似钢琴的音调或视觉效果以供输出。在初始化期间，不同的可穿戴设备20可以“订阅”特定的荚，从而充当链接到相应荚的A/V的输入端。
最后，图7示意性地示出了多可穿戴设备的使用，其中每个可穿戴设备20a、20b、20c分别设置有其自己的对应表110a、110b、110c。在这种多可穿戴设备的环境中，每个可穿戴设备的运动基元可以与其他可穿戴设备的运动基元分开分配，使得类似的特定于可穿戴设备的运动可以各自产生不同的输出。例如，连接的手表的横向平移可以导致第一声音的回放(例如，对吊镲的撞击)，而连接的鞋类物品的类似平移可以导致第二声音的回放(例如，对低音鼓的撞击)。
图5-7所示的每个实施例都提供了一种系统，其中多个用户可以协作创建共同的作品。在图5所示的实施例中，每个可穿戴设备是公共系统的单独的输入端。由于这些设备的不同性质和用途，它们可以能够创建不同的运动基元(例如，鞋类物品可以能够进行与手表不同的移动)，但是最终，所有的运动基元都被输入到相同的数据库中用于输出。舞蹈团可能对展示他们如何同步移动的这种功能感兴趣(即，不同步的移动会导致类似的不同步节拍)。在图7中，很像一个由不同乐器组成的小乐队，每个可穿戴设备都能够创建一套单独的声音/视觉效果。以这种方式，多个用户可以走到一起协作创作，每个用户都有自己的音调和音色。最后，图6所示的实施例可以类似于交响乐团，其中有相似乐器的分组，然而，每个分组可以具有独特的音调和音色。最终，本技术可用于为运动创建新的艺术表达，并且可以足够灵活以适应个人的和协作的努力。
再次参考图1，在其他分布式多用户场景中，用户的本地用户控制台30可以经由分布式计算网络50与一个或多个远程用户控制台230通信，用于协作交互或创建联合音频/视觉体验的目的。因此，设备之间的物理距离不应该限制用户的创造力的界限。
此外，还应该注意，在本文描述的每个实施例中，用户控制台的一些或全部可以与可穿戴设备20物理集成。例如，在一种配置中，远程用户控制台230可以不是单独的计算设备，而是智能/连接的可穿戴设备220，例如智能手表。在该实施例中，智能/连接的可穿戴设备220可以包括足够的处理功能和通信能力，以将运动数据传输到分布式网络，并且甚至能够通过诸如蓝牙的通信协议与一个或多个音频输出设备46或视觉效果控制器48通信。同样，智能/连接的可穿戴设备220也可以用作缺少附加处理能力的一个或多个其他可穿戴设备20的用户控制台30。
基于远程用户在分布式网络上协作的这一概念，在一些实施例中，本系统可以在类似游戏的背景下使用，由此用户可以相互挑战来表演和/或创建某些预定的艺术作品，或者再现某些舞蹈序列。例如，在一种情况下，可以在显示器上向用户呈现移动的序列(例如，运动基元的有序序列)。然后，用户可以尝试及时复制这些移动，如果准确执行，可以生成预先合成的音频或视觉输出。用户的移动在时机掌握或完整性上与预期/显示的偏离会改变听觉或视觉输出。此外，在一些实施例中，处理器32可以被配置成从接收的数据流中确定准确度度量，该准确度度量表示可穿戴设备20的被监控的空间运动和运动基元的有序序列之间的对应关系。准确度度量可以例如反映用户的运动相对于所呈现的序列在时机掌握、幅度和/或完整性方面的偏差。在一些实施例中，所呈现的序列可以基于用户的经验而在难度或复杂度上有所不同。
图8示意性地示出了这种分布式的、基于挑战的使用的一个示例。如图所示，每个可穿戴设备20可以与分布式计算网络50，例如互联网，直接或间接通信。分布式网络50可以包括一个或多个服务器、计算机、路由器、交换机等，它们可以促进网络互连、数据聚合和/或远程应用托管。在用户挑战的一个实施例中，第一用户140(或用户组)可以经由他们的用户控制台30从远程计算设备144(可以是分布式计算网络50的一部分)接收他们要执行的运动/动作的顺序挑战142。在接收到挑战142之后，第一用户140可以尝试再现有序的运动序列或其一些变体。类似于上面描述的实施例，每个可穿戴设备20被配置成生成相应的数据流130并将其无线传输到用户控制台30，该数据流130指示该设备的被监控的空间运动。根据该数据流130，用户控制台130可以生成相关联的音频/视频输出，并且可以向用户呈现他们表现的定性和/或定量得分146(即，准确度度量146)。得分146可以由用户控制台30或远程计算设备144来计算，并且可以考虑诸如与预定义节拍的时机偏差、与预定义幅度的运动的完整性和/或作为修饰原始序列的手段与基本序列组合的附加运动之类的因素。
在作品或挑战完成之后，用户控制台30可以将作品的音频或视频捕捉148和/或来自挑战的准确度度量/得分146传输到远程计算设备144，在远程计算设备144处，可以将其托管以供分布式网络50上的一个或多个观众150观看。此外，第一用户140然后可以直接或经由远程计算设备144和/或分布式网络50向第二用户154发出后续挑战152。
在另一个合作/竞争示例中，本技术可用于将物理上分离的用户聚集在一起和/或游戏化通过互联网流式传输的基于视频的锻炼，而不是向其他用户发出直接挑战。例如，在在线/流式跆拳道课程期间，观看或收听虚拟课程的每个用户可以被指示执行一系列重复的移动或动作。用户的可穿戴设备20(或连接的用户控制台30)可以感测与用户的相应动作相关联的运动基元，并且可以结合指导视频使一个或多个视觉效果叠加或显示在用户的显示器38上。在一个实施例中，当与预期或指导的相比时，显示在显示器38上的视觉效果的颜色或性质可以根据感测到的基元的相似性、完整性或时机掌握来改变。例如，如果用户达到了新的个人最好成绩或者超过了预定的准确度阈值，则用户可以有绿色的星星出现或者五彩碎屑从显示器的顶部落下。相反，如果识别出明显的偏差，则显示器可以向用户提供一个或多个视觉激励。在一个实施例中，当与教练或理想化参考的移动相比时，可以根据用户移动的准确性或完整性来对用户的移动进行评分。该准确度分数可以是预定时间段内准确度的移动平均值，并且可以显示在用户的显示器38上，用于个人参考/目标设置。在多个用户分布在网络上并且每个用户都在观看视频的情况下，每个用户的准确度分数可以被广播到集体组(可能是匿名的)，使得每个用户可以知道他或她排名在哪里。同样，用户的准确度分数可以与社交网络上的已知影响者、专业运动员或朋友的分数一起显示在显示器38上。
参考图9，在一些实施例中，一个或多个可穿戴设备20的空间移动可以被一个或多个用户控制台30、230记录并上传到基于云的分布式计算网络50或远程计算设备144。在一些实施例中，视觉效果控制器48可以将一个或多个视觉参数与记录的空间运动相关联，使得该运动可以通过具有增强现实能力的设备200来重放或观看。在这样的示例中，重叠AR效果的性质(颜色、轨迹感知、视觉效果序列)可以是在空间运动发生时发生的运动基元类型的产物。具有增强现实能力的设备200可以是智能手机或AR眼镜，其可操作来将图形图像覆盖在用户的真实世界视图上(即，通过设备感知的)，使得用户感知到该图像存在于特定的真实世界位置。
如图9所示，在一个实施例中，一个或多个可穿戴设备的空间运动可以由叠加在显示的真实世界图像上的一个或多个持续的或随时间衰减的视觉轨迹202来表示。视觉轨迹202可以例如代表篮球场上半场、一场比赛或一天的所有或一些运动。在一些实施例中，不同运动基元的出现可以改变视觉轨迹202的视觉效果、颜色、亮度或持久性。例如，在球场上的快速冲刺可以被可视化为拉长的较细的视觉，而急剧的横向切入可以具有更粗、更亮或更明显的视觉外观。虽然图9简单地示出了视觉轨迹202，但是在一些实施例中，可以有相应的可穿戴设备触发的音频效果，其可以与视频一起被记录和回放。这样，导致显著轨迹的运动基元，诸如可能由扣篮或进行急剧切入引起的运动基元，也可以具有与其相关联的音频效果。
在又一个实施例中，可以用存储在与用户的设备200相关联的存储器中的、或者对于用户的设备200可以经由流媒体服务/订阅来进行访问的音乐来对视觉轨迹进行评分。在该实施例中，用户的设备可以理解运动的时机掌握和节奏以及所创建的视觉输出，并且可以选择具有相似节拍或节奏的音频/音乐轨道。在可用的音频与运动的节拍或时机稍微不匹配的情况下，用户的设备可以被操作以选择最接近的可能音频，然后修改节拍或节奏以匹配。
以本方式使用电子的运动感测服装或鞋类使得能够实现一种新形式的表达和创造，这是通过其他更传统的电子输入所不可能的。体育赛事中每项运动和每个运动员可以创造他们自己独特的听觉或视觉体验，这些体验对于运动员的风格和表现是独特的。这种体验可以直接向用户广播(例如，经由设施内的扬声器或灯)，或者经由与用户控制台通信的一个或多个手持设备向用户广播，该用户控制台与运动员的可穿戴设备配对。在非体育意义上，本技术使得表演者(包括专业的和那些在家上网的)能够具有新的数字增强表达方式，其中，他们自己的动作直接触发A/V体验。
预设的主题或风格可以用在或应用在任何上述引用的例子中，以引入新的成套表达，同时根据预定义的规则改变声音或视觉表达。例如，岛屿/海滩主题可以将可用的声音改变为更卡吕普索(calypso)主题的声音组，和/或可以将可用的颜色和/或视觉效果改变为蓝色/绿色/褐色色彩范围内的颜色和/或视觉效果。
在一个实施例中，如图10所示，只有当用户设备/可穿戴设备出现在特定时间和位置时，对特定对应表(或相关主题)的访问或使用才可以被解锁和/或变得可用。例如，快闪族300的成员在到达该快闪族打算表演的公园或城市广场时都可以获得对预定义的A/V主题的可使用访问权。用户设备/可穿戴设备20可以例如通过使用GPS、RF三角测量、wifi网络识别、RF信标302、蓝牙位置跟踪等(通常称为“位置感测装置”)来了解其位置。当在预定时间到达预定位置(或在其预定距离内)时，向连接的服务器304注册为该组的一部分的任何可穿戴设备20然后可以被配置为开始识别用户的运动基元和/或开始向分布式网络50传送运动数据。通过要求用户选择加入群组，参与可能仅限于那些知情地希望成为该组的一部分的人，而那些恰好在正确的时间处于正确的位置的人将被排除在外和/或被阻止在不知情的情况下加入该组。
在快闪族的例子中，每个用户穿戴的可穿戴设备20可以具有到公共分布式计算网络(WAN、无线LAN等)的连接，每个可穿戴设备直接连接或者通过智能手机、手表或其他连接的设备连接。从感测到的运动基元到触发的响应的转换可以在每个可穿戴设备20本地发生，或者更集中地在联网的服务器304/数据聚集设备上发生。集体用户输出然后可以经由本地A/V系统306(例如，用于由本地扬声器308或视觉效果设备回放)被转换成音频或视觉输出，或者可以经由网络被传递到第三方设备310，在第三方设备310处，它可以作为音频被输出(经由耳机或扬声器)或者在增强或混合现实中被视觉地显示在屏幕上，与图9所示的精神类似。
如上所述，在一些实施例中，可以响应于所感测的运动基元来触发一个或多个视觉效果。为此，图11-14示意性地示出了可穿戴设备20的三个实施例，该可穿戴设备20包括一个或多个集成的发光元件400，该发光元件400可以响应于一个或多个检测到的运动/运动基元而被触发以向外投射可见光(例如，在视觉效果控制器48的指导下)。
如图11中示意性示出的，在一个实施例中，发光元件400可以是投影仪402，该投影仪402可操作来将预定图案的光投射到相邻表面404上，例如地面。如具体示出的，投影仪可以包括外壳406、诸如发光二极管(LED)的光源408、一个或多个透镜410(例如，一个或多个聚光透镜和/或物镜)以及可选的幻灯片或模板412。当使用时，幻灯片或模板412可以使投影仪402能够将图像(例如，标志、剪影或图形)投影到表面404上，而不是简单地投射普通的光球。在一种配置中，投影仪402可以被集成到鞋类物品422的中底420中，并且被取向为使得它通过外底或面向地面的外底表面424投射光。在其他实施例中，代替通过外底或面向地面的外底表面424投射光，投影仪可以被定位/取向成在靠近鞋类物品422的地面表面404上投射图像。在这样的实施例中，投影机402可以位于中底的侧壁上，或者至少部分延伸穿过中底的侧壁。
在发光元件400通过鞋类物品的面向地面的外底表面424发光的构造中，只有当物品的穿着者将他们的脚抬离地面时，投射的光才会被周围的观察者看到。为了节省电力，在一种配置中，发光元件400可以被控制为仅当鞋类物品检测到其离开地面的运动时，或者当可以检测到脚已经移动离开地面足够的距离以使广播光对于观察者可见时(即，位置可以从感测到的加速度数据导出)点亮。在又一个实施例中，发光元件400可以被控制为仅在可穿戴设备20/运动感测电路22感测到高于特定阈值的向上加速度时才点亮。这可以指示跳跃或者特定幅度的跳跃，并且可以进一步帮助确保点亮具有某个最小持续时间，或者确保投影仪402获得理想的焦距以投影足够清晰的图像。
如图12-13所示，在一些实施例中，发光元件400可以是发光面板440和/或点亮设计元件442，发光面板440和/或点亮设计元件442设置在鞋类或服装物品(即点亮物品444)上或者以其他方式与鞋类或服装物品(即点亮物品444)集成。在一些实施例中，该点亮物品444可以与上述可穿戴设备20相同，然而在其他实施例中，它可以不同于可穿戴设备20，尽管与可穿戴设备20(直接或间接地)电通信。例如，可穿戴物品20可以是鞋类物品，而点亮物品444可以是手套或衬衫。物品444还可以包括电源446和控制器448，控制器448可操作来调节从电源446供应到面板440和/或设计元件442的电力。在一些实施例中，控制器448可以是上述视觉效果控制器48。
图12总体示出了作为鞋类物品460的点亮物品444，其包括联接到鞋底结构464的鞋面462。当穿着物品460时，鞋底结构464在脚和地面之间延伸。在不同的实施例中，鞋底结构464可以包括各种缓冲部件，包括泡沫聚合物中底、一个或多个集成的流体填充腔室(例如，气囊)、泡沫内底等。此外，在一些实施例中，它可以包括一个或多个凹部或空腔，以容纳电源446、控制器448和/或物品444可以使用的任何其他传感器或电子部件。
鞋面462可以包括用于接收和覆盖足部以及用于将物品444固定到足部的各种装置。鞋面462包括开口466，该开口为脚进入鞋面462的内腔提供入口。一些实施例可以包括紧固装置，包括但不限于：鞋带、缆绳、带子、纽扣、拉链以及本领域已知的用于紧固物品的任何其它装置。
如图12大致所示，在一个实施例中，鞋面462的外壁可以包括发光面板440。发光面板440可以包括多个不同的层，其中至少一层是电致发光层(或EL面板)。可以使用的示例性EL面板技术包括但不限于：发光电容器(LEC)面板、基于粉末磷光体的电致发光面板和薄膜电致发光材料。附加地或替代地，发光面板440可以包括一个或多个发光二极管或当被漫射时可以点亮面板的区域的其他点亮元件。关于具有发光面板440的物品444的另外的实施例和进一步的细节在例如美国专利No.10,182,608中被描述，该专利通过引用其整体并入本文。
在一些实施例中，鞋类物品460可以包括一个或多个点亮设计元件442。这些设计元件442可包括聚光灯特征或离散元件，这与更一般的被点亮区域(例如发光面板440)相反。然而，在一些实施例中，两者之间可能存在重叠(即，设计元件可以是面板点亮的标志或重点)。在这种情况下，一个或多个点亮设计元件442可以包括发光标志或装饰，例如美国专利No.8,056,269中描述的发光标志或装饰，例如美国专利No.10,004,291中描述的点亮带，例如美国专利No.8,813,395中描述的点亮绳，以及例如美国专利No.8,356,430和美国专利公开No.2009/0158622中描述的点亮空腔或填充流体的缓冲部件，这些参考文献中的每一篇都通过引用整体并入本文。
图12将物品444图示为鞋类物品，而图13总体上将物品444图示为服装/衣服物品480，并且更具体地为穿着状态下的衬衫或夹克。在其他实施例中，服装/衣服物品480可以附加地或替代地包括其他类型的衬衫(长袖、短袖、背心、马甲)、裤子、袜子、紧身衣裤、帽子、手套、外衣和/或任何其他期望类型的服装。如图所示，服装/衣服物品480包括点亮设计元件442，其包括灯阵列482、多个嵌入的导电迹线484、电源446和控制器448。灯阵列482可以包括例如多个离散的可见光源(例如，LED、OLED、电致发光材料等)，这些可见光源布置成例如单行灯或两行或多行灯。灯阵列482还可以包括使用例如光纤灯和/或光纤的连续灯线。灯阵列482被配置为薄的、可弯曲的和柔性的，以便在穿着该服装时符合身体曲线。灯阵列482可以使用例如诸如热塑性聚氨酯(TPU)或硅基聚合物的聚合物层固定到服装上。在美国专利申请公开No.2019/0059461和No.2019/0200690中描述了关于示例性可点亮服装/衣服的更多细节，这两篇参考文献通过引用整体并入。
在一些配置中，图12-13的发光元件400可以用作图5-7所示的用户协作架构的一个或多个输出端。例如，在协作的视觉或音频/视觉作品中，多个用户可以各自穿戴一个或多个点亮物品444，每个点亮物品444具有一个或多个设置在其上的发光元件400。然后，不同的运动基元或运动基元的组合可以触发发光元件400中不同发光元件的点亮，其中，颜色、亮度、持续时间和/或点亮模式(例如，稳定、闪烁、快速闪烁、滚动等)或者是响应于运动基元而预定义的，或者是基元的幅度的函数。例如，与不太强烈的横向切入(例如，通过横向加速度大小或横向加加速度大小(da/dt)测量的)相比，更尖锐的横向切入可以导致更亮的面板点亮。
在一个例子中，如图13所示的紧身衣裤或夹克可以被想要为他/她的表演增加视觉效果的舞台表演者使用。在另一个例子中，如图12和13所示的点亮服装物品可以被跑步者或骑车者用来向附近的其他人发信号。例如，佩戴智能手表可穿戴设备的跑步者可以举手向迎面而来的车辆发出信号。可穿戴设备20可以识别与举手相关联的运动基元，这然后可以触发所有发光元件400中的一些发光元件点亮。在一种配置中，不同的手部运动可以导致不同的点亮模式。例如，向上伸出手可以使第一组灯点亮，而向外伸出手可以使第二组灯点亮。
当使用本技术创作音频/视频表演时，在没有外部节奏的情况下保持节拍可能是特别具有挑战性的。更具体地说，在这种使用情况下，用户可能缺少许多可用于设置节奏/时机的外部提示(例如，低音节拍)。这个问题在协作的组合创作中可能特别明显，这在其他情况下可能依赖于歌曲的节拍来同步表演者的拍子和节奏。
为了帮助一个或多个用户跟踪节拍和/或与其他协作个体保持同步，可穿戴设备20可以包括振动换能器500，该振动换能器500可操作来将触觉感觉传送到用户的身体。图14示意性地示出了这种可穿戴设备20的一个实施例。在该实施例中，振动换能器500设置在鞋类物品444的鞋底结构464内。然而，在其他实施例中，振动换能器500可以与鞋类物品444的鞋面462一起设置，或者设置在诸如手表、臂套、衬衫、裤子、短裤、手套、帽子或与用户身体接触的任何其他衣物或附件的服装物品上/上。
振动换能器500可以在处理器28的指导下操作，以向用户传递节拍或其他触觉时机信号。在多用户环境中，该时机信号然后可以跨多个用户中的每一个被同步，以帮助创建时机掌握正确的作品(例如，在快闪期间)。在一种配置中，由振动换能器500传送给用户的振动可以是切换振动或复合振动，其包括根据指定节拍切换的触觉波形。触觉波形可以是具有例如但不限于约100Hz至约300Hz、或约140Hz至约210Hz、或约230Hz至约260Hz范围内的频率的振动。可以选择这种振动，使得当提供通知时，用户可以最容易地感知来自振动换能器500的这种通知。
歌曲或作品的预期节拍可以由触觉波形的周期性传输来表示，该周期性传输的占空比小于约50％，或者更优选地小于约30％，或者在约5％至约25％的范围内。该节拍可以具有在大约0.1Hz和大约3Hz之间的传输频率。更适当地，如果以每分钟节拍(BPM)来测量，切换的节拍可以离散的每分钟大约30次到大约160次来发送触觉波形。在一些实施例中，不需要表达作品的每个节拍。相反，可以仅表达某些同步节拍(例如，作品中4个连续节拍中的一个或8个连续节拍中的一个)。不管节拍的具体频率如何，触觉波形可以表示短时间的蜂鸣，而节拍是这些短时间蜂鸣发生的时机。
在一些实施例中，代替由振动换能器传送的周期性振动，可以通过在用户身体周围收缩或收紧可穿戴设备20(或与可穿戴设备通信的鞋类或服装物品)的一部分来传送类似的节拍。为了实现收缩，可穿戴设备20(或其它物品)可以包括一个或多个张紧机构，该张紧机构可操作以围绕穿戴者身体的一部分在切线方向上张紧一个或多个纤维、绳索、鞋带、闭合机构或物品的其它合身调节方面。在这样做时，物品中的张力可促使物品在径向尺寸上收缩或减小，这将对穿着者施加压缩力。特别适用于这种压缩的物品包括鞋(即，适应性鞋带张紧)、压缩臂套/衣物和手表/手镯。
在一些实施例中，张紧机构可包括马达，该马达可操作以响应于致动信号来缠绕/退绕嵌入在物品内的拉伸纤维。在其他实施例中，张紧机构可以包括一个或多个线性致动器、快速响应活性材料(例如，压电致动器)或微机电系统(MEMS)。张紧机构可以被配置成响应于所提供的切换节拍，以周期性地引起对用户的脚/身体的瞬时挤压。美国专利No.10,448,707、美国专利公开2018/0199673、美国专利公开2017/0265583和/或美国申请序列号16/694,306中提供了鞋类背景中的张紧机构的额外描述，这些专利申请中的每一者均以引用整体的方式并入本文中。
图15示意性地示出了可以与如上所述的可穿戴设备20一起使用的充电设备600。可以理解，每个可穿戴设备20可以包括电池，该电池需要定期重新充电，以便保持设备执行上述功能的能力。为了提供防水措施，充电装置600可以是包括一个或多个感应线圈602的感应充电装置。当每个线圈602被交流电波形激励并被带到可穿戴设备20附近时，感应线圈602可操作以在可穿戴设备20内磁感应充电电流。在鞋类物品的情况下，可以需要两个感应充电圆盘604、606(即，每只鞋一个)，其中每个圆盘604、606包括可激励的感应线圈602。在US 2017/0150773中描述了一示例充电设备，其通过引用整体并入。
如图16示意性所示，在一些实施例中，充电设备600还可以包括兼作迪斯科球或派对灯的能力。更具体地，每个充电圆盘604、606可以包括多个照亮元件608(例如，LED)，这些照亮元件可操作以投射不同强度和/或颜色的光。此外，充电装置600可以包括安装特征610，例如可以以适于聚会的姿势支撑充电设备的钩子或支架。安装特征610可以与中央集线器612成一体，或者可以以其他方式附接到中央集线器612，每个充电圆盘604、606从中央集线器612延伸。中央集线器612可以包括能量存储设备614、移动机构616和/或灯光控制器618，同时还为延伸到充电圆盘的任何电线提供合适的应变消除。
当用作聚会灯时，能量存储设备614(例如，电池)可以提供点亮照亮元件608所需的电力以及促进任何外部通信或驱动移动机构616的任何动力方面所需的电力。当充电设备插入AC电源时，能量存储设备614可以与可穿戴设备20同时充电。相反，当充电设备600作为聚会灯被操作时，能量存储设备614可以消耗能量。
移动机构616可以被配置成引起充电圆盘604、606和/或照亮元件608的移动，以提供类似于迪斯科球或其他移动聚光灯的视觉效果。移动机构可以包括例如一个或多个马达、发条/弹簧驱动机构或铰接反射镜/透镜。移动机构616通常可以产生充电圆盘或照亮元件的至少一部分的旋转或振荡，以改变光的投射方式。如图16中示意性示出的，在一个特定实施例中，移动机构616可以使得中央集线器612相对于安装特征610旋转，这又可以使得充电圆盘604、606围绕中心轴线620旋转。
灯光控制器618可以负责照亮一个或多个照亮元件608以产生视觉效果。在一种配置中，灯光控制器618可以简单地以重复模式点亮照亮元件608，该重复模式可以是预编程的和/或用户控制的。例如，点亮模式和序列的预定义集合可以在制造时被预编程到灯光控制器中。用户然后可以选择期望的模式/序列，例如，通过点击集线器612上的按钮或者通过经由连接的无线设备(例如，遥控器、智能手机、计算机等)选择它。
在另一种配置中，灯光控制器618可以响应于可以经由集成或连接的麦克风感测到的音频来点亮照亮元件608。灯光控制器可以例如响应于感测到的低频节拍而发出脉冲光，或者可以根据感测到的音高或频率来改变灯光模式或颜色。在一种配置中，麦克风可以被集成到连接的无线设备中，该无线设备可以发送原始感测音频数据、音频概要数据(例如，节拍或音高数据)，或者基于感测到的原始音频或音频概要数据的程序命令。
在又一种配置中，灯光控制器618可以从可穿戴设备20接收数字信号，并且可以基于一个或多个感测到的运动基元来点亮照亮元件608，如上所述。这样，灯光控制器618可以包括视觉效果控制器48或者可以与视觉效果控制器48通信，并且充电设备600可以用作用于显示用户移动的视觉表达(或者可以补充用户的视觉移动)的装置。以这种方式，使得照亮元件608可以使它们的运动和/或闪烁与一个或多个人在灯附近跳舞的节奏移动同步。
在一些实施例中，代替响应于所识别的至少一个运动基元来触发音频样本或视觉效果的回放，运动基元可以充当对外部游戏的输入。例如，在一些实施例中，鞋子可以用作基于舞蹈的视频游戏的输入端，其中一系列移动显示在视频显示器上，并且用户必须尽他或她最大的努力来复制这些移动以获得高分。在另一个实施例中，如图17所示，游戏可以是以零售为中心的游戏，其需要用户执行一个或多个移动序列来获得解锁代码、令牌、通行证、授权或获得零售产品或数字收藏品的机会。在一些实施例中，零售产品或数字收藏品可以是限量发行的零售产品、零售产品的数字表示、加密保护的数字资产，或者是有限或受限供应的一些其他物品，所述加密保护的数字资产例如在美国专利申请No.15/931,764和/或No.16/707,720中所描述，这两个专利申请的全部内容通过引用结合于此。
图17总体上示出了交互式零售亭700，其需要用户主动参与，以便用户702获取零售产品704、零售产品的数字表示、用于获取实物或数字零售产品的解锁代码或解锁代码的一部分，或者对成就的数字认可(例如，可以在社交媒体上共享的虚拟徽章)。
图18示意性地示出了获取实物或电子对象或代码的方法800，例如可以用图17的交互式零售亭700来执行。如图所示，该方法可以开始于识别用户702在亭700的预定义的物理邻近范围内的存在(在802)。在一种配置中，亭700可以包括摄像头、RFID读取器、在亭700旁边的地板上设置的压力垫、或者用户可以按下以向系统提醒用户接近的按钮。在另一配置中，用户702可以拥有无线计算设备706，该无线计算设备706经由通信网络710与服务器节点708进行无线数字通信。无线计算设备706可以拥有用于识别用户位置的装置，诸如GPS接收机、可以识别设备与无线信标302或局域网接近的无线通信组件、或者可以感知和识别周围环境中的视觉方面或数字代码的摄像头。一旦用户的位置被识别，在设备上运行的应用可以将用户的在亭700附近的相对或绝对位置的指示发送到服务器节点708，服务器节点708可以初始化游戏。
无线计算设备706还可以包括认证用户身份的能力，例如通过包括应用程序，该应用程序要求用户输入密码、呈现识别生物特征(例如，指纹或面部识别)、或者以其他方式安全地登录到该应用程序。在步骤804，用户的无线计算设备706可以将用户的身份和位置认证为物理上存在于亭700的预定义的邻近区域或地理围栏内。
一旦用户在亭700附近被认证和识别，服务器708可以向用户提出特定的挑战(在806)。在一种配置中，挑战可以经由耦合到亭700或与亭700通信的显示器712呈现给用户702。在另一个实施例中，挑战可以经由通信网络710和在他们的无线计算设备706上设置的显示器呈现给用户。一般而言，挑战可以包括要求用户按顺序执行的一系列移动、运动或动作。例如，挑战可以包括舞蹈序列、一组练习，例如伸展跳跃、弓步、波比跳、高抬膝、踢腿或一系列瑜伽姿势。
一旦用户在806被呈现挑战，用户702可以执行所请求的身体活动，并且服务器节点708可以确定挑战已经成功完成(在808)。该确定可以来自直接观察(例如，通过亭700设置的摄像头或压力垫)或者通过接收挑战已经被执行的数字指示。在一种配置中，接收到的数字指示可以由可穿戴设备20提供，作为传送的运动基元序列，或者作为可穿戴设备20已经检测到匹配或非常接近在成功完成挑战期间将预期到的运动基元的序列的简单指示。
在确定用户702已经成功完成挑战(在808)之后，亭700然后可以向用户呈现代码(在810)，该代码可以兑换零售产品(在812)，或者与其他代码进行组合以共同兑换零售产品(或者限制发布的数字对象)。如图17所示，在一个实施例中，亭700可以向用户702提供打印有机器可读代码716的打印收据714。在另一个实施例中，亭700可以将代码716数字地传输到用户的设备706或者传输到在发出挑战之前已经由服务器708认证的用户账户。一旦被发送，代码716可以被保存在数字锁柜/存储器中或者冷存储数字钱包中，使得用户可以在将来访问该代码。
在一个实施例中，亭700可以位于零售店，并且可以将代码交给零售商或者输入到互联网界面中，以兑换与亭700中展示的产品704具有相似风格或设计的零售产品。在另一个实施例中，用户可以需要获取多个代码，每个代码来自不同的亭，以获得该产品的资格。在这种多个亭的情况下，多个亭可以分布在一个地理区域和/或多个零售商店，并且用户可能需要搜索出它们，如美国专利公开2019/0213619和美国专利申请No.16/874,944中所述，其全部内容通过引用并入本文。在这种配置中，用户可能会被送去进行寻宝游戏，以积累产品解锁所需的代码。如大致在美国专利申请No.16/874,944中讨论的，在一个实施例中，可以通过使用内置在鞋中的逐向导航(例如，通过选择性地拉紧鞋带，或者通过选择性地致动图14所示的触觉传感器)将用户引导到下一个亭。
虽然零售亭700在图17中被示出为实物产品展示，但是在其他实施例中，它可以简单地为非零售展示，例如超大的标志、符号或可以具有或不具有直接交互能力的其他标记。在一些实施例中，亭700可以是虚拟亭(即，在增强或混合现实环境中可用合适的无线计算设备来查看)，或者可以是虚拟路程点或位置，例如地理围栏区域。
虽然以上提供的大部分公开内容主要集中于在现场环境中创建音频和/或视觉效果，但是类似的体验也可以在虚拟世界中创建(例如，如图19所示)或者用于增强实况事件的视频广播(例如，如图20所示)。
参考图19，音乐艺术家900在在线虚拟环境中广播现场音乐会表演变得越来越普遍。这种虚拟环境902可以由游戏服务器904托管和/或维护，游戏服务器904连接到诸如因特网的分布式计算网络50。多个用户可以通过环境902内唯一的、用户控制的化身906与虚拟环境交互以及彼此交互。在玩游戏期间，每个化身906可以响应由不同的相应用户910控制的启用网络的计算设备908做出的相应运动/动作命令。每个用户908可以经由与他们各自的启用网络的计算设备908相关联的显示器来体验虚拟环境902中他们的化身906的第一或第三人称视角。一个这种环境的流行的例子以Epic Games开发的游戏
Figure BDA0003747846380000231
存在。
在图19所示的实施例中，非常类似于上述实施例，用户控制台30可以从设置在音乐表演者900身体上的可穿戴设备20接收数据流。用户控制台30可以依靠类似的运动对应表110来触发先前已经与该运动基元相关联的音频样本或视觉效果的回放。然而，主要区别在于触发的音频样本或视觉效果仅出现在虚拟环境902中。例如，表演者的脚的横向摆动可以导致环境内的天空改变颜色，用户的脚的踩踏可以引发虚拟烟火，并且用户的拳头的向下猛推可以导致强烈的打击/踢鼓的回放，这可能伴随着例如从表演者的化身912向外发出的视觉冲击波。此外，代替于运动基元仅用于控制声音或视觉效果，表演者的可穿戴设备所感测的运动基元也可用于控制或改变虚拟环境902内表演者的化身912的一些或全部运动或动作。
图19利用可穿戴设备20来控制虚拟世界的方面，而图20中所示的系统950可操作以使用感测到的运动来增强实况视频广播的一个或多个方面。在体育赛事的背景下，运动员制服的一部分可以包括可穿戴设备20，该可穿戴设备20可操作以从穿戴者的运动/活动中检测或提取一个或多个运动基元。如果运动员执行预定义的移动或一系列移动，则体育赛事的视觉广播952(电视、有线电视、虚拟现实、互联网流等)可以用一个或多个视觉效果954而被增强/改变，以强调或着重运动员的动作。例如，在篮球比赛中，如果运动员要用阈值大小的力或跳跃力扣篮，在落地时，广播系统956可以用从球场表面上的运动员本身发出爆炸的图形覆盖视频馈送958。在另一个例子中，如果篮球运动员要执行标志性的交叉移动，该动作序列可以使广播系统956图形化地改变视频馈送958内的地面的感知轮廓——好像运动员的踩实的脚使球场表面起皱。在这样做时，本技术的这种使用将修饰的或卡通的视频游戏(例如，类似于Electronic Arts Inc.生产的NBA JAM)的各方面注入到实况运动中，同时由直接感测到的运动员自己的运动触发(而不是由第三方视觉观察者触发)。
在一些实施例中，除了移动触发之外，视觉效果的产生还可以以外部因素为条件，例如比赛中的时间、最近的得分活动或者球场/场地上其他运动员的相对位置。此外，在一些实施例中，效果的存在、性质或颜色可以基于观看的用户提供的一个或多个偏好或属性(即，经由用户各自的启用网络的计算设备960)而变化。在这样的实施例中，用户可以首先预先选择喜爱的队或运动员，这可以动态地将不同的运动对应表分配给不同的运动员/队。在视频广播期间，预先选择的喜爱的队或运动员于是可以通过第一组声音/图形来增强，而其他运动员(特别是对手运动员/队)可以通过第二组声音/图形来增强。在指定的喜爱的运动员/队与对手之间的待遇差异可能具有将预先选择的喜爱的运动员塑造为英雄而将对手的运动员/队塑造为反派的效果。例如，这可以通过使用不同的色彩、不同的图形和/或不同的声音效果来实现。
非常类似于增强的体育广播952，移植到虚拟环境902中的视觉效果，如图19所示，可以根据该世界中用户的一个或多个属性或偏好而不同。例如，用户的化身所穿的服装/皮肤可以解锁某些配色方案或视觉效果。类似地，用户化身的级别或经验也可以解锁不同的视觉或听觉效果。例如，这可以通过应用完全不同的对应表，或者通过使对应表的各方面以某些标准为条件来实现。
除了简单地改变视觉或听觉效果之外，还可以将对应表的输出以一个或多个触觉信号的形式传送给用户。每个触觉信号可以指示用户身体上的触觉设备提供触觉响应。这些触觉响应可以是设置在用户身上的鞋类或服装物品的振动或收缩的形式，并且可以与一个或多个视觉或听觉效果同步。以这种方式，本技术可以通过多种感知出现，以提供更身临其境的用户体验。在一个实施例中，触觉信号可以进一步尝试传达或给予一种或多种触觉感觉，这些触觉感觉可以类似于现场运动员所体验的那些。
在以下条款中阐述了当前描述的技术的各种特征和操作方法：
条款1：一种用于基于运动的媒体创作的系统，包括：具有至少一个加速度计或惯性测量单元的鞋类或服装物品，所述加速度计或惯性测量单元能够被操作以监控所述鞋类或服装物品的至少一部分的空间运动，并生成指示所监控的空间运动的数据流；与所述鞋类或服装物品进行网络无线通信的处理器，所述处理器被配置为：从所述鞋类或服装物品接收所述数据流；从接收到的数据流中识别至少一个运动基元；并且响应于所识别的至少一个运动基元，触发音频样本或视觉效果的回放。
条款2：根据第1条所述的系统，其中，所识别的至少一个运动基元包括第一运动基元和第二运动基元，并且所述音频样本或视觉效果是第一音频样本或第一视觉效果，并且响应于所述第一运动基元而被触发；并且该处理器还被配置成：响应于第二识别的运动基元，触发第二音频样本或第二视觉效果的回放；并且其中，所述第一音频样本或第一视觉效果不同于所述第二音频样本或第二视觉效果。
条款3：根据条款1-2中任一项所述的系统，还包括通信的用户输入设备、显示器和用户输入端，并且其中，所述处理器还被配置为：维持多个音频样本的库；基于从所述用户输入设备接收到的输入，将从多个音频样本中选择的音频样本与预定义的运动基元相关联；将所识别的运动基元与预定义的运动基元进行匹配；并且其中，响应于所识别的运动基元而触发音频样本或视觉效果的回放包括响应于所识别的运动基元与预定义的运动基元的匹配而输出所选择的音频样本。
条款4：根据条款1-3中任一项所述的系统，还包括通信的用户输入设备、显示器和用户输入端，并且其中，所述处理器还被配置为：维持多个视觉效果的库；基于从所述用户输入设备接收的输入，将从多个视觉效果中选择的视觉效果与预定义的运动基元相关联；将所识别的运动基元与预定义的运动基元进行匹配；并且其中，响应于所识别的运动基元而触发音频样本或视觉效果的回放包括响应于所识别的运动基元与预定义的运动基元的匹配而输出所选择的视觉效果。
条款5：根据条款4所述的系统，其中，所述鞋类或服装物品还包括至少一个灯；并且其中，输出所选择的视觉效果包括点亮鞋类或服装物品上的所述至少一个灯。
条款6：根据条款1-5中任一项所述的系统，其中，所述鞋类或服装物品是鞋类物品。
条款7：根据条款1-6中任一项所述的系统，其中，用户控制台与分布式网络通信；并且，所述处理器还被配置成：从所述分布式网络接收挑战，所述挑战包括有序数量的运动基元；经由用户显示设备向用户显示所述挑战；从所接收的数据流中确定准确度度量，所述准确度度量表示所监控的鞋类或服装物品的空间运动与所述有序数量的运动基元之间的对应关系。
条款8：根据条款7所述的系统，其中，所述处理器还被配置为向所述分布式网络传输所述准确度度量。
条款9.根据条款1-8中任一项所述的系统，其中，所述处理器被配置成在虚拟环境中触发音频样本或视觉效果的回放。
条款10.根据权利要求9所述的系统，其中，音频样本或视觉效果的回放是虚拟环境中化身的移动。
条款11.根据条款1-8中任一项所述的系统，其中，所述处理器被配置为触发音频样本或视觉效果的回放作为视频馈送上的覆盖。
条款12.根据条款1-11中任一项所述的系统，其中，所述处理器还被配置成确定所述鞋类或服装物品与预定位置之间的距离，并且其中，所述处理器被配置成仅在所述距离低于预定阈值时触发音频样本或视觉效果的回放。
条款13：一种根据用户运动创建娱乐体验的方法，所述方法包括：接收多个数据流，每个数据流来自不同的鞋类或服装物品，并代表相应物品的空间运动；以及响应于所接收的多个数据流中的每一个，触发音频样本或视觉效果的回放。
条款14：根据条款13所述的方法，还包括从所述多个数据流中识别多个运动基元；并且其中，触发音频样本或视觉效果的回放包括为所识别的多个运动基元中的每个不同的运动基元触发不同的音频样本或视觉效果的回放。
条款15：根据条款14所述的方法，还包括将多个预定义的运动基元映射到多个不同的音频样本或视觉效果。
条款16：根据条款15所述的方法，其中，映射包括将所述多个运动基元中的每一个映射到所述多个不同音频样本或视觉效果中的不同的一个音频样本或视觉效果。
条款17：根据条款14-126中任一项所述的方法，还包括：从分布式网络接收挑战，所述挑战包括有序数量的运动基元；经由一个或多个用户显示设备向一个或多个用户显示挑战；从所接收的多个数据流中确定准确度度量，所述准确度度量表示所识别的多个运动基元和有序数量的运动基元之间的对应关系。
条款18：根据条款13-17中任一项所述的方法，还包括：维持多个音频样本的库和多个预定义的运动基元的库；基于从用户输入设备接收到的输入，将从多个音频样本中选择的多个不同音频样本与多个预定义运动基元中的每一个相关联；从多个数据流中识别多个运动基元；将每个识别到的运动基元与预定义的运动基元之一进行匹配；并且其中，音频样本或视觉效果的回放的触发包括输出与每个预定义的运动基元相关联的音频样本，该每个预定义的运动基元与所识别的运动基元相匹配。
条款19：根据条款13-17中任一项所述的方法，还包括：维持多个视觉效果的库和多个预定义的运动基元的库；基于从用户输入设备接收到的输入，将从多个视觉效果中选择的不同视觉效果与多个预定义运动基元中的每一个相关联；从多个数据流中识别多个运动基元；将每个识别到的运动基元与预定义的运动基元之一进行匹配；并且其中，音频样本或视觉效果的回放的触发包括输出与每个预定义的运动基元相关联的视觉效果，该每个预定义的运动基元与所识别的运动基元相匹配。
条款20：根据条款19所述的方法，其中，输出视觉效果包括点亮所述鞋类或服装物品上的至少一个灯。
条款21：根据条款13-20中任一项所述的方法，其中，接收多个数据流包括经由无线数字通信协议接收数据流。
条款22：根据条款13-21中任一项所述的方法，还包括从所述多个数据流中的第一数据流中识别第一运动基元，并且从所述多个数据流中的第二数据流中识别第二运动基元，其中，所述第一运动基元和所述第二运动基元是相同的；并且其中，触发音频样本或视觉效果的回放包括响应于所述第一运动基元的识别而触发第一音频样本或视觉效果的回放，以及响应于所述第二运动基元的识别而触发第二音频样本或视觉效果的回放；并且其中，所述第一音频样本或视觉效果不同于所述第二音频样本或视觉效果。

Claims (20)

1.一种用于基于运动的媒体创作的系统，包括：
鞋类或服装物品，包括至少一个加速度计或惯性测量单元，所述加速度计或惯性测量单元能够被操作以监控所述鞋类或服装物品的至少一部分的空间运动，并产生指示所监控的空间运动的数据流；
处理器，与所述鞋类或服装物品进行网络无线通信，所述处理器被配置为：
接收来自所述鞋类或服装物品的数据流；
从接收到的数据流中识别至少一个运动基元；和
响应于所识别的至少一个运动基元，触发音频样本或视觉效果的回放。
2.根据权利要求1所述的系统，其中，所识别的至少一个运动基元包括第一运动基元和第二运动基元，并且，所述音频样本或视觉效果是第一音频样本或第一视觉效果而且响应于所述第一运动基元而被触发；并且
所述处理器还被配置成：
响应于第二识别的运动基元，触发第二音频样本或第二视觉效果的回放；并且
其中，所述第一音频样本或第一视觉效果不同于所述第二音频样本或第二视觉效果。
3.根据权利要求1所述的系统，还包括与所述处理器通信的用户输入设备和显示器，并且其中，所述处理器还被配置为：
维持多个音频样本的库；
基于从所述用户输入设备接收到的输入，将从所述多个音频样本中选择的音频样本与预定义的运动基元相关联；
将所识别的运动基元与预定义的运动基元进行匹配；并且
其中，响应于所识别的运动基元而触发音频样本或视觉效果的回放包括响应于所识别的运动基元与预定义的运动基元的匹配而输出所选择的音频样本。
4.根据权利要求1所述的系统，还包括与所述处理器通信的用户输入设备和显示器，并且其中，所述处理器还被配置为：
维持多个视觉效果的库；
基于从所述用户输入设备接收到的输入，将从所述多个视觉效果中选择的视觉效果与预定义的运动基元相关联；
将所识别的运动基元与预定义的运动基元进行匹配；并且
其中，响应于所识别的运动基元而触发音频样本或视觉效果的回放包括响应于所识别的运动基元与预定义的运动基元的匹配而输出所选择的视觉效果。
5.根据权利要求4所述的系统，其中，所述鞋类或服装物品还包括至少一个灯；并且
其中，输出所选择的视觉效果包括点亮所述鞋类或服装物品上的所述至少一个灯。
6.根据权利要求1所述的系统，其中，所述处理器被配置为在虚拟环境中触发音频样本或视觉效果的回放。
7.根据权利要求6所述的系统，其中，所述音频样本或视觉效果的回放是在所述虚拟环境中化身的移动。
8.根据权利要求1所述的系统，其中，所述处理器被配置为触发音频样本或视觉效果的回放，作为视频馈送上的覆盖。
9.根据权利要求1所述的系统，其中，所述处理器还被配置为确定所述鞋类或服装物品与预定位置之间的距离，并且其中，所述处理器被配置为仅当所述距离低于预定阈值时，才触发音频样本或视觉效果的回放。
10.根据权利要求1所述的系统，其中，所述鞋类或服装物品还包括振动换能器，所述振动换能器能够被操作以将触觉感觉传递给用户的身体；并且
其中，所述处理器还被配置成使所述振动换能器向用户传送节拍或触觉时机信号。
11.一种根据用户运动创建娱乐体验的方法，所述方法包括：
接收多个数据流，每个数据流来自不同的鞋类或服装物品，并代表相应物品的空间运动；和
响应于所接收的多个数据流中的每一个，触发音频样本或视觉效果的回放。
12.根据权利要求11所述的方法，还包括从所述多个数据流中识别多个运动基元；和
其中，触发音频样本或视觉效果的回放包括为所识别的多个运动基元中的每个不同的运动基元触发不同的音频样本或视觉效果的回放。
13.根据权利要求12所述的方法，还包括将多个预定义的运动基元映射到多个不同的音频样本或视觉效果。
14.根据权利要求13所述的方法，其中，所述映射包括将所述多个运动基元中的每一个映射到所述多个不同的音频样本或视觉效果中的不同的一个音频样本或视觉效果。
15.根据权利要求11所述的方法，其中，响应于所接收的多个数据流中的每一个而触发音频样本或视觉效果的回放包括在虚拟环境中显示视觉效果或启动化身的运动。
16.根据权利要求11所述的方法，进一步包括：
维持多个音频样本的库和多个预定义的运动基元的库；
基于从用户输入设备接收到的输入，将从所述多个音频样本中选择的不同音频样本与所述多个预定义的运动基元中的每一个相关联；
从所述多个数据流中识别多个运动基元；
将每个识别到的运动基元与所述预定义的运动基元之一进行匹配；和
其中，触发音频样本或视觉效果的回放包括输出与每个预定义的运动基元相关联的音频样本，该每个预定义的运动基元与识别到的运动基元相匹配。
17.根据权利要求11所述的方法，进一步包括：
维持多个视觉效果的库和多个预定义的运动基元的库；
基于从用户输入设备接收到的输入，将从所述多个视觉效果中选择的不同视觉效果与所述多个预定义的运动基元中的每一个相关联；
从所述多个数据流中识别多个运动基元；
将每个识别到的运动基元与所述预定义的运动基元之一进行匹配；和
其中，触发音频样本或视觉效果的回放包括输出与每个预定义的运动基元相关联的视觉效果，该预定义的运动基元与识别到的运动基元相匹配。
18.根据权利要求17所述的方法，其中，输出所述视觉效果包括点亮所述鞋类或服装物品上的至少一个灯。
19.根据权利要求11所述的方法，其中，接收所述多个数据流包括经由无线数字通信协议接收数据流。
20.根据权利要求11所述的方法，还包括从所述多个数据流中的第一数据流中识别第一运动基元，并从所述多个数据流中的第二数据流中识别第二运动基元，其中，所述第一运动基元和所述第二运动基元是相同的；并且
其中，触发音频样本或视觉效果的回放包括响应于所述第一运动基元的识别而触发第一音频样本或视觉效果的回放，以及响应于所述第二运动基元的识别而触发第二音频样本或视觉效果的回放；并且
其中，所述第一音频样本或视觉效果不同于所述第二音频样本或视觉效果。
CN202080093403.9A 2019-11-22 2020-11-23 基于运动的媒体创作 Pending CN114945295A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962939309P 2019-11-22 2019-11-22
US62/939,309 2019-11-22
US202063032689P 2020-05-31 2020-05-31
US63/032,689 2020-05-31
PCT/US2020/061882 WO2021102440A1 (en) 2019-11-22 2020-11-23 Motion-based media creation

Publications (1)

Publication Number Publication Date
CN114945295A true CN114945295A (zh) 2022-08-26

Family

ID=73854946

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080093403.9A Pending CN114945295A (zh) 2019-11-22 2020-11-23 基于运动的媒体创作
CN202080093385.4A Pending CN114945321A (zh) 2019-11-22 2020-11-23 基于服装的动态运动评分

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080093385.4A Pending CN114945321A (zh) 2019-11-22 2020-11-23 基于服装的动态运动评分

Country Status (6)

Country Link
US (4) US20210154556A1 (zh)
EP (2) EP4061172A1 (zh)
JP (2) JP2023514471A (zh)
KR (2) KR20220100054A (zh)
CN (2) CN114945295A (zh)
WO (2) WO2021102442A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827804B2 (en) * 2016-03-15 2020-11-10 Nike, Inc. Lacing apparatus for automated footwear platform
US11798272B2 (en) * 2019-09-17 2023-10-24 Battelle Memorial Institute Activity assistance system
US11338209B2 (en) * 2020-04-23 2022-05-24 Mc Master Of Ceremony Inc Methods, systems, apparatuses, and devices for facilitating conducting a competition between participants
US11801434B2 (en) * 2020-05-20 2023-10-31 Mark Greenberg Racquet sport scoring system
US20220225486A1 (en) * 2021-01-08 2022-07-14 Samsung Electronics Co., Ltd. Communicative light assembly system for digital humans
EP4216167A4 (en) * 2021-01-13 2024-05-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN AVATAR VIDEO SERVICE
US20220385748A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Conveying motion data via media packets
US20230302357A1 (en) * 2022-03-22 2023-09-28 Rovi Guides, Inc. Systems and methods for analyzing video data of predictive movements
US12052113B2 (en) * 2022-05-27 2024-07-30 Ricoh Company, Ltd. Information processing apparatus, information processing system, method for providing rhythm, and non-transitory recording medium
JP7197231B1 (ja) 2022-07-25 2022-12-27 Ｊｐ Ｇａｍｅｓ株式会社 情報処理装置、情報処理方法およびプログラム
US11880507B1 (en) * 2022-09-29 2024-01-23 Music App Inc. Automated musical-score-referenced evaluation of haptic-based rhythmic performance
US11908446B1 (en) * 2023-10-05 2024-02-20 Eunice Jia Min Yong Wearable audiovisual translation system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2089125A4 (en) * 2006-11-10 2011-04-06 Mtv Networks ELECTRONIC GAME WITH IDENTIFICATION AND IMPLEMENTATION OF THE FOOT MOVEMENTS OF A USER
US7937856B2 (en) 2007-12-21 2011-05-10 Nike, Inc. Article of footwear with illuminated chamber
US8056269B2 (en) 2008-05-02 2011-11-15 Nike, Inc. Article of footwear with lighting system
US8356430B2 (en) 2010-02-11 2013-01-22 Nike, Inc. Article of footwear incorporating an illuminable fluid-filled chamber
US8453357B2 (en) 2010-02-11 2013-06-04 Nike, Inc. Article of footwear incorporating illuminable strands
US20150370320A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
EP2783630A1 (en) * 2013-03-27 2014-10-01 ETH Zurich Human motion analysis method and device
US9723381B2 (en) * 2013-12-23 2017-08-01 Nike, Inc. Athletic monitoring system having automatic pausing of media content
JPWO2016111069A1 (ja) * 2015-01-05 2017-10-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10182608B2 (en) 2015-01-29 2019-01-22 Nike, Inc. Article with illuminating surface
JP6043891B1 (ja) * 2015-02-18 2016-12-14 株式会社ノーニューフォークスタジオ 履物、音声出力システム及び出力制御方法
CN112754109B (zh) 2015-11-30 2023-04-07 耐克创新有限合伙公司 控制鞋类物品的系统及方法
US9861155B2 (en) 2016-03-15 2018-01-09 Nike, Inc. Lighting assembly for articles of footwear
WO2017160865A1 (en) 2016-03-15 2017-09-21 Nike Innovate C.V. Capacitive foot presence sensing for footwear
US10390589B2 (en) 2016-03-15 2019-08-27 Nike, Inc. Drive mechanism for automated footwear platform
CN117918600A (zh) 2016-06-30 2024-04-26 耐克创新有限合伙公司 具有集成照明系统的服装物品
US20180060943A1 (en) * 2016-08-26 2018-03-01 Wal-Mart Stores, Inc. Apparatus and method for management of a hybrid store
US11083248B2 (en) 2016-10-26 2021-08-10 Nike, Inc. Automated footwear platform having upper elastic tensioner
EP3559940B1 (en) * 2016-12-25 2022-12-07 Mictic Ag Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
JP2018191760A (ja) * 2017-05-15 2018-12-06 ヤマハ株式会社 演出装置、演出システム、及びプログラム
US10701987B2 (en) 2017-08-31 2020-07-07 Nike, Inc. Sense-enabled apparel
WO2019051498A1 (en) 2017-09-11 2019-03-14 Nike Innovate C.V. APPARATUS, SYSTEM AND METHOD OF SEARCH USING GEOCACHING
IT201800005763A1 (it) * 2018-05-28 2019-11-28 Tirozzi Gianluca Metodo, apparati e sistema per la realizzazione di un protocollo criptato di trasmissione di pacchetti dati criptati denoniminato "transport encrypted protocol" (tep)

Also Published As

Publication number Publication date
WO2021102442A1 (en) 2021-05-27
KR20220100054A (ko) 2022-07-14
CN114945321A (zh) 2022-08-26
US20210154556A1 (en) 2021-05-27
EP4061216A1 (en) 2022-09-28
US20220279891A1 (en) 2022-09-08
US20210157844A1 (en) 2021-05-27
WO2021102440A1 (en) 2021-05-27
US20220279890A1 (en) 2022-09-08
JP2023514471A (ja) 2023-04-06
JP2023514472A (ja) 2023-04-06
EP4061172A1 (en) 2022-09-28
KR20220106781A (ko) 2022-07-29

Similar Documents

Publication Publication Date Title
US20220279891A1 (en) Motion-based media creation
Paradiso et al. Design and implementation of expressive footwear
US10856602B2 (en) Footwear, sound output system, and sound output method
US10421002B2 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
US20210046373A1 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
KR101839851B1 (ko) 사용자의 손가락의 위치를 결정하기 위한 신호 발생 및 검출기 시스템 및 방법
US9460700B2 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
US20180292892A1 (en) Electronic gaming machine in communicative control with avatar display from motion-capture system
CN108235505A (zh) 用于服装片和运动装备的消息传送单元
US20060032085A1 (en) Tap dance shoe and method of teaching tap dance
US9586137B2 (en) Method and system for improving bodily dexterity
WO2019124069A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20190220085A1 (en) System and Method for Generating Wireless Signals and Controlling Digital Responses from Physical Movement
WO2018181584A1 (ja) 情報処理システム、情報処理方法、情報処理プログラム
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
Siegel Dancing the music: Interactive dance and music
Paradiso Footnotes: personal reflections on the development of instrumented dance shoes and their musical applications
US20190151751A1 (en) Multi-dimensional movement recording and analysis method for movement entrainment education and gaming
US20210174772A1 (en) Motion/Position-Sensing Responsive Light-Up Musical Instrument
Ishiyama et al. A prototype of virtual drum performance system with a head-mounted display
US20240042323A1 (en) Information processing system, method for processing information, and non-transitory computer-readable information storage medium
US10709966B2 (en) Wearable device with movement indicator, system and method for movement indication
Hashimi Users as performers in vocal interactive media—the role of expressive voice visualisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination