KR20220106781A - 의류 기반의 역동적 움직임 채점 - Google Patents

의류 기반의 역동적 움직임 채점 Download PDF

Info

Publication number
KR20220106781A
KR20220106781A KR1020227021135A KR20227021135A KR20220106781A KR 20220106781 A KR20220106781 A KR 20220106781A KR 1020227021135 A KR1020227021135 A KR 1020227021135A KR 20227021135 A KR20227021135 A KR 20227021135A KR 20220106781 A KR20220106781 A KR 20220106781A
Authority
KR
South Korea
Prior art keywords
motion
user
article
processor
footwear
Prior art date
Application number
KR1020227021135A
Other languages
English (en)
Inventor
크리스토퍼 안돈
바비 레가예
히엔 토미 팜
아담 테누타
Original Assignee
나이키 이노베이트 씨.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나이키 이노베이트 씨.브이. filed Critical 나이키 이노베이트 씨.브이.
Publication of KR20220106781A publication Critical patent/KR20220106781A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/36—Footwear characterised by the shape or the use with electrical or electronic arrangements with light sources
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/38—Footwear characterised by the shape or the use with electrical or electronic arrangements with power sources
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/44—Footwear characterised by the shape or the use with electrical or electronic arrangements with sensors, e.g. for detecting contact or position
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/48—Footwear characterised by the shape or the use with electrical or electronic arrangements with transmitting devices, e.g. GSM or Wi-Fi®
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/50—Footwear characterised by the shape or the use with electrical or electronic arrangements with sound or music sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0209—Incentive being awarded or redeemed in connection with the playing of a video game
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/833—Sensors arranged on the exercise apparatus or sports implement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/74—Miscellaneous features of sport apparatus, devices or equipment with powered illuminating means, e.g. lights
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/22—Dancing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/326—Control glove or other hand or palm-attached control device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/336—Control shoe or boot, i.e. sensor-equipped lower part of lower limb, e.g. shoe, toe ring, sock, ankle bracelet or leg control attachment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

역동적인 움직임 채점을 위한 시스템은 신발류 또는 의류 물품과, 상기 신발류 또는 의류 물품과 네트워크로 무선 통신하는 프로세서를 포함한다. 상기 물품은 상기 신발류 또는 의류 물품의 적어도 일부의 공간 모션을 모니터링하고 그 모니터링된 공간 모션을 나타내는 데이터 스트림을 생성하도록 동작하는 적어도 하나의 가속도계 또는 관성 측정 유닛을 포함한다. 상기 프로세서는 상기 신발류 또는 의류 물품으로부터 상기 데이터 스트림을 수신하고, 상기 수신된 데이터 스트림으로부터 적어도 하나의 모션 프리미티브를 식별하고, 상기 신발류 또는 의류 물품의 상기 모니터링된 공간 모션과 상기 정렬된 수의 모션 프리미티브의 대응을 나타내는 정확도 메트릭을 결정하도록 구성된다.

Description

의류 기반의 역동적 움직임 채점
본 출원은 2019년 11월 22일 및 2020년 5월 31일에 출원된 미국 가특허 출원 번호 제62/939,309호 및 제63/032,689호로부터 우선권의 이익을 주장하며, 두 출원의 전체 내용은 참조로 합체된다.
본 개시는 착용된 신발류 또는 의류 물품에 제공되는 기구(instrumentation)를 통해 사용자의 실시간 모션을 분석하기 위한 시스템에 관한 것이다.
운동 세계에서도 움직임 기반 소셜 미디어 챌린지와 관련해서도, 사용자는 비트나 음악 샘플에 맞춰 일련의 역동적인 움직임이나 연출된 춤(choreographed dance)을 수행할 것을 요청받거나 도전받는 경우가 많다. 이러한 챌린지를 수행하는 것 자체가 때때로 위업이기는 하지만, 이러한 챌린지를 움직임에서 움직임으로 완전하고 정확하게 또 유동적으로 수행하는 것이 진정한 도전이다. 코치가 근처에 서 있지 않으면, 개인이 자신의 공연을 이상적인 표준과 어떻게 비교할지를 진정으로 이해하기는 어렵다.
본 개시는 착용된 신발류 또는 의류 물품에 제공되는 기구를 통해 사용자의 실시간 공간 모션(spatial motion)을 감지하고 처리할 수 있는 시스템에 관한 것이다. 이어서 상기 모션은 이상적인 표준, 친구 또는 다른 사용자의 모션과 비교되어 자신의 모션이 얼마나 정확하고 완전하게 추적되는지 더 잘 이해할 수 있다. 이러한 대응은 분산 컴퓨팅 네트워크를 통해 사용자, 코치 또는 더 넓은 커뮤니티와 공유될 수 있는 정확도 메트릭(accuracy metric)으로 변환될 수 있다.
사용자의 모션을 순전히 채점하는 것 외에도, 본 시스템은 또한 사용자의 모션이 하나 이상의 오디오 샘플 또는 시각 효과의 출력을 트리거하도록 동작하는 창의적인 멀티미디어 표현의 요소를 추가할 수 있다. 이러한 방식으로, 사용자는 다른 감각적 출력을 통해 자신의 모션을 느끼거나 표현할 수 있다.
본 개시의 추가 이점 및 양태는 다음의 이어지는 개시에서 제공된다.
도 1은 모션 기반의 미디어 생성(motion-based media creation)을 위한 시스템의 실시예의 개략도이다.
도 2는 전자 모션-감지 신발류 물품의 개략도이다.
도 3은 모션 기반의 미디어 생성 시스템을 위한 동작 방법의 개략적인 흐름도이다.
도 4는 모션 기반의 미디어 생성을 위한 시스템의 동작의 개략적인 기능 블록도이다.
도 5는 각각 감지된 모션을 공통 규칙 세트에 의해 오디오/시각적 출력으로 변환시키는 복수의 웨어러블의 개략도이다.
도 6은 포드(pod)로 그룹화된 복수의 웨어러블의 개략도로서, 각 포드는 연관된 웨어러블의 감지된 모션을 포드 고유의 규칙 세트에 의해 오디오/시각적 출력으로 변환시킨다.
도 7은 각각 감지된 모션을 별개의 규칙 세트에 의해 오디오/시각적 출력으로 변환시키는 복수의 웨어러블의 개략도이다.
도 8은 본 시스템으로 모션 기반의 챌린지를 수행하는 사용자의 개략도이다.
도 9는 커넥티드 웨어러블의 감지된 움직임으로부터 생기는 증강 현실 시각 효과를 표시하는 사용자 디바이스의 개략도이다.
도 10은 각 참가자가 오디오/시각적 출력에의 위치 기반 액세스가 가능한 웨어러블을 착용하고 있는 플래시 몹의 개략도이다.
도 11은 신발류 물품 내에 마련된 모션 활성화 광 프로젝터(motion activated light projector)의 개략적인 부분 측단면도이다.
도 12는 복수의 발광 요소를 갖는 신발류 물품의 개략적인 사시도이다.
도 13은 복수의 발광 요소를 갖는 의류 물품의 개략적인 배면도이다.
도 14는 신발류 물품 내에 마련된 진동 변환기(vibration transducer)의 개략적인 부분 단면도이다.
도 15는 복수의 웨어러블을 충전하는데 사용되는 유도 충전기의 개략적인 측면도이다.
도 16은 파티 조명으로 사용되는 도 15의 유도 충전기의 개략적인 측면도이다.
도 17은 대화형 소매 키오스크의 개략적인 사시도이다.
도 18은 도 17의 대화형 소매 키오스크와 같은 것으로 물리적 또는 전자적 객체 또는 코드를 취득하는 방법의 개략적인 흐름도이다.
도 19는 호스팅된 가상 세계 내에서 공연에 영향을 미치기 위해 커넥티드 웨어러블을 사용하는 공연 아티스트 그룹의 개략도이다.
도 20은 라이브 비디오 방송을 증강하기 위해 사용되는 웨어러블의 개략도이다.
이하의 논의 및 첨부 도면은 하나 이상의 오디오 샘플 또는 시각 효과의 재생을 트리거하기 위해, 직접 감지된 신체 모션을 사용하는 시스템을 개시한다. 이 기술은 댄서나 운동선수의 움직임이 전자 멀티미디어 경험의 생성을 주도할 수 있도록 하는 새로운 형태의 표현을 만들기 위한 것이다.
오디오/시각(A/V) 경험을 구성하기 위한 도구를 단순히 제공하는 것에 더하여, 본 기술의 일부 실시예는 복수의 사용자 간의 사회적 협업(social collaboration)을 가능하게 할 수 있다. 예컨대, 일부 구성에서, 시스템의 여러 사용자는 조인트/협업 A/V 구성(A/V composition)을 만들기 위해 로컬 방식으로 또는 네트워크된 방식으로 협업할 수 있다. 다른 예에서, 다수의 네트워크된 사용자는 서로로부터 모션 기반의 챌린지를 공표 및/또는 그에 응답할 수 있다.
협업 맥락에서, 본 기술의 일부 실시예는 교향악단이 연주하는 것과 거의 동일한 방식으로, 무용단 또는 소셜 네트워크의 다수의 멤버가 A/V 구성의 생성에 협업할 수 있도록 할 수 있다. 특히, 각 사용자 또는 소규모 사용자 그룹은 자신의 움직임과 관련된 고유한 사운드 또는 시각 효과를 가질 수 있다. 공연 중, 각 멤버의 움직임의 결과 생기는 결합 사운드 출력은 다양한 사용자의 신체가 '악기'가 되는 공연 기반의 A/V 구성을 생성할 수 있다.
소셜 미디어 상황에서의 챌린지와 관련하여, 개인이 다양한 소셜 미디어 플랫폼을 통해 온라인으로 서로 챌린지하는 것이 점점 인기를 얻고 있다. 이러한 챌린지에서는 사용자가 하나 이상의 액션을 수행하거나 특정 오디오 클립에 맞춰 춤을 추는 경우가 많다. 이러한 챌린지의 한 가지 예에서는 사용자가 자신의 머리에 얼음물을 쏟는 것을 비디오 촬영한 다음 다른 사용자에게 동일 챌린지를 공표하는 것을 포함한다. 다른 챌린지는 노래의 일부에 맞춰 특정 또는 즉흥 댄스 시퀀스를 공연하는 것을 포함한다. 각각의 경우에, 사용자는 춤/액션을 수행하는 자신을 비디오 촬영하고 결과적으로 얻어지는 비디오 클립을 온라인 비디오 호스팅 서비스에 게시할 수 있다. 이러한 호스팅 서비스의 예로는 Beijing ByteDance Technology Co Ltd.에서 운영하는 TIKTOK 및 DOUYIN 또는 Google, LLC의 자회사인 Youtube, LLC에서 운영하는 YOUTUBE가 있다. 후술하는 바와 같이, 본 기술은 유사한 "챌린지"에 잘 적합하게 될 수 있다.
일부 실시예에서, 사용자 표현의 출력은 별도의 매체 내에서만 존재할 수 있고 및/또는 사용자와 멀리 떨어져 있는 다른 사람(즉, "시청자")에 의한 소비를 위해서만 존재할 수 있다. 예컨대, 사용자의 모션은 비디오 게임 내에 존재할 수 있는 것과 같은 가상 환경 내에서 하나 이상의 오디오 및/또는 시각 효과를 트리거하는 데 이용될 수 있다. 별법으로서, 상기 효과는 증강 현실(AR) 환경에서 제시될 수 있는데, 이 환경에서 상기 효과는 현실 세계의 자연스러운 지각(perception)에 오버레이될 수 있다. 이러한 AR 상황에서, 상기 효과는, AR 디스플레이 안경과 같이, 현상에 살고 있는 사람의 사용자 디바이스에 전달되어 사용자의 현실 세계 뷰에 중첩될 수 있다. 별법으로서, 상기 효과는 이동 전화 또는 텔레비전과 같은 사용자 디바이스에 의해 시청될 수 있는 스트리밍 비디오(인터넷 또는 텔레비전) 방송과 같이, 캡처된 비디오 피드(video feed)에 오버레이될 수 있다.
도 1에 개략적으로 도시된 바와 같이, 모션 기반의 미디어 생성을 위한 시스템(10)은 일반적으로 사용자 콘솔(30)과 네트워크 통신하는 전자 모션-감지 신발류 또는 의류 물품(20)을 포함할 수 있다. 본 개시의 목적을 위해, "전자 모션-감지 신발류 또는 의류 물품(20)"은 일반적으로 "웨어러블(20)"로 지칭될 수 있다. 각각의 웨어러블(20)은 모션 데이터의 검출 및 외부 전송을 허용하는 추가적인 전자 기능을 가질 수 있지만, 전통적인 신발류 또는 의류 물품과 유사하게 스타일링될 수 있다. 적절한 신발류 물품의 예는 슈즈, 부츠, 샌들, 클리티드 신발류(cleated footwear) 등을 포함할 수 있다. 유사하게, 적절한 의류 물품의 예는 셔츠, 재킷, 바지, 반바지, 양말, 압축 슬리브, 장갑, 모자, 암 밴드/팔찌 등을 포함할 수 있다.
도 2에 도시된 바와 같은 본 기술에서, 웨어러블(20)은 모션 감지 회로(22) 및 통신 회로(24) 모두를 포함할 수 있다. 모션 감지 회로(22)는 웨어러블(20)의 적어도 일부의 공간 모션을 감지하고 그 감지된 모션을 나타내는 데이터 출력 스트림을 생성하도록 동작하는 적어도 하나의 가속도계 또는 관성 측정 유닛(inertial measurement unit; IMU)(26)을 포함할 수 있다. 일부 실시예에서, 모션 감지 회로(22)는 프로세서(28), 메모리, 및/또는, 전송을 위한 데이터 출력 스트림을 준비하고 및/또는 미가공 데이터(raw data) 출력을 인식된 모션 프리미티브(motion primitive)의 스트리밍 시퀀스(이하에서 더 상세히 논의)로 변환하는 데 필요할 수 있는 임의의 버퍼링 또는 필터링 회로를 더 포함할 수 있다.
모션 감지 회로(22)와 커플링된 통신 회로(24)는 상기 데이터 스트림을 사용자 콘솔(30)에 외부로 전송하도록 구성된다. 통신 회로(24)는 실시간 또는 거의 실시간으로 데이터 전송을 용이하게 하기 위해 필요할 수 있는 하나 이상의 트랜시버, 안테나, 및/또는 메모리를 포함할 수 있다. 이 데이터 전송은 임의의 적절한 무선 표준에 따라 일어날 수 있지만, 특히 적합한 통신 프로토콜에는 다음의 표준 또는 업계에서 인정하는 프로토콜, 즉 IEEE 802.11, 802.15, 1914.1, 1914.3; BLUETOOTH 또는 BLUETOOTH LOW ENERGY(또는 Bluetooth SIG에서 설정한 기타 유사한 프로토콜/표준); 4G LTE 셀룰러, 5G, 5G NR; 또는 유사한 무선 데이터 통신 프로토콜 중 임의의 것에 따른 프로토콜이 포함된다.
다시 도 1을 참조하면, 웨어러블(20)과 통신하는 사용자 콘솔(30)은 컴퓨팅 디바이스가 후술하는 바와 같이 수행하게 하도록 특별히 설계된 소프트웨어 또는 펌웨어를 동작시키는 컴퓨팅 디바이스를 포함할 수 있다. 사용자 콘솔은 프로세서(32), 메모리(34), 및 사용자 인터페이스(36)를 포함할 수 있다. 일반적으로, 본 시스템(10)과 함께 사용되는 프로세서(32)는 하나 이상의 마이크로컨트롤러 또는 중앙 처리 유닛(CPU), 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 전기적으로 소거가능한 프로그래밍 가능 읽기 전용 메모리(EEPROM), 고속 클록, 아날로그-디지털(A/D) 회로, 디지털-아날로그(D/A) 회로, 입력/출력(I/O) 회로 및/또는 신호 컨디셔닝 및 버퍼링 전자 디바이스를 구비할 수 있는 하나 이상의 디지털 컴퓨터, 데이터 처리 디바이스 및/또는 디지털 신호 프로세서(DSP)로서 구현될 수 있다. 적절한 사용자 콘솔의 예는 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터 등을 포함한다.
사용자 인터페이스(36)는 이용 가능한 A/V 효과를 보고 및/또는 듣는 능력을 사용자에게 제공하는 동시에 사용자가 대응표(correspondence table)를 작성할 수 있게 구성될 수 있다. 일부 실시예에서, 사용자 인터페이스(36)는 시각 정보를 사용자에게 출력하도록 동작하는 하나 이상의 디스플레이(38) 및/또는 사용자로부터 입력을 수신하도록 동작하는 하나 이상의 사용자 입력 디바이스(40)를 포함할 수 있다. 사용자 입력 디바이스(40)의 예는 터치 스크린/디지타이저, 마우스, 키보드, 및/또는 복수의 회전 노브 및/또는 버튼, 카메라, 제스처 기반의 입력 디바이스, AR/VR 가상 선택 등을 구비하는 제어 패널을 포함한다.
도 1을 계속 참조하면, 웨어러블(20)과 통신하는 것 외에, 일부 실시예에서, 사용자 콘솔(30)은 또한 하나 이상의 비디오 소스(42), 하나 이상의 오디오 소스(44), 하나 이상의 오디오 출력 디바이스(46), 하나 이상의 시각 효과 컨트롤러(48), 및/또는 분산 컴퓨팅 네트워크(50)(예컨대, 인터넷)와 통신할 수 있다. 비디오 소스(42)는 (예컨대, 디지털 카메라로부터의) 라이브 비디오 스트림, 이전에 녹화된 비디오 스트림, 하나 이상의 이전에 녹화된 비디오를 저장하는 디지털 메모리 등을 포함할 수 있다. 오디오 소스(44)는 하나 이상의 악기, 키보드, 신디사이저, 데이터 파일, 오디오 샘플의 컬렉션 등을 포함할 수 있다. 일부 실시예에서, 비디오 소스(42) 및/또는 오디오 소스(44)는 사용자 콘솔(30)에 로컬일 수 있거나 공통 LAN(Local Area Network) 상에 제공될 수 있다. 그러나, 다른 실시예에서, 이들 소스(42, 44) 중 하나 또는 둘 모두는 사용자 콘솔(30)로부터 원격일 수 있고 및/또는 콘솔의 네트워크 연결을 통해서만 액세스 가능한 컴퓨터에 의해 호스팅될 수 있다.
하나 이상의 오디오 출력 디바이스(46)는 하나 이상의 스피커, 증폭기, 헤드폰, 또는 수신된 디지털 또는 아날로그 오디오 신호에 응답하여 가청 사운드를 방송하도록 동작가능한 다른 디바이스를 포함할 수 있다. 사용자 콘솔(30)이 감지된 움직임에 응답하여 하나 이상의 오디오 샘플을 출력하는 것은 이러한 오디오 출력 디바이스(46)를 통해서이다. 시각 효과 컨트롤러(48)는 예컨대, 하나 이상의 조명(light)을 조명하고(illuminate), 하나 이상의 조명 시퀀스를 시작하고, 하나 이상의 불꽃(pyrotechnic) 효과를 시작하도록 또 기타 등등의 동작 가능한 하나 이상의 디바이스를 포함할 수 있다. 일부 실시예에서, 시각 효과 컨트롤러(48)가 LED 또는 광섬유 시각 조명을 구동하기 위해 웨어러블(20)에 상주할 수 있다. 이러한 구현의 예는 이하에서 더 자세히 설명한다.
동작시, 사용자 콘솔(30)은 (웨어러블(20)의) 하나 이상의 감지된 모션을 하나 이상의 오디오 또는 시각 효과로 바꾸는 역할을 할 수 있다. 다양한 동작을 함께 연결함으로써, 사용자는 일련의 사운드 또는 시각 효과를 "재생"할 수 있다. 도 3은 사용자 콘솔(30)의 관점에서 본 시스템(10)의 동작 방법을 개략적으로 도시한다. 도시된 바와 같이, 상기 방법은 감지된 모션을 원하는 오디오/시각 응답과 상관시키는 모션 대응표를 설정함으로써(단계 62에서) 시작한다. 이 단계는 대체로 초기화 단계이고, 일부 실시예에서, 사전 확립된 모션 대응표를 메모리에 로드함으로써 단독으로 수행될 수 있다.
모션 대응표가 일단 확립되면, 콘솔(30)은 웨어러블의 모션을 나타내는 신발류 또는 의류 물품으로부터 데이터 스트림을 수신할 수 있다(단계 64에서). 사용자 콘솔(30)은 (단계 66에서) 적어도 하나의 모션 프리미티브를 식별하기 위한 노력으로 이 데이터 스트림을 연속하여 분석할 수 있다. 본원에서 사용되는 바와 같이, "모션 프리미티브"는 별개의 사용자 액션을 나타내는 모션의 정의된 "블록"이다. 가능한 모션 프리미티브의 예는 감지된 선형 병진(translation), 아치형 병진, 사인파/주기적 병진, 회전, 가속, 저크(jerk) 및/또는 충격을 포함할 수 있다. 일반적인 의미에서, 모션 프리미티브는 사전 프로그래밍된 모션, 사용자 정의 모션, 및/또는 자동 검출 모션의 임의의 조합을 포함할 수 있다.
하나 이상의 모션 프리미티브가 데이터 스트림으로부터 인식되면(단계 66에서), 콘솔(30)은 그 모션 프리미티브와 이전에 연관되었던 오디오 샘플 또는 시각 효과의 재생을 트리거할 수 있다(단계 68에서). 일부 실시예에서, 그 모션 프리미티브와 이전에 연관되었던 오디오 샘플 또는 시각 효과는 오디오 샘플 또는 시각 효과의 시퀀스, 또는 오디오 샘플 또는 비디오 효과의 반복 시퀀스일 수 있다. 예컨대, 사용자가 발을 구르는 것을 검출하면(예컨대, 하향 속도에 이어 급격한 감속을 특징으로 하는 모션 프리미티브), 사용자 콘솔(30)은 단일 베이스 비트(bass beat)의 재생을 트리거할 수 있다. 별법으로서, 사용자 콘솔은 복수의 베이스 비트의 재생을 트리거할 수 있고, 및/또는 베이스 비트의 루프 시퀀스의 재생을 트리거할 수 있다. 이러한 방식으로, 상기 시스템은 사용자가 각 움직임(또는 일련의 움직임)이 유발/시작할 수 있는 오디오 또는 비디오 효과가 무엇인지를 정의하는 데에 있어서 극도의 유연성을 제공하다.
도 4는 본 시스템의 동작의 기능적 블록도를 개략적으로 도시한다. 상기 설명한 모듈 또는 블록 각각은 소프트웨어 또는 펌웨어로서 메모리에 저장된 컴퓨터 실행 가능 코드를 포함할 수 있어, 실행되면 프로세서(32)가 특정된 기능을 수행할 수 있다. 일부 실시예에서, 각 블록은 특정된 기능을 수행하는 데 필요하거나 유리하게 사용될 수 있는 임의의 또는 모든 필수 하드웨어를 더 포함할 수 있다. 이러한 하드웨어의 예는 비디오 또는 오디오 인코더/디코더, DSP(디지털 신호 프로세서) 등을 포함할 수 있다.
도 4를 참조하면, 상기 시스템 동작은 일반적으로 초기화(100) 및 미디어 생성(102)의 두 가지 다른 모드를 포함할 수 있다. 초기화(100) 동안, 프로세서(32)는 감지된 모션을 원하는 오디오/비디오 응답과 상관시키는 모션 대응표(110)를 확립하는 임무를 받을 수 있다. 이를 위해, 프로세서(32)는 기존의 움직임 데이터베이스(112), 비디오 소스(42), 또는 모션 추적 웨어러블(20) 중 적어도 하나와 통신할 수 있다. 모션 대응표(110)을 구축하기 전에, 프로세서(32)는 먼저, 나중의 인식 및 재생을 위해 이용할 수 있는 이용 가능한 또는 예상되는 모션의 모션 카탈로그(114)를 컴파일할 수 있다.
가장 간단한 실시예에서, 모션 카탈로그(114)는 단순히, 기존의 움직임 데이터베이스(112)로부터 임포트될 수 있으며, 이는 댄스 시퀀스, 스포츠, 활동 등 내에서 전형적이거나 일반적인 움직임을 식별할 수 있다. 일반적인 움직임 데이터베이스가 너무 다루기 어렵거나(즉, 적용할 수 없는 움직임 옵션이 너무 많음) 원하는 활동 또는 댄스에 대해 충분히 구체적이지 않은 것으로 판명되면, 일부 실시예에서 프로세서(32)는 커넥티드 웨어러블(20)의 움직임을 (수신된 데이터 스트림을 통해) 파싱하거나, 또는 제공된 비디오 소스(42)로부터 움직임 정보를 추출함으로써, 모션 카탈로그를 구축할 수 있다.
움직임 정보가 비디오로부터 추출되는 실시예에서, 비디오 소스(42)는 예컨대, 라이브 및 국부적으로 캡처된 비디오, 사전 녹화된 비디오, 및/또는 네트워크된 또는 인터넷 비디오 피드/스트림을 포함할 수 있다. 비디오 소스(42)는 묘사된 웨어러블(또는 개인의 신체의 일부)의 3차원 모션을 인식하고 추정하기 위해 물체 인식 및 추적 모듈(116)을 통과할 수 있다. 일 실시예에서, 물체 인식 및 추적 모듈(116)은 경계/가장자리 검출, 패턴 인식, 및/또는 기계 학습 기술과 같은 이미지 처리 기술을 활용하여, 웨어러블(20)을 인식하고 환경에 대한 또는 더 많은 객체 중심 좌표계에서 웨어러블의 움직임을 측정할 수 있다.
프로세서(32)는 일단 웨어러블(20)로부터 미가공 데이터 스트림을 수신했거나 비디오 스트림으로부터 상기 묘사된 웨어러블의 모션을 인식하면, 미가공 모션(raw motion)을 프리미티브 검출 모듈(118)을 통해 통과시킬 수 있다. 이 모듈에서, 프로세서(32)는 상기 미가공 모션에 하나 이상의 모션 프리미티브 또는 프리미티브의 시퀀스가 있나 조사할 수 있다. 검출된 각각의 새로운 프리미티브 또는 시퀀스에 대해, 프로세서(32)는 새로운 일반 모션 또는 모션 유형, 새로운 특정 모션, 또는 모션 카탈로그(114) 내의 새로운 모션 시퀀스를 카탈로그화할 수 있다. 일반 모션 또는 모션 유형은 예컨대 병진(예컨대, 임의의 병진) 또는 충격일 수 있다. 특정 모션은, 예컨대, 특정 방향으로의 웨어러블(20)의 특정 병진(예컨대, 신발류 물품의 내측 방향으로의 병진 또는 왼발의 충격)일 수 있다. 마지막으로, 모션 시퀀스는 예컨대 함께 시퀀싱된 다중 프리미티브일 수 있다(예컨대, 횡방향으로의 병진 후 내측 방향으로의 병진).
모션 카탈로그(114)가 직접 가져오기(direct import), 능동 모션 감지 또는 비디오 분석 및 해체에 의해 일단 확립되면, 대화형 사용자 인터페이스(36)를 통해, 이용 가능한 오디오 샘플 및/또는 시각 효과의 컬렉션(120)과 함께 사용자에게 제시될 수 있다. 사용자 인터페이스(36)는 하나 이상의 카탈로그화된 모션(즉, 모션 카탈로그(114)로부터의 모션 유형, 특정 모션, 또는 모션 시퀀스)을 이용 가능한 오디오 샘플 및/또는 시각 효과의 컬렉션(120)으로부터의 하나 이상의 오디오 샘플 및/또는 시각 효과와 링크시키도록 동작하는 사용자 입력(124)을 수신할 수 있다. 모션과 오디오 샘플 및/또는 시각 효과 사이의 이러한 확립된 관계는 대응표(110)에 저장될 수 있다. 사실상, 대응표(110)는 미래의 움직임을 사운드 또는 조명 효과로 변환하는 변환자(translator)일 수 있다. 모션과 소리/빛 사이의 대응을 만드는 것 외에도, 대응표(110)는 추가로, 하나 이상의 모션 프리미티브를 햅틱 응답과 링크시킬 수 있어, 관중은 신체와 기계적으로 통신하는 적절한 하드웨어가 장착된 경우 어떤 모션 프리미티브를 따르는 규정된 응답을 느낄 수 있다.
일부 실시예에서, 대응표(110)는 모션 카탈로그(114)와 완전히 별개의 데이터 구성일 필요는 없지만, 대신에 각각 모션 카탈로그(114) 내의 상이한 각각의 모션 엔트리에 각각 첨부되고 상이한 효과를 참조하는 복수의 포인터를 단순히 포함할 수 있다. 또한, 일부 실시예에서, 상기 대응표는 예컨대 모션의 리듬, 템포 또는 흐름과 같은 타이밍 고려 사항에 따라 상기 규정된 출력을 수정하는 규칙 세트를 더 포함할 수 있다. 이 예에서, 규정된 출력의 피치, 톤, 템포 또는 속도(또는 시각적 출력의 색상, 밝기, 지속성 또는 타이밍)를 변경하기 위해 타이밍 매개변수가 채용될 수 있다.
일단 대응표(110)가 생성되고 초기화(100)가 완료되면, 시스템(10)은 미디어 생성 모드(102)로 설정될 수 있다. 미디어 생성 모드(102)에서, 프로세서(32)는 웨어러블(20)의 적어도 일부의 실시간 감지된 모션을 나타내는 데이터 스트림(130)을 웨어러블(20)로부터 수신하도록 동작할 수 있다. 데이터 스트림(130)은 프로세서(32)와 연관된 통신 회로를 통해 수신될 수 있고, 실시간 또는 거의 실시간으로 프로세서에 이용가능하게 될 수 있다. 이 수신된 데이터 스트림(130)으로부터, 프로세서(32)는 프리미티브 검출기(132)(초기화(100) 동안 사용된 프리미티브 검출 모듈(118)과 유사하거나 동일할 수 있음)로 모션을 분석할 수 있다. 상기한 것과 마찬가지로, 프리미티브 검출기(132)는 데이터 스트림(130)에 의해 표현되는 미가공 모션을 조사하고 하나 이상의 모션 프리미티브 또는 프리미티브의 시퀀스를 검출할 수 있다.
처리 시간을 최소화하고 이에 따라 시스템(10)의 응답성을 개선하기 위해, 프리미티브 검출기(132)는 모션 카탈로그(114)에 이전에 정의되고 및/또는 대응표(110)의 연관된 오디오 샘플 및/또는 시각 효과가 할당된, 데이터 스트림(130) 내의 모션 프리미티브를 찾도록만 구성될 수 있다. 프리미티브의 검출 시, 프로세서(32)는 대응표(110)를 참조할 수 있고, 그 다음 식별된 적어도 하나의 모션 프리미티브에 응답하여 오디오 샘플 또는 시각 효과의 재생(134)을 트리거하거나 개시할 수 있다.
일부 실시예에서, 이용 가능한 오디오 샘플 및/또는 시각 효과의 컬렉션(120)은, 소프트웨어와 함께 제공되거나 커넥티드 분산 컴퓨팅 네트워크(예컨대, 인터넷)으로부터 다운로드될 수 있는 기존 라이브러리로부터 투입될 수 있다(populated). 그러나, 일 실시예에서, 사용자는 커넥티드 오디오 소스(44)(예컨대, 개인용 컴퓨터, 디지털 음악 플레이어, 신디사이저, 키보드 등)로부터 하나 이상의 오디오 샘플을 직접 업로드함으로써, 또는 사용자 움직임의 결과로서 시스템(10)에 의해 생성된 하나 이상의 사운드 또는 사운드 시퀀스를 기록함으로써, 상기 컬렉션에 투입하거나 추가할 수 있다. 보다 구체적으로, 사용자가 움직임을 통해 특정 비트/리듬/구성을 생성하는 경우, 단일 개별 모션에 의한 향후 재생/트리거를 위해 그 생성된 작업을 컬렉션(120)에 저장할 수 있다. 이러한 방식으로, 증대된 효과를 위해 상이한 사운드/구성을 레이어링할 수 있다.
한 가지 구성에서, 사용자는 다양한 오디오/비디오 효과 사이에서 평활화 또는 자동 튜닝(auto-tuning)의 정도를 변경할 수 있는 능력을 가질 수 있다. 이러한 방식으로, 초보 사용자는 움직임이 100% 완전하지 않거나 제때에 이루어지지 않더라도, 소리가 나거나 잘 생성된 것처럼 보이는 구성을 만들 수 있다. 유사하게, 웨어러블(20)은 사용자가 타이밍에서 뒤처져 있는 경우 이전 모션 또는 선행 모션에 기초하여 모션 프리미티브를 예측하도록 구성될 수 있다. 반대로, 고급 사용자는 출력을 보다 직접적으로 제어하기 위해 평활화/자동 튜닝을 줄일 수 있다. 일부 실시예에서, 상기 평활화/자동-튜닝은 기계 학습 및 인공 지능 기술을 이용하여 오디오/비디오 요소를 함께 혼합할 수 있으며, 이는 추가 비트의 산재, 음표 도출(drawing out notes), 조기 모션 표시에 기초한 후속 움직임 예측 등에 의존할 수 있다.
한 가지 구성에서, 사용자 콘솔(30)은 이전에 녹음/생성된 오디오 트랙/노래를 취하고 그것을 복수의 개별 세그먼트로 나누도록(자동 분할(auto-segmentation)) 구성될 수 있다. 다양한 세그먼트의 특성, 지속기간 및/또는 분할은 사용자에 의해 맞춤화되거나 개별적으로 생성될 수도 있다(수동 분할/세그먼트 수정). 그 다음, 사용자 콘솔(30)은 모션 프리미티브를 각 세그먼트에 자동으로 할당할 수 있고, 또는 사용자로 하여금 그들 자신의 모션을 각 세그먼트에 할당하도록 촉구할 수 있다. 이것은 선택한 노래에 맞춰 댄스 루틴을 안무하는 것과 같을 수 있다. 그런 다음, 스크립트된 모션을 제 시간에 수행함으로써, 사용자(또는 사용자 그룹)는 세그먼트별로 오로지 움직임을 통해서 노래의 재생을 시작할 수 있다. 일 실시예에서, 절대적인 대응표를 갖는 대신에, 대응표(110)는 다른 인자에 대해 조건부일 수 있다. 예컨대, 주어진 모션 프리미티브는 시간 00:00:00과 00:00:10 사이에 수행된다면 또는 초기 이동으로서 수행된다면 (노래의) 제1 오디오 세그먼트 재생을 시작할 수 있지만, 그 동일한 모션 프리미티브는 00:01:40에서 00:02:00 사이에 수행된다면 또는 제10 및 제20 인식된 프리미티브 사이에 있다면, 또는 상이한 프리미티브의 인식 또는 규정된 오디오 세그먼트의 재생을 따른다면, 제2 오디오 세그먼트의 재생을 시작할 수 있다. 추가 실시예에서, 다양한 양의 평활화/자동 튜닝이 음악 세그먼트의 이 순차적인 재생에 적용될 수도 있는 반면, 그 세그먼트는 혼합되거나 최종 음표가 확장되어, 변동이 심하게 나타나는 일이 없이 한 세그먼트로부터 다음 세그먼트까지 흐르는 출력을 생성할 수 있다.
기존 노래를 안무하는 경우, 사용자 콘솔(30)은 노래가 저장된 로컬 메모리를 포함할 수 있고, 또는 상기 콘솔은 예컨대 사용자가 별도로 구독할 수 있는 인터넷 기반의 스트리밍 오디오 소스와 통신할 수 있다.
기본 사운드 또는 비트를 단순히 출력하거나 사전 녹음된 트랙/노래의 세그먼트를 출력하는 것 외에도, 일부 실시예에서, 상기 대응표는 오디오 액션/제어 명령에 링크된 하나 이상의 모션 프리미티브를 포함할 수 있다. 예컨대, 프리미티브는 전체 노래 재생 시작, 목록에서 다음 노래 재생 시작, 노래 일시 중지, 노래 되감기, 노래 비트 변경, 노래 톤 변경, 재생 볼륨 변경, 페이드 인/아웃 등에 사용될 수 있다. 이러한 방식으로, 사용자는 자신의 모션을 통해, 로컬 또는 네트워크된 소스로부터 사전 녹음된 오디오를 재생하는 DJ 또는 프로듀서로서 역할을 할 수 있다. 또한, 상기 오디오 액션/제어 명령은 상기 사용자 콘솔의 디스플레이와 연동하여 작동할 수 있다. 예컨대, 프리미티브는 (예컨대, 특정 노래/트랙을 찾기 위해) 목록을 스크롤하는 데에 사용될 수 있다.
본원에 설명된 사용 사례의 목적을 위해, 임의의 오디오 재생은 개별 사운드, 사운드의 컬렉션, 사전 녹음된 사운드, 로컬 메모리에 저장된 오디오 트랙/노래의 세그먼트, 로컬 메모리에 저장된 전체 오디오 트랙/노래, 인터넷 기반의 소스로부터 가져온 오디오 트랙/노래(즉, 구독 기반의 로그인을 통해 액세스될 수 있는 노래를 포함)의 세그먼트 또는 인터넷 기반의 소스로부터 가져온 전체 트랙/노래 등을 포함할 수 있다.
위에서 논의되고 도 1에 전체적으로 도시된 바와 같이, 일부 실시예에서, 시스템(10)은 다수의 사용자/웨어러블(20)을 수용할 수 있다. 이러한 구성에서, 각각의 웨어러블(20)은 그 디바이스의 모니터링된 공간 모션을 나타내는 개별 데이터 스트림(130)을 생성하여 사용자 콘솔(30)에 무선으로 전송하도록 구성된다.
도 5 내지 도 7에 개략적으로 도시된 바와 같이, 시스템(10)은 대응표(110)가 모든 디바이스에 대해 전역적으로 설정되거나(도 5), 디바이스 그룹에 대해 설정되거나(도 6), 디바이스 별로 설정되도록(도 7) 구성될 수 있다. 도 5에 도시된 바와 같이 전역적으로 설정되면, 콘솔(30)은 모든 커넥티드 웨어러블(즉, 웨어러블(20a, 20b, 20c))에 대해 동일한 규칙/참조 세트를 적용할 수 있다. 보다 구체적으로, 각각의 웨어러블(20a, 20b, 20c)로부터의 데이터 스트림은 각각의 프리미티브 검출기(132a, 132b, 132c)를 통과할 수 있고, 이후 검출기는 134에서 재생하기 전에 공통 대응표(110)을 참조할 수 있다. 테이블이 하나만 있음에도 불구하고, 상이한 유형의 웨어러블은 그 의도된 용도가 다르기 때문에 상이한 소리를 만들 수 있다. 예컨대, 시계가 농구화와 동일한 충격력을 경험하지는 않을 것이다.
도 6은 프로세서(32)가 상이한 웨어러블 "포드(pods)"(즉, 웨어러블(20a 및 20b) 및 웨어러블(20c 및 20d))를 유지하는 실시예를 도시하며, 각 포드는 그 자신의 대응표(110a 및 110b)(각각의 프리미티브 검출기(132a, 132b, 132c 및 132d)에 의해 공급됨)를 갖고 있다. 이 실시예에서, 웨어러블 그룹은 그 목적을 전문화할 수 있다. 예컨대, 웨어러블의 제1 그룹은 주로 베이스 톤이 출력되게 할 수 있는 반면, 웨어러블의 제2 그룹은 주로 피아노 같은 톤 또는 시각 효과가 출력되게 할 수 있다. 초기화 동안, 상이한 웨어러블(20)은 특정 포드에 "가입"할 수 있고 따라서 그 각각의 포드에 링크된 A/V에 대한 입력으로서 역할을 할 수 있다.
마지막으로, 도 7은 각각의 웨어러블(20a, 20b, 20c)에 자체 대응표(110a, 110b, 110c)가 별도로 제공되는 멀티-웨어러블 사용을 개략적으로 예시한다. 이러한 멀티-웨어러블 환경에서, 각각의 웨어러블에 대한 모션 프리미티브는 유사한 웨어러블-특정 모션이 각각 상이한 출력을 초래할 수 있도록 다른 웨어러블의 모션 프리미티브와 별도로 할당될 수 있다. 예컨대, 커넥티드 시계의 횡방향 병진(lateral translation)은 제1 사운드(예컨대, 충돌 심벌즈의 충격)를 초래할 수 있는 반면, 커넥티드 신발류 물품의 유사한 병진은 제2 사운드(예컨대, 베이스 드럼의 충격)의 재생을 초래할 수 있다.
도 5 내지 도 7에 도시된 각각의 실시예는 다수의 사용자가 공통 구성(common composition)을 작성하는데 협업할 수 있는 시스템을 제공한다. 도 5에 도시된 실시예에서, 각각의 웨어러블은 공통 시스템에 대한 개별 입력이다. 그 디바이스는 특성과 용도가 다르기 때문에 서로 다른 모션 프리미티브를 생성할 수 있지만(예컨대, 신발류 물품은 시계와 다른 움직임을 할 수 있다) 궁극적으로 모든 모션 프리미티브는 출력을 위해 동일 데이터베이스에 공급된다. 무용단은 그들이 어떻게 동조적으로 움직이는지를 보여주기 위해(즉, 탈조 움직임(out of step movement)이 유사한 탈조 비트를 초래할 수 있다) 그러한 기능에 관심을 가질 수 있다. 도 7에서, 서로 다른 악기로 구성된 작은 밴드와 마찬가지로, 각 웨어러블은 별개의 사운드/시각 효과 모음(suite)을 생성할 수 있다. 이러한 방식으로, 여러 사용자가 함께 모여 각자 고유한 톤과 테너(tenor)를 가지고 구성을 협업할 수 있다. 마지막으로, 도 6에 도시된 실시예는 유사한 악기의 그룹이 있지만, 각 그룹은 고유한 톤과 테너를 가질 수 있는 심포니 오케스트라와 유사할 수 있다. 궁극적으로, 본 기술은 모션에 대한 새로운 예술적 표현을 만드는 데 사용될 수 있으며, 개인과 협업 노력을 모두 수용할 수 있을 만큼 충분히 유연할 수 있다.
도 1을 다시 참조하면, 다른 분산 멀티-사용자 시나리오에서, 사용자의 로컬 사용자 콘솔(30)은 조인트 오디오/시각적 경험을 협업하여 상호작용하거나 생성할 목적으로 분산 컴퓨팅 네트워크(50)를 통해 하나 이상의 원격 사용자 콘솔(230)과 통신할 수 있다. 이와 같이, 디바이스의 물리적 근접성이 사용자의 창의성의 범위를 제한해서는 안 된다.
추가적으로, 본원에 설명된 각각의 실시예에서, 사용자 콘솔의 일부 또는 전부가 웨어러블(20)과 물리적으로 통합될 수 있음을 또한 유의해야 한다. 예컨대, 한 가지 구성에서, 원격 사용자 콘솔(230)은 별도의 컴퓨팅 디바이스가 아닐 수 있지만, 대신 스마트 시계와 같은 스마트/커넥티드 웨어러블(220)일 수 있다. 이 실시예에서, 스마트/커넥티드 웨어러블(220)은 모션 데이터를 분산 네트워크에 전송하기에 충분한 처리 기능 및 통신 능력을 포함할 수 있고, BLUETOOTH와 같은 통신 프로토콜을 통해 하나 이상의 오디오 출력 디바이스(46) 또는 시각 효과 컨트롤러(48)와 통신할 수도 있다. 유사하게, 스마트/커넥티드 웨어러블(220)은 또한 추가 처리 능력이 없는 하나 이상의 다른 웨어러블(20)에 대한 사용자 콘솔(30)의 역할을 할 수 있다.
분산 네트워크를 통해 협업하는 원격 사용자의 이러한 개념에 기초하여, 일부 실시예에서, 본 시스템은 사용자가 미리 결정된 특정 예술 작품을 수행 및/또는 생성하거나 또는 특정 댄스 시퀀스를 재현하기 위해 서로 챌린지할 수 있도록 하는 게임과 같은 상황에서 활용될 수 있다. 예컨대, 한 가지 상황에서, 사용자는 디스플레이 상에 움직임의 시퀀스(예컨대, 모션 프리미티브의 정연한 시퀀스(ordered sequence))를 제공받을 수 있다. 그런 다음 사용자는 이러한 움직임을 제시간에 모사하려고 시도할 수 있으며, 이는 정확하게 수행된다면, 사전 구성된 오디오 또는 시각적 출력을 생성할 수 있다. 의도된/표시된 것과 사용자의 움직임의 타이밍 또는 완전성의 편차는 가청 또는 시각적 출력을 변경할 수 있다. 또한, 일부 실시예에서, 프로세서(32)는 수신된 데이터 스트림으로부터, 웨어러블(20)의 모니터링된 공간 모션과 모션 프리미티브의 정연한 시퀀스 사이의 대응을 나타내는 정확도 메트릭(accuracy metric)을 결정하도록 구성될 수 있다. 상기 정확도 메트릭은 예컨대 제공된 시퀀스에 대한 사용자 모션의 타이밍, 크기 및/또는 완전성의 편차를 반영할 수 있다. 일부 실시예에서, 상기 정확도 메트릭은 재구성된 공간 곡선 사이의 최소 제곱 값일 수 있고, 다른 실시예에서, 상기 정확도 메트릭은 프레셰 거리(Frechet distance) 또는 정렬된 다차원 포인트 또는 곡선의 편차를 나타낼 수 있는 일부 다른 메트릭을 포함할 수 있으며, 또 다른 실시예에서, 상기 정확도 메트릭은 움직임의 상이한 양태(예를 들어, 완전성, 가속도, 유동성, 이행(transition) 등)를 개별적으로 설명하는 복수의 하위 정확도 메트릭의 합성(composite)일 수 있다. 일부 실시예에서, 상기 제시된 시퀀스는 사용자의 경험에 기초하여 난이도 또는 복잡성이 변할 수 있다.
도 8은 그러한 분산, 챌린지 기반 사용의 일례를 개략적으로 도시한다. 도시된 바와 같이, 각각의 웨어러블(20)은 인터넷과 같은 분산 컴퓨팅 네트워크(50)와 직접 또는 간접적으로 통신할 수 있다. 분산 네트워크(50)는 네트워크 상호연결성, 데이터 집계(data aggregation), 및/또는 원격 애플리케이션 호스팅을 용이하게 할 수 있는 하나 이상의 서버, 컴퓨터, 라우터, 스위치 등을 포함할 수 있다. 사용자 챌린지의 일 실시예에서, 제1 사용자(140)(또는 사용자의 그룹)는, 그 사용자 콘솔(30)을 통해, 원격 컴퓨팅 디바이스(144)(분산 컴퓨팅 네트워크(50)의 일부일 수 있다)로부터, 수행해야 할 모션/액션의 시퀀스된 챌린지(142)를 수신할 수 있다. 챌린지(142)를 수신한 후, 제1 사용자(들)(140)는 그 모션의 정연한 시퀀스 또는 그 일부 변형을 재현하려고 시도할 수 있다. 전술한 실시예와 유사하게, 각각의 웨어러블(20)은 그 디바이스의 모니터링된 공간 모션을 나타내는 각각의 데이터 스트림(130)을 생성하여 사용자 콘솔(30)에 무선으로 전송하도록 구성된다. 이 데이터 스트림(130)으로부터, 사용자 콘솔(130)은 연관된 오디오/시각적 출력을 생성할 수 있고, 사용자에게 그들의 공연의 정성적 및/또는 정량적 채점(146)(즉, 정확도 메트릭(146))을 제시할 수 있다. 채점(146)은 사용자 콘솔(30) 또는 원격 컴퓨팅 디바이스(144)에 의해 계산될 수 있고, 사전 정의된 비트로부터 타이밍의 편차, 사전 정의된 크기로부터의 모션의 완전성의 편차, 및/또는 원본 시퀀스를 장식하는 수단으로서 기본 시퀀스와 결합된 추가 모션의 완전성의 편차와 같은 인자를 설명할 수 있다.
구성 또는 챌린지의 완료에 이어, 사용자 콘솔(30)은 구성의 오디오 또는 비디오 캡처(148) 및/또는 챌린지로부터의 정확도 메트릭/채점(146)을 원격 컴퓨팅 디바이스(144)에 전송할 수 있으며, 여기서 분산 네트워크(50)를 통해 하나 이상의 시청자(150)에 의해 시청되도록 호스팅될 수 있다. 추가적으로, 이어서 제1 사용자(140)는 직접적으로 또는 원격 컴퓨팅 디바이스(144) 및/또는 분산 네트워크(50)를 통해 제2 사용자(154)에게 후속 챌린지(152)를 공표할 수 있다.
다른 협업적/경쟁적 예에서, 다른 사용자에게 직접적인 챌린지를 공표하는 대신, 본 기술을 사용하여 물리적으로 분리된 사용자를 모으거나 및/또는 인터넷을 통해 스트리밍되는 비디오 기반의 운동(video-based workout)을 게임화할 수 있다. 예컨대, 온라인/스트리밍 킥복싱 수업 중에, 가상 수업을 보거나 듣는 각 사용자는 반복되는 일련의 움직임 또는 액션을 수행하도록 지시받을 수 있다. 사용자의 웨어러블(20)(또는 커넥티드 사용자 콘솔(30))은 사용자의 각각의 액션과 관련된 모션 프리미티브를 감지할 수 있고, 하나 이상의 시각 효과가 교육 비디오와 함께 사용자의 디스플레이(38)에 오버레이되거나 표시되게 할 수 있다. 일 실시예에서, 디스플레이(38) 상에 디스플레이되는 시각 효과의 색상 또는 특성은 예상되거나 지시된 것과 비교할 때 감지된 프리미티브의 유사성, 완전성 또는 타이밍에 따라 변경될 수 있다. 예컨대, 사용자가 새로운 개인 최고 기록을 달성하거나 사전 정의된 정확도 임계값을 초과하는 경우 사용자에게는 녹색 별이 나타나거나 디스플레이 상단으로부터 색종이 조각이 쏟아질 수 있다. 반대로, 디스플레이는 상당한 편차가 인식되는 경우 사용자에게 하나 이상의 시각적 동기(motivator)를 제공할 수 있다. 일 실시예에서, 사용자의 움직임은 강사 또는 이상적인 참조의 움직임과 비교할 때 그들의 움직임의 정확성 또는 완전성에 따라 채점될 수 있다. 이 정확도 점수는 미리 결정된 기간에 걸친 정확도의 이동 평균일 수 있으며, 개인적인 참조/목표 설정을 위해 사용자의 디스플레이(38) 상에 표시될 수 있다. 다수의 사용자가 네트워크에 걸쳐 분산되어 있고 각각 비디오를 시청하는 상황에서, 각 사용자의 정확도 점수는 집단 그룹에게 (가능하게는 익명으로) 방송되어 각 사용자는 자신의 순위를 알 수 있다. 마찬가지로, 사용자의 정확도 점수는 알려진 인플루언서, 프로 운동선수 또는 소셜 네트워크상의 친구의 점수와 함께 디스플레이(38) 상에 표시될 수 있다.
도 9를 참조하면, 일부 실시예에서, 하나 이상의 웨어러블(20)의 공간적 움직임이 하나 이상의 사용자 콘솔(30, 230)에 의해 기록될 수 있고 클라우드 기반의 분산 컴퓨팅 네트워크(50) 또는 원격 컴퓨팅 디바이스(144)에 업로드될 수 있다. 일부 실시예에서, 시각 효과 컨트롤러(48)는 모션이 증강 현실 가능 디바이스(200)를 통해 재생되거나 보여질 수 있도록 하나 이상의 시각적 파라미터를 상기 기록된 공간 모션과 연관시킬 수 있다. 이러한 예에서, 중첩된 AR 효과의 특성(색상, 자취의 인식, 시각 효과의 시퀀스)은 상기 공간 모션이 일어나는 동안 발생한 모션 프리미티브 유형의 산물일 수 있다. 증강 현실 가능 디바이스(200)는 사용자의 현실 세계 뷰(즉, 디바이스를 통해 인식되는)에 그래픽 이미지를 오버레이하도록 동작하는 스마트 폰 또는 AR 안경일 수 있어, 그 가상의 이미지는 사용자에 의해 특정 현실 세계 위치에 존재하는 것으로 인식된다.
도 9에 도시된 바와 같이, 일 실시예에서, 하나 이상의 웨어러블의 공간적 움직임은 디스플레이된 현실 세계 이미지에 중첩되는 하나 이상의 지속적 또는 시간에 따라 감쇠하는 시각적 자취(visual trace)(202)에 의해 표현될 수 있다. 시각적 자취(202)는 예컨대 반일, 한 게임 또는 하루를 통해 농구 코트에서의 모션의 전부 또는 일부를 나타낼 수 있다. 일부 실시예에서, 상이한 모션 프리미티브의 발생은 시각적 자취(202)의 시각 효과, 색상, 밝기 또는 지속성을 변경할 수 있다. 예컨대, 코트를 빠르게 질주하는 것은 길고 얇은 시각적인 것으로 시각화될 수 있는 반면, 날카로운 측면 컷은 더 두껍고 더 밝거나 더 뚜렷한 시각적 모양을 가질 수 있다. 도 9는 단순히 시각적 자취(202)를 도시하지만, 일부 실시예에서는 비디오와 함께 기록 및 재생될 수 있는 대응하는 웨어러블 트리거(wearable-triggered) 오디오 효과가 있을 수 있다. 이와 같이, 농구공을 덩크슛하거나 날카로운 컷을 만들어서 야기되는 것과 같이 눈에 띄는 자취를 초래하는 모션 프리미티브도 이와 관련된 오디오 효과를 가질 수 있다.
또 다른 실시예에서, 시각적 자취는, 사용자의 디바이스(200)와 연관된 메모리에 저장되거나 스트리밍 미디어 서비스/구독을 통해 사용자의 디바이스(200)에 액세스 가능한 음악으로 채점될 수 있다. 이 실시예에서, 사용자의 디바이스는 모션의 타이밍과 템포 및 생성된 시각적 출력을 이해할 수 있고, 유사한 비트 또는 리듬을 갖는 오디오/음악 트랙을 선택할 수 있다. 이용가능한 오디오가 모션의 비트 또는 타이밍과 약간 일치하지 않는 경우, 사용자의 디바이스는 가능한 가장 가까운 오디오를 선택한 다음 일치하도록 비트 또는 템포를 수정하도록 동작할 수 있다.
본 방식으로 전자의 모션 감지 의류 또는 신발을 사용하면 다른 보다 전통적인 전자 입력을 통해서는 불가능한 새로운 형태의 표현과 창의성이 가능하다. 스포츠 이벤트 내의 각 스포츠와 각 선수는 해당 선수의 스타일과 경기력에 고유한 자신의 청각 또는 시각적 경험을 만들 수 있다. 이 경험은 직접(예컨대, 시설 내 스피커 또는 조명을 통해) 또는 선수의 웨어러블과 페어링된 사용자 콘솔과 통신하는 하나 이상의 휴대용 디바이스를 통해 사용자에게 방송될 수 있다. 비-스포츠적 의미에서, 본 기술은 연주자(전문 연주자 및 집에서 인터넷 상에서 스트리밍하는 연주자)에게 디지털 증강 표현의 새로운 수단을 가능하게 하며, 자신의 움직임이 A/V 경험의 직접적인 트리거가 된다.
사전 설정된 테마 또는 장르는 사전 정의된 규칙에 따라 사운드 또는 시각적 표현을 변경하면서 새로운 표현 모음을 도입하기 위해 전술한 예 중 임의의 것에 사용되거나 적용될 수 있다. 예컨대, 섬/해변 테마는 이용 가능한 사운드를 보다 칼립소 테마 형태인 사운드의 모음으로 변경할 수 있고 및/또는 이용 가능한 색상 및/또는 시각 효과를 파란색/녹색/황갈색 색상 기호 내의 것으로 변경할 수 있다.
도 10에 도시된 바와 같은 일 실시예에서, 특정 대응표(또는 연관된 테마)에 대한 액세스 또는 그 사용은 사용자 디바이스/웨어러블이 특정 시간 및 위치에 존재하는 경우에만, 잠금 해제될 수 있고 및/또는 이용 가능하게 될 수 있다. 예컨대, 플래시 몹(300)의 멤버는 모두 플래시 몹을 공연하도록 의도된 공원 또는 도시 광장에 도착하면 사전 정의된 A/V 테마에 대한 사용 가능한 액세스를 얻을 수 있다. 사용자 디바이스/웨어러블(20)은 예컨대 GPS, RF 삼각 측량, Wi-Fi 네트워크 인식, RF 비콘(302), BLUETOOTH 위치 추적 등(일반적으로 "위치 감지 수단")의 사용을 통해 자신의 위치를 이해할 수 있다. 사전 결정된 시간에 사전 결정된 위치(또는 그로부터 사전 결정된 거리 이내)에 도착하면, 커넥티드 서버(304)에 그룹의 일부인 것으로 등록된 임의의 웨어러블(20)은 사용자의 모션 프리미티브를 인식하기 시작하도록 구성될 수 있고, 및/또는 모션 데이터를 분산 네트워크(50)에 전송하기 시작하도록 구성될 수 있다. 사용자가 그룹에 참여하도록 요구함으로써, 의도적으로 그룹의 일부가 되기를 원하는 사람들에게만 참여가 제한될 수 있으며, 반면에 우연히 적절한 시간에 적절한 위치에 있는 사람들은 제외될 수 있고, 및/또는 모르는 사이에 그룹에 합류하는 것이 방지될 수 있다.
상기 플래시 몹의 예에서, 각 사용자가 착용하는 웨어러블(20)은 공통 분산 컴퓨팅 네트워크(WAN, 무선 LAN 등)에의 연결성을 가질 수 있으며, 각각의 웨어러블은 직접 연결되거나 스마트폰, 시계 또는 기타 커넥티드 디바이스를 통해 연결된다. 감지된 모션 프리미티브로부터 트리거된 응답으로의 변환은 각각의 웨어러블(20)에 대해 국부적으로 발생하거나 네트워크 서버(304)/데이터 집계 디바이스에서 보다 집중적으로 발생할 수 있다. 그런 다음 수집된 사용자 출력은 로컬 A/V 시스템(306)을 통해 오디오 또는 시각적 출력으로 변환될 수 있고(예컨대, 로컬 스피커(308) 또는 시각 효과 디바이스에 의한 재생을 위해), 또는 네트워크를 통해 제3자 디바이스(310)에 전달될 수 있으며, 이 디바이스에서 (헤드폰 또는 스피커를 통해) 오디오로서 출력되거나 도 9에 도시된 것과 유사한 방식으로 증강 현실 또는 혼합 현실에서 화면 상에 시각적으로 표시될 수 있다.
상기한 바와 같이, 일부 실시예에서, 감지된 모션 프리미티브에 응답하여 하나 이상의 시각 효과가 트리거될 수 있다. 이를 위해, 도 11 내지 도 14는 (예컨대, 시각 효과 컨트롤러(48)의 방향에서) 하나 이상의 검출된 모션/모션 프리미티브에 반응하여 가시광선을 외부로 투사하도록 트리거될 수 있는 하나 이상의 통합 발광 요소(400)을 포함하는 웨어러블(20)의 세 가지 실시예를 개략적으로 도시한다.
도 11에 개략적으로 도시된 바와 같이, 일 실시예에서, 발광 요소(400)는 지면과 같은 인접 표면(404) 상에 미리 결정된 패턴의 광을 투사하도록 동작하는 프로젝터(402)일 수 있다. 구체적으로 도시된 바와 같이, 상기 프로젝터는 하우징(406), 발광 다이오드(LED)와 같은 광원(408), 하나 이상의 렌즈(410)(예컨대, 하나 이상의 집광 렌즈 및/또는 대물 렌즈), 및 선택적인 슬라이드 또는 스텐실(412)을 포함할 수 있다. 사용될 때, 슬라이드 또는 스텐실(412)은 프로젝터(402)가 단순히 평범한 빛의 공을 투사하기 보다는 표면(404)에 이미지(예컨대, 로고, 실루엣, 또는 그래픽)를 투사할 수 있게 할 수 있다. 한 가지 구성에서, 프로젝터(402)는 신발류 물품(422)의 중창(midsole)(420)에 통합될 수 있고 그것이 바닥창(outsole) 또는 지면을 향하는 바닥창 표면(424)을 통해 빛을 투사하도록 배향될 수 있다. 다른 실시예에서, 바닥창 또는 지면을 향하는 바닥창 표면(424)을 통해 광을 투사하는 대신에, 프로젝터는 신발류 물품(422) 옆의 지면(404) 상에 이미지를 투사하도록 위치/배향될 수 있다. 그러한 실시예에서, 프로젝터(402)는 중창의 측벽 상에 위치될 수 있거나, 또는 중창의 측벽을 통해 적어도 부분적으로 연장할 수 있다.
발광 요소(400)가 신발류 물품의 지면을 향하는 바닥창 표면(424)을 통해 빛나는 구성에서, 투사된 광은 상기 물품의 착용자가 지면에서 발을 들어올린 경우에만 주변 관찰자에게 보일 것이다. 전력을 보존하기 위해, 한 가지 구성에서, 발광 요소(400)는, 신발류 물품이 지면에서 떨어져 움직이고 있음을 검출하거나, 투사된 광이 관찰자에게 보이기에 지면으로부터 충분한 먼 거리(즉, 위치가 감지된 가속도 데이터로부터 유도될 수 있는 곳)를 이동한 것이 감지될 수 있는 경우에만 조명하도록 제어될 수 있다. 또 다른 실시예에서, 발광 요소(400)는 웨어러블(20)/모션 감지 회로(22)가 특정 임계값 이상의 상향 가속도를 감지하는 경우에만 조명하도록 제어될 수 있다. 이는 점프 또는 특정 크기의 점프를 나타낼 수 있으며, 조명을 위한 특정 최소 지속 시간을 보장하거나 프로젝터(402)가 충분한 선명도의 이미지를 투영하기에 이상적인 초점 거리가 달성되는 데에 추가로 도움이 될 수 있다.
도 12 및 도 13에 도시된 바와 같이, 일부 실시예에서, 발광 요소(400)는 신발류 또는 의류 물품(즉, 조명 물품(444)) 상에 제공되거나 그렇지 않으면 그 물품에 일체로 제공되는 조명 패널(lighted panel)(440) 및/또는 조명 디자인 요소(illuminated design element)(442)일 수 있다. 일부 실시예에서, 이 조명 물품(444)은 전술한 웨어러블(20)과 동일할 수 있지만, 다른 실시예에서는, 웨어러블(20)과 (직접적으로 또는 간접적으로) 전기적으로 통신하지만 웨어러블(20)과 구별될 수 있다. 예컨대, 웨어러블(20)은 신발류 물품일 수 있는 반면, 조명 물품(444)은 장갑 또는 셔츠일 수 있다. 물품(444)은 전원(446) 및 전원(446)으로부터 패널(440) 및/또는 디자인 요소(442)에 공급되는 전력을 변조하도록 동작하는 컨트롤러(448)를 더 포함할 수 있다. 일부 실시예에서, 컨트롤러(448)는 전술한 시각 효과 컨트롤러(48)일 수 있다.
도 12는 밑창 구조체(464)에 커플링된 갑피(462)를 포함하는 신발류 물품(460)으로서의 조명 물품(444)을 전체적으로 도시한다. 밑창 구조체(464)는, 물품(460)이 착용되면, 발과 지면 사이에서 연장한다. 다른 실시예에서, 밑창 구조체(464)는 발포 중합체 중창, 하나 이상의 통합된 유체 충전 챔버(예컨대, 에어백), 발포 안창 등을 포함하는 다양한 쿠션 구성품(cushioning component)을 포함할 수 있다. 추가적으로, 일부 실시예에서, 밑창 구조체는 전원(446), 컨트롤러(448), 및/또는 물품(444)에 의해 사용될 수 있는 임의의 다른 센서 또는 전자 구성품을 수용하기 위한 하나 이상의 리세스 또는 공동을 포함할 수 있다.
갑피(462)는 발을 수용하고 덮는 것 뿐만 아니라 물품(444)을 발에 고정하기 위한 다양한 제공을 포함할 수 있다. 갑피(462)는 갑피(462)의 내부 공동 내로 발이 진입할 수 있도록 하는 개구(466)를 포함한다. 일부 실시예는 레이스, 케이블, 스트랩, 버튼, 지퍼뿐만 아니라 물품을 고정하기 위해 당업계에 알려진 임의의 다른 제공을 포함하지만 이에 국한되지 않는 체결 제공을 포함할 수 있다.
도 12에 전체적으로 도시된 바와 같이, 일 실시예에서, 갑피(462)의 외측 벽은 조명 패널(440)을 포함할 수 있다. 조명 패널(440)은 복수의 상이한 층을 포함할 수 있고, 그 적어도 하나는 전계발광(electroluminescent) 층(또는 EL 패널)이다. 사용될 수 있는 예시적인 EL 패널 기술에는 발광 커패시터(LEC) 패널, 분말 형광체 기반의 전계발광 패널 및 박막 전계발광 재료가 포함되지만 이에 국한되지는 않는다. 추가적으로 또는 별법으로서, 조명 패널(440)은 확산될 때 패널의 영역을 조명할 수 있는 하나 이상의 발광 다이오드 또는 다른 조명 요소를 포함할 수 있다. 조명 패널(440)이 구비된 물품(444)에 관한 추가 실시예 및 추가 세부사항은 예컨대 그 전체가 참고로 포함되는 미국 특허 제10,182,608호에 기재되어 있다.
일부 실시예에서, 신발류 물품(460)은 하나 이상의 조명 디자인 요소(442)를 포함할 수 있다. 이러한 디자인 요소(442)는 조명 패널(440)과 같은 보다 전체적으로 조명된 영역과 대조적으로, 스포트라이트된 특징 또는 개별 요소를 포함할 수 있다. 그러나 일부 실시예에서, 둘 사이에 중첩이 있을 수 있다(즉, 디자인 요소는 패널 조명 로고 또는 액센트일 수 있음). 이러한 맥락에서, 하나 이상의 조명 디자인 요소(442)는 미국 특허 번호 제8,056,269호에 설명된 것과 같은 조명 로고 또는 장식, 미국 특허 번호 제10,004,291호에 설명된 것과 같은 조명 스트랩, 미국 특허 번호 제8,813,395호에 설명된 것과 같은 조명 스트랜드, 및 미국 특허 번호 제8,356,430호 및 미국 특허 공개 번호 제2009/0158622호에 기술된 것과 같은 조명 공동 또는 유체-충전 쿠션 구성품을 포함할 수 있으며, 이들 참조문헌 각각은 그 전체가 참조로 합체된다.
도 12는 신발류 물품으로서 물품(444)을 예시하지만, 도 13은 전체적으로 물품(444)을 의류/의복 물품(480), 보다 구체적으로 착용 상태의 셔츠 또는 재킷으로서 예시한다. 다른 실시예에서, 의류/의복(480) 물품은 다른 유형의 셔츠(긴 소매, 반 소매, 탱크 탑, 조끼), 바지, 양말, 바디 슈트, 모자, 장갑, 겉옷, 및/또는 임의의 다른 원하는 유형의 의류를 추가로 또는 별법으로서 포함할 수 있다. 도시된 바와 같이, 의류/의복 물품(480)은 광 어레이(482), 복수의 내장된 전도성 트레이스(484), 전원(446), 및 컨트롤러(448)를 포함하는 조명 디자인 요소(442)를 포함한다. 광 어레이(482)는 예컨대, 단일 라인의 조명 또는 2개 이상의 열의 조명으로 배치된 복수의 개별 가시광원(예컨대, LED, OLED, 전계발광 물질 등)을 포함할 수 있다. 광 어레이(482)는 또한 예컨대 광섬유 광 및/또는 광섬유를 이용하는 연속 라인의 조명을 포함할 수 있다. 광 어레이(482)는 의류 품목이 착용될 때 신체 곡률에 순응하도록 얇고, 구부릴 수 있고, 유연하도록 구성된다. 광 어레이(482)는 예컨대 열가소성 폴리우레탄(TPU) 또는 실리콘계 중합체와 같은 중합체 층을 이용하여 의류 품목에 부착될 수 있다. 예시적인 조명 가능한 의류/의복 물품에 대한 추가 세부사항은 미국 특허 출원 공개 제2019/0059461호 및 제2019/0200690호에 기재되어 있으며, 두 참조문헌은 그 전체가 참조로 합체된다.
일부 구성에서, 도 12 및 도 13의 발광 요소(400)는 도 5 내지 도 7에 도시된 사용자 협업 아키텍처의 출력 중 하나 이상으로서 사용될 수 있다. 예컨대, 협업 시각 또는 오디오/시각 구성에서, 복수의 사용자는 각각, 하나 이상의 발광 요소(400)가 제공된 하나 이상의 조명 물품(444)을 착용하고 있을 수 있다. 상이한 모션 프리미티브 또는 모션 프리미티브의 조합은 발광 요소(400) 중 상이한 요소의 조명을 트리거할 수 있는데, 색상, 광도, 지속 시간 및/또는 조명 패턴(예컨대, 솔리드, 플래싱, 빠른 플래싱, 스크롤링 등)은 모션 프리미티브에 대한 응답으로 사전 정의되거나 프리미티브 크기의 함수이다. 예컨대, 더 날카로운 측면 컷은 (예컨대, 측면 가속도 크기 또는 측면 저크 크기(da/dt)로 측정되었을 때와 같이) 덜 과감한 측면 컷보다 더 밝은 패널 조명을 초래할 수 있다.
한 예에서, 도 13에 도시된 바와 같은 바디 슈트 또는 재킷은 자신의 공연에 시각적 감각을 추가하고자 하는 무대 공연자가 사용할 수 있다. 다른 예에서, 도 12 및 도 13에 도시된 것과 같은 조명 의류 물품은 근처의 다른 사람들에게 신호를 보내기 위해 러너(runner) 또는 자전거 타는 사람에 의해 사용될 수 있다. 예컨대, 웨어러블 스마트워치를 착용한 러너는 손을 들어 다가오는 차량에 신호를 보낼 수 있다. 웨어러블(20)은 손 들기와 연관된 모션 프리미티브를 인식할 수 있고, 이는 모든 발광 요소(400) 중 일부가 조명하도록 트리거할 수 있다. 한 가지 구성에서, 상이한 손 모션이 상이한 조명 패턴을 유발할 수 있다. 예컨대, 손을 위로 뻗으면 제1 조명 세트가 켜지고 손을 바깥쪽으로 뻗으면 제2 조명 세트가 켜지게 할 수 있다.
본 기술을 이용하여 오디오/시각 연주를 구성하는 경우, 외부 리듬이 없는 상태에서 비트를 유지하는 것은 특히 어려울 수 있다. 보다 구체적으로, 이러한 사용 사례에서, 사용자는 리듬/타이밍을 설정하는 데 사용될 수 있는 많은 외부 자극(external cue)(예컨대, 베이스 비트)가 부족할 수 있다. 이 문제는 연주자의 템포와 리듬을 동기화하기 위해 노래의 비트에 의존했을 수 있는 협업 그룹 구성에서 특히 분명할 수 있다.
하나 이상의 사용자가 비트 추적 및/또는 다른 협업하는 개인과 동기화된 상태를 유지하는 것을 돕기 위해, 웨어러블(20)은 사용자의 신체에 촉각 감각을 전달하도록 동작하는 진동 변환기(500)를 포함할 수 있다. 도 14는 그러한 웨어러블 디바이스(20)의 한 가지 실시예를 개략적으로 도시한다. 이 실시예에서, 진동 변환기(500)는 신발류 물품(444)의 밑창 구조체(464) 내에 제공된다. 그러나, 다른 실시예에서, 진동 변환기(500)는 신발류 물품(444)의 갑피(462)와 함께, 또는 시계, 소매, 셔츠, 바지, 반바지, 장갑, 모자, 또는 사용자의 신체와 접촉하는 기타 의복 또는 액세서리 상에 그와 함께 제공될 수 있다.
진동 변환기(500)는 비트 또는 다른 촉각 타이밍 신호를 사용자에게 전달하기 위해 프로세서(28)의 방향에서 동작할 수 있다. 멀티-사용자 환경에서, 이어서, 상기 타이밍 신호는 적절하게 타이밍된 구성을 생성하는 것을 돕기 위해 (예컨대, 플래시 몹 동안) 복수의 사용자 각각에 걸쳐 동기화될 수 있다. 한 가지 구성에서, 진동 변환기(500)에 의해 사용자에게 전달되는 진동은 특정된 비트에 따라 전환되는 촉각 파형(tactile waveform)을 포함하는 전환된 또는 복합 진동일 수 있다. 상기 촉각 파형은 예컨대 비제한적으로 약 100Hz 내지 약 300Hz 범위, 또는 약 140Hz 내지 약 210Hz 범위, 또는 약 230Hz 내지 약 260Hz 범위의 주파수를 갖는 진동일 수 있다. 이러한 진동은 진동 변환기(500)로부터의 알림이 제공되었을 때 사용자가 가장 쉽게 알 수 있도록 선택될 수 있다.
노래 또는 작곡의 의도된 비트는 약 50% 미만, 더 바람직하게는 약 30% 미만, 또는 약 5% 내지 약 25% 범위의 듀티 사이클을 갖는 주기적 전송을 갖는 촉각 파형의 주기적 전송으로 나타낼 수 있다. 상기 비트는 약 0.1Hz와 약 3Hz 사이의 전송 주파수를 가질 수 있다. 보다 적절하게는, 분당 비트 수(BPM)로 측정되는 경우, 상기 전환된 비트는 분당 약 30 내지 약 160회의 개별 촉각 파형을 전송할 수 있다. 일부 실시예에서, 구성의 모든 비트가 표현될 필요는 없다. 오히려 특정 동기화 비트만 표현될 수 있다(예컨대, 구성에서 4개의 연속된 비트 중 하나 또는 8개의 연속 비트 중 하나). 비트의 특정 주파수에 관계없이, 촉각 파형은 짧은 지속기간의 버즈(buzz)를 나타낼 수 있는 반면에, 비트는 이러한 짧은 지속기간의 버즈가 발생하는 타이밍이다.
일부 실시예에서, 진동 변환기에 의해 전달되는 주기적인 진동 대신에, 유사한 비트가 웨어러블(20)(또는 웨어러블과 통신하는 신발류 또는 의류 물품)의 일부를 사용자의 신체 주위에서 조이거나 팽팽하게 함으로써 전달될 수 있다. 조임을 달성하기 위해, 웨어러블(20)(또는 다른 물품)은 접선 방향으로 물품의 하나 이상의 섬유, 코드, 레이스, 폐쇄 메커니즘, 또는 기타 핏 조정 양태를 착용자 신체의 일부 둘레에서 인장하도록 동작하는 하나 이상의 장력조절 메커니즘(tensioning mechanism)을 포함할 수 있다. 그렇게 함으로써, 물품의 장력은 물품이 반경 방향 치수가 수축하거나 감소하도록 강제할 수 있으며, 이는 착용자에게 압축력을 부여할 것이다. 이러한 압축에 특히 적합할 수 있는 물품에는 신발(즉, 적응형 레이스 장력 조절(adaptive lace tensioning)), 압축 슬리브/의복 및 시계/팔찌가 포함된다.
일부 실시예에서, 상기 장력조절 메커니즘은 작동 신호에 응답하여 물품 내에 매립된 인장 섬유를 감거나/감기 해제(spool/unspool)하도록 동작하는 모터를 포함할 수 있다. 다른 실시예에서, 상기 장력조절 메커니즘은 하나 이상의 선형 액추에이터, 빠른 응답 활성 물질(예컨대, 압전 액추에이터), 또는 MEMS(micro-electromechanical system)를 포함할 수 있다. 상기 장력조절 메커니즘은 사용자의 발/신체에 대한 일시적인 압박을 주기적으로 유도하기 위해, 주어진 전환된 비트에 응답하도록 구성될 수 있다. 신발류 맥락에서 상기 장력조절 메커니즘의 추가 설명은 미국 특허 번호 제10,448,707호, 미국 특허 공개 제2018/0199673호, 제2017/0265583호, 및/또는 미국 출원 번호 제16/694,306호에 제공되며, 이들 각각은 그 전체가 참조로 합체된다.
도 15는 전술한 바와 같은 웨어러블(20)과 함께 사용될 수 있는 충전 디바이스(600)를 개략적으로 도시한다. 이해할 수 있는 바와 같이, 각각의 웨어러블(20)은 전술한 기능을 수행하는 디바이스의 능력을 유지하기 위해 주기적 재충전을 필요로 하는 배터리를 포함할 수 있다. 방수 조치를 제공하기 위해, 충전 디바이스(600)는 하나 이상의 유도 코일(602)을 포함하는 유도 충전 디바이스일 수 있다. 각각의 유도 코일(602)은 코일(602)이 교류 파형으로 에너자이징되고 웨어러블(20)에 근접하게 될 때 웨어러블(20) 내에서 충전 전류를 자기적으로 유도하도록 동작할 수 있다. 신발류 물품의 경우, 2개의 유도 충전 퍽(inductive charging puck)(604, 606)이 필요할 수 있으며(즉, 각 신발에 대해 하나씩), 각각의 퍽(604, 606)은 에너자이징 가능한 유도 코일(602)을 포함한다. 예시적인 충전 디바이스가 US 2017/0150773에 설명되어 있으며, 이는 그 전체가 참고로 합체된다.
도 16에 개략적으로 도시된 바와 같이, 일부 실시예에서, 충전 디바이스(600)는 디스코-볼 또는 파티 조명 용도로서 겸하는 능력을 더 포함할 수 있다. 보다 구체적으로, 각각의 충전 퍽(604, 606)은 변동하는 강도 및/또는 색상의 광을 투사하도록 동작하는 복수의 조명 요소(608)(예컨대, LED)를 포함할 수 있다. 또한, 충전 디바이스(600)는 파티에 적합한 자세로 충전 디바이스를 지지할 수 있는 후크 또는 스탠드와 같은 장착 특징부(610)를 포함할 수 있다. 장착 특징부(610)는 각각의 충전 퍽(604, 606)이 연장되는 나오는 중앙 허브(612)와 일체일 수 있거나 그렇지 않으면 그에 부착될 수 있다. 중앙 허브(612)는 에너지 저장 디바이스(614), 이동 메커니즘(616), 및/또는 조명 컨트롤러(618)를 포함할 수 있으며, 또한 충전 퍽까지 연장하는 임의의 와이어에 대해 적절한 스트레인 완화를 제공할 수 있다.
파티 조명으로 사용되는 경우, 에너지 저장 디바이스(614)(예컨대, 배터리)는 조명 요소(608)를 조명하는 데 필요한 전력과 임의의 외부 통신을 용이하게 하거나 이동 메커니즘(616)의 전원이 켜진 양태를 구동하는 데 필요한 전력을 공급할 수 있다. 에너지 저장 디바이스(614)는 충전 디바이스가 AC 전원에 연결될 때 웨어러블(20)과 동시에 충전될 수 있다. 반대로, 에너지 저장 디바이스(614)는 충전 디바이스(600)가 파티 조명으로 동작되면 에너지를 소비할 수 있다.
이동 메커니즘(616)은 디스코 볼 또는 다른 움직이는 스포트라이트와 유사한 시각 효과를 제공하기 위해 충전 퍽(604, 606) 및/또는 조명 요소(608)의 움직임을 유도하도록 구성될 수 있다. 상기 이동 메커니즘은 예컨대 하나 이상의 모터, 권취/스프링 구동 메커니즘, 또는 관절식(articulating) 거울/렌즈를 포함할 수 있다. 이동 메커니즘(616)은 일반적으로 충전 퍽 또는 조명 요소의 적어도 일부의 회전 또는 진동을 생성하여 광이 투사되는 방식을 변경할 수 있다. 도 16에 개략적으로 도시된 바와 같이, 한 가지 특정 실시예에서, 이동 메커니즘(616)은 중앙 허브(612)가 장착 특징부(610)에 대해 회전하도록 할 수 있고, 이는 차례로 충전 퍽(604, 606)이 중심 축(620)을 중심으로 회전하도록 할 수 있다.
조명 컨트롤러(618)는 시각 효과를 생성하기 위해 하나 이상의 조명 요소(608)를 조명하는 역할을 담당할 수 있다. 한 가지 구성에서, 조명 컨트롤러(618)는 사전 프로그래밍되고 및/또는 사용자 제어될 수 있는 반복 패턴으로 조명 요소(608)를 단순히 조명할 수 있다. 예컨대, 조명 패턴 및 시퀀스의 사전 정의된 컬렉션이 제조 시 조명 컨트롤러에 사전 프로그래밍될 수 있다. 그런 다음 사용자는 예컨대 허브(612) 상의 버튼을 클릭하거나 커넥티드 무선 디바이스(예컨대, 원격, 스마트폰, 컴퓨터 등)를 통해 선택함으로써 원하는 패턴/시퀀스를 선택할 수 있다.
다른 구성에서, 조명 컨트롤러(618)는 통합되거나 커넥티드 마이크로폰을 통해 감지될 수 있는 오디오에 응답하여 조명 요소(608)를 조명할 수 있다. 상기 조명 컨트롤러는, 예컨대, 감지된 저주파 비트에 응답하여 조명을 펄스화하거나, 또는 감지된 피치 또는 주파수에 따라 조명 패턴 또는 색상을 변경할 수 있다. 한 가지 구성에서, 상기 마이크로폰은 감지된 미가공 오디오 데이터, 오디오 요약 데이터(예컨대, 비트 또는 피치 데이터), 또는 감지된 미가공 오디오 또는 오디오 요약 데이터에 기초한 프로그램 명령을 전송할 수 있는 커넥티드 무선 디바이스에 통합될 수 있다.
또 다른 구성에서, 조명 컨트롤러(618)는 웨어러블(20)로부터 디지털 신호를 수신할 수 있고, 위에서 논의된 바와 같이 하나 이상의 감지된 모션 프리미티브에 기초하여 조명 요소(608)를 조명할 수 있다. 이와 같이, 조명 컨트롤러(618)는 시각 효과 컨트롤러(48) 및 충전 디바이스(600)를 포함하거나 그와 통신할 수 있고, 사용자의 움직임의 시각적 표현을 표시하기 위한 수단의 역할을 할 수 있다(또는 그렇지 않으면 사용자의 시각적 움직임을 보완할 수 있다). 이러한 방식으로, 조명 요소(608)는 자신의 움직임 및/또는 깜박임(flashing)을 조명 근처에서 춤추는 한 명 이상의 사람의 리드미컬한 움직임과 동기화하는 것이 가능할 수 있다.
일부 실시예에서, 식별된 적어도 하나의 모션 프리미티브에 응답하여 오디오 샘플 또는 시각 효과의 재생을 트리거하는 대신에, 모션 프리미티브가 외부 게임에 대한 입력 역할을 할 수 있다. 예컨대, 일부 실시예에서, 신발은 일련의 움직임이 비디오 디스플레이에 표시되는 댄스 기반의 비디오 게임에 대한 입력 역할을 할 수 있으며, 사용자는 최고 점수를 달성하기 위해 움직임을 모사하는 데 최선을 다해야 하다. 도 17에 도시된 것과 같은 다른 실시예에서, 게임은 사용자가 소매용 제품 또는 디지털 수집품을 취득하기 위한 잠금 해제 코드, 토큰, 패스, 권한 또는 기회를 취득하기 위해 하나 이상의 움직임 시퀀스를 수행할 것을 요구하는 소매점 중심 게임(retail-centric game)일 수 있다. 일부 실시예에서, 소매용 제품 또는 디지털 수집품은 제한된 릴리스 소매용 제품, 소매용 제품의 디지털 표현, 참조로 전체가 합체되는 미국 특허 출원 번호 제15/931,764호 및/또는 제16/707,720호에 설명된 것과 같은 암호로 보호된 디지털 자산(cryptographically secured digital asset) 또는 제한적 또는 제한된 공급의 일부 다른 항목일 수 있다.
도 17은 전체적으로 사용자(702)가 소매용 제품(704), 소매용 제품의 디지털 표현, 물리적 또는 디지털 소매용 제품을 취득하기 위한 잠금 해제 코드 또는 잠금 해제 코드의 일부, 또는 달성한 것에 대한 디지털 인식(예컨대, 소셜 미디어에서 공유할 수 있는 가상 배지)을 취득하기 위해 적극적인 사용자 관여를 요구하는 대화형 소매 키오스크(700)를 도시한다.
도 18은 도 17의 대화형 소매 키오스크(700)로 수행될 수 있는 것과 같이 물리적 또는 전자적 객체 또는 코드를 취득하는 방법(800)을 개략적으로 도시한다. 도시된 바와 같이, 상기 방법은 (단계 802에서) 키오스크(700)의 사전 정의된 물리적 근접 범위(physical proximity) 내에서 사용자(702)의 존재를 인식함으로써 시작할 수 있다. 한 가지 구성에서, 키오스크(700)는 카메라, RFID 리더, 키오스크(700) 옆 바닥에 제공된 압력 매트, 또는 사용자가 근접함을 시스템에 경고하기 위해 사용자가 누를 수 있는 버튼을 포함할 수 있다. 다른 구성에서, 사용자(702)는 통신 네트워크(710)를 통해 서버 노드(708)와 무선 디지털 통신하는 무선 컴퓨팅 디바이스(706)를 소유할 수 있다. 무선 컴퓨팅 디바이스(706)는 GPS 수신기, 무선 비콘(302) 또는 근거리 네트워크에 대한 디바이스의 근접을 인식할 수 있는 무선 통신 구성품, 또는 주변 환경 내에서 시각적 양태 또는 디지털 코드를 지각하고 인식할 수 있는 카메라와 같이, 사용자의 위치를 인식하기 위한 수단을 포함할 수 있다. 일단 사용자의 위치가 인식되면, 디바이스 상에서 실행되는 애플리케이션이 키오스크(700) 근처의 사용자의 상대 또는 절대 위치의 표시를 서버 노드(708)에 전송할 수 있으며, 이는 게임을 초기화할 수 있다.
무선 컴퓨팅 디바이스(706)는 사용자가 비밀번호를 입력하도록 요구하는 애플리케이션을 포함함으로써 사용자의 신원을 인증하고, 식별 생체 특징(identifying biometric feature)(예컨대, 지문 또는 안면 인식)을 제시하거나 그렇지 않으면 상기 애플리케이션에 안전하게 로그인되는 능력을 더 포함할 수 있다. 단계(804)에서, 사용자의 무선 컴퓨팅 디바이스(706)는 사용자의 신원 및 위치가 키오스크(700)의 사전 정의된 근접성 또는 지오펜스(geofence) 내에 물리적으로 존재하는 것으로서 인증할 수 있다.
사용자가 키오스크(700) 부근에서 인증되고 인식되면, 서버(708)는 사용자에게 특정 챌린지를 제시할 수 있다(단계 806에서). 한 가지 구성에서, 상기 챌린지는 키오스크(700)에 커플링되거나 키오스크(700)와 통신하는 디스플레이(712)를 통해 사용자(702)에게 제시될 수 있다. 다른 실시예에서, 상기 챌린지는 통신 네트워크(710) 및 무선 컴퓨팅 디바이스(706) 상에 제공된 디스플레이를 통해 사용자에게 제시될 수 있다. 일반적으로, 상기 챌린지는 사용자가 순서대로 수행하도록 요청되는 일련의 움직임, 모션 또는 액션을 포함할 수 있다. 예컨대, 상기 챌린지는 댄스 시퀀스, 점핑 잭(jumping jack), 런지(lunge), 버피(burpee), 하이 니(high knee), 킥(kick) 또는 일련의 요가 포즈와 같은 운동 세트를 포함할 수 있다.
단계 806에서 사용자에게 챌린지가 일단 제시되면, 사용자(702)는 요청된 물리적 활동을 수행할 수 있고 서버 노드(708)는 챌린지가 성공적으로 완료되었다고 결정할 수 있다(단계 808에서). 이 결정은 직접 관찰(예컨대, 키오스크(700)과 함께 제공된 카메라 또는 압력 매트를 통해) 또는 챌린지가 수행되었음을 나타내는 디지털 표시를 수신함으로써 생길 수 있다. 한 가지 구성에서, 상기 수신된 디지털 표시는 전송된 모션 프리미티브 시퀀스로서, 또는 챌린지의 성공적인 완료 동안 예상되는 것과 매치되거나 거의 근사하는 모션 프리미티브의 시퀀스를 웨어러블(20)이 검출했음을 나타내는 간단한 표시로서, 웨어러블(20)에 의해 제공될 수 있다.
사용자(702)가 챌린지를 성공적으로 완료했다는 결정에 이어(단계 808에서), 키오스크(700)는 소매용 제품에 대해 교환될 수 있는(단계 812에서) 코드를 사용자에게 제시하거나(단계 810에서) 다른 코드와 결합되어 소매용 제품(또는 제한된 릴리스 디지털 개체)에 대해 집합적으로 교환될 수 있는 코드를 사용자에게 제시한다. 도 17에 전체적으로 도시된 바와 같이, 일 실시예에서, 키오스크(700)는 기계 판독 가능 코드(716)가 인쇄된 인쇄 영수증(714)을 사용자(702)에게 제시할 수 있다. 다른 실시예에서, 키오스크(700)는 챌린지의 발행 전에 서버(708)에 의해 인증된 사용자 계정 또는 사용자의 디바이스(706)에 코드(716)를 디지털 방식으로 전송할 수 있다. 일단 전송되면, 코드(716)는 사용자가 미래에 코드에 액세스할 수 있도록 디지털 로커(locker)/스토리지 또는 콜드 스토리지 디지털 지갑 내에 유지될 수 있다.
일 실시예에서, 키오스크(700)는 소매점에 위치할 수 있고 코드는 소매점 직원에게 전달되거나 키오스크(700)에 표시된 제품(704)과 유사한 스타일 또는 디자인의 소매 제품을 교환하기 위해 인터넷 인터페이스에 입력될 수 있다. 다른 실시예에서, 사용자는 제품에 대한 자격을 갖추기 위해, 다수의 코드를 각각 다른 키오스크로부터 취득할 필요가 있을 수 있다. 이러한 멀티-키오스크 시나리오에서, 미국 특허 공개 제2019/0213619 및 미국 특허 출원 번호 제16/874,944호(이들은 그 전체가 참고로 합체됨)에 기술된 바와 같이, 복수의 키오스크는 지리적 영역에 걸쳐 및/또는 복수의 소매점에 분산될 수 있고, 사용자는 이들을 찾을 필요가 있을 수 있다. 이 구성에서, 사용자는 제품 잠금 해제에 필요한 코드를 축적하기 위해 스캐빈저 헌트(scavenger hunt)에 보내질 수 있다. 미국 특허 출원 제16/874,944호에서 전체적으로 논의된 바와 같이, 일 실시예에서, 사용자는 신발에 내장된 턴 바이 턴 탐색(turn by turn navigation)의 사용을 통해 (예컨대, 레이스를 선택적으로 인장하거나 도 14에 도시된 햅틱 변환기의 선택적인 작동을 통해) 다음 키오스크로 안내될 수 있다.
소매 키오스크(700)가 도 17에 물리적 제품 디스플레이로서 도시되어 있지만, 다른 실시예에서는, 단순히, 직접적인 상호 작용 능력을 가질 수도 있고 갖지 않을 수도 있는 대형 로고, 사인 또는 기타 마커와 같은 비-소매 디스플레이일 수 있다. 일부 실시예에서, 키오스크(700)는 가상 키오스크(즉, 증강 또는 혼합 현실 상황에서 적절한 무선 컴퓨팅 디바이스로 볼 수 있음)일 수 있거나, 지오펜스 영역(geofenced area)과 같은 가상의 웨이포인트 또는 위치일 수 있다.
위에서 제공된 대부분의 개시 내용은 주로 라이브 환경 내에서 오디오 및/또는 시각 효과를 생성하는 데 중점을 두었지만, 유사한 경험이 가상 세계 내에서 생성되거나(예컨대, 도 19) 라이브 이벤트의 비디오 방송을 증강하는 데 사용될 수도 있다(예컨대, 도 20).
도 19를 참조하면, 뮤지컬 아티스트(900)가 온라인 가상 환경 내에서 라이브 콘서트 공연을 방송하는 것이 점점 더 일반화되고 있다. 이러한 가상 환경(902)은 인터넷과 같은 분산 컴퓨팅 네트워크(50)에 연결된 게임 서버(904)에 의해 호스팅 및/또는 유지될 수 있다. 복수의 사용자는 가상 환경과 상호작용할 수 있으며 환경(902) 내의 고유한 사용자 제어 아바타(906)를 통해 서로 상호작용할 수 있다. 게임플레이 동안, 각각의 아바타(906)는 상이한 각각의 사용자(910)에 의해 제어되는 웹 지원 컴퓨팅 디바이스(908)에 의해 만들어진 각각의 모션/액션 명령에 반응할 수 있다. 각각의 사용자(908)는 각자의 웹 지원 컴퓨팅 디바이스(908)와 연관된 디스플레이를 통해 가상 환경(902) 내에서 그들의 아바타(906)로부터/로부터의 1인칭 또는 3인칭 투시도를 경험할 수 있다. 이러한 환경의 대표적인 예로서 Epic Games에서 개발한 FORTNITE ® 게임을 들 수 있다.
도 19에 도시된 실시예에서, 전술한 실시예와 매우 유사하게, 사용자 콘솔(30)은 음악 연주자(900)의 신체에 제공된 웨어러블(20)로부터 데이터 스트림을 수신할 수 있다. 사용자 콘솔(30)은 그 모션 프리미티브와 이전에 연관되었던 오디오 샘플 또는 시각 효과의 재생을 트리거하기 위해 유사한 모션 대응표(110)에 의존할 수 있다. 그러나 주요 차이점은 트리거된 오디오 샘플 또는 시각 효과가 가상 환경(902) 내에서만 발생한다는 것이다. 예컨대, 공연자가 발을 옆으로 휙 움직이면 환경 안의 하늘이 색이 변할 수 있고, 사용자가 발을 구르면 가상의 불꽃이 발생할 수 있으며, 사용자의 주먹을 아래로 내리면 강력한 타악기/킥 드럼이 재생될 수 있는데, 이는 예컨대, 연주자의 아바타(912)로부터 바깥쪽으로 발산되는 시각적 충격파를 수반할 수 있다. 추가적으로, 모션 프리미티브가 사운드 또는 시각 효과를 제어하는 데만 사용되는 대신에, 공연자의 웨어러블(들)에 의해 감지된 모션 프리미티브는 또한 가상 환경(902) 내에서 공연자의 아바타(912)의 모션 또는 액션의 일부 또는 전부를 제어하거나 변경하는 데 사용될 수 있다.
도 19가 가상 세계의 양태를 제어하기 위해 웨어러블(20)을 사용하는 반면, 도 20에 도시된 시스템(950)은 감지된 모션을 사용하여 라이브 비디오 방송의 하나 이상의 양태를 증강하도록 동작한다. 스포츠 이벤트의 상황에서, 운동선수 유니폼의 일부는 착용자의 모션/활동으로부터 하나 이상의 모션 프리미티브를 검출하거나 추출하도록 동작하는 웨어러블(20)을 포함할 수 있다. 선수가 사전 정의된 동작 또는 일련의 동작을 실행하는 경우, 스포츠 이벤트의 시각 방송(952)(텔레비전, 케이블, 가상 현실, 인터넷 스트림 등)은 선수의 행동을 강조하거나 두드러지게 하기 위해 하나 이상의 시각 효과(954)로 증강/변경될 수 있다. 예컨대, 농구 경기에서 운동 선수가 임계치 양의 힘 또는 도약 강도로 공을 덩크한다면, 지상에 착지할 때, 방송 시스템(956)은 코트 표면 자체에 있는 선수로부터 나오는 폭발의 그래픽을 비디오 피드(958)에 오버레이할 수 있다. 다른 예에서, 농구 선수가 시그니처 크로스오버 동작을 실행한다면, 그 액션 시퀀스는, 마치 운동선수의 발바닥이 코트 표면을 주름지게 하는 것처럼, 방송 시스템(956)이 비디오 피드(958) 내의 지각된 바닥 윤곽을 그래픽으로 변경하도록 할 수 있다. 그렇게 함으로써, 본 기술의 이러한 사용은 (제3자의 시각 관찰자가 아닌) 선수 자신의 직접 감지된 모션에 의해 트리거되는 동안, (예컨대, Electronic Arts Inc.가 제작한 NBA JAM과 유사한) 윤색되거나 만화화된 비디오 게임의 양태를 라이브 액션 스포츠에 불어넣는다.
일부 실시예에서, 움직임 트리거 외에도, 시각 효과의 생성은 게임 내의 타이밍, 최근 득점 활동, 또는 코트/필드 상의 다른 플레이어의 상대적인 위치와 같은 외부 요인에 의해 추가 조절될 수 있다. 또한, 일부 실시예에서, 효과의 존재, 특성 또는 색상은 시청하는 사용자에 의해 (즉, 사용자의 각각의 웹 지원 컴퓨팅 디바이스(960)을 통해) 제공되는 하나 이상의 선호도 또는 속성에 따라 달라질 수 있다. 이러한 실시예에서, 사용자는 먼저 선호하는 팀 또는 플레이어를 사전 선택할 수 있으며, 이는 다른 플레이어/팀에 다른 모션 대응표를 동적으로 할당할 수 있다. 비디오 방송 동안, 상기 사전 선택된 선호하는 팀 또는 선수는 제1 세트의 사운드/그래픽으로 보강될 수 있는 반면, 다른 플레이어(및 특히 상대 플레이어/팀)는 제2 세트의 사운드/그래픽으로 보강될 수 있다. 지명된 선호 선수/팀과 상대팀 간의 대우의 차이로 인해, 사전 선택된 선호 선수를 영웅으로 캐스팅하고 상대 선수/팀을 악당으로 캐스팅하는 효과가 있을 수 있다. 이것은 예컨대, 서로 상이한 색상 기호, 상이한 그래픽 및/또는 상이한 사운드 효과의 사용을 통해 달성될 수 있다.
강화된 스포츠 방송(952)과 매우 유사하게, 도 19에 도시된 것과 같은 가상 환경(902)에 이식된 시각 효과는 그 세계 내에서 사용자의 하나 이상의 속성 또는 선호도에 따라 다를 수 있다. 예컨대, 사용자의 아바타가 착용하는 의류/피부는 특정 색 구성표 또는 시각 효과를 잠금해제할 수 있다. 마찬가지로, 사용자 아바타의 레벨이나 경험도 다른 시각 또는 오디오 효과를 잠금해제할 수 있다. 이것은 예컨대 완전히 다른 대응표를 적용하거나 대응표의 양태를 특정 기준에 따라 조건부로 만듦으로써 발생할 수 있다.
단순히 시각적 또는 오디오 효과를 변경하는 것 외에, 대응표의 출력이 하나 이상의 햅틱 신호의 형태로 사용자에게 전송되게 하는 것도 가능할 수 있다. 각각의 햅틱 신호는 촉각 응답을 제공하도록 사용자의 신체 상의 햅틱 디바이스에 지시할 수 있다. 이러한 촉각 반응은 사용자에 배치된 신발류 또는 의류 물품의 진동 또는 수축의 형태일 수 있고, 하나 이상의 시각 또는 오디오 효과와 동기화될 수 있다. 이러한 방식으로, 본 기술은 보다 몰입감 있는 사용자 경험을 제공하는 여러 감각을 얻을 수 있다. 일 실시예에서, 햅틱 신호는 추가로, 실제 운동선수가 경험하는 것과 유사할 수 있는 하나 이상의 촉각 감각을 전달하거나 부여하도록 시도할 수 있다.
현재 설명된 기술의 다양한 특징 및 동작 방법은 다음 항목에 제시되어 있다.
항목 1: 역동적인 움직임 채점을 위한 시스템으로서, 신발류 또는 의류 물품의 적어도 일부의 공간 모션을 모니터링하고 그 모니터링된 공간 모션을 나타내는 데이터 스트림을 생성하도록 동작하는 적어도 하나의 가속도계 또는 관성 측정 유닛을 포함하는 신발류 또는 의류 물품; 상기 신발류 또는 의류 물품과 네트워크로 무선 통신하는 프로세서를 포함하고, 상기 프로세서는 상기 신발류 또는 의류 물품으로부터 상기 데이터 스트림을 수신하고, 상기 수신된 데이터 스트림으로부터 적어도 하나의 모션 프리미티브를 식별하고, 상기 적어도 하나의 식별된 모션 프리미티브를 사전 정의된 정렬된 수의 모션 프리미티브와 비교하고, 상기 신발류 또는 의류 물품의 상기 모니터링된 공간 모션과 상기 정렬된 수의 모션 프리미티브의 대응을 나타내는 정확도 메트릭을 결정하고, 상기 정확도 메트릭을 디스플레이 디바이스를 통해 사용자에게 표시하도록 구성된 것인, 시스템.
항목 2: 항목 1에 있어서, 상기 프로세서는 분산 컴퓨팅 네트워크와 디지털 통신하고, 상기 프로세서는 추가로, 모션 프리미티브의 정렬된 목록을 포함하는 챌린지를 상기 분산 컴퓨팅 네트워크로부터 수신하고, 디스플레이 디바이스를 통해 사용자에게 상기 챌린지를 표시하도록 구성된 것인, 시스템.
항목 3: 항목 2에 있어서, 상기 챌린지는 상기 분산 컴퓨팅 네트워크 상의 제2 사용자로부터 수신되는 것인, 시스템.
항목 4: 항목 3에 있어서, 상기 프로세서는 추가로, 상기 제2 사용자로부터 정확도 메트릭을 수신하고 이를 디스플레이 디바이스를 통해 사용자에게 표시하도록 구성된 것인, 시스템.
항목 5: 항목 1에 있어서, 상기 프로세서는 분산 컴퓨팅 네트워크와 디지털 통신하고, 상기 프로세서는 추가로, 상기 분산 컴퓨팅 네트워크 상의 서버에 상기 정확도 메트릭을 전송하도록 구성된 것인, 시스템.
항목 6: 항목 1에 있어서, 상기 정렬된 수의 모션 프리미티브는 연출된 춤을 형성하는 것인, 시스템.
항목 7: 항목 6에 있어서, 상기 신발류 또는 의류 물품은 촉각 감각을 사용자의 신체에 전송하도록 동작하는 햅틱 변환기를 더 포함하고, 상기 프로세서는 추가로 상기 햅틱 변환기가 비트 또는 촉각 타이밍 신호를 사용자에게 전달하게 하도록 구성되는 것인, 시스템.
항목 8: 항목 7에 있어서, 상기 햅틱 변환기는 상기 물품의 적어도 하나의 레이스 또는 폐쇄 메커니즘을 선택적으로 그리고 주기적으로 인장하도록 동작하는 모터를 포함하는 것인, 시스템.
항목 9: 항목 1에 있어서, 상기 프로세서는 추가로, 상기 식별된 적어도 하나의 모션 프리미티브에 응답하여 오디오 샘플 또는 시각 효과의 재생을 트리거하도록 구성되는 것인, 시스템.
항목 10: 항목 9에 있어서, 상기 식별된 적어도 하나의 모션 프리미티브는 제1 모션 프리미티브 및 제2 모션 프리미티브를 포함하고, 상기 오디오 샘플 또는 시각 효과는 제1 오디오 샘플 또는 제1 시각 효과이고 상기 제1 모션 프리미티브에 응답하여 트리거되며, 상기 프로세서는 추가로, 상기 식별된 제2 모션 프리미티브에 응답하여 제2 오디오 샘플 또는 제2 시각 효과의 재생을 트리거하도록 구성되고, 상기 제1 오디오 샘플 또는 제1 시각 효과는 상기 제2 오디오 샘플 또는 제2 시각 효과와 상이한 것인, 시스템.
항목 11: 항목 9에 있어서, 상기 프로세서와 통신하는 사용자 입력 디바이스 및 디스플레이를 더 포함하고, 상기 프로세서는 추가로, 복수의 오디오 샘플의 라이브러리를 유지하고, 상기 사용자 입력 디바이스로부터 수신된 입력에 기초하여, 상기 복수의 오디오 샘플로부터 선택된 오디오 샘플을 사전 정의된 모션 프리미티브와 연관시키고, 상기 식별된 모션 프리미티브를 상기 사전 정의된 모션 프리미티브와 매치시키도록 구성되고, 상기 식별된 모션 프리미티브에 응답하여 상기 오디오 샘플 또는 상기 시각 효과의 재생을 트리거하는 것은 상기 식별된 모션 프리미티브와 상기 사전 정의된 모션 프리미티브의 매칭에 응답하여 상기 선택된 오디오 샘플을 출력하는 것을 포함하는 것인, 시스템.
항목 12: 항목 1에 있어서, 상기 프로세서는 추가로, 상기 수신된 데이터 스트림에 기초하여 가상 환경에서 아바타의 거동 또는 모션을 변경하도록 구성되는 것인, 시스템.
항목 13: 역동적인 움직임 채점 방법으로서, 신발류 또는 의류 물품으로부터 데이터 스트림을 수신하는 단계 - 상기 수신된 데이터 스트림은 상기 물품의 공간 모션을 나타냄 -, 상기 수신된 데이터 스트림으로부터 복수의 모션 프리미티브를 식별하는 단계, 상기 적어도 하나의 식별된 모션 프리미티브를 사전 정의된 정렬된 수의 모션 프리미티브와 비교하는 단계, 상기 신발류 또는 의류 물품의 모니터링된 공간 모션과 상기 정렬된 수의 모션 프리미티브 사이의 대응을 나타내는 정확도 메트릭을 결정하는 단계, 및 디스플레이 디바이스를 통해 사용자에게 상기 정확도 메트릭을 표시하는 단계를 포함하는 것인, 방법.
항목 14: 항목 13에 있어서, 상기 정렬된 수의 모션 프리미티브를 포함하는 챌린지를 분산 컴퓨팅 네트워크로부터 수신하는 단계, 및 상기 디스플레이 디바이스를 통해 사용자에게 상기 챌린지를 표시하는 단계를 더 포함하는 방법.
항목 15: 항목 14에 있어서, 상기 분산 네트워크 상의 제2 사용자에게 상기 챌린지를 전송하는 단계를 더 포함하는 방법.
항목 16: 항목 13에 있어서, 상기 정확도 메트릭을 분산 컴퓨팅 네트워크 상의 서버에 전송하는 단계를 더 포함하는 방법.
항목 17: 항목 13에 있어서, 상기 식별된 모션 프리미티브 각각에 응답하여 오디오 샘플 또는 시각 효과의 재생을 트리거하는 단계를 더 포함하는 방법.
항목 18: 항목 17에 있어서, 상기 시각 효과를 트리거하는 단계는 상기 신발류 또는 의류 물품 상의 적어도 하나의 조명을 조명하는 단계를 포함하는 것인, 방법.

Claims (18)

  1. 역동적인 움직임 채점을 위한 시스템으로서,
    신발류 또는 의류 물품의 적어도 일부의 공간 모션을 모니터링하고 그 모니터링된 공간 모션을 나타내는 데이터 스트림을 생성하도록 동작하는 적어도 하나의 가속도계 또는 관성 측정 유닛을 포함하는 신발류 또는 의류 물품, 및
    상기 신발류 또는 의류 물품과 네트워크로 무선 통신하는 프로세서
    를 포함하고, 상기 프로세서는,
    상기 신발류 또는 의류 물품으로부터 상기 데이터 스트림을 수신하고,
    상기 수신된 데이터 스트림으로부터 적어도 하나의 모션 프리미티브를 식별하고,
    상기 적어도 하나의 식별된 모션 프리미티브를 사전 정의된 정렬된 수(ordered number)의 모션 프리미티브와 비교하고,
    상기 신발류 또는 의류 물품의 상기 모니터링된 공간 모션과 상기 정렬된 수의 모션 프리미티브 사이의 관련성(correspondecne)을 나타내는 정확도 메트릭(accuracy metric)을 결정하고,
    상기 정확도 메트릭을 디스플레이 디바이스를 통해 사용자에게 표시하도록 구성된 것인, 시스템.
  2. 제1항에 있어서, 상기 프로세서는 분산 컴퓨팅 네트워크와 디지털 통신하고, 상기 프로세서는 또한,
    모션 프리미티브의 정렬된 목록을 포함하는 챌린지를 상기 분산 컴퓨팅 네트워크로부터 수신하고,
    디스플레이 디바이스를 통해 사용자에게 상기 챌린지를 표시하도록 구성된 것인, 시스템.
  3. 제2항에 있어서, 상기 챌린지는 상기 분산 컴퓨팅 네트워크 상의 제2 사용자로부터 수신되는 것인, 시스템.
  4. 제3항에 있어서, 상기 프로세서는 또한, 상기 제2 사용자로부터 정확도 메트릭을 수신하고 이를 상기 디스플레이 디바이스를 통해 사용자에게 표시하도록 구성된 것인, 시스템.
  5. 제1항에 있어서, 상기 프로세서는 분산 컴퓨팅 네트워크와 디지털 통신하고, 상기 프로세서는 또한, 상기 분산 컴퓨팅 네트워크 상의 서버에 상기 정확도 메트릭을 전송하도록 구성된 것인, 시스템.
  6. 제1항에 있어서, 상기 정렬된 수의 모션 프리미티브는 연출된 춤을 형성하는 것인, 시스템.
  7. 제6항에 있어서, 상기 신발류 또는 의류 물품은 촉각 감각을 사용자의 신체에 전송하도록 동작하는 햅틱 변환기(haptic transducer)를 더 포함하고,
    상기 프로세서는 또한 상기 햅틱 변환기가 비트 또는 촉각 타이밍 신호를 사용자에게 전달하게 하도록 구성되는 것인, 시스템.
  8. 제7항에 있어서, 상기 햅틱 변환기는 상기 물품의 적어도 하나의 레이스 또는 폐쇄 메커니즘을 선택적으로 그리고 주기적으로 인장하도록 동작하는 모터를 포함하는 것인, 시스템.
  9. 제1항에 있어서, 상기 프로세서는 또한, 상기 식별된 적어도 하나의 모션 프리미티브에 응답하여 오디오 샘플 또는 시각 효과의 재생을 트리거하도록 구성되는 것인, 시스템.
  10. 제9항에 있어서, 상기 식별된 적어도 하나의 모션 프리미티브는 제1 모션 프리미티브 및 제2 모션 프리미티브를 포함하고, 상기 오디오 샘플 또는 시각 효과는 제1 오디오 샘플 또는 제1 시각 효과이고 상기 제1 모션 프리미티브에 응답하여 트리거되며,
    상기 프로세서는 또한,
    상기 식별된 제2 모션 프리미티브에 응답하여 제2 오디오 샘플 또는 제2 시각 효과의 재생을 트리거하도록 구성되고,
    상기 제1 오디오 샘플 또는 제1 시각 효과는 상기 제2 오디오 샘플 또는 제2 시각 효과와 상이한 것인, 시스템.
  11. 제9항에 있어서, 상기 프로세서와 통신하는 사용자 입력 디바이스 및 디스플레이를 더 포함하고, 상기 프로세서는 또한,
    복수의 오디오 샘플의 라이브러리를 유지하고,
    상기 사용자 입력 디바이스로부터 수신된 입력에 기초하여, 상기 복수의 오디오 샘플로부터 선택된 오디오 샘플을 사전 정의된 모션 프리미티브와 연관시키고,
    상기 식별된 모션 프리미티브를 상기 사전 정의된 모션 프리미티브와 매치시키도록 구성되고,
    상기 식별된 모션 프리미티브에 응답하여 상기 오디오 샘플 또는 상기 시각 효과의 재생을 트리거하는 것은 상기 식별된 모션 프리미티브와 상기 사전 정의된 모션 프리미티브의 매칭에 응답하여 상기 선택된 오디오 샘플을 출력하는 것을 포함하는 것인, 시스템.
  12. 제1항에 있어서, 상기 프로세서는 또한, 상기 수신된 데이터 스트림에 기초하여 가상 환경에서 아바타의 거동 또는 모션을 변경하도록 구성되는 것인, 시스템.
  13. 역동적인 움직임 채점 방법으로서,
    신발류 또는 의류 물품으로부터 데이터 스트림을 수신하는 단계 - 상기 수신된 데이터 스트림은 상기 물품의 공간 모션을 나타냄 -,
    상기 수신된 데이터 스트림으로부터 복수의 모션 프리미티브를 식별하는 단계,
    상기 적어도 하나의 식별된 모션 프리미티브를 사전 정의된 정렬된 수의 모션 프리미티브와 비교하는 단계,
    상기 신발류 또는 의류 물품의 모니터링된 공간 모션과 상기 정렬된 수의 모션 프리미티브 사이의 연관성(correspondence)을 나타내는 정확도 메트릭을 결정하는 단계, 및
    디스플레이 디바이스를 통해 사용자에게 상기 정확도 메트릭을 표시하는 단계
    를 포함하는 것인, 방법.
  14. 제13항에 있어서, 상기 정렬된 수의 모션 프리미티브를 포함하는 챌린지를 분산 컴퓨팅 네트워크로부터 수신하는 단계, 및
    상기 디스플레이 디바이스를 통해 사용자에게 상기 챌린지를 표시하는 단계
    를 더 포함하는 방법.
  15. 제14항에 있어서, 상기 분산 컴퓨팅 네트워크 상의 제2 사용자에게 상기 챌린지를 전송하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서, 상기 정확도 메트릭을 분산 컴퓨팅 네트워크 상의 서버에 전송하는 단계를 더 포함하는 방법.
  17. 제13항에 있어서, 상기 식별된 모션 프리미티브 각각에 응답하여 오디오 샘플 또는 시각 효과의 재생을 트리거하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서, 상기 시각 효과를 트리거하는 단계는 상기 신발류 또는 의류 물품 상의 적어도 하나의 조명을 조명하는 단계를 포함하는 것인, 방법.
KR1020227021135A 2019-11-22 2020-11-23 의류 기반의 역동적 움직임 채점 KR20220106781A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962939309P 2019-11-22 2019-11-22
US62/939,309 2019-11-22
US202063032689P 2020-05-31 2020-05-31
US63/032,689 2020-05-31
PCT/US2020/061884 WO2021102442A1 (en) 2019-11-22 2020-11-23 Apparel-based dynamic movement scoring

Publications (1)

Publication Number Publication Date
KR20220106781A true KR20220106781A (ko) 2022-07-29

Family

ID=73854946

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227021128A KR20220100054A (ko) 2019-11-22 2020-11-23 모션 기반의 미디어 생성
KR1020227021135A KR20220106781A (ko) 2019-11-22 2020-11-23 의류 기반의 역동적 움직임 채점

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227021128A KR20220100054A (ko) 2019-11-22 2020-11-23 모션 기반의 미디어 생성

Country Status (6)

Country Link
US (4) US20210154556A1 (ko)
EP (2) EP4061172A1 (ko)
JP (2) JP2023514471A (ko)
KR (2) KR20220100054A (ko)
CN (2) CN114945321A (ko)
WO (2) WO2021102440A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827804B2 (en) 2016-03-15 2020-11-10 Nike, Inc. Lacing apparatus for automated footwear platform
US11798272B2 (en) * 2019-09-17 2023-10-24 Battelle Memorial Institute Activity assistance system
US11338209B2 (en) * 2020-04-23 2022-05-24 Mc Master Of Ceremony Inc Methods, systems, apparatuses, and devices for facilitating conducting a competition between participants
US11801434B2 (en) * 2020-05-20 2023-10-31 Mark Greenberg Racquet sport scoring system
CN116762103A (zh) * 2021-01-13 2023-09-15 三星电子株式会社 电子装置及在该电子装置中运行化身视频服务的方法
US20220385748A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Conveying motion data via media packets
US20230302357A1 (en) * 2022-03-22 2023-09-28 Rovi Guides, Inc. Systems and methods for analyzing video data of predictive movements
US20230388140A1 (en) * 2022-05-27 2023-11-30 Ricoh Company, Ltd. Information processing apparatus, information processing system, method for providing rhythm, and non-transitory recording medium
JP7197231B1 (ja) 2022-07-25 2022-12-27 Ｊｐ Ｇａｍｅｓ株式会社 情報処理装置、情報処理方法およびプログラム
US11880507B1 (en) * 2022-09-29 2024-01-23 Music App Inc. Automated musical-score-referenced evaluation of haptic-based rhythmic performance
US11908446B1 (en) * 2023-10-05 2024-02-20 Eunice Jia Min Yong Wearable audiovisual translation system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7937856B2 (en) 2007-12-21 2011-05-10 Nike, Inc. Article of footwear with illuminated chamber
US8056269B2 (en) 2008-05-02 2011-11-15 Nike, Inc. Article of footwear with lighting system
US8356430B2 (en) 2010-02-11 2013-01-22 Nike, Inc. Article of footwear incorporating an illuminable fluid-filled chamber
US8453357B2 (en) 2010-02-11 2013-06-04 Nike, Inc. Article of footwear incorporating illuminable strands
US20150370320A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
EP2783630A1 (en) * 2013-03-27 2014-10-01 ETH Zurich Human motion analysis method and device
US9723381B2 (en) * 2013-12-23 2017-08-01 Nike, Inc. Athletic monitoring system having automatic pausing of media content
US10182608B2 (en) 2015-01-29 2019-01-22 Nike, Inc. Article with illuminating surface
CN106061307A (zh) * 2015-02-18 2016-10-26 创新民族株式会社 鞋、声音输出系统以及输出控制方法
EP3383213B1 (en) 2015-11-30 2021-03-03 NIKE Innovate C.V. Article of footwear and charging system
US10390589B2 (en) 2016-03-15 2019-08-27 Nike, Inc. Drive mechanism for automated footwear platform
US9861155B2 (en) 2016-03-15 2018-01-09 Nike, Inc. Lighting assembly for articles of footwear
JP6896758B2 (ja) 2016-03-15 2021-06-30 ナイキ イノベイト シーブイ 履物のための容量性足存在センシング
EP3949777A1 (en) 2016-06-30 2022-02-09 NIKE Innovate C.V. Apparel item with integrated lighting system
US20180060943A1 (en) * 2016-08-26 2018-03-01 Wal-Mart Stores, Inc. Apparatus and method for management of a hybrid store
US11083248B2 (en) 2016-10-26 2021-08-10 Nike, Inc. Automated footwear platform having upper elastic tensioner
WO2018115488A1 (en) * 2016-12-25 2018-06-28 WILLY BERTSCHINGER, Otto-Martin Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
US10701987B2 (en) 2017-08-31 2020-07-07 Nike, Inc. Sense-enabled apparel
KR102470919B1 (ko) 2017-09-11 2022-11-25 나이키 이노베이트 씨.브이. 표적 탐색 및 지오캐싱 이용을 위한 장치, 시스템, 및 방법
IT201800005763A1 (it) * 2018-05-28 2019-11-28 Tirozzi Gianluca Metodo, apparati e sistema per la realizzazione di un protocollo criptato di trasmissione di pacchetti dati criptati denoniminato "transport encrypted protocol" (tep)

Also Published As

Publication number Publication date
EP4061216A1 (en) 2022-09-28
WO2021102440A1 (en) 2021-05-27
US20210157844A1 (en) 2021-05-27
JP2023514472A (ja) 2023-04-06
EP4061172A1 (en) 2022-09-28
CN114945321A (zh) 2022-08-26
US20220279890A1 (en) 2022-09-08
CN114945295A (zh) 2022-08-26
WO2021102442A1 (en) 2021-05-27
JP2023514471A (ja) 2023-04-06
KR20220100054A (ko) 2022-07-14
US20220279891A1 (en) 2022-09-08
US20210154556A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US20220279890A1 (en) Apparel based dynamic movement scoring
US10254827B2 (en) Electronic gaming machine in communicative control with avatar display from motion-capture system
US10421002B2 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
US20210046373A1 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
KR101686576B1 (ko) 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
Paradiso et al. Design and implementation of expressive footwear
JP6244377B2 (ja) メディア・コンテントの自動休止を有する運動競技の監視システム
US20090111670A1 (en) Walk simulation apparatus for exercise and virtual reality
US20140256511A1 (en) Equipment, System and Method for Improving Exercise Efficiency In A Cardio-Fitness Machine
US20100093437A1 (en) Music gaming system
JP7192794B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Unger The Aporia of presentation: Deconstructing the genre of K‐pop girl group music videos in South Korea
JP2018011201A (ja) 情報処理装置、情報処理方法、およびプログラム
US9586137B2 (en) Method and system for improving bodily dexterity
US8342901B1 (en) Interactive synthesizer hoop instrument
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
JP2014151027A (ja) 運動及び／またはゲーム装置
US20190339931A1 (en) Utilizing Athletic Activities to Augment Audible Compositions
JP6752465B1 (ja) コンピュータプログラムおよびゲームシステム
WO2022132840A1 (en) Interactive mixed reality audio technology
US20190151751A1 (en) Multi-dimensional movement recording and analysis method for movement entrainment education and gaming
Moens D-jogger: An interactive music system for gait synchronisation with applications for sports and rehabilitation
Ishiyama et al. A prototype of virtual drum performance system with a head-mounted display
JP2023149618A (ja) 生成方法、生成システム、並びに制御プログラム、及びゲームシステム
Hashimi Users as performers in vocal interactive media—the role of expressive voice visualisation