JP2019061707A - ヒューマンコンピュータインタラクションの制御方法及びその運用 - Google Patents

ヒューマンコンピュータインタラクションの制御方法及びその運用 Download PDF

Info

Publication number
JP2019061707A
JP2019061707A JP2018226182A JP2018226182A JP2019061707A JP 2019061707 A JP2019061707 A JP 2019061707A JP 2018226182 A JP2018226182 A JP 2018226182A JP 2018226182 A JP2018226182 A JP 2018226182A JP 2019061707 A JP2019061707 A JP 2019061707A
Authority
JP
Japan
Prior art keywords
user
virtual
character
self
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018226182A
Other languages
English (en)
Other versions
JP6749384B2 (ja
Inventor
得鋒 黄
Defeng Huang
得鋒 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2019061707A publication Critical patent/JP2019061707A/ja
Application granted granted Critical
Publication of JP6749384B2 publication Critical patent/JP6749384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A63F2300/6054Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands by generating automatically game commands to assist the player, e.g. automatic braking in a driving game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ヒューマンコンピュータインタラクションの制御方法及びその運用を提供する。【解決手段】ユーザはユーザ許可微動作を実施することにより、相応の仮想許可動作を実施するように仮想環境における自己キャラクタを制御する。それは、仮想世界において自己キャラクタを作り出すこと、ユーザ身体がユーザの居場所を離れずに微動作を実行すること、ユーザ実行微動作を追跡して識別するとともに、ユーザが任意の微動作を実行するときにおいても、その身体がユーザの居場所を離れる必要がないようにすること及び自己キャラクタにユーザの微動作を拡大して実行させること、というステップを含む。【選択図】図1

Description

本発明は、ヒューマンコンピュータインタラクションを可能にしたシミュレート仮想世界の制御方法及びその運用に関する。
ヒューマンコンピュータインタラクションを可能にしたシミュレート仮想世界の制御方法及びその設備は、従来技術で多く開示されているが、いずれも、ユーザの運動空間が大きく、且つ運動に限界があるという欠陥を有する。例えば、ユーザが既に壁に移動したにもかかわらず、ゲームアバターの次の動作のために、ユーザは壁の裏方向へ進む必要がある。一部の従来技術はこのような状況を避けるために、アバターの活動空間を縮小する(なお、ここではユーザではなく、アバターのことを言っている)ことにより、制御過程におけるユーザの移動を不要にする又は移動をできるだけ減少させるが、このような方法では、ゲームの面白さが大きく低下し、その運用価値も非常に限られている。また、一部の従来技術はランニングマシンなどの案によって、ユーザを一つの位置のみにおいて移動させるが、ユーザの持続的な体力の消耗を必要とするため、ヒューマンコンピュータインタラクションを長時間に持続させにくいと共に、アバターをユーザの思いのままに運動させにくい。アバターの活動空間を縮小する従来技術は、戦車のような移動道具を操縦することを更に含む。自己キャラクタは操縦の全過程において、戦車又は同じ類型の自動設備を操縦する動作しか実施し得ず、戦車を離れて動作形態又は動作幅の制限のない運動を実施し得ない。しかしながら、このような伝統的方式は、上記欠陥のほか、明らかに、機械制御部品が多く、コストが高く、且つ持ち歩きが不便であるなどの問題を有する。
本発明の目的は、ユーザがその場に身を置いているような、仮想世界に入る方法及び設備を提供することである。この方法では、ユーザは時間や自身の体力に制限されずに、自己キャラクタを持続的に制御することができる。
本発明を理解しやすくするために、言及される各用語について下記の説明を行う。
自己キャラクタ:仮想世界において、ユーザに操縦され、ユーザに自分だと思われるキャラクタのことをいい、人間又は任意の活動オブジェクトであってもよい。
ユーザ許可微動作案:ユーザが条件を満たす1つ又は1群の微動作を実施する場合、コンピュータに制御コマンドを出すことができる。この微動作は特にユーザの小幅の動作であり、例えば、相応の任意関節の移動変位が20mm未満であり、具体的には、腕の僅かな動きや足の僅かな曲がりに表現される。本発明の上記条件は特に、コマンドを出さないように限定する状況を含む。
仮想許可動作案:仮想世界が自己キャラクタ又は仮想世界における道具に付与した、可能な動作又は動作案のことをいい、前記動作案は連続的な動作組合せ、動作力強さ、速度などを含む。
活動関節:ユーザの全ての関節の活動は、自己キャラクタの相応部位の活動を制御し得るのではない;特に、自己キャラクタが人間ではない場合、ユーザの身体上の一部の関節を有しないため、本発明でいう「活動関節」は、仮想世界が自己キャラクタに付与した活動可能部位に対応した、ユーザの実際の身体上の関節である。一方、自己キャラクタの活動関節数がユーザの実際の活動関節数より多い場合、本発明で紹介するほかの方法を用いる。なお、本文でいう活動関節は、骨格の接続箇所に限らず、人体上の活動可能な任意部位のことをいい、例えば上腕全体上の任意の一点である。
逆方向動作:自己キャラクタのいる仮想世界シーンが、ユーザが出したコマンドとベクトル値が同じで方向が逆であるベクトル動作を実行することをいう;前記ベクトル動作は本発明において、特に任意の時間点における変位変化、体積変化のことをいう;例えば、図1に示すように、ベクトル動作を縦座標とし、時間を横座標として座標系を立てると、ユーザが出したコマンドと、自己キャラクタのいる仮想世界シーンとは、対応する曲線が横座標に対して軸対称の関係となる;例えば、時間点t1から時間点t2まで、ユーザは南東方向へ5メートル進もうとする場合、この時間帯において、自己キャラクタのいるシーンを北西方向へ5メートル移動させれば実現できる;更に、時間点t1から時間点t2まで、ユーザは自己の全身を等比例で2倍に拡大しようとする場合、自己キャラクタのいるシーンを同じ時間帯において2倍縮小させる。ここでは、特に、ユーザの変身又は変形コマンドにおいて、目及び両眼間隔の変化が含まれるか否かを優先的に判断することができ、目及び両眼間隔が変化しなかった場合、シーンは体積において変化することはない。即ち、シーンの体積ベクトル動作と、自己キャラクタの目及び両眼間隔の体積ベクトル動作とは、ベクトル値が同じで方向が逆である関係を有する。前記ユーザコマンドは、自己キャラクタ頭部に関連する運動ベクトル及び視覚ベクトルを選択することが好ましい;前記運動ベクトルは例えば速度、変位であり、前記視覚ベクトルは例えば自己キャラクタの体積変化である。
掌:図2に示すように、掌1は手首11を含めて、手の指12のような全ての掌1上の関節を含む。
足裏:図2に示すように、足裏2は足首21を含めて、足の指22のような全ての足裏2上の関節を含む。
動作幅の評価指標:被追跡部位が発生させた変位及び方向、被追跡部位のなす2つの時間点における挟み角などであってもよい。
動作拡大:ユーザのリアルな感覚を求めるとともに、インタラクション過程における同期の需要を考えて、以下の2つの規則を設定する。
1.人体の感知能力の範囲内において、動作拡大はユーザの動作幅、力強さのみを拡大することが好ましい。
2.人体の感知能力範囲を超えた場合、動作拡大はさらにユーザの動作速度を拡大することができる。
上記目的を達成するために、本発明の技術案は以下の通りである。
一、ユーザは変位しないとともに仮想世界の空間や時間に制限されずに、同一の「操縦席」で各種制御を連続的に実行する。
本発明は動作拡大方法によって上記技術効果を実現する。前記動作拡大方法は以下のことを含む:
1)仮想世界において、自己キャラクタを作り出すこと;
2)ユーザの身体がユーザの居場所を離れずに微動作を実行すること;
3)ユーザの実行する微動作を追跡して識別するとともに、ユーザが任意の微動作を実行するときにおいても、その身体がユーザの居場所を離れる必要がないようにすること;
4)自己キャラクタにユーザの微動作を拡大して実行させること。
最適化案1:
ユーザ又は仮想世界の道具がいずれかのユーザ許可動作を実行する最大幅をM、対応仮想世界における自己キャラクタの仮想許可動作の最大幅をN、時間点tにおけるユーザ又は仮想世界の道具が該許可動作を実行する幅をMt、対応する仮想世界における人物又はオブジェクトが実行する相応の許可動作幅をNtと設定すると、このシステムは、Mt≧Mの場合、Nt=N;Mt<Mの場合、N>Nt>Mt、ということを満たす。例えば、ユーザが腕を5度上げると自己キャラクタが腕を完全に上げ、ユーザが腕を5度を超える角度で上げても自己キャラクタが腕を完全に上げる場合、ここでは、5度を、ユーザが腕上げを実行する最大幅と呼ぶことにする。明らかに、ユーザの腕は、5度しか上げられないものではない。
なお、ユーザがある許可動作を実行する場合、実際の運動限界はいずれも該許可動作の最大幅より大きい。本技術効果をより効果的に実現するために、仮想世界過程で動作拡大システムを採用する場合、小幅の微動作のみを許可するようにユーザの手足を制限することが好ましい。
前記ユーザ許可微動作案は、ユーザが最大幅Mでいずれかの微動作を完成する場合、掌及び足裏以外の身体上の任意の隣り合う2部分のなす角度変化値が30度未満であることを満たす。例えば、ある許可微動作案が上腕及び下腕のなす角度のみに関し、該動作の実施前後の角度が120度及び140度である場合、この隣り合う2部分のなす挟み角変化値が+20度である。明らかに、ユーザと自己キャラクタとの形態(又は姿勢)が同じであることまたは類似することを要求しない。
また、本発明は持続動作コマンドを提供することができる。ユーザが持続的に弾性装置に作用する場合、ユーザは身体の向きを変える動作などを保持することができる。したがって、ユーザは任意の姿勢において、自己キャラクタの任意の動作案を制御することができる。本発明に記載の最大幅Mは、±5度以内であることが好ましい。
また、実験の結果として、自己キャラクタとユーザとが頭部、手首を含む掌、及び足首を含む足裏のうちの1箇所以上で同じ運動幅を有する動作を実行する場合、ユーザは本発明の制御方法をより容易に把握することができる。
最適化案2:
制限される相応部分が微動作を完全に実行可能としながら身体が居場所を離れないように、ユーザ手足の活動幅を制限する。前記制限案に対して、下記の1つ以上の最適化を行うことができる。
1)仮想世界における何れかのオブジェクトが自己キャラクタのある1つ又はいくつかの部位に作用する場合、ユーザの相応部位は、このオブジェクトの動作特徴に基づいて作用される;
2)自己キャラクタが仮想世界における何れかのオブジェクトに作用する場合、まず、自己キャラクタの動作特徴及びこのオブジェクトの即時状態に基づき、自己キャラクタの反作用される部位及び反作用効果を判断し、ユーザの相応部位に対して所定の比率の効果を作用する;
3)自己キャラクタの疲労程度又は最大運動能力に基づき、ユーザの相応部位に、ユーザが受け入れられる相応比の荷重を作用する。
二、仮想世界がユーザコマンドを受ける方法
動作位置決め点制御システムによってユーザの行う動作を確定し、関連動作を介してユーザの出したコマンド内容を確定し、次いで自己キャラクタの活動部位の活動を制御する。
前記動作位置決め点制御システム:ユーザの身体又は道具上に1つ以上の位置決め感応部を設け、時間に伴う各位置決め感応部の位置(三次元座標)の変化によって、ユーザの任意の時間における姿勢又はある時間帯内における動作変化を確定することができる。
以下、本技術案に言及される「位置決め感応部位置の変化確定方法」、「位置決め感応部位置変化による自己キャラクタ動作の制御方法」及び「位置決め感応部又はその変化と自己キャラクタ動作又は活動部位との対応方法」を逐一紹介する。
(一)位置決め感応部位置の変化確定方法は以下のステップを含む:
1)仮想三次元座標系を立てると共に、同一直線に入っていない3つ以上の距離測定点の、当該座標系における座標を確定すること;
2)位置決め感応部から上記各距離測定点までの距離をそれぞれ測定し、各位置決め感応部の任意時間点における三次元座標を算出すること。
(二)位置決め感応部位置変化による自己キャラクタ動作の制御方法は、仮想世界が自己キャラクタに付与したA1、A2…Anという合計n個の単独活動可能な部位に対して、以下の2種の状況に従って制御する:
1)このN個の活動部位のいずれについても、それに対応する対応活動関節がユーザの身体上にある場合、ユーザの各対応活動関節に、N1、N2…Nnという合計N個の位置決め感応部をそれぞれ配置し、且つ任意の時間点tにおける、N1、N2…Nnの三次元位置変化を追跡する;各位置決め感応部の三次元位置を変化させ、自己キャラクタの相応部位が関連操作を行うように制御する;
2)このN個の活動部位について、それに対応する一部の対応活動関節がユーザの身体上にない場合、対応関係のない活動部位Mxが若干存在すると仮定すると、まず、ユーザの活動関節Nxが、自己キャラクタのMx1、Mx1 …Mxsという合計s個の活動部位を選択的に制御できるようにし、且つ、選択法及び組合せ法のうちの1種以上を用いて、具体的な活動部位Mxを選択的に制御する;前記選択法とは、活動関節Nxが対応制御する活動部位を確定した後、単独に直接制御できることをいう;前記組合せ法とは、活動部位を変更する必要がある場合、第3コマンド、又は他の活動関節を合せることによって、異なる活動部位Mxを選択的に実行できることをいう;例えば、ユーザの腕は自己キャラクタの腕及び翼を選択的に制御でき、前記活動関節を足の指とし、足の指を曲げると、ユーザは翼を制御し、放すと腕を制御する;前記第3コマンドとは、あるコマンドメニューが出る場合、選択画面がホップアップされ、選択によって制御の活動部位を確定することをいう。
「位置決め感応部位置変化による自己キャラクタ動作の制御方法」は、ユーザの身体と道具上に可動部及び不可動部を区分し、且つ可動部について位置決め感応部をそれぞれ設定することを含む;道具は、仮想世界における物品又は器具に対応し、道具を操作する場合、仮想世界における相応する物品又は器具は相応的に操作される。言い換えれば、位置決め感応部によって相応の仮想世界におけるもの(人物又はオブジェクト)を制御する。
(三)位置決め感応部又はその変化と自己キャラクタ動作又は活動部位との対応方法として、ユーザの異なる関節における位置決め感応部に、異なる区別的特徴を持たせ、且つ異なる区別的特徴を介して、自己キャラクタの活動部位又は異なる動作に対応させる。
前記区別的特徴は、位置決め感応部が塗られている点の密度又は塗られている点の規則の違いである。
三、それは、嗅覚システム、触覚システム及び体力疲労のランダムバリアシステムのうちの1種以上をさらに含む;
システムの識別した自己キャラクタが疲労すればするほど、相応部位上のバリアシステムのこの部位に対する荷重は大きくなり、ユーザはこの動作に対する実行が難しくなり、自己キャラクタと同じような感覚を有するようになり、ゲームはよりリアルなものになる。
四、本発明は、上記仮想世界方法に適する着用式定点制御設備をさらに紹介する。
それは、掌セット、腕セット、頭部セット、足裏セット、足部セット、臀部セット及び腰部セットを含む;各セットのいずれにも、1つ以上の感応位置決め点が設けられている。
それは更に、それぞれの手の指の3つの関節、手首関節、肘関節、肩関節、頭上の同一直線に入っていない任意の3点、それぞれの足の指の1つの関節、足首関節、脛、股、臀部、脊椎中点のいずれにも、1つ以上の感応位置決め点が設けられていることを満たす。
本設備は、ユーザの身体上に位置決めされた各感応位置決め点の位置により、任意の時間点におけるユーザの位置及び姿勢を完全に確定することを旨とする。本設備は、上記感応位置決め点の上記関節における配分案に限られない。
五、本発明は、ユーザが、自分の身体が仮想世界へ入ることを見る方法を更に提供する。
実現方法は、身置きシステム、パノラマシステム、及びシーン移動システムを同時に採用することである。以下、各システムを逐一紹介する。
(一)前記シーン移動システムは、仮想世界における自己キャラクタがいるシーンの逆方向ベクトル動作を利用し、ユーザに、各種移動又は変身(身体の縮小又は拡大又は形状変化)をしている錯覚を与える;
前記自己キャラクタがいるシーンの確定方法は以下のことを含む:
1)ユーザの頭部に、頭部と同期変位可能な位置決め素子を直接又は間接的に設ける;前記位置決め素子は、同一直線に入っていない3点を少なくとも有し、仮想世界における位置が確定可能であり、ユーザの頭部の仮想世界における位置及び顔向きを確定する;
2)ユーザ頭部の仮想世界における位置及び顔向きに基づき、仮想世界画面を確定する;
前記逆方向動作とは、仮想世界における自己キャラクタがいるシーンを、自己キャラクタの頭部と方向が逆でベクトル値が同じであるベクトル動作を実行させることをいう;且つ両者は、それぞれ同じベクトル動作及び時間を座標軸とする座標系において、そのベクトル動作時間図が時間座標軸に対して軸対称関係を呈する。
(二)前記パノラマシステムにより、ユーザは仮想世界におけるシーンしか見えず、現実中のシーンは見えない;且つ、仮想世界シーンはユーザの全視覚範囲を覆う;本システムは特に、ユーザが全3Dめがねをかけることであり、めがね上スクリーン及びその仮想世界画面がいずれもユーザの全視覚範囲を覆う。
(三)前記身置きシステムは、ユーザと自己キャラクタとの仮想世界における位置が同じであり、ユーザの身体と自己キャラクタとの活動が同期することを満たす;ユーザが自分の身体を見ようとする場合、いずれも仮想世界における自分の各種動作が見える。
上記技術案の有益なところは以下の通りである。
本発明において、ユーザの身体が居場所を離れる必要がなく、操作過程において横たわった又は座ったままでよいため、ユーザは長時間にわたって各操縦を楽に完成することができ、体力の原因でやむを得ずに中止する状況は出現しにくい;したがって、適用範囲が広く、身体が活動機能を有する人であれば、本発明を介して相応のヒューマンコンピュータインタラクションを行うことができる。特に、本発明で「選択法」及び「組合せ法」を採用したため、身体障害者は活動機能を有する部位を組合わせて応用すると、ユーザの活動機能がない部位を自由に活動できるように、自己キャラクタを制御することができる。
ユーザは微動作によって自己キャラクタを制御するため、現実に完成できない各種動作を完成することができる。例えば、図3に示すような腰を下げながら拳で打つ動作を、自己キャラクタに実行させることができる。
本発明で紹介した「動作拡大システム」によれば、ユーザの身体が変位しない又は僅かに変位すれば、全仮想世界が付与した全部の機能又は能力を実現し得る。ユーザは仮想世界全過程において同じ操縦席に位置する。同時に、ユーザの運動部位と仮想世界人物の運動部位とが一致することを実現しやすく、ユーザが上手になりやすい。
本発明で紹介した三点位置決め法によれば、コンピュータは人体に感知不能な速度にて、自己キャラクタとユーザとが各動作を同期して実施するようにすることができる。したがって、画面遅延の問題は解決されたとともに、ユーザはより楽で長時間にわたってヒューマンコンピュータインタラクションを完成することができ、且つユーザが眩暈する状況は出現しない。
本発明で紹介した「着用式定点制御設備」によれば、ユーザは直接に着用した後、身体の各部分の動作がいずれも対応の「感応位置決め点」を制御して関連のコマンドを出すことができる;ユーザは、自分、又は自分が仮想世界において操縦する機械が関連動作を行うことを見ることができる。この設備の運用は、ユーザが仮想世界に入る前の準備時間を効果的に短縮させ、所要の準備工程を簡素化させる。したがって、ユーザは簡単な方式によって仮想世界に入ることができる。
本発明で紹介した「感応位置決め点システム」によれば、各位置決め点に起こった各ベクトル変化(変位、速度、方向を含む)をシステムに追跡させることにより、自己キャラクタの動作を制御することができる;この案は「着用式定点制御設備」を効果的に簡略化させ、如何なる電子システムを配置する必要もなく、機械的構造のみですみ、電子短絡によるユーザの身体傷害を避けることができる。同時に、ユーザの使用過程において、各位置決め点がいずれもユーザの身体上の各対応部位に位置決められ、且つユーザが微動作のみを実施するため、各位置決め点の移動変位が非常に小さく、設備の損耗をゼロにして設備の使用寿命を保証することができる。
本発明で紹介した「選択法」及び「組合せ法」によれば、自己キャラクタの活動部位数が感応位置決め点の数より多いことを実現し得る。
以下、図面及び具体的な実施例を結合しながら、本発明を更に説明する。
仮想世界における自己キャラクタがいるシーンと自己キャラクタ頭部との同一のベクトル動作に対するベクトル動作時間図である。図中において、t:時間;V:体積;S:変位;曲線Aは、仮想世界における自己キャラクタがいるシーンの変位又は体積ベクトル動作時間図である;曲線Bは、自己キャラクタ頭部の変位又は体積ベクトル動作時間図である。 ユーザの関節模式図である。 仮想許可動作の模式図である。
実施例1 ヒューマンコンピュータインタラクションの制御方法
ヒューマンコンピュータインタラクションの制御方法は、「ユーザ微動作データベース」と「自己キャラクタ仮想動作データベース」を作成し、「動作拡大規則」及び「ヒューマンコンピュータインタラクション規則」を規定している。
前記「ユーザ微動作データベース」はさらに「ユーザ許可微動作案データベース」を含む。
1. ユーザ微動作データベース:
1.1)ユーザの身体上における自己キャラクタ動作を制御し得る活動部位を確定するために、頭部、首、腰部、上腕、下腕、寛部、股、脛、掌及び足裏をキーワードとしてデータベースを作成する;
1.2)活動部位のコマンドを出す形式を具体的に規定するために、変位、隣り合う関節角度変化値、移動速度を含む活動部位描写パラメータを規定する;
1.3)描写パラメータの上限を規定する;微動作幅の上限を確定することにより、ユーザが「操縦席」を離れずに任意の制御動作を連続的に実行できることを確保する。
2. ユーザ許可微動作案データベース:
2.1)制御コマンドを出さない状況を規定する;
2.2)特技を出す状況の条件を規定する;ユーザが、条件を満たす動作又は動作の組合せを実行する場合、自己キャラクタは特技動作などを実行する;特に、異なるユーザが自分の習慣に基づいて制定できるようにするために、条件を規定する権限は開放的にしてもよい。
3. 自己キャラクタ仮想動作データベース
3.1)ユーザの活動部位に対応して自己キャラクタの仮想動作部位、即ち自己キャラクタの身体上における制御可能な部位を規定する;
3.2)仮想動作部位の動作パラメータ:変位、速度、力強さ;ユーザの活動部位の動作幅に対する各仮想動作部位の動作幅の拡大倍数を確定する。
4. 動作インタラクション規則
「ユーザ微動作データベース」と「自己キャラクタ仮想動作データベース」とを下記の関係で関連させる:
4.1)「ユーザ微動作データベース」の「活動部位」を「自己キャラクタ仮想動作データベース」の「仮想動作部位」に関連させる;
4.2)「ユーザ微動作データベース」の「活動部位描写パラメータ」を「自己キャラクタ仮想動作データベース」の「仮想動作部位の動作パラメータ」に関連させる。
5. 動作拡大規則
5.1)「ユーザ微動作データベース」の「描写パラメータの上限を規定する」ことにより、「ヒューマンコンピュータインタラクション規則」の4.1)条を制限する;
5.2)ユーザ又は仮想世界道具がいずれかの許可動作を実行する最大幅をM、対応仮想世界における人物又はオブジェクトの相応許可動作を実行する最大幅をN、時間点tにおけるユーザ又は仮想世界道具が該許可動作を実行する幅をMt、対応する仮想世界における人物又はオブジェクトが実行する相応の許可動作幅をNtと設定すると、このシステムは、Mt≧Mの場合、Nt=N;Mt<Mの場合、N>Nt>Mt、ということを満たす。
6. ヒューマンコンピュータインタラクションの同期を確保するために、本実施例はさらにヒューマンコンピュータ同期システムを提供する。前記ヒューマンコンピュータ同期システムは、ユーザ微動作識別システム、微動作マッチングコマンド規則システムを含む。
6.1)前記ユーザ微動作識別システム:ユーザ身体又は道具について活動部位及び非活動部位を規定し、異なる活動部位において、区別的特徴を有する位置決め感応部をそれぞれ設ける;仮想三次元座標系を作成し、且つ同一直線上に入っていない3つ以上の座標点に距離測定装置を固定配置する;具体的な識別方法は以下の通りである。
a)任意の時間点において、位置決め感応部から上記各距離測定点のそれぞれまでの距離を測定し、各位置決め感応部の三次元座標を算出する;
b)時間に伴う各位置決め感応部の位置(三次元座標)の変化を追跡することにより、ユーザの任意の時間における姿勢又はある時間帯における動作変化を確定する。
本実施例における前記ユーザ微動作識別システムは、ユーザ活動部位の運動に対してタイムリーに追跡するためのものであり、いずれかの活動部位に2つ以上の位置決め感応部を設けてもよい。少なくとも2つの位置決め感応部の、x、y、z軸における座標値がいずれも異なるため、該活動部位のある時間帯における水平回転角又は縦回転角は確定可能である。
6.2)前記微動作マッチングコマンド規則システム:ユーザが活動部位の動作を制御することにより、活動部位上の位置決め感応部は一定の規則的な変位変化が発生し、自己キャラクタの動作案にマッチングする。それは以下のことを含む。
規則1:
具体的には、「位置決め感応部位置変化による自己キャラクタ動作の制御方法」及び「位置決め感応部又はその変化と自己キャラクタ動作又は活動部位との対応方法」を含む。以下、それらを逐一紹介する。
規則1.1 位置決め感応部位置変化による自己キャラクタ動作の制御方法:
仮想世界が自己キャラクタに付与したA1、A2…Anという合計n個の単独活動可能な仮想動作部位Aに対して、そのうちのいずれかの単独活動可能な仮想動作部位Axについて、Ax1、Ax2…Axmという合計m種の許可動作を設ける。Axxはそのうちのいずれかの許可動作であり、以下の2種の状況に従って制御する。
状況1 このn個の仮想動作部位のいずれについても、それにマッチングする対応活動部位がユーザの身体上にある場合:
1)ユーザのn個の活動部位を、A1’、A2’…An’ という合計n個の感応位置決め点A’のそれぞれに対応させ、任意の時間点tにおけるいずれかの感応位置決め点Ax’の三次元位置変化を追跡し、且つ、Ax1’、Ax2’…Axm’という合計m種のうちのいずれかの活動規則にマッチングし、Axx’をそのうちのいずれかの活動規則とする。
2)自己キャラクタの仮想動作部位Aを、ユーザ身体上の感応位置決め点A’に一対一で対応させる;いずれかの仮想動作部位Axの許可動作Axxは、感応位置決め点Ax’がAxx’ の活動規則に従って動作する場合のみに始動される。例えば、Axの変位の各時間点における変化は、Ax’の変位の各時間点における変化に一対一で対応する。さらに、例えば、Axが施す力強さの強弱は、Ax’が対応する関節湾曲度及びこの関節の震える頻度に対応する;Axが使用する力強さが最大値になる条件は、ユーザのAx’が最大幅になることにある;また、Axは、Ax’に対応する緊張の程度、運動速度及び実行時間を考えることにより、ユーザが仮想世界をより自然的に操縦し、自己キャラクタの運動ができるだけ自然法則を満たすようにすべきである;
3)本実施例に記載の活動部位は、ユーザの身体上に位置決めされた各感応位置決め点の位置により、任意の時間点におけるユーザの位置及び姿勢を完全に確定することを旨とする。ここでは、本発明が特にこの目的を満たせる活動部位の総和を列挙する:それぞれの手の指の3つの関節、手首関節、肘関節、肩関節、頭上の同一直線に入っていない任意の3点、それぞれの足の指の1つの関節、足首関節、脛、股、臀部、脊椎中点。
状況2 このn個の仮想動作部位について、それにマッチングする一部の対応活動部位がユーザの身体上にない場合、対応関係のない仮想動作部位Ayが若干存在すると仮定すると、まず、ユーザの活動部位Ay’を、そのうちのAy1、Ay2…Aysという合計s個の仮想動作部位Ayを選択的に制御できるようにし、且つ、選択法及び組合せ法のうちの1種類以上を用いて、具体的な仮想動作部位Ayを選択的に制御する;前記選択法とは、活動部位Ay’が対応マッチングの仮想動作部位Ayを確定した後、対応する仮想動作部位Ayを単独に直接制御できることをいう;前記組合せ法とは、仮想動作部位を変更する必要がある場合、第3コマンド、又は他の活動部位Zを合せることによって、ほかの仮想動作部位にマッチングできることをいう;例えば、ユーザの腕は自己キャラクタの腕及び翼を選択的に制御でき、前記活動部位Zを足の指とし、足の指を曲げると、ユーザは翼を制御し、放すと腕を制御する;前記第3コマンドとは、ユーザが要求を満たすコマンドを出す場合、システムが選択画面をポップアップし、ユーザは選択画面を介してマッチングの仮想動作部位を変更又は確定できることをいう。
また、位置決め感応部位置変化による自己キャラクタ動作の制御方法は、ユーザの身体と道具上に可動部及び不可動部を区分し、且つ可動部について位置決め感応部をそれぞれ設定することを含む;道具は、仮想世界における物品又は器具に対応し、道具を操作する場合、仮想世界における相応物品又は器具は相応的に操作される。
規則1.2 位置決め感応部又はその変化と自己キャラクタ動作又は活動部位との対応方法:
ユーザの異なる活動部位における位置決め感応部に、異なる区別的特徴を持たせ、且つ異なる区別的特徴を介して、自己キャラクタの活動部位又は異なる動作に対応させる。
前記区別的特徴は、位置決め感応部が塗られている点の密度又は塗られている点の規則の違いである。例えば、密度dで塗られている点の又は規則1で塗られている点の位置決め感応部が位置変化する場合、自己キャラクタのある仮想活動部位は相応の許可動作を実行する;塗られている点の密度又は塗られている点の規則はスタンピングによって実現できる。
規則2:
不促発コマンドの規則。
本実施例において不促発コマンドの規則が好ましいが、もちろん、促発コマンドの規則であってもよい。
本実施例において、さらに、ユーザの若干活動部位筋肉の緊張程度及び運動速度を用いてユーザの意図にマッチングさせ、微調整メカニズムを形成してもよい;前記感応位置決め点は下記の2種の案を適用することができる。
1)探知することのできる塗料を感応位置決め点として筋肉の敏感点に塗布し、感応位置決め点の運動状況及び相対位置変化の状況を分析することにより、相応の活動部位筋肉の緊張程度及び運動速度を知り、次いで微調整メカニズムによってユーザの意図を判断し、仮想世界へ相応のコマンドを効果的に出す;
2)感応位置決め点を着用式定点制御設備の各活動部位に固定する;ユーザは直接に着用した後、身体の各活動部分の動作がいずれも対応する「感応位置決め点」を制御して関連のコマンドを出すことができる;ユーザは、自分、又は自分が仮想世界において操縦する機械が関連動作を行うことを見ることができる。この設備の運用は、ユーザが仮想世界に入る前の準備時間を効果的に短縮させ、所要の準備工程を簡素化させる。したがって、ユーザは簡単な方法によって仮想世界に入ることができる。
上記2つの案は「動作拡大システム」に限らず、特に、ユーザの身体の変位を要求せずに遊ぶ仮想世界、例えばレース仮想世界を対象とする。
本実施例における着用式定点制御設備について、設備にコントローラを植え込み、各位置決め点に起こった各ベクトル変化(変位、速度、方向を含む)をコントローラに感知させてもよい;しかしながら、本発明で紹介した「感応位置決め点システム」は「着用式定点制御設備」を効果的に簡略化させ、如何なる電子システムを配置する必要もなく、機械的構造のみですむ。仮想世界過程において、ユーザの各部位が微動作のみを行うため、設備の損耗をゼロにすることができる。設備の使用寿命を保証すると共に、電子システムに起こり得る電子短絡による、ユーザの身体傷害を避けることができる。
本実施例における着用式定点制御設備は、掌セット、腕セット、頭部セット、足裏セット、足部セット、臀部セット及び腰部セットを含む;各セットのいずれにも、1つ以上の感応位置決め点が設けられている。
それは更に、それぞれの手の指の3つの関節、手首関節、肘関節、肩関節、頭上の同一直線に入っていない任意の3点、それぞれの足の指の1つの関節、足首関節、脛、股、臀部、脊椎中点のいずれにも、1つ以上の感応位置決め点が設けられていることを満たす。
本設備は、各感応位置決め点の位置を追跡することにより、任意の時間点におけるユーザの位置及び姿勢を正確に描写することを旨とする。本設備は、上記感応位置決め点の上記関節における配分案に限られない。
7. シミュレート効果を高めるために、本実施例はさらに、反作用感知装置と被作用感知装置とを含むヒューマンコンピュータインタラクションシステムを提供する;前記ヒューマンコンピュータインタラクションシステムは主に、ユーザの最大許可微動作幅Mmと自己キャラクタの最大仮想許可動作幅Nmとの比Mm/Nmを修正するのに用いられると共に、Mm/Nm値を黙認値より大きくする。即ち、反作用感知装置と被作用感知装置が動作する場合、Nmは下記の状況に基づいて所定の比率で減少する。
7.1)ヒューマンコンピュータインタラクションは自己キャラクタに促発された場合、下記の方法に従って実現する:
7.1.1)ユーザの作用しようとする目標をロックする
方法一:
ユーザ眼位置決め装置を利用し、ユーザの視線があるオブジェクトを経過し且つ手足又は道具の方向が該オブジェクトに向く場合、該手足又は道具が該オブジェクトに作用しようとするコマンドをシステムへ出す;次いで、システムはコマンドを出し、自己キャラクタは既にこの目標をロックした;ユーザの視線方向の追跡には、本発明者が出願した中国出願番号「201110411809.X」の「目視オブジェクトの一定の識別方法」、または中国特許番号「02829315.0」の「追跡して回す眼の方向及び位置」のような従来技術を用いてもよい;
方法二:
眼画像採集装置によって、ユーザがロックした主な目標を正確に判断する;眼画像採集装置は、中国特許番号「200610072961.9」の「眼画像採集装置」のような多くの従来技術によって実現することができる。
7.1.2)該動作が目標に作用すると、自己キャラクタは反作用され、「動作速度」、「動作幅」の変化は必ず存在する;システムは、ユーザの身体上に作用する荷重を反作用感知装置によって調整するか、或いは相応の仮想動作部位の最大幅を変えるか、或いはユーザ活動部位に対する仮想動作部位の拡大倍数を変えることにより、自己キャラクタがある目標に作用した後、「動作速度」、「動作幅」に起こった変化をユーザに感じさせる;
7.1.3)目標が作用された後の、ひずみ(姿勢変化、還元不能な変形、特に破壊)、運動エネルギー変化状況(運動エネルギー値+運動エネルギー方向)を含む形態変化を計算する。
7.2)ヒューマンコンピュータインタラクションにおいて、仮想世界におけるほかのオブジェクトが自己キャラクタに作用し、自己キャラクタがインタラクションに巻き込まれた場合、下記の方法に従って実現する:
7.2.1)自己キャラクタが作用されて作用効果が発生した場合、作用を実施したオブジェクトを目標として自動的にロックする;
7.2.2)自己キャラクタが作用されて発生した作用効果とは、自己キャラクタが作用された後の、形態変化、運動エネルギー変化のことをいう;自己キャラクタが作用されて発生した作用効果は、被作用感知装置によってユーザにフィードバックされるか、相応の仮想動作部位の最大幅又は拡大比を変えることにより、自己キャラクタがインタラクションに巻き込まれた場合の、自身の形態変化、姿勢変化、運動エネルギー変化をユーザに感じさせる。
以下、実例にて紹介する。
自己キャラクタはゲームキャラクタを攻撃しようとすると、まず目標をロックする;自己キャラクタは拳で打つと、先方の運動している腕に作用し、先方の腕の反作用力を受ける。ここでは特に、目標が自己キャラクタの攻撃を防御したか否かに関わらず、自己キャラクタが目標にぶつかっていれば、作用力と反作用力の原理に基づき、自己キャラクタはかならず反作用力を受ける;ここでは、目標が自己キャラクタの攻撃を防御した場合、自己キャラクタは目標が自己キャラクタの攻撃をブロックしたことによる腕の作用を更に受けるため、被作用感知装置の設置効果は重なる。
特に、
1)動作拡大システムの有効性を確保するために、自己キャラクタの許可動作実行条件は感応位置決め点のある時間における位置ではなく、前の時間点に対する位置変化である;
2)距離測定点は固定しているものか、その座標が計算によって確定可能である;
3)ある仮想世界は、パソコン資源の使用を減少するために、自己キャラクタに極めて特定された動作のみを与える。このような状況では、ユーザの一部の部位の動作又は組合せ動作を満足すれば、一連の許可動作を行うように自己キャラクタを制御することができる;
4)動作拡大システムと「位置決め感応部位置変化による自己キャラクタ動作の制御方法」は、組合わせて運用してもよく、単独に使用してもよい;
5)本発明はさらに音声制御システムを含む。ユーザは音声でコマンドを出し、自己キャラクタの許可動作、及び仮想世界のエスケープ、保存のような各基本操作を制御することができる。本システムは音声識別システムをさらに含み、例えば、ユーザの音声を予めレコードし、各コマンドにマッチングすることができる。
その他の説明:
ユーザは準備を完了した後、目を開けたら、前回の仮想世界からエスケープしたときの居場所に自分がいることが分かる。各種動作によるシーンの変化は、完全にこの位置を起点とする。
本仮想世界は、自己キャラクタが変形能力を有することを許可する。変形後、制御する必要のある部位が人間の関節数より多い場合、どうするかというと、「選択法」を採用することもでき、「組合せ法」を採用することもできる。選択法では、選択コマンド動作を実行する場合、ある関節を選択して仮想世界における対象の具体的な運動部位を制御することができる;組合せ法では、2つ以上の関節がある特定な動作を同時に実行する場合も、同様な効果を奏し得る。
本仮想世界方法はさらに、ユーザが遠距離キャッチなどの超能力を有することを許可する。このコマンドの始動条件は、ユーザの腕の感応位置決め点が一直線に集中し、掌の感応位置決め点が爪状に集中してこの物品に向かうことである。仮想世界で吸引力の大きさを判断するには、自己キャラクタの吸引力最大値を予め設定し、手の指の震える頻度を判断条件としてもよく、頻度が小さくなると、吸引力が相応的に小さくなる。
仮想世界がユーザのこの意図を受けたら、吸引力を、物品に対する環境の作用力と比較し、物品の重力が大きすぎる、又は原位置からの吸着力が大きすぎる場合、ユーザの「つかむ力強さ」の増大を要求する。この場合、手の指の曲げ程度が大きくなり、手の指の震えがひどくなることにより、手の指の感応位置決め点の震えがひどくなり、コンピュータは、ユーザの吸引力が大きくなったことを受け、吸引を完成し得るか否かをさらに判断する。
位置決め感応部と、制御しようとする部位は如何に対応するか。それぞれの関節が1つの位置決め感応部に対応するなら、豊富な許可動作を有する仮想世界では、ユーザは長時間に準備して始めて仮想世界に入れる。このため、本発明は更に「着用式定点制御設備」を提供する。ユーザは対応の手セット、足セット、サポートセット及びヘルメットをつけることにより、全身の締め付けられた各箇所の関節上の感応位置決め点を操縦することができる。したがって、非常に実用性を有する。
動作拡大法を採用するため、ユーザ身体と自己キャラクタとの各手足の位置及び姿勢は完全に対応していない。従って、感応位置決め点の位置のみでは確定し得ない。しかしながら、両者の頭部(特に目)は、仮想世界における位置及び向きが同じである。ユーザが仮想世界においても座標を確定できることを説明すると、まず、ユーザの視覚はめがねを介して取得されるものであり、眼球とめがねとの相対位置がずっと変わらず、仮想世界におけるめがねの位置が確定可能であるため、ユーザの眼球の仮想世界における位置は確定可能である。
実施例2 仮想設備
それは、身置きシステム、パノラマシステム、シーン移動システム、動作判断システム及び動作拡大システムを含む。
A. 動作判断システム:中国出願番号「97198214.7」で紹介した技術案のような従来技術を採用することができる。
B. 動作拡大システム:詳しくは実施例1を参照のこと。
C. パノラマシステム
前記パノラマシステムとは、仮想世界過程において、仮想世界画面がずっとユーザの全視覚範囲を覆うことをいい、ユーザは仮想世界におけるシーンしか見えず、現実中のシーンを見ることができない;本システムは特に、ユーザが全3Dめがねをかけることであり、めがね上スクリーン及びその仮想世界画面がいずれもユーザの全視覚範囲を覆う;該技術として、例えば中国特許番号「200810066897.2」の「CMMB受信モジュールを集積した移動ビデオめがね」のような従来技術を採用することができる。
D. 身置きシステム
前記身置きシステムは、ユーザと自己キャラクタとの仮想世界における位置が同じであり、ユーザ身体と自己キャラクタとの活動が同期することを満たす;ユーザは自己キャラクタの身体を見ると、自分の現実中の身体と勘違いする;ユーザ身体の活動と自己キャラクタの活動との同期方法は、動作位置決め点制御システムによってユーザの動作を確定し、関連動作に基づいてユーザが出すコマンド内容を確定し、次いで活動部位に対する自己キャラクタの活動を制御する。
E. シーン移動システム
前記シーン移動システムは、仮想世界における自己キャラクタがいるシーンの逆方向ベクトル動作を利用し、ユーザに、各種移動又は変身(身体の縮小又は拡大又は形状変化)をしている錯覚を与える;前記自己キャラクタがいるシーンの確定方法は下記のことを含む。
1)ユーザの頭部に、頭部と同期変位可能な位置決め素子を直接又は間接的に設ける;前記位置決め素子には、同一直線に入っていない3点を少なくとも有し、仮想世界における位置が確定可能であり、ユーザの頭部の仮想世界における位置及び顔向きを確定する;
2)ユーザ頭部の仮想世界における位置及び顔向きに基づき、仮想世界画面を確定する。
本実施例における位置決め素子の実装位置の重点は、頭部との同期が可能であることを満足すことであるため、ユーザの頭上における各種器具に取り付けることができる。
本実施例におけるユーザと自己キャラクタとは、顔部運用の同期関係も動作拡大システムを採用することができる。
本実施例は仮想世界をよりリアルにするために、嗅覚システム、触覚システム及び体力疲労のランダムバリアシステムのうちの1種以上を含む。
前記体力疲労のランダムバリアシステムは着用式定点制御設備と結合することができ、例えば足裏セットに伸縮可能な推進機構を接続し、掌セットに収縮可能なホルダを内設する。
前記バリアシステムは反作用感知装置と被作用感知装置とを含む;前記被作用感知装置では、仮想世界におけるいずれかのオブジェクトが自己キャラクタの1つ又は一部の部位に作用する場合、バリアシステムは該オブジェクトの動作特徴に基づいてユーザの相応部位に作用する。反作用感知装置では、自己キャラクタが仮想世界におけるいずれかのオブジェクトに作用する場合、システムはまず自己キャラクタの動作特徴及び該オブジェクトの即時状態に基づき、自己キャラクタの反作用される部位及び反作用効果を判断し、前記バリアシステムは所定の比率の効果をユーザの相応の部位に作用する。前記バリアシステムは、自己キャラクタの疲労の程度又は最大運動能力に基づき、ユーザに対する反作用感知装置と被作用感知装置の荷重を変える。
以下、実例にて紹介する。
仮想世界に入る前、まず、ユーザをある操縦席(例えばベッド)に固定する。ユーザがいずれかの手足を動作すると、仮想世界における対応人物は完全な動作を実行する。その目的は、ユーザが任意の動作を実行しようとしても、同じ操縦席で実行することができ、動作後、身体の居場所が変わらないため、ユーザの運動空間を減少させることである。
ユーザを制御台に横たわらせ又は座らせ、バリアシステムによってユーザの身体各部位の最大活動範囲を制限する。例えば、足裏装置はユーザの足裏に弾性的に接触し、腕位置限定装置は締りばめでユーザの腕にセットする。
前記バリア機構は、ユーザの許可動作の部位上方に設けられ、平常時にユーザの身体と一定の距離(自由空間と称する)を有する。ユーザの各部位はバリア機構に接触しない場合、作用されずに任意の微動作を行うことができる;前記バリア機構には、弾性荷重活動域(荷重空間と称する)が設けられる。ユーザの身体がバリア機構に接触し、且つ引き続き弾力の逆方向へ運動する場合、相応の部位は弾力を克服して仕事する必要がある。その機能対応は以下の通りである。
1)ユーザの自由空間と荷重空間との移動可能な合計は、ユーザの最大許可微動作幅に対応する;
2)ユーザの身体がバリア機構に作用し、かつその動作がコンピュータ識別命令を満たす場合、自己キャラクタは連続的に身体の向きを変えるような仮想許可動作を持続的に実行する;
3)ユーザがヒューマンコンピュータインタラクションを促発する場合、バリア機構はユーザに対する目標の反作用力を表現する;
4)自己キャラクタが、仮想世界におけるオブジェクトに作用される場合、バリア機構は自由空間を縮小し、且つユーザの相応の身体に作用する;
5)自己キャラクタの運動能力値が向上した場合、バリア機構の荷重は小さくなる;
6)自己キャラクタの運動能力値が低下した場合、例えば疲労時に、バリア機構の荷重は大きくなる。
本発明のビデオ設備は、目で見る施設に限らない。例えば、中国特許番号「00820024.6」の「人体電子植込み体及び人工視覚システム」は既に、目によらない脳の画像取得方法を与えている。
実施例3 ヒューマンコンピュータインタラクションの制御方法
この方法はゲームに応用され、自己キャラクタに超能力を付与する。それは主に以下のステップを含む。
1)ユーザの体力を拡大すること以外の、自己キャラクタの超能力仮想許可動作案を作成する;
2)ユーザ許可微動作変化を追跡し、自己キャラクタの超能力仮想許可動作の作用目標を確定する;
3)超能力仮想許可動作を実施するとき、自己キャラクタの超能力機能値を評価し、被作用目標に対して所定の比率で形態変化させる。
本実施例に記載の形態変化は、位置、形状、状態、物質の変化を含む。形状は変形、流動状、顆粒状の間の変化を含む;状態変化は、気体、固体状態、液体間の変化などを含む;位置は、変位、運動速度、加速度などの運動状況変化を含む。
本発明に記載の仮想環境には、少なくとも、未来環境、過去環境、夢世界のうちの1種以上の仮想環境がさらに設けられる。
本発明は、ユーザが仮想環境においてオブジェクトパラメータを再設定する権限を開放することができる。ユーザは自分で、仮想環境を構築、調整、削除することができる。したがって、ユーザが想像物を実体化させやすいため、伝統的な道具に比べて想像できないほど効果が優れている。
実施例4 ヒューマンコンピュータインタラクションの制御方法は空間デザイン又は空間サンプルの展示やコミュニケーションに応用され、且つ以下のステップを含む:
1)空間デザイン又は空間サンプルについて3Dモデル作成を行う;
2)ユーザは実施例1に記載のヒューマンコンピュータインタラクションの制御方法を用い、空間デザイン又は空間サンプルの3Dモデル内において仮想動作を実施するように、自己キャラクタを制御する。
実施例5 ヒューマンコンピュータインタラクションの制御方法は映画撮影に応用され、且つ以下のステップを含む:
1)映画シーンについて3Dモデル作成を行う;
2)役者は実施例1に記載のヒューマンコンピュータインタラクションの制御方法を用い、1)に記載の3Dモデル内において仮想動作を実施するように、自己キャラクタを制御する;
3)3Dモデル内における所要のシーン、及び自己キャラクタが仮想動作を実施している画面をレコードする。
実施例6 ヒューマンコンピュータインタラクションの制御方法はシミュレーション実験に応用され、且つ以下のステップを含む:
1)既知の自然法則を収録し、且つ演算法則f[x1(x11、x12…x1n)、x2(x21、x22…x2n)…xn(xn1、xn2…xnn)]= y1(y11、y12…y1n)、y2(y21、y22…y2n)…yn(yn1、yn2…ynn)を作成する。ただし、xnは法則発生前の反応主体、xnnはxnの演算パラメータであり、ynは法則発生後の新主体、ynnはynの演算パラメータであり、fは法則であって演算式である;
2)ユーザは実施例1に記載のヒューマンコンピュータインタラクションの制御方法に基づき、仮想環境においてxnのxnn値をユーザ設定値に調整するように、自己キャラクタを制御する;
3)ユーザは実施例1に記載のヒューマンコンピュータインタラクションの制御方法に基づき、仮想環境においてxnについてf1動作を行うように、自己キャラクタを制御する;
4)ステップ1に記載の演算法則に基づき、yn及びそのynn値を演算して記録する。
本実施例において、実験が1つの法則の複数回の反応、又は複数の法則の複数回の反応を必要とする場合、必要に応じてステップ2)〜4)を繰返して実行する。
該実験方法では、ユーザを傷害するリスクが発生しないと共に、コストがゼロであり、実験精度が極めて高い。
実施例7 ヒューマンコンピュータインタラクションの制御方法は観光地に応用され、且つ以下のステップを含む:
1)観光地について3Dモデル作成を行う;
2)ユーザは実施例1に記載のゲーム方法を用い、1)に記載の3Dモデル内において仮想動作を実施するように自己キャラクタを制御する。
[付記]
[付記1]
ユーザがユーザ許可微動作を実施することにより、相応の仮想許可動作を実施するように仮想環境における自己キャラクタを制御する方法において、
1)仮想世界において自己キャラクタを作り出すこと;
2)ユーザ身体がユーザの居場所を離れずに微動作を実行すること;
3)ユーザ実行微動作を追跡して識別するとともに、ユーザが任意の微動作を実行するときにおいても、その身体がユーザの居場所を離れる必要がないようにすること;
4)自己キャラクタにユーザの微動作を拡大して実行させること、
というステップを含むことを特徴とするヒューマンコンピュータインタラクションの制御方法。
[付記2]
制限される相応部分が微動作を完全に実行することを可能としながら身体が居場所を離れないように、ユーザの手足の活動幅を制限することを特徴とする付記1に記載のヒューマンコンピュータインタラクションの制御方法。
[付記3]
前記ユーザ許可微動作案において、ユーザ又は道具がこの微動作を実行する最大幅をM、対応する自己キャラクタが実行する相応許可動作の最大幅をN、時間点tにおけるユーザがこの微動作を実行する幅をMt、対応する自己キャラクタが実行する相応許可動作の幅をNtと設定すると、このシステムは、Mt≧Mの場合、Nt=N;Mt<Mの場合、N>Nt>Mt、ということを満たすことを特徴とする付記1又は2に記載のヒューマンコンピュータインタラクションの制御方法。
[付記4]
ユーザが前記最大幅Mでいずれかの微動作を完成させる場合、掌及び足裏以外の身体上の任意の隣り合う2部分のなす角度変化値が30度未満であるように、前記ユーザ許可微動作案を制限することを特徴とする付記3に記載のヒューマンコンピュータインタラクションの制御方法。
[付記5]
自己キャラクタとユーザに、頭部、手首を含む掌、及び足首を含む足裏のうちの1箇所以上の部位において、同じ運動幅を有する動作を実行させることを特徴とする付記1に記載のヒューマンコンピュータインタラクションの制御方法。
[付記6]
1)仮想世界における何れかのオブジェクトが自己キャラクタのある1つ又はいくつかの部位に作用する場合、ユーザの相応部位は、このオブジェクトの動作特徴に基づいて作用されること;
2)自己キャラクタが仮想世界における何れかのオブジェクトに作用する場合、まず、自己キャラクタの動作特徴及びこのオブジェクトの即時状態に基づき、自己キャラクタの反作用される部位及び反作用効果を判断し、ユーザの相応部位に等因子効果で作用すること;
3)コンピュータに識別させることのできる、1セット以上のユーザ許可微動作案及び1セット以上の仮想許可動作案を作成すること;
4)ユーザがヒューマンコンピュータインタラクション過程において、仮想世界の動画しか見えず、自分の身体を見えないようにすること;
5)仮想世界の画面がユーザの視角を覆うようにすること、
のうちの1つ以上のステップ特徴を含むことを特徴とする付記1に記載のヒューマンコンピュータインタラクションの制御方法。
[付記7]
自己キャラクタの疲労の程度又は最大運動能力に基づき、ユーザの相応部位に、ユーザが受け入れられる相応比の荷重を作用することを特徴とする付記6に記載のヒューマンコンピュータインタラクションの制御方法。
[付記8]
選択法及び/又は組合せ法を更に採用する方法において、
前記選択法では、ユーザが自己キャラクタの相応する仮想動作部位を有しない場合、ユーザが自分で他の活動部位を代わりに選択することを許可し、
前記組合せ法では、ユーザの活動部位数が自己キャラクタの仮想動作部位数より少ない場合、ユーザの身体上に共同活動部位を設けることにより、自己キャラクタの身体上における1つ以上の仮想動作部位を制御する、ことを特徴とする付記1に記載のヒューマンコンピュータインタラクションの制御方法。
[付記9]
前記組合せ法は、下記の1つ以上のステップ特徴を更に含むことを特徴とする付記8に記載のヒューマンコンピュータインタラクションの制御方法。
1)自己キャラクタの仮想動作部位を切替える必要がある場合、第3コマンド、又は他の活動部位によって、異なる仮想動作部位を共同で選択実行すること;
2)共同活動部位をほかの1つ以上の活動部位と組合せて、自己キャラクタの活動案を共同制御すること。
[付記10]
少なくとも、ユーザ微動作追跡法、自己キャラクタがいるシーンの確定方法、及び逆方向動作制御法のうちの1つ以上の方法を更に含み、
1)前記ユーザ微動作追跡法は、ユーザのN1、N2…Nn部位に位置決めセンサをそれぞれ配置し、ユーザの居場所における同一直線上に入ってない位置に3つ以上の距離測定装置を設け、且つ下記のステップを実行する:
1.1仮想三次元座標系を作成し、各距離測定装置の座標を確定し、任意の時間において、ぞれぞれの位置決めセンサから3つの距離測定装置までの距離を測定し、それぞれの位置決めセンサのこの時間点における三次元座標を算出すること;
1.2任意の時間帯tにおける、位置決めセンサN1、N2…Nnの三次元位置変化を追跡すること;
1.3異なる位置決めセンサの時間に伴う三次元座標の変化に基づき、時間帯tにおけるユーザの相応部位の活動状況を描写し、且つ自己キャラクタの相応部位に活動幅を同期拡大させて実行させること;
2)前記自己キャラクタがいるシーンの確定方法は以下のステップを含み:
2.1 まず、ユーザの頭部に直接又は間接的に設けられ頭部と同期変位可能な位置決め素子を確定する;前記位置決め素子には、同一直線に入っていない3点を少なくとも有し、仮想世界における位置が確定可能であり、ユーザの頭部の仮想世界における位置及び顔向きを確定すること;
2.2 ユーザ頭部の仮想世界における位置及び顔向きを追跡し、且つユーザ頭部の仮想世界における位置及び顔向きに基づき、結像設備の表示画面である仮想世界画面を確定すること;
3)前記逆方向動作制御法は、仮想世界における自己キャラクタがいるシーンを、自己キャラクタの頭部と方向が逆でベクトル値が同じであるベクトル動作を実行させ、且つ両者は、それぞれ同じベクトル動作及び時間を座標軸とする座標系において、そのベクトル動作時間図が時間座標軸に対して軸対称関係を呈する、
ことを特徴とする付記1に記載のヒューマンコンピュータインタラクションの制御方法。
[付記11]
ユーザが微動作を実施することにより、相応の仮想許可動作を実施するように仮想環境における自己キャラクタを制御するシステムにおいて、
仮想世界を表示する結像設備、ユーザ許可微動作案の識別捕捉設備、及びユーザと自己キャラクタとの動作の同期を制御する同期制御システム、ユーザと自己キャラクタとの動作の同期を制御する同期制御システムを含むことを特徴とするヒューマンコンピュータインタラクションの制御システム。
[付記12]
仮想世界を表示する結像設備は、仮想世界の画面がユーザの視角を覆うようにし、且つユーザはヒューマンコンピュータインタラクション過程において、仮想世界の動画しか見えず、自分の身体が見えないことを特徴とする付記11に記載のヒューマンコンピュータインタラクションの制御システム。
[付記13]
前記識別捕捉設備には、異なる区別的特徴を有する複数の位置決めセンサが設けられることにより、コンピュータが位置決め点に対応するユーザ部位を識別できるようにする、ことを特徴とする付記11に記載のヒューマンコンピュータインタラクションの制御システム。
[付記14]
着用式定点制御設備を更に含み、掌セット、腕セット、頭部セット、足裏セット、足部セット、臀部セット及び腰部セットを含み、各セットのいずれにも、1つ以上の位置決めセンサが設けられていることを特徴とする付記13に記載のヒューマンコンピュータインタラクションの制御システム。
[付記15]
バリアシステムを有するシステムにおいて、前記バリアシステムが、ユーザの手足の活動幅を制限する制限機構を有し、制限される相応部位が最大幅Mで許可動作を実施し、且つユーザが任意の許容動作を実行する場合、身体が居場所を離れる必要がない、ことを特徴とする付記11乃至14のいずれか1つに記載のヒューマンコンピュータインタラクションの制御システム。
[付記16]
前記バリアシステムには反作用感知装置及び/又は被作用感知装置がさらに設けられ、
前記被作用感知装置では、仮想世界におけるいずれかのオブジェクトが自己キャラクタの1つ又は一部の部位に作用する場合、バリアシステムは該オブジェクトの動作特徴に基づいてユーザの相応部位に作用し、
前記反作用感知装置では、自己キャラクタが仮想世界におけるいずれかのオブジェクトに作用する場合、システムはまず自己キャラクタの動作特徴及び該オブジェクトの即時状態に基づき、自己キャラクタの反作用される部位及び反作用効果を判断し、前記バリアシステムは等因子効果でユーザの相応の部位に作用する、
ことを特徴とする付記15に記載のヒューマンコンピュータインタラクションの制御システム。
[付記17]
前記バリアシステムは、自己キャラクタの疲労程度又は最大運動能力に基づき、ユーザに対する前記反作用感知装置及び前記被作用感知装置の荷重を変える、ことを特徴とする付記16に記載のヒューマンコンピュータインタラクションの制御システム。
[付記18]
少なくとも下記の1つ以上の特徴を更に含むことを特徴とする付記16又は17に記載のヒューマンコンピュータインタラクションの制御システム。
1)前記識別捕捉設備には、異なる区別的特徴を有する位置決めセンサが設けられることにより、コンピュータが位置決め点の対応するユーザ部位を識別できるようにすること;
2)嗅覚システム、触覚システム及び体力疲労のランダムバリアシステムのうちの1種以上をさらに含むこと;
3)着用式定点制御設備を更に含み、掌セット、腕セット、頭部セット、足裏セット、足部セット、臀部セット及び腰部セットを含み、各セットのいずれにも、1つ以上の位置決めセンサが設けられていること。
[付記19]
付記1に記載の仮想環境には、少なくとも、未来環境、過去環境、夢世界のうちの1種以上の仮想環境がさらに設けられることを特徴とするゲーム方法。
[付記20]
自己キャラクタに超能力を付与する方法は、下記のステップを含むことを特徴とするゲーム方法。
1)ユーザの体力を拡大すること以外の、自己キャラクタの超能力仮想許可動作案を作成すること;
2)ユーザ許可微動作変化を追跡し、自己キャラクタの超能力仮想許可動作の作用目標を確定すること;
3)超能力仮想許可動作を実施するとき、自己キャラクタの超能力機能値を評価し、被作用目標に等因子で形態変化させること。
[付記21]
ユーザが自分で仮想環境を構築、調整、削除できるように、ユーザが仮想環境においてオブジェクトパラメータを再設定する権限を開放する、ことを特徴とする付記19又は20に記載のゲーム方法。
[付記22]
下記のステップを含むことを特徴とする空間デザイン又は空間サンプルの見学方法。
1)空間デザイン又は空間サンプルについて3Dモデル作成を行うこと;
2)ユーザは付記1乃至4のいずれか1つに記載のヒューマンコンピュータインタラクションの制御方法を用い、空間デザイン又は空間サンプルの3Dモデル内において仮想動作を実施するように、自己キャラクタを制御すること。
[付記23]
1)映画シーンについて3Dモデル作成を行うこと;
2)役者は付記1乃至4のいずれか1つに記載のヒューマンコンピュータインタラクションの制御方法を用い、1)に記載の3Dモデル内において仮想動作を実施するように、自己キャラクタを制御すること;
3)3Dモデル内における所要のシーン、及び自己キャラクタが仮想動作を実施している画面をレコードすること、
を含むことを特徴とする映画撮影方法。
[付記24]
1)既知の自然法則を収録し、且つ演算法則f[x1(x11、x12…x1n)、x2(x21、x22…x2n)…xn(xn1、xn2…xnn)]= y1(y11、y12…y1n)、y2(y21、y22…y2n)…yn(yn1、yn2…ynn)を作成する。ただし、xnは反応発生前の反応主体、xnnはxnの演算パラメータであり、ynは反応発生後の新主体、ynnはynの演算パラメータであり、fは法則であって演算式であること;
2)ユーザは付記21に記載のヒューマンコンピュータインタラクションの制御方法に基づき、仮想環境においてxnのxnn値をユーザ設定値に調整すること;
3)ユーザは付記1乃至3のいずれか1つに記載のヒューマンコンピュータインタラクションの制御方法に基づき、仮想環境においてxnについてf1動作を行うように、自己キャラクタを制御すること;
4)ステップ1に記載の演算法則に基づき、yn及びそのynn値を演算して記録すること、
を含むことを特徴とするシミュレーション実験の方法。
[付記25]
1)観光地について3Dモデル作成を行うこと;
2)ユーザは付記1乃至4のいずれか1つに記載のゲーム方法を用い、1)に記載の3Dモデル内において仮想動作を実施するように自己キャラクタを制御すること、
を含むことを特徴とする観光方法。

Claims (16)

  1. ユーザが操縦席においてユーザ許可微動作を実施することにより、相応の仮想許可動作案を実施するように仮想環境における自己キャラクタを制御する方法において、
    順序を問わずに、
    1)仮想世界において、制御可能な仮想動作部位を1つ以上有する自己キャラクタを作り出すこと;
    2)ユーザ活動部位と自己キャラクタの同じ仮想動作部位とを関連させ、且つ同じユーザ活動部位の動作幅に対する異なる仮想動作部位の動作幅の各拡大倍数を確定し、自己キャラクタの隣り合う何れか2つの仮想動作部位の角度変化値を確定すること;
    3)ユーザは操縦席上に座りながら又は横たわりながら微動作を実行すること;
    4)自己キャラクタにユーザの微動作を拡大して実行させ、同じユーザ活動部位の動作幅に対する仮想動作部位の動作幅を拡大し、ユーザの隣り合う2つのユーザ活動部位の角度変化により達成されるユーザの姿勢と、自己キャラクタの隣り合う2つの仮想動作部位の確定された前記角度変化値による角度変化により達成される自己キャラクタの姿勢は、異なり且つ類似せず、且つ、ユーザは操縦席を離れずに、操縦席上に座る又は横たわっている間、自己キャラクタは運動過程にある、
    というステップを含むことを特徴とするヒューマンコンピュータインタラクションの制御方法。
  2. 前記ユーザ許可微動作案において、ユーザ又は道具がこの微動作を実行する最大幅をM、対応する自己キャラクタが実行する相応許可動作の最大幅をN、Mをユーザの相応活動部位の運動限界より小さく、時間点tにおけるユーザがこの微動作を実行する幅をMt、対応する自己キャラクタが実行する相応許可動作の幅をNtと設定すると、Mt≧Mの場合、Nt=N;Mt<Mの場合、N>Nt>Mt、ということを満たすとともに、ユーザが仮想世界全過程において操縦席を離れずに同じ操縦席にいることを満たし、
    1)微動作幅の上限Mを規定することにより、ユーザが「操縦席」を離れずに任意の制御動作を連続的に実行できることを確保すること;
    2)ユーザの身体各部位の最大活動範囲を制限しながら、制限される相応部分が微動作を完全に実行できるようにすること、
    というステップを含むことを特徴とする請求項1に記載のヒューマンコンピュータインタラクションの制御方法。
  3. 1)仮想世界における何れかのオブジェクトが自己キャラクタのある1つ又はいくつかの部位に作用する場合、ユーザの相応部位は、このオブジェクトの動作特徴に基づいて作用されること;
    2)自己キャラクタが仮想世界における何れかのオブジェクトに作用する場合、まず、自己キャラクタの動作特徴及びこのオブジェクトの即時状態に基づき、自己キャラクタの反作用される部位及び反作用効果を判断し、ユーザの相応部位に対して所定の比率の効果を作用すること;
    3)コンピュータに識別させることのできる、1セット以上のユーザ許可微動作案及び1セット以上の仮想許可動作案を作成すること;
    4)ユーザがヒューマンコンピュータインタラクション過程において、仮想世界の動画しか見えず、自分の身体を見えないようにすること;
    5)仮想世界の画面がユーザの視角を覆うようにすること;
    6)少なくとも、拡大倍数が「1」ではない2つの仮想動作部位が、異なる拡大倍数を有することを許可すること、
    のうちの1つ以上のステップを含むことを特徴とする請求項1に記載のヒューマンコンピュータインタラクションの制御方法。
  4. 自己キャラクタの疲労の程度又は最大運動能力に基づき、ユーザの相応部位に、ユーザが受け入れられる相応比の荷重を作用することを特徴とする請求項3に記載のヒューマンコンピュータインタラクションの制御方法。
  5. 選択法及び/又は組合せ法を更に採用する方法において、
    前記選択法では、ユーザが自己キャラクタに相応する活動部位を有しない場合、ユーザが自分で他の活動部位を代わりに選択することを許可し、
    前記組合せ法では、ユーザの活動部位数が自己キャラクタの仮想動作部位数より少ない場合、ユーザの身体上に共同活動部位を設けることにより、自己キャラクタの身体上における1つ以上の仮想動作部位を制御する、ことを特徴とする請求項1に記載のヒューマンコンピュータインタラクションの制御方法。
  6. 前記組合せ法は、
    1)自己キャラクタの仮想動作部位を切替える必要がある場合、第3コマンド、又は他の活動部位を合わせることによって、他の仮想動作部位を共同で選択すること;
    2)共同活動部位をほかの1つ以上の活動部位と組合せて、自己キャラクタの仮想許可動作案を共同制御すること、
    のうち1つ以上のステップを更に含むことを特徴とする請求項5に記載のヒューマンコンピュータインタラクションの制御方法。
  7. 前記仮想環境には、少なくとも、未来環境、過去環境、夢世界のうちの1種以上の仮想環境がさらに設けられることを特徴とする請求項1に記載のヒューマンコンピュータインタラクションの制御方法。
  8. 自己キャラクタに超能力を付与する方法は、
    1)ユーザの体力を拡大すること以外の、自己キャラクタの超能力仮想許可動作案を作成すること;
    2)ユーザ許可微動作変化を追跡し、自己キャラクタの超能力仮想許可動作の作用目標を確定すること;
    3)超能力仮想許可動作を実施するとき、自己キャラクタの超能力機能値を評価し、被作用目標に対して所定の比率で形態変化させること、
    のステップを含むことを特徴とする請求項1に記載のヒューマンコンピュータインタラクションの制御方法。
  9. ユーザが自分で仮想環境を構築、調整、削除できるように、ユーザが仮想環境においてオブジェクトパラメータを再設定する権限を開放する、ことを特徴とする請求項7又は8に記載のヒューマンコンピュータインタラクションの制御方法。
  10. 空間デザイン又は空間サンプルの見学に応用され、かつ、
    1)空間デザイン又は空間サンプルについて3Dモデル作成を行うこと;
    2)ユーザは請求項1乃至4のいずれか一項に記載のヒューマンコンピュータインタラクションの制御方法を用い、空間デザイン又は空間サンプルの3Dモデル内において仮想動作を実施するように、自己キャラクタを制御すること、
    のステップを含むことを特徴とするヒューマンコンピュータインタラクションの制御方法。
  11. 映画撮影に応用され、かつ、
    1)映画シーンについて3Dモデル作成を行うこと;
    2)役者は請求項1乃至4のいずれか一項に記載のヒューマンコンピュータインタラクションの制御方法を用い、1)に記載の3Dモデル内において仮想動作を実施するように、自己キャラクタを制御すること;
    3)3Dモデル内における所要のシーン、及び自己キャラクタが仮想動作を実施している画面をレコードすること、
    のステップを含むことを特徴とするヒューマンコンピュータインタラクションの制御方法。
  12. シミュレーション実験の方法に応用され、かつ、
    1)既知の自然法則を収録し、且つ演算法則f[x1(x11、x12…x1n)、x2(x21、x22…x2n)…xn(xn1、xn2…xnn)]= y1(y11、y12…y1n)、y2(y21、y22…y2n)…yn(yn1、yn2…ynn)を作成し、ただし、xnは反応発生前の反応主体、xnnはxnの演算パラメータであり、ynは反応発生後の新主体、ynnはynの演算パラメータであり、fは法則であって演算式であること;
    2)ユーザは請求項1乃至3のいずれか一項に記載のヒューマンコンピュータインタラクションの制御方法に基づき、仮想環境において反応発生前の各反応主体xnの各演算パラメータ値xnn値をユーザ設定値に調整するように、自己キャラクタを制御すること;
    3)ステップ1に記載の演算式に基づき、反応発生後の各新主体yn及びそのynn値を演算して記録すること、
    のステップを含むことを特徴とするヒューマンコンピュータインタラクションの制御方法。
  13. 観光方法に応用され、かつ、
    1)観光地について3Dモデル作成を行うこと;
    2)ユーザは請求項1乃至4のいずれか一項に記載のヒューマンコンピュータインタラクションの制御方法を用い、1)に記載の3Dモデル内において仮想動作を実施するように自己キャラクタを制御すること、
    のステップを含むことを特徴とするヒューマンコンピュータインタラクションの制御方法。
  14. ユーザが微動作を実施することにより、相応の仮想許可動作を実施するように仮想環境における自己キャラクタを制御するシステムにおいて、
    仮想世界を表示する結像設備、操縦台、ユーザ許可微動作案の識別捕捉設備、及びユーザと自己キャラクタとの動作の同期を制御する同期制御システムを含み、
    前記操縦台には操縦席とバリアシステムが設けられ、前記バリアシステムが、ユーザ手足の活動幅を制限する制限機構を有することにより、制限される相応部位が最大幅Mで許可動作を実施できると共に、ユーザが「操縦席」を離れずに任意の制御動作を連続的に実行できることを確保し、
    前記ユーザ許可微動作案の識別捕捉設備では、本システムの、ユーザが実行する微動作を追跡して識別でき、
    前記同期制御システムは以下のことを満たす:
    1)仮想世界において、制御可能な仮想動作部位を1つ以上有する自己キャラクタを作り出すこと;
    2)ユーザ活動部位と自己キャラクタの同じ仮想動作部位とを関連させ、且つ同じユーザ活動部位の動作幅に対する異なる仮想動作部位の動作幅の各拡大倍数を確定し、自己キャラクタの隣り合う何れか2つの仮想動作部位の角度変化値を確定すること;
    3)ユーザが操縦席上に座りながら又は横たわりながら実行する微動作を追跡して識別すること;
    4)自己キャラクタにユーザの微動作を拡大して実行させ、同じユーザ活動部位の動作幅に対する仮想動作部位の動作幅を拡大し、ユーザの隣り合う2つのユーザ活動部位の角度変化により達成されるユーザの姿勢と、自己キャラクタの隣り合う2つの仮想動作部位の確定された前記角度変化値による角度変化により達成される自己キャラクタの姿勢は、異なり且つ類似せず、且つ、ユーザは操縦席を離れずに、操縦席上に座る又は横たわっている間、自己キャラクタは運動過程にある、
    ことを特徴とするヒューマンコンピュータインタラクションの制御システム。
  15. 1)仮想世界を表示する結像設備は、仮想世界の画面がユーザの視角を覆うようにし、且つユーザはヒューマンコンピュータインタラクション過程において、仮想世界の動画しか見えず、自分の身体が見えないこと;
    2)前記識別捕捉設備には、異なる区別的特徴を有する位置決め感応部が設けられることにより、コンピュータが位置決め点の対応するユーザ部位を識別できるようにすること;
    3)前記バリアシステムには反作用感知装置及び/又は被作用感知装置がさらに設けられ、
    前記被作用感知装置では、仮想世界におけるいずれかのオブジェクトが自己キャラクタの1つ又は一部の部位に作用する場合、バリアシステムは該オブジェクトの動作特徴に基づいてユーザの相応部位に作用し、
    前記反作用感知装置では、自己キャラクタが仮想世界におけるいずれかのオブジェクトに作用する場合、システムはまず自己キャラクタの動作特徴及び該オブジェクトの即時状態に基づき、自己キャラクタの反作用される部位及び反作用効果を判断し、前記バリアシステムは所定の比率の効果をユーザの相応の部位に作用すること;
    4)嗅覚システム、触覚システム及び体力疲労のランダムバリアシステムのうちの1種以上をさらに含むこと、
    のうち少なくとも1つ以上の特徴を更に含むことを特徴とする請求項14に記載のヒューマンコンピュータインタラクションの制御システム。
  16. 前記操縦席は、弾性装置を有するバリアシステムを備えるシステムの操縦席であって、
    前記キャラクタを制御する方法において、
    5)前記バリアシステムはユーザの身体部位の最大活動範囲を制限すること、
    6)ユーザが前記バリアシステムの前記弾性装置に接触し、引き続き前記弾性装置の弾力の逆方向へ運動する場合、自己キャラクタに前記相応の仮想許可動作案を持続的に実行させること、
    というステップをさらに含むことを特徴とする請求項1に記載のヒューマンコンピュータインタラクションの制御方法。
JP2018226182A 2011-02-11 2018-12-03 ヒューマンコンピュータインタラクションの制御方法及びその運用 Active JP6749384B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201110036356 2011-02-11
CN201110036356.7 2011-02-11
CN201110458168.3 2011-12-30
CN2011104581683A CN102541260B (zh) 2011-02-11 2011-12-30 一种人机互动的控制方法及其运用

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017156017A Division JP6722624B2 (ja) 2011-02-11 2017-08-10 ヒューマンコンピュータインタラクションの制御方法及びその運用

Publications (2)

Publication Number Publication Date
JP2019061707A true JP2019061707A (ja) 2019-04-18
JP6749384B2 JP6749384B2 (ja) 2020-09-02

Family

ID=46348299

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013552821A Active JP6193764B2 (ja) 2011-02-11 2012-01-20 ヒューマンコンピュータインタラクションの制御方法及びその運用
JP2017156017A Active JP6722624B2 (ja) 2011-02-11 2017-08-10 ヒューマンコンピュータインタラクションの制御方法及びその運用
JP2018226182A Active JP6749384B2 (ja) 2011-02-11 2018-12-03 ヒューマンコンピュータインタラクションの制御方法及びその運用

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013552821A Active JP6193764B2 (ja) 2011-02-11 2012-01-20 ヒューマンコンピュータインタラクションの制御方法及びその運用
JP2017156017A Active JP6722624B2 (ja) 2011-02-11 2017-08-10 ヒューマンコンピュータインタラクションの制御方法及びその運用

Country Status (6)

Country Link
US (1) US10058773B2 (ja)
EP (2) EP3950076A1 (ja)
JP (3) JP6193764B2 (ja)
KR (1) KR101679805B1 (ja)
CN (8) CN106984041B (ja)
WO (1) WO2012106978A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106984041B (zh) * 2011-02-11 2021-07-06 漳州市舟锋电子科技有限公司 一种人机互动控制系统
CN103207667B (zh) * 2011-12-24 2018-10-23 漳州市科达企业咨询有限公司 一种人机互动的控制方法及其运用
CN103544636A (zh) * 2013-11-08 2014-01-29 梁涛 基于虚拟商场的互动方法及设备
US10827268B2 (en) 2014-02-11 2020-11-03 Apple Inc. Detecting an installation position of a wearable electronic device
WO2015122879A1 (en) * 2014-02-11 2015-08-20 Bodhi Technology Ventures Llc Detecting the limb wearing a wearable electronic device
CN104914992A (zh) * 2014-04-11 2015-09-16 黄得锋 一种人机互动的控制方法
JPWO2017064926A1 (ja) * 2015-10-15 2018-08-02 ソニー株式会社 情報処理装置及び情報処理方法
CN105867600A (zh) * 2015-11-06 2016-08-17 乐视移动智能信息技术(北京)有限公司 一种交互方法和设备
CN105488834B (zh) * 2015-12-01 2019-03-19 网易(杭州)网络有限公司 角色面部朝向的调整方法及装置
CN105892754A (zh) * 2016-05-27 2016-08-24 北京小鸟看看科技有限公司 一种手指动作识别方法和系统
JP6756236B2 (ja) 2016-10-31 2020-09-16 富士通株式会社 アクション指示プログラム、アクション指示方法及び画像生成装置
US10901494B2 (en) 2017-03-28 2021-01-26 Wipro Limited Method and a system for providing gesture-based interaction with a virtual product
JP7078035B2 (ja) * 2017-03-31 2022-05-31 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN107158709A (zh) * 2017-05-16 2017-09-15 杭州乐见科技有限公司 一种基于游戏引导运动的方法和设备
EP4252632A3 (en) 2017-09-05 2024-05-01 Apple Inc. Wearable electronic device with electrodes for sensing biological parameters
EP3459447A3 (en) 2017-09-26 2019-07-10 Apple Inc. Optical sensor subsystem adjacent a cover of an electronic device housing
DE102017009169A1 (de) 2017-10-02 2019-04-04 Holger Wild Interaktives Oberkörperabbildgerät
KR101967072B1 (ko) * 2017-12-14 2019-04-08 김민철 사용자 활동 기반 가상 객체 관리 방법, 이를 수행하는 가상 객체 관리 장치 및 이를 기록한 기록매체
CN108553893B (zh) * 2018-04-28 2021-11-16 网易(杭州)网络有限公司 赛车游戏中车辆转向的控制方法和装置
CN110908568B (zh) * 2018-09-18 2022-11-04 网易(杭州)网络有限公司 一种虚拟对象的控制方法和装置
CN111221416B (zh) * 2020-01-06 2021-12-07 腾讯科技(深圳)有限公司 一种虚拟道具分配的方法、服务器及终端设备
US11055891B1 (en) 2020-03-10 2021-07-06 Microsoft Technology Licensing, Llc Real time styling of motion for virtual environments
CN112527109B (zh) * 2020-12-04 2022-05-17 上海交通大学 基于坐姿的vr全身动作控制方法、系统及计算机可读介质
US20240085987A1 (en) * 2022-09-12 2024-03-14 Apple Inc. Environmentally Aware Gestures
JP7372717B1 (ja) 2023-03-30 2023-11-01 mirrorX株式会社 プログラム、情報処理装置及び方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302083A (ja) * 1997-04-30 1998-11-13 Yamaha Corp Cgモデルの動作制御システム
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP2000311047A (ja) * 1999-04-28 2000-11-07 Tadatoshi Goto インテリジェント型手袋型手形入力装置
JP2002123840A (ja) * 2000-10-17 2002-04-26 Nippon Telegr & Teleph Corp <Ntt> 臨場感型仮想現実提供処理方法および装置
JP2006163886A (ja) * 2004-12-08 2006-06-22 Canon Inc 情報入力方法及び情報入力装置
WO2010022882A2 (en) * 2008-08-25 2010-03-04 Universität Zürich Prorektorat Mnw Adjustable virtual reality system
WO2010107577A2 (en) * 2009-03-20 2010-09-23 Microsoft Corporation Virtual object manipulation
JP2010231290A (ja) * 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
WO2011011546A1 (en) * 2009-07-22 2011-01-27 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment
JP2011022984A (ja) * 2009-07-20 2011-02-03 J Touch Corp 立体映像インタラクティブシステム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US6408289B1 (en) * 1993-06-11 2002-06-18 Mri Devices Daum Gmbh Shapeable elastic body with master unit and method of controlling
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
JP2840923B2 (ja) * 1994-11-11 1998-12-24 富士通株式会社 プロダクションシステム
WO1996020767A1 (fr) * 1994-12-30 1996-07-11 Sega Enterprises Ltd. Dispositif pour jeu video simulant une bande dessinee
GB9525047D0 (en) * 1995-12-07 1996-02-07 Philips Electronics Nv Virtual body control device
JP2001504605A (ja) * 1996-08-14 2001-04-03 ラティポフ,ヌラフメド,ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
EP1060772B1 (en) * 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
US6377281B1 (en) * 2000-02-17 2002-04-23 The Jim Henson Company Live performance control of computer graphic characters
JP2002032788A (ja) * 2000-07-14 2002-01-31 Nippon Telegr & Teleph Corp <Ntt> 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体
WO2007130793A2 (en) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
JP2004129180A (ja) * 2002-09-30 2004-04-22 Atsusato Fujii 仮想空間体験のためのシステム
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
GB0306875D0 (en) * 2003-03-25 2003-04-30 British Telecomm Apparatus and method for generating behavior in an object
JP4048999B2 (ja) * 2003-04-15 2008-02-20 セイコーエプソン株式会社 画像処理装置及び画像処理方法
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
MX2007002011A (es) * 2004-08-23 2007-08-07 Gamecaster Inc Aparato, metodos, y sistemas para observacion y manipulacion de un ambiente virtual.
JP4406693B2 (ja) * 2005-01-28 2010-02-03 学校法人立命館 バルーンアクチュエータ、エンドエフェクタ、及び医療用器具
JP4848515B2 (ja) * 2006-06-12 2011-12-28 国立大学法人九州工業大学 アバター動作制御システム、そのプログラム及び方法
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US8336078B2 (en) * 2006-07-11 2012-12-18 Fmr Corp. Role-based access in a multi-customer computing environment
CN101110102A (zh) * 2006-07-20 2008-01-23 中国科学院自动化研究所 基于玩家拳头的游戏场景和角色控制方法
EP2059315A4 (en) * 2006-08-24 2011-10-26 Howard W Lutnick COMPUTER TERMINAL SYSTEM WITH MULTIPLE DISPLAY SCREENS
JP5557529B2 (ja) * 2006-09-19 2014-07-23 マイオモ インコーポレイテッド 動力で作動する矯正デバイス
EP2132650A4 (en) * 2007-03-01 2010-10-27 Sony Comp Entertainment Us SYSTEM AND METHOD FOR COMMUNICATING WITH A VIRTUAL WORLD
US8706914B2 (en) * 2007-04-23 2014-04-22 David D. Duchesneau Computing infrastructure
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JPWO2009093461A1 (ja) * 2008-01-22 2011-05-26 新世代株式会社 撮像装置、オンラインゲームシステム、操作物、入力方法、画像解析装置、画像解析方法、及び記録媒体
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
JP2009276996A (ja) * 2008-05-14 2009-11-26 Canon Inc 情報処理装置、情報処理方法
US8130207B2 (en) * 2008-06-18 2012-03-06 Nokia Corporation Apparatus, method and computer program product for manipulating a device using dual side input devices
US8793498B2 (en) * 2008-08-11 2014-07-29 Nbcuniversal Media, Llc System and method for forensic analysis of media works
TWI373361B (en) * 2008-10-09 2012-10-01 Univ Nat Chiao Tung Glove puppet manipulation system
CN101732858B (zh) * 2008-11-11 2013-10-30 盛乐信息技术(上海)有限公司 现实与虚拟结合的联网游戏系统及实现方法
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
CN102141685B (zh) * 2009-11-29 2016-02-24 黄得锋 一种3d成像装置
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
CN101890237A (zh) * 2010-07-16 2010-11-24 叶尔肯·拜山 游戏控制器及其控制方法
CN106984041B (zh) * 2011-02-11 2021-07-06 漳州市舟锋电子科技有限公司 一种人机互动控制系统
CN202120199U (zh) * 2011-06-13 2012-01-18 深圳市远望落星山科技有限公司 一种光影跟踪系统
CN102253713B (zh) * 2011-06-23 2016-10-12 康佳集团股份有限公司 面向三维立体影像显示系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JPH10302083A (ja) * 1997-04-30 1998-11-13 Yamaha Corp Cgモデルの動作制御システム
JP2000311047A (ja) * 1999-04-28 2000-11-07 Tadatoshi Goto インテリジェント型手袋型手形入力装置
JP2002123840A (ja) * 2000-10-17 2002-04-26 Nippon Telegr & Teleph Corp <Ntt> 臨場感型仮想現実提供処理方法および装置
JP2006163886A (ja) * 2004-12-08 2006-06-22 Canon Inc 情報入力方法及び情報入力装置
WO2010022882A2 (en) * 2008-08-25 2010-03-04 Universität Zürich Prorektorat Mnw Adjustable virtual reality system
WO2010107577A2 (en) * 2009-03-20 2010-09-23 Microsoft Corporation Virtual object manipulation
JP2010231290A (ja) * 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
JP2011022984A (ja) * 2009-07-20 2011-02-03 J Touch Corp 立体映像インタラクティブシステム
WO2011011546A1 (en) * 2009-07-22 2011-01-27 Immersion Corporation System and method for providing complex haptic stimulation during input of control gestures, and relating to control of virtual equipment

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
山本 正信: "インバースアニメーション:映像からの動作の計測・認識・再利用", 情報処理学会論文誌, vol. 第47巻,No.SIG9(CVIM14), JPN6020004530, 15 June 2006 (2006-06-15), pages 21 - 31, ISSN: 0004208816 *
村上 礼繁: "3次元ジェスチャと2次元GUIを用いた樹木モデルの形状生成システム", 日本バーチャルリアリティ学会 第10回記念大会論文抄録集, JPN6020004532, 27 September 2005 (2005-09-27), pages 81 - 84, ISSN: 0004208817 *
杜娟: "仮想環境を用いた学習型観光システムについて", 第66回(平成16年)全国大会講演論文集(4), JPN6020004534, 9 March 2004 (2004-03-09), pages 4 - 135, ISSN: 0004208818 *

Also Published As

Publication number Publication date
CN106964150A (zh) 2017-07-21
CN102631781A (zh) 2012-08-15
CN102631781B (zh) 2017-04-05
JP6193764B2 (ja) 2017-09-06
US20130331964A1 (en) 2013-12-12
CN106943742A (zh) 2017-07-14
WO2012106978A1 (zh) 2012-08-16
CN106964150B (zh) 2021-03-02
JP2014510336A (ja) 2014-04-24
CN107050852A (zh) 2017-08-18
EP2674204A1 (en) 2013-12-18
KR101679805B1 (ko) 2016-11-25
CN106943743B (zh) 2024-04-26
CN106943742B (zh) 2024-04-26
CN102541260A (zh) 2012-07-04
KR20140049503A (ko) 2014-04-25
US10058773B2 (en) 2018-08-28
CN106984041B (zh) 2021-07-06
CN106943743A (zh) 2017-07-14
EP3950076A1 (en) 2022-02-09
CN106984041A (zh) 2017-07-28
JP6749384B2 (ja) 2020-09-02
CN102681655A (zh) 2012-09-19
JP6722624B2 (ja) 2020-07-15
EP2674204A4 (en) 2015-01-28
CN102541260B (zh) 2013-04-03
JP2018022498A (ja) 2018-02-08
CN102681655B (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
JP2019061707A (ja) ヒューマンコンピュータインタラクションの制御方法及びその運用
EP3631567B1 (en) Eye tracking calibration techniques
JP2014510336A5 (ja)
Caserman et al. A survey of full-body motion reconstruction in immersive virtual reality applications
Feasel et al. LLCM-WIP: Low-latency, continuous-motion walking-in-place
CN109388142B (zh) 一种基于惯性传感器进行虚拟现实行走控制的方法及系统
CN103019386B (zh) 一种人机互动的控制方法及其运用
Hashemian et al. HeadJoystick: Improving flying in VR using a novel leaning-based interface
Ishigaki et al. Performance-based control interface for character animation
JP4848515B2 (ja) アバター動作制御システム、そのプログラム及び方法
US11036296B2 (en) Electronic device and control method thereof
US9229530B1 (en) Wireless haptic feedback apparatus configured to be mounted on a human arm
KR101317383B1 (ko) 로봇을 이용한 인지 능력 훈련 장치 및 그 방법
JP2010257081A (ja) 画像処理方法及び画像処理装置
Guerrero et al. Kinect-based posture tracking for correcting positions during exercise
Cohn et al. Snapmove: Movement projection mapping in virtual reality
Komori et al. Experimental investigation of operability in six-DOF gesture-based operation using a lower limb and comparison with that in an upper limb
CN112527109B (zh) 基于坐姿的vr全身动作控制方法、系统及计算机可读介质
CN109634427B (zh) 基于头部追踪的ar眼镜控制系统及控制方法
GB2298501A (en) Movement detection
WO2024035347A1 (en) Virtual reality control device and virtual reality system
Steiner et al. Intuitive Navigation in Virtual Environments.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200811

R150 Certificate of patent or registration of utility model

Ref document number: 6749384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250