JP2017534135A - モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法 - Google Patents
モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法 Download PDFInfo
- Publication number
- JP2017534135A JP2017534135A JP2017542256A JP2017542256A JP2017534135A JP 2017534135 A JP2017534135 A JP 2017534135A JP 2017542256 A JP2017542256 A JP 2017542256A JP 2017542256 A JP2017542256 A JP 2017542256A JP 2017534135 A JP2017534135 A JP 2017534135A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ball
- virtual ball
- screen
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003993 interaction Effects 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
- A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
本発明は、モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法を開示したものであり、前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、画像の内容を分析するステップと、前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って画像の内容および利用者とインタラクションさせるステップと、インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、を含む。
Description
本発明はマンマシンインタラクションにおける拡張現実システムに係わり、より具体的には、本発明はモバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法に係わる。
モバイル機器および技術の発展につれ、モバイル機器において拡張現実システムを設計開発することは拡張現実技術の推進および発展にとって重要な意義を有している。拡張現実技術はバーチャル情報とリアリスティックシーンとを結び付けることによって利用者の臨場感を高めることができる。センサまたはカメラのスクリーンを通じて利用者の動作命令をキャッチすることができる。
コンピュータに基づく従来のマンマシンインタラクションシステムはいずれもマウス、キーボードによって実現されている。しかし、モバイル機器における拡張現実システムは、キーボードによってインタラクションを実現しようとすると、ブレが発生しやすく、インタラクションの精度に大きな影響を与えてしまう。現実の生活において、人間は視覚、触覚および力覚を通じて、手で空間におけるボールのような実物体を任意に操作することができる。人間の両手は、人類が第３者の世界とコミュニケーションする場合の最も直観的で、最も自然で最も現実的な媒体になっている。
一方において、従来の技術における人とボールの間のインタラクションは主に下記の二種類に分けることができる。（１）人と実物のボールとの間のインタラクション。（２）赤外線センサのような特殊な物理検知装置によって人の位置をキャッチすることで実現される人とバーチャルボールとの間のインタラクション。
従って、追加設備を利用することなく利用者とバーチャルボールを容易に実現可能なバーチャルボールのシミュレーションおよびコントロール装置が求められている。
本発明の実施例において、モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法を提供する。
本発明の一つの実施例における方法は、前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、画像の内容を分析するステップと、前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って画像の内容および利用者とインタラクションさせるステップと、インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップとを含む。
好ましくは、画像の内容を分析するステップは、前記バーチャルボール近傍の画像エッジを演算するステップと、衝突の速度および方向を演算するステップと、前記バーチャルボールの位置を更新するステップと、前記バーチャルボールを表示するステップを含む。
好ましくは、前記インタラクションのルールは、ボールが画像内の色の境界と剛体衝突すること、ボールがスクリーンの左、右、下方の境界と剛体衝突すること、スクリーンにおいて、ボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」すること、ボールが利用者の指と剛体衝突し、衝突時にボールと指が衝突する角度、力度を考慮すること、ボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行うこと、ボールの下半分と画像の内容および利用者の指との衝突のみを考慮することから選ばれた少なくとも一つを含む。
好ましくは、前記バーチャルボール近傍の画像エッジを演算するステップは、入力画像をグレースケールマップに変換するステップと、前記バーチャルボールの下半分のグレースケールヒストグラムを演算するステップと、前記ヒストグラムを用いてグレースケール確率図を生成するステップと、生成された確率図をエッジ判断の根拠とするステップと、を含む。
好ましくは、前記画像エッジはグレースケール確率の異なる領域の境界である。
好ましくは、前記衝突の速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する。
本開示および図面についての下記の詳細な説明に基づけば、当業者にとって、その他の目的、特徴およびメリットが明らかとなる。
図面は本発明の実施例を図示し、かつ明細書とともに本発明の原理を説明するために用いられる。
本発明の実施例は、モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法を開示している。以下の説明において、説明を目的として、複数の具体的な細部を説明し、本発明の実施例を全面的に理解していただくようにした。しかし、当業者にとって、本発明の実施例がこれら具体的な細部を用いることなく実現可能なことは、明らかである。
本発明においては、一般の消費レベルの画像収集設備（例えば、携帯電話、タブレットコンピュータ、家庭用カメラ）によって一般の画像をキャッチするとともに、画像に対するインテリジェント分析の結果によって人とバーチャルボールの間のインタラクション効果を生成する。具体的には、本発明は、画像収集装置（例えばカメラ）によって画像情報を取得し、演算装置（例えばＰＣ、携帯電話、タブレットコンピュータなど）によってバーチャルボールを生成するとともに、得られた画像の内容を画像処理方法によってインテリジェント分析し、これを根拠としてバーチャルボールとインタラクションを行い、最後に、インタラクションの結果および画像を表示設備（例えば携帯電話、ディスプレイなど）に表示させるシステムを開示する。
図１は本発明の実施例におけるバーチャルボールのシミュレーションおよびコントロールの方法１００を示す。該方法１００は主として画像を収集するステップ、画像の内容を分析するステップおよびインタラクションの結果を表示するステップの三つのステップを含む。
具体的には、画像の収集において、一般の画像収集設備（例えば、携帯電話、デスクトップコンピュータのカメラ）によって連続した画像シーケンスを得る。画像収集設備は移動可能であり、バーチャルボールのシミュレーション効果に影響を与えることがない。
画像内容の分析において、本発明では、収集された画像シーケンスにおいてバーチャルボールが一定のルールに従って画像の内容および利用者とインタラクションすると仮定する。以下においては、バーチャルジャグリングボールを例に説明を行う。なお、バーチャルジャグリングボールは説明するためのものにすぎず、バーチャルボールと画像の内容および利用者とのインタラクションがどのように行われるかに関する説明は、本発明に対する実施例における限定ではない。バーチャルボールと画像および利用者とのインタラクションを含む応用はいずれも本発明の範囲内に属している。
図２は本発明における実施例の応用シーンを示す概略図である。図２に示すように、利用者が設備（例えば携帯電話）を携帯しており、カメラを特定のシーンＳに合わせ、表示スクリーンが利用者に向いている。利用者の指が画像収集設備（例えば携帯電話のカメラ）に面しているシーンＳに進入し、バーチャルジャグリングボールとインタラクションを行う。インタラクションのルールは下記のとおりである。
（１）ボールが画像内の色の境界と剛体衝突する。
（２）ボールがスクリーンの左、右、下方の境界と剛体衝突する。
（３）スクリーンにおいて、ボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」する。
（４）ボールが利用者の指と剛体衝突し、衝突時にボールと指が衝突する角度、力度を考慮する。
（５）ボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行う。
（６）ボールの下半分のみについて画像の内容および利用者の指との間の衝突を考慮し、ボールの上半分については考慮しない。
（７）「ボール」は、口頭の一般的な用語としてのみバーチャル球体を呼ぶのに用い、実際にスクリーンに表示されるのは正円形である。
（１）ボールが画像内の色の境界と剛体衝突する。
（２）ボールがスクリーンの左、右、下方の境界と剛体衝突する。
（３）スクリーンにおいて、ボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」する。
（４）ボールが利用者の指と剛体衝突し、衝突時にボールと指が衝突する角度、力度を考慮する。
（５）ボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行う。
（６）ボールの下半分のみについて画像の内容および利用者の指との間の衝突を考慮し、ボールの上半分については考慮しない。
（７）「ボール」は、口頭の一般的な用語としてのみバーチャル球体を呼ぶのに用い、実際にスクリーンに表示されるのは正円形である。
当業者は、任意の、機能を満たすインタラクション設備および画像処理に基づくインタラクション方式はすべて本発明のインタラクション方式に含まれると理解するであろう。本発明に用いられるバーチャルボールはバーチャルジャグリングボールに限定されず、バーチャルカーリングボール、バーチャル卓球、バスケットボールなどその他のバーチャルボールであってもよい。
図３は図１における画像内容の分析を実現する方法を示すフローチャート図である。ステップ３１において、次のフレーム画像を入力する。ステップ３２において、ボール近傍の画像エッジを演算する。ステップ３３において、衝突の速度および方向を演算する。ステップ３４において、ボールの位置を更新する。ステップ３５において、前記ボールを表示する。ステップ３６において、画像内容の分析が終了するか否かを判断する。ＹＥＳの場合には、該プロセスを終了させ、ＮＯの場合にはステップ３１に戻る。
ボール近傍の画像エッジの演算
図４はボール近傍の画像エッジを演算する方法を示すフローチャート図である。ボール近傍の画像エッジを演算する原理は下記のとおりである。本発明では、ボールの下半分の色が一種類でなければならないと考える。２種類又はそれ以上のグレースケールが現れた場合には、他の物体が球体の範囲内に進入し、ボールとインタラクションしたと考える。具体的な演算プロセスはヒストグラムの演算および確率図の生成に係わる。
図４はボール近傍の画像エッジを演算する方法を示すフローチャート図である。ボール近傍の画像エッジを演算する原理は下記のとおりである。本発明では、ボールの下半分の色が一種類でなければならないと考える。２種類又はそれ以上のグレースケールが現れた場合には、他の物体が球体の範囲内に進入し、ボールとインタラクションしたと考える。具体的な演算プロセスはヒストグラムの演算および確率図の生成に係わる。
図４に示すように、まず入力画像をグレースケールマップに変換する。次に、ボールの下半分のグレースケールヒストグラムＨを演算する。その後、前記ヒストグラムＨを用いてグレースケール確率図を生成する。最後に、生成された確率図をエッジ判断の根拠とする。
Ａ．ヒストグラムの演算
図５は他の物体が球体の範囲内に入っていない場合を示すグレースケールマップである。図中の灰色領域はカラーヒストグラムを計算する範囲を示す。カラーヒストグラムの計算方法は下記のとおりである。
ここで、
図５は他の物体が球体の範囲内に入っていない場合を示すグレースケールマップである。図中の灰色領域はカラーヒストグラムを計算する範囲を示す。カラーヒストグラムの計算方法は下記のとおりである。
Ｈは２５６個の要素を含むアレイである。各要素は、グレースケール画像において、グレースケール値がｉである画素の個数を示す。グレースケールマップの上図における灰色領域範囲内の各画素Ｐ（ｊ）をトラバースし、ｊはｊ番目の画素を示し、Ｎはグレースケール領域における画素の合計を示し、グレースケール値がＰ（ｊ）＝ｉの場合、Ｈ（ｉ）＝Ｈ（ｉ）＋１となる。
Ｂ．確率図の生成
図６は他の物体が球体の範囲内に入った場合のグレースケールマップを示す。上記のように演算してＨを得た後に、本発明では、出現回数が多いグレースケールはメインバックグラウンドのグレースケールであり、その他のグレースケールの画素は球体の範囲内に進入したインタラクション物体を示していると考える。
図６は他の物体が球体の範囲内に入った場合のグレースケールマップを示す。上記のように演算してＨを得た後に、本発明では、出現回数が多いグレースケールはメインバックグラウンドのグレースケールであり、その他のグレースケールの画素は球体の範囲内に進入したインタラクション物体を示していると考える。
出現確率：
Ｄ（ｊ）は小確率図における各々の画素のグレースケール値を示す。ｊはｊ番目の画素を示し、ＨＭａｘはヒストグラムにおける２５６個の要素のうちの最大値を示す。その結果、図Ｄにおいて、グレースケール値が大きいほど、球体範囲内の色の数が少なくなる。すなわち、該画素が球体に入ったインタラクション物体である確率が高くなる。従って、画像エッジにおいて、確率が異なる二つの領域の境界、即ちグレースケールの確率が異なる領域の境界が現れる。
衝突の速度、方向の演算
本発明では、前ステップで生成した出現確率図Ｄにおいて、インタラクション物体である確率がより高い領域の重心は、インタラクション物体とボールのインタラクションポイントＰｉｎｔであり、Ｐｉｎｔの球心に対する横座標および縦座標（画素）の差は、横方向および縦方向におけるインタラクションの強さを示し、横方向および縦方向の二方向における速度は互いに独立している。
本発明では、前ステップで生成した出現確率図Ｄにおいて、インタラクション物体である確率がより高い領域の重心は、インタラクション物体とボールのインタラクションポイントＰｉｎｔであり、Ｐｉｎｔの球心に対する横座標および縦座標（画素）の差は、横方向および縦方向におけるインタラクションの強さを示し、横方向および縦方向の二方向における速度は互いに独立している。
インタラクションポイントの計算方法：
ＰＩｎｔ（ＸＣ，ＹＣ）
ここで、Ｘ，Ｙは確率が高い領域における横座標と縦座標を示し、Ｄ（ｊ）は前ステップで求められた確率であり、ＸＣ，ＹＣは重心の座標である。横方向の速度はＸ方向における接触点から球心までの距離に正比例し、接触位置が球心から遠ざかるほど、接触速度が大きくなる。縦方向の速度はＹ方向における接触点から球心までの距離に反比例し、接触位置が球心に近接するほど、接触速度が大きくなる。
下付きＭａｘは横方向および縦方向における最大速度を示し、予め設定された一定値である。
ＰＩｎｔ（ＸＣ，ＹＣ）
ボール位置の更新
本発明では、ボールの位置は初期の静止状態から始まり、横方向および縦方向の二方向における独立した運動に分かれると考える。横方向においては、インタラクション（手への接触、画像のエッジへの接触、スクリーンエッジへの接触）が発生する毎に、インタラクションの後に接触速度ＶＸで均一速度の直線運動を行う。縦方向においては、インタラクションが発生した後に、接触速度ＶＹを初期速度として垂直に上方に投げられる運動を行う（ｈｔｔｐ：／／ｂａｉｋｅ．ｂａｉｄｕ．ｃｏｍ／ｌｉｎｋ？ｕｒｌ＝ｔＪ８ｅ６ＩｆｍｐＣＺｑＳｘｆＬＭ９８Ｘ７＿ｑＣＷｅｕｑ２ＪＱＢＨＤＣＲＪｆｂ８ＧｘＤｑＺＨｈＣｑｘｅＨｕＪ＿９ＧｏｋＢＣＳｚＺを参照）。
本発明では、ボールの位置は初期の静止状態から始まり、横方向および縦方向の二方向における独立した運動に分かれると考える。横方向においては、インタラクション（手への接触、画像のエッジへの接触、スクリーンエッジへの接触）が発生する毎に、インタラクションの後に接触速度ＶＸで均一速度の直線運動を行う。縦方向においては、インタラクションが発生した後に、接触速度ＶＹを初期速度として垂直に上方に投げられる運動を行う（ｈｔｔｐ：／／ｂａｉｋｅ．ｂａｉｄｕ．ｃｏｍ／ｌｉｎｋ？ｕｒｌ＝ｔＪ８ｅ６ＩｆｍｐＣＺｑＳｘｆＬＭ９８Ｘ７＿ｑＣＷｅｕｑ２ＪＱＢＨＤＣＲＪｆｂ８ＧｘＤｑＺＨｈＣｑｘｅＨｕＪ＿９ＧｏｋＢＣＳｚＺを参照）。
ボールの現在位置：
ここで、下付きｔは第ｔ回目の接触を示し、Ｘｔ，Ｙｔは第ｔ回目の接触時の横座標および縦座標を示し、ｇは重力加速度であり、Ｔは現在と第ｔ回目の接触間の時間間隔を示す。
ボールの表示
バーチャルボールを現在位置Ｘ，Ｙでスクリーンに表示させれば、全ての操作が終了する。
バーチャルボールを現在位置Ｘ，Ｙでスクリーンに表示させれば、全ての操作が終了する。
本発明では、一般の消費レベルの画像収集設備（例えば、携帯電話、タブレットコンピュータ、家庭用カメラ）によって一般の画像をキャッチするとともに、画像に対するインテリジェント分析の結果によって人とバーチャルボールの間のインタラクション効果を生成し、これにより拡張現実方法を用いて画像処理に基づく人とボールの間のインタラクションの結果を利用者のために表示する。従って、本発明により、一般の利用者は携帯電話、タブレットコンピュータなど一般の画像収集表示設備を用いて拡張現実技術によって生成されたバーチャルボールとインタラクションを行うことができる。それによって、よりリアルな実景の感覚を生成することができ、拡張現実システムによりなじみ、従来の方法では達成できない独特なインタラクション方式を実現することができる。
上記実施例は、本発明の好ましい実施例に過ぎず、本発明を限定するためのものではない。当業者にとって明らかなことは、本発明の主旨および範囲を離脱しない状況下で、本発明の実施例に対してさまざまな補正および変更を行うことができることである。従って、発明の請求の範囲に限定された本発明の範囲内に入る全ての補正または変形は本発明に含まれる。
Claims (6)
- モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法であって、
前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、
画像の内容を分析するステップと、
前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って画像の内容および利用者とインタラクションさせるステップと、
インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、
を含む方法。 - 請求項１に記載の方法であって、
画像の内容を分析するステップは、
前記バーチャルボール近傍の画像エッジを演算するステップと、
衝突の速度および方向を演算するステップと、
前記バーチャルボールの位置を更新するステップと、
前記バーチャルボールを表示するステップと、
を含む方法。 - 請求項１に記載の方法であって、
前記インタラクションのルールは、前記バーチャルボールが画像内の色の境界と剛体衝突すること、前記バーチャルボールがスクリーンの左、右、下方の境界と剛体衝突すること、スクリーンにおいて、前記バーチャルボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」すること、前記バーチャルボールが利用者の指と剛体衝突し、衝突時に前記バーチャルボールと指が衝突する角度、力度を考慮すること、前記バーチャルボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行うこと、前記バーチャルボールの下半分と画像の内容および利用者の指との衝突のみを考慮すること、から選ばれた少なくとも一つを含む、
方法。 - 請求項１に記載の方法であって、
前記バーチャルボール近傍の画像エッジを演算するステップは、
入力画像をグレースケールマップに変換するステップと、
前記バーチャルボールの下半分のグレースケールヒストグラムを演算するステップと、
前記ヒストグラムを用いてグレースケール確率図を生成するステップと、
生成された確率図をエッジ判断の根拠とするステップと、
を含む方法。 - 請求項４に記載の方法であって、
前記画像のエッジは、グレースケールの確率が異なる領域の境界である、
方法。 - 請求項２に記載の方法であって、
前記衝突の速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する、
方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410619473.X | 2014-11-06 | ||
| CN201410619473.XA CN104407696B (zh) | 2014-11-06 | 2014-11-06 | 移动设备的虚拟球模拟及控制的方法 |
| PCT/CN2015/093735 WO2016070800A1 (zh) | 2014-11-06 | 2015-11-03 | 移动设备的虚拟球模拟及控制的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017534135A true JP2017534135A (ja) | 2017-11-16 |
| JP6810048B2 JP6810048B2 (ja) | 2021-01-06 |
Family
ID=52645333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017542256A Active JP6810048B2 (ja) | 2014-11-06 | 2015-11-03 | モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10401947B2 (ja) |
| JP (1) | JP6810048B2 (ja) |
| CN (1) | CN104407696B (ja) |
| HK (1) | HK1204690A1 (ja) |
| RU (1) | RU2667720C1 (ja) |
| WO (1) | WO2016070800A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104407696B (zh) * | 2014-11-06 | 2016-10-05 | 北京京东尚科信息技术有限公司 | 移动设备的虚拟球模拟及控制的方法 |
| CN108735052B (zh) * | 2018-05-09 | 2021-01-08 | 北京航空航天大学青岛研究院 | 一种基于slam的增强现实自由落体实验方法 |
| CN110278446B (zh) * | 2019-06-20 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 确定虚拟礼物展现信息的方法、装置及电子设备 |
| CN113867523B (zh) * | 2021-09-08 | 2024-05-28 | 北京工业大学 | 一种基于虚拟现实体感交互的现代冰壶运动模拟系统和方法 |
| CN114001731B (zh) * | 2021-10-12 | 2023-03-07 | 苏州大学 | 虚拟圆球模型下极区惯性导航相位调制阻尼方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08112449A (ja) * | 1994-10-19 | 1996-05-07 | Casio Comput Co Ltd | 画像制御装置 |
| JP2005253871A (ja) * | 2004-03-15 | 2005-09-22 | Vr Sports:Kk | 通信対戦型バーチャルリアリティテニスゲームシステム |
| JP2009544107A (ja) * | 2006-07-19 | 2009-12-10 | ワールド ゴルフ ツアー， インコーポレイテッド | シミュレーションにおける写真マッピング |
| JP2010066028A (ja) * | 2008-09-08 | 2010-03-25 | Hiroshima Univ | 印加力推定装置及び方法 |
| JP2012510673A (ja) * | 2008-12-03 | 2012-05-10 | アルカテル−ルーセント | 拡張現実アプリケーションのためのモバイル装置 |
| JP2014006820A (ja) * | 2012-06-26 | 2014-01-16 | Honda Motor Co Ltd | 車両周辺監視装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002082751A (ja) * | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
| JP4883774B2 (ja) * | 2006-08-07 | 2012-02-22 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| RU2451982C1 (ru) * | 2008-06-24 | 2012-05-27 | Олег Станиславович Рурин | Способ воздействия на виртуальные объекты |
| US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
| US20110199302A1 (en) * | 2010-02-16 | 2011-08-18 | Microsoft Corporation | Capturing screen objects using a collision volume |
| CN101893935B (zh) * | 2010-07-14 | 2012-01-11 | 北京航空航天大学 | 基于真实球拍的协同式增强现实乒乓球系统构建方法 |
| US20120117514A1 (en) * | 2010-11-04 | 2012-05-10 | Microsoft Corporation | Three-Dimensional User Interaction |
| US9529424B2 (en) * | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
| US8717318B2 (en) * | 2011-03-29 | 2014-05-06 | Intel Corporation | Continued virtual links between gestures and user interface elements |
| US9152306B2 (en) * | 2011-03-29 | 2015-10-06 | Intel Corporation | Techniques for touch and non-touch user interaction input |
| US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
| US9041622B2 (en) * | 2012-06-12 | 2015-05-26 | Microsoft Technology Licensing, Llc | Controlling a virtual object with a real controller device |
| US9741145B2 (en) * | 2012-06-29 | 2017-08-22 | Disney Enterprises, Inc. | Augmented reality simulation continuum |
| CN102902355B (zh) * | 2012-08-31 | 2015-12-02 | 中国科学院自动化研究所 | 移动设备的空间交互方法 |
| US9466121B2 (en) * | 2012-09-11 | 2016-10-11 | Qualcomm Incorporated | Devices and methods for augmented reality applications |
| US9552673B2 (en) * | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
| US9367136B2 (en) * | 2013-04-12 | 2016-06-14 | Microsoft Technology Licensing, Llc | Holographic object feedback |
| US20150185826A1 (en) * | 2013-12-30 | 2015-07-02 | Daqri, Llc | Mapping gestures to virtual functions |
| CN104407696B (zh) * | 2014-11-06 | 2016-10-05 | 北京京东尚科信息技术有限公司 | 移动设备的虚拟球模拟及控制的方法 |
-
2014
- 2014-11-06 CN CN201410619473.XA patent/CN104407696B/zh active Active
-
2015
- 2015-05-29 HK HK15105142.9A patent/HK1204690A1/xx unknown
- 2015-11-03 WO PCT/CN2015/093735 patent/WO2016070800A1/zh active Application Filing
- 2015-11-03 JP JP2017542256A patent/JP6810048B2/ja active Active
- 2015-11-03 US US15/524,858 patent/US10401947B2/en active Active
- 2015-11-03 RU RU2017119469A patent/RU2667720C1/ru active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08112449A (ja) * | 1994-10-19 | 1996-05-07 | Casio Comput Co Ltd | 画像制御装置 |
| JP2005253871A (ja) * | 2004-03-15 | 2005-09-22 | Vr Sports:Kk | 通信対戦型バーチャルリアリティテニスゲームシステム |
| JP2009544107A (ja) * | 2006-07-19 | 2009-12-10 | ワールド ゴルフ ツアー， インコーポレイテッド | シミュレーションにおける写真マッピング |
| JP2010066028A (ja) * | 2008-09-08 | 2010-03-25 | Hiroshima Univ | 印加力推定装置及び方法 |
| JP2012510673A (ja) * | 2008-12-03 | 2012-05-10 | アルカテル−ルーセント | 拡張現実アプリケーションのためのモバイル装置 |
| JP2014006820A (ja) * | 2012-06-26 | 2014-01-16 | Honda Motor Co Ltd | 車両周辺監視装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10401947B2 (en) | 2019-09-03 |
| CN104407696B (zh) | 2016-10-05 |
| HK1204690A1 (en) | 2015-11-27 |
| RU2667720C1 (ru) | 2018-09-24 |
| WO2016070800A1 (zh) | 2016-05-12 |
| US20170315609A1 (en) | 2017-11-02 |
| CN104407696A (zh) | 2015-03-11 |
| JP6810048B2 (ja) | 2021-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rautaray | Real time hand gesture recognition system for dynamic applications | |
| RU2644520C2 (ru) | Бесконтактный ввод | |
| CN108399010B (zh) | 增强的基于相机的输入 | |
| TWI512645B (zh) | 使用深度影像之手勢辨識裝置及方法 | |
| JP6810048B2 (ja) | モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法 | |
| Jetter et al. | " in vr, everything is possible!": Sketching and simulating spatially-aware interactive spaces in virtual reality | |
| JP2017529635A5 (ja) | ||
| CN106062673A (zh) | 使用姿势来控制基于计算的设备 | |
| CN102915112A (zh) | 用于近距离动作跟踪的系统和方法 | |
| US20150241984A1 (en) | Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities | |
| KR20150116897A (ko) | Ｎｕｉ 관여의 검출 | |
| bin Mohd Sidik et al. | A study on natural interaction for human body motion using depth image data | |
| CN107272884A (zh) | 一种基于虚拟现实技术的控制方法及其控制系统 | |
| CN107077730A (zh) | 基于剪影的肢寻找器确定 | |
| CN108874141B (zh) | 一种体感浏览方法和装置 | |
| CN106547339A (zh) | 计算机设备的控制方法和装置 | |
| CN107102725B (zh) | 一种基于体感手柄进行虚拟现实移动的控制方法及系统 | |
| Wang | Research on the evaluation of sports training effect based on artificial intelligence technology | |
| CN104219587A (zh) | 一种用于对应用进行操控的方法和装置 | |
| CN110262660A (zh) | 基于Kinect体感设备虚拟抛掷盛接系统 | |
| KR102401800B1 (ko) | 오브젝트 실감 기술을 구현하기 위한 학습 방법과 체험 방법 및 이를 이용한 학습 장치와 체험 장치 | |
| US11998798B2 (en) | Virtual guided fitness routines for augmented reality experiences | |
| Lee et al. | Framework for vision-based sensory games using motion estimation and collision responses | |
| Piumsomboon | Natural hand interaction for augmented reality. | |
| US20230319426A1 (en) | Traveling in time and space continuum |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180814 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190604 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190604 |
|
| C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20190611 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190722 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190723 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190913 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20190924 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200519 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200609 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201006 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201020 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201201 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6810048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |