JP2021043611A - 処理システム、情報処理装置、プログラム及び処理方法 - Google Patents
処理システム、情報処理装置、プログラム及び処理方法 Download PDFInfo
- Publication number
- JP2021043611A JP2021043611A JP2019164169A JP2019164169A JP2021043611A JP 2021043611 A JP2021043611 A JP 2021043611A JP 2019164169 A JP2019164169 A JP 2019164169A JP 2019164169 A JP2019164169 A JP 2019164169A JP 2021043611 A JP2021043611 A JP 2021043611A
- Authority
- JP
- Japan
- Prior art keywords
- joint position
- processing
- motion
- reflection
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 315
- 230000010365 information processing Effects 0.000 title claims description 12
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 249
- 238000012937 correction Methods 0.000 claims abstract description 131
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims description 256
- 230000008569 process Effects 0.000 claims description 215
- 238000005452 bending Methods 0.000 claims description 86
- 210000002414 leg Anatomy 0.000 description 34
- 230000036544 posture Effects 0.000 description 33
- 238000003860 storage Methods 0.000 description 31
- 210000002683 foot Anatomy 0.000 description 18
- 210000001981 hip bone Anatomy 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 210000003127 knee Anatomy 0.000 description 10
- 210000000629 knee joint Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 210000001503 joint Anatomy 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000000544 articulatio talocruralis Anatomy 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000003371 toe Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
図1は、本実施形態の処理システム(情報処理装置、アトラクション用装置、ゲーム装置)の構成例を示すブロック図である。なお、本実施形態の処理システムは図1の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
次に本実施形態の手法について詳細に説明する。なお、以下では、反映元モデルが人物であるアクターであり、反映先モデルが仮想的なキャラクタである場合について主に例にとり説明するが、本実施形態の手法はこれに限定されない。例えば反映元モデルも仮想的なキャラクタであってもよい。また反映先モデル等のモデルとしては、オブジェクトにより構成される種々の形状、形態のモデルオブジェクトを想定できる。
まずリターゲット処理について説明する。図2では人物であるアクターACTが、モーションキャプチャ用のスーツSTを体に装着している。モーションキャプチャ用のスーツSTには複数のマーカーMKが取り付けられており、これらのマーカーMKの位置を測定することで、アクターのモーションを検出する。この場合の検出方式としては、光学式、慣性センサ式、機械式、磁気式などの種々の方式がある。光学式では、反射板等により実現されるマーカーMKが取り付けられたモーションキャプチャ用のスーツSTを着用したアクターACTの動きを、カメラで撮影する。その際に複数のカメラで撮影し、複数の撮影画像での画像のズレに基づいて対象までの距離を、三角測量の原理で計算することで、アクターACTの姿勢であるモーションを検出する。この場合にマーカーMKとして赤外線マーカーなどを用いてもよい。慣性センサ式では、マーカーとして、ジャイロセンサや加速度センサなどにより実現される慣性センサを設け、慣性センサの検出結果に基づいて、アクターACTのモーションを検出する。機械式では、ポテンションメータやエンコードなどの機械的な回転角や変位を測定するセンサを利用する。磁気式では受信器である磁気センサを設け、それに対して送出機である磁気発生装置から磁場を送る。或いは、Kinect(登録商標)と呼ばれる方式のように、デプスセンサやRGBセンサを利用して、アクターACTのモーションを検出してもよい。
本実施形態では、反映元モデルに対応づけられたモーションを、反映元モデルとは骨格形状が異なる反映先モデルに適用する場合に、反映先モデルの動き(手や足の動き)や表示が、視聴者に対して見た目上の違和感を与えるような動きにならないようにする補正処理を行う。特に本実施形態では、反映先モデルの動きや表示に違和感が出ないようにするために、反映先モデルのスケルトンのスケール自体を変更している。
本実施形態ではモデルの屈伸状態に応じた補正処理を行う。具体的には反映先モデル又は反映元モデルの骨群の屈伸状態を判定し、屈伸状態に応じて、補正処理として上述した回転処理及びスケーリング処理を行うか否かを判断する。このようにすれば、骨群の屈伸状態が、回転処理及びスケーリング処理による補正処理が必要な状態であると判定されたときに、当該補正処理を実行して、反映先モデルの動きや表示に違和感が生じるのを抑制できるようになる。
次に本実施形態の処理例の詳細について図34、図35のフローチャートを用いて説明する。
106…補正処理部、120…画像生成部、130…音生成部、160…操作部、
170…記憶部、172…モーションデータ記憶部、174…オブジェクト情報記憶部、
178…描画バッファ、180…情報記憶媒体、190…表示部、192…音出力部、
194…I/F部、195…携帯型情報記憶媒体、196…通信部、
MTS…反映元モデルのモーション、MTD…反映先モデルのモーション、
MS…反映元モデル、MD…反映先モデル、ACT…アクター、ST…スーツ、
MK…マーカー、CH…キャラクタ、JA、JB、JC…関節、BA、BB…骨、
JR1…第1基準関節位置、JT1…第1接触関節位置、JK1…関節位置、
JR2…第2基準関節位置、JT2…第2接触関節位置、JK2…関節位置、
LN…線、SF…対象面、SC…スケーリング率、PT…屈伸状態パラメータ、
ST1…第1状態、ST2…第2状態、ST3…第3状態、
JR…基準関節位置、JT…接触関節位置、JK…関節位置、LD…距離、θ…角度
Claims (14)
- 反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理を行うリターゲット処理部と、
前記リターゲット処理後の前記反映先モデルのモーションの補正処理を行う補正処理部と、
を含み、
前記補正処理部は、
前記反映先モデルの第1基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第1接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第2接触関節位置を通過するように、前記第1基準関節位置を回転中心として、前記反映先モデルの前記第1接触関節位置を含む関節位置群を回転移動させる回転処理と、
前記関節位置群に対応する骨群のスケールを変更するスケーリング処理を、
前記補正処理として行うことを特徴とする処理システム。 - 請求項1において、
前記補正処理部は、
前記第1基準関節位置と前記第1接触関節位置の距離と、前記第1基準関節位置と前記第2接触関節位置の距離との比に応じたスケーリング率で、前記骨群の前記スケーリング処理を行うことを特徴とする処理システム。 - 請求項1又は2において、
前記リターゲット処理部は、
時系列に入力される前記反映元モデルのモーションを前記反映先モデルのモーションに反映させる前記リターゲット処理を行い、
前記補正処理部は、
前記リターゲット処理後の時系列の前記反映先モデルのモーションに対して、前記補正処理を行うことを特徴とする処理システム。 - 請求項1乃至3のいずれかにおいて、
前記反映元モデルのモーションは、人物のモーションキャプチャにより取得されたモーションであり、前記反映先モデルのモーションは、仮想的なキャラクタのモーションであることを特徴とする処理システム。 - 請求項1乃至4のいずれかにおいて、
前記リターゲット処理部、前記補正処理部は、時系列に入力される前記反映元モデルのモーションに基づいて、リアルタイムに前記リターゲット処理、前記補正処理を行うことを特徴とする処理システム。 - 請求項1乃至5のいずれかにおいて、
前記補正処理部は、
前記反映先モデル又は前記反映元モデルの骨群の屈伸状態を判定し、前記屈伸状態に応じて、前記補正処理として、前記回転処理及び前記スケーリング処理を行うか否かを判断することを特徴とする処理システム。 - 請求項6において、
前記補正処理部は、
前記屈伸状態が、第1状態であると判定された場合には、前記補正処理として、前記回転処理及び前記スケーリング処理を行い、前記屈伸状態が、前記第1状態よりも屈曲した状態である第2状態であると判定された場合には、前記補正処理として、前記第1接触関節位置を前記対象面に設定するインバースキネマティクス処理を行うことを特徴とする処理システム。 - 請求項7において、
前記補正処理部は、
前記屈伸状態が、前記第1状態と前記第2の状態の間の第3状態であると判定された場合には、前記骨群のスケールを変更する第2スケーリング処理を行い、前記第2スケーリング処理の後に前記インバースキネマティクス処理を行うことを特徴とする処理システム。 - 請求項7において、
前記補正処理部は、
前記屈伸状態が、前記第2状態であると判定された場合には、前記骨群のスケールを変更する第2スケーリング処理を行い、前記第2スケーリング処理の後に前記インバースキネマティクス処理を行うことを特徴とする処理システム。 - 請求項8又は9のいずれかにおいて、
前記補正処理部は、
前記第2スケーリング処理における前記骨群のスケーリング率を、前記屈伸状態に応じて変化させることを特徴とする処理システム。 - 請求項6乃至10のいずれかにおいて、
前記補正処理部は、
前記反映先モデルの前記第1基準関節位置と前記第1接触関節位置との距離、前記第1基準関節位置と前記第1接触関節位置との間の関節での関節角、前記反映元モデルの第2基準関節位置と前記第2接触関節位置との距離、又は前記第2基準関節位置と前記第2接触関節位置との間の関節での関節角に基づいて、前記屈伸状態を判定することを特徴とする処理システム。 - 請求項1乃至11のいずれかに記載の処理システムを含むことを特徴とする情報処理装置。
- 反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理を行うリターゲット処理部と、
前記リターゲット処理後の前記反映先モデルのモーションの補正処理を行う補正処理部として、
コンピュータを機能させ、
前記補正処理部は、
前記反映先モデルの第1基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第1接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第2接触関節位置を通過するように、前記第1基準関節位置を回転中心として、前記反映先モデルの前記第1接触関節位置を含む関節位置群を回転移動させる回転処理と、
前記関節位置群に対応する骨群のスケールを変更するスケーリング処理を、
前記補正処理として行うことを特徴とするプログラム。 - 反映元モデルのモーションを、前記反映元モデルとは骨格形状が異なる反映先モデルのモーションに反映させるリターゲット処理と、
前記リターゲット処理後の前記反映先モデルのモーションの補正処理と、
を行い、
前記補正処理において、
前記反映先モデルの第1基準関節位置と、前記反映先モデルの対象面への接触部位の関節位置である第1接触関節位置とを通る線が、前記反映元モデルの前記対象面への接触部位の関節位置である第2接触関節位置を通過するように、前記第1基準関節位置を回転中心として、前記反映先モデルの前記第1接触関節位置を含む関節位置群を回転移動させる回転処理と、
前記関節位置群に対応する骨群のスケールを変更するスケーリング処理と、
を行うことを特徴とする処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164169A JP7370198B2 (ja) | 2019-09-10 | 2019-09-10 | 処理システム、情報処理装置、プログラム及び処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164169A JP7370198B2 (ja) | 2019-09-10 | 2019-09-10 | 処理システム、情報処理装置、プログラム及び処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043611A true JP2021043611A (ja) | 2021-03-18 |
JP7370198B2 JP7370198B2 (ja) | 2023-10-27 |
Family
ID=74862955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019164169A Active JP7370198B2 (ja) | 2019-09-10 | 2019-09-10 | 処理システム、情報処理装置、プログラム及び処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7370198B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023079987A1 (ja) * | 2021-11-04 | 2023-05-11 | ソニーグループ株式会社 | 配信装置、配信方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09330424A (ja) * | 1996-06-07 | 1997-12-22 | Matsushita Electric Ind Co Ltd | 3次元骨格構造の動き変換装置 |
JP2002319035A (ja) * | 2001-04-19 | 2002-10-31 | Taito Corp | アニメーション生成方式 |
JP2011253308A (ja) * | 2010-06-01 | 2011-12-15 | Copcom Co Ltd | プログラム、当該プログラムを記録した記録媒体、および、当該プログラムを実行するコンピュータ |
JP2018028813A (ja) * | 2016-08-18 | 2018-02-22 | 株式会社カプコン | ゲームプログラムおよびゲームシステム |
-
2019
- 2019-09-10 JP JP2019164169A patent/JP7370198B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09330424A (ja) * | 1996-06-07 | 1997-12-22 | Matsushita Electric Ind Co Ltd | 3次元骨格構造の動き変換装置 |
JP2002319035A (ja) * | 2001-04-19 | 2002-10-31 | Taito Corp | アニメーション生成方式 |
JP2011253308A (ja) * | 2010-06-01 | 2011-12-15 | Copcom Co Ltd | プログラム、当該プログラムを記録した記録媒体、および、当該プログラムを実行するコンピュータ |
JP2018028813A (ja) * | 2016-08-18 | 2018-02-22 | 株式会社カプコン | ゲームプログラムおよびゲームシステム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023079987A1 (ja) * | 2021-11-04 | 2023-05-11 | ソニーグループ株式会社 | 配信装置、配信方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7370198B2 (ja) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170352188A1 (en) | Support Based 3D Navigation | |
JP4226639B1 (ja) | 画像処理装置、画像処理方法、ならびに、プログラム | |
JP6362634B2 (ja) | 画像生成システム、ゲーム装置及びプログラム | |
US9208613B2 (en) | Action modeling device, method, and program | |
JP2011258160A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
US20110305398A1 (en) | Image generation system, shape recognition method, and information storage medium | |
JP2011258159A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP7078596B2 (ja) | 画像生成プログラム、画像生成処理装置及び画像生成方法 | |
JP2017138915A (ja) | 画像生成システム及びプログラム | |
JP7370198B2 (ja) | 処理システム、情報処理装置、プログラム及び処理方法 | |
JP3748451B1 (ja) | プログラム、情報記憶媒体、及び画像生成システム | |
JP6732463B2 (ja) | 画像生成システム及びプログラム | |
JP3760341B2 (ja) | プログラム、記録媒体、画像生成装置及び画像生成方法 | |
JP6585866B1 (ja) | 位置データ処理装置およびプログラム | |
JP7104539B2 (ja) | シミュレーションシステム及びプログラム | |
JP2011095935A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP6503098B1 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP4786389B2 (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP6310516B2 (ja) | ゲームプログラム及びゲームシステム | |
JP7492199B2 (ja) | ゲーム装置及びプログラム | |
JP4229316B2 (ja) | 画像生成システム、プログラム及び情報記憶媒体 | |
JP6267295B1 (ja) | ゲームプログラムおよびゲームシステム | |
Garcia et al. | Modifying a game interface to take advantage of advanced I/O devices | |
JP6959682B1 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
JP5378027B2 (ja) | ゲームプログラム、記憶媒体およびコンピュータ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7370198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |