JP2017182615A - 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 - Google Patents
3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 Download PDFInfo
- Publication number
- JP2017182615A JP2017182615A JP2016071649A JP2016071649A JP2017182615A JP 2017182615 A JP2017182615 A JP 2017182615A JP 2016071649 A JP2016071649 A JP 2016071649A JP 2016071649 A JP2016071649 A JP 2016071649A JP 2017182615 A JP2017182615 A JP 2017182615A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- posture
- moving image
- image data
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000036544 posture Effects 0.000 claims description 174
- 210000000988 bone and bone Anatomy 0.000 claims description 18
- 238000000605 extraction Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 26
- 210000001503 joint Anatomy 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 210000004394 hip joint Anatomy 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 210000003857 wrist joint Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 210000001226 toe joint Anatomy 0.000 description 2
- 241000699800 Cricetinae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011833 dog model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明に係る3次元動画データ生成装置1は、複数の関節を有する動体を撮像した一連のフレームを含む2次元動画データを取得する2次元動画データ取得部21と、一連のフレームのそれぞれから、動体の輪郭を抽出する輪郭抽出部22と、輪郭に対応した1又は2以上の3次元姿勢データを一連のフレームのそれぞれについて生成する3次元姿勢データ生成部23と、生成された3次元姿勢データのそれぞれについて、それぞれの3次元姿勢データに対応する3次元モデルの姿勢が適切であるか否かを判定する姿勢判定部24と、一連のフレームのそれぞれに対応付けて、適切であると判定された3次元姿勢データを連続して配置することによって、一連の3次元姿勢データを含む3次元動画データを生成する3次元動画データ生成部25とを有する。
【選択図】図1
Description
図1は、実施形態に係る3次元動画データ生成装置により実行される3次元動画データ生成処理を概略的に示す図である。
図2は、実施形態に係る3次元動画データ生成装置のブロック図である。
図3は、3次元動画データ生成装置1による3次元動画データ生成処理のフローチャートである。図3に示す3次元動画データ生成処理は、予め記憶部11に記憶されているプログラムに基づいて、主に処理部20により、3次元動画データ生成装置1の各要素と協働して実行される。
3次元動画データ生成装置1は、2次元動画のフレームに含まれる動体の輪郭から生成した3次元モデルの姿勢から適切な姿勢を選択することで、フレームに含まれる動体の姿勢の候補の数を低減することで、3次元動画データを生成する生成コストを抑制する。
3次元動画データ生成装置1は、図5に示す人物の3次元モデルを使用して3次元動画データを生成したが、実施形態に係る3次元動画データ生成装置は、人物以外の複数の関節を有する動体の3次元モデルを使用して3次元動画データを生成してもよい。例えば、実施形態に係る3次元動画データ生成装置は、犬、猫及びハムスターの3次元モデルを使用して3次元動画データを生成してもよい。
10 通信部
11 記憶部
12 入力部
13 出力部
20 処理部
21 2次元動画データ取得部
22 輪郭抽出部
23 3次元姿勢データ生成部
24 姿勢判定部
25 3次元動画データ生成部
26 3次元動画データ出力部
31 関節角推定部
32 関節角判定部
33 第1姿勢決定部
34 フレーム配列部
35 関節位置推定部
36 関節位置判定部
37 第2姿勢決定部
Claims (6)
- 複数の関節を有する動体を撮像した一連のフレームを含む2次元動画データを取得する2次元動画データ取得部と、
前記一連のフレームのそれぞれから、前記動体の輪郭を抽出する輪郭抽出部と、
前記輪郭に対応した1又は2以上の3次元姿勢データを前記一連のフレームのそれぞれについて生成する3次元姿勢データ生成部と、
生成された3次元姿勢データのそれぞれについて、それぞれの3次元姿勢データに対応する3次元モデルの姿勢が適切であるか否かを判定する姿勢判定部と、
前記一連のフレームのそれぞれに対応付けて、適切であると判定された3次元姿勢データを連続して配置することによって、一連の3次元姿勢データを含む3次元動画データを生成する3次元動画データ生成部と、
前記3次元動画データを出力する出力部と、
を有することを特徴とする3次元動画データ生成装置。 - 前記姿勢判定部は、
前記1つ又は2つ以上の3次元モデルの姿勢のそれぞれについて、前記関節で接合された一対の骨の間の角度を推定する関節角推定部と、
推定された前記一対の骨の間の角度が所定の適正範囲内であるか否かを判定する関節角判定部と、
検出された前記一対の骨の間の角度が何れも前記適正範囲内であると判定されたときに、前記3次元モデルの姿勢が適切であることを決定する第1決定処理を実行する第1姿勢決定部と、
を有する、請求項1に記載の3次元動画データ生成装置。 - 前記姿勢判定部は、
前記第1決定処理において姿勢が適切であると判定された3次元モデルを時系列順に配列するフレーム配列部と、
時系列順に配列された3次元モデルの関節の位置を推定する関節位置推定部と、
それぞれの関節について、現在の3次元モデルの関節と、次の時間の3次元モデルの関節との間の位置関係が適切であるか否かを判定する関節位置判定部と、
前記関節の間の位置関係が適切であると判定されたときに、前記3次元モデルの姿勢が適切であることを決定する第2決定処理を実行する第2姿勢決定部と、
を更に有する、請求項2に記載の3次元動画データ生成装置。 - 前記3次元姿勢データ生成部は、対応するフレームに含まれる前記動体が撮像された角度から見たときの前記3次元モデルの輪郭と、対応するフレームに含まれる前記動体の輪郭との差が所定のしきい値以下になるように、前記3次元モデルの姿勢を生成する、請求項1〜3の何れか一項に記載の3次元動画データ生成装置。
- 複数の関節を有する動体を撮像した一連のフレームを含む2次元動画データを取得し、
前記一連のフレームのそれぞれから、前記動体の輪郭を抽出し、
前記輪郭に対応した1又は2以上の3次元姿勢データを前記一連のフレームのそれぞれについて生成し、
生成された3次元姿勢データのそれぞれについて、それぞれの3次元姿勢データに対応する3次元モデルの姿勢が適切であるか否かを判定し、
前記一連のフレームのそれぞれに対応付けて、適切であると判定された3次元姿勢データを連続して配置することによって、一連の3次元姿勢データを含む3次元動画データを生成し、
前記3次元動画データを出力する、
ことを含むことを特徴とする3次元動画データ生成方法。 - 複数の関節を有する動体を撮像した一連のフレームを含む2次元動画データを取得し、
前記一連のフレームのそれぞれから、前記動体の輪郭を抽出し、
前記輪郭に対応した1又は2以上の3次元姿勢データを前記一連のフレームのそれぞれについて生成し、
生成された3次元姿勢データのそれぞれについて、それぞれの3次元姿勢データに対応する3次元モデルの姿勢が適切であるか否かを判定し、
前記一連のフレームのそれぞれに対応付けて、適切であると判定された3次元姿勢データを連続して配置することによって、一連の3次元姿勢データを含む3次元動画データを生成し、
前記3次元動画データを出力する、
ことをコンピュータに実行させること特徴とする3次元動画データ生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071649A JP6635848B2 (ja) | 2016-03-31 | 2016-03-31 | 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 |
PCT/JP2017/013047 WO2017170761A1 (ja) | 2016-03-31 | 2017-03-29 | 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071649A JP6635848B2 (ja) | 2016-03-31 | 2016-03-31 | 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182615A true JP2017182615A (ja) | 2017-10-05 |
JP6635848B2 JP6635848B2 (ja) | 2020-01-29 |
Family
ID=59964666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016071649A Active JP6635848B2 (ja) | 2016-03-31 | 2016-03-31 | 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6635848B2 (ja) |
WO (1) | WO2017170761A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022074886A1 (ja) * | 2020-10-05 | 2022-04-14 | 株式会社島津製作所 | 姿勢検出装置、姿勢検出方法および寝相判定方法 |
JP7405010B2 (ja) | 2020-06-16 | 2023-12-26 | コニカミノルタ株式会社 | 診断支援システム、診断支援装置及びプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111447504B (zh) | 2020-03-27 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
CN117978937B (zh) * | 2024-03-28 | 2024-06-25 | 之江实验室 | 一种视频生成的方法、装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012046392A1 (ja) * | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
JP2013120556A (ja) * | 2011-12-08 | 2013-06-17 | Kddi Corp | 被写体姿勢推定装置および映像描画装置 |
-
2016
- 2016-03-31 JP JP2016071649A patent/JP6635848B2/ja active Active
-
2017
- 2017-03-29 WO PCT/JP2017/013047 patent/WO2017170761A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012046392A1 (ja) * | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
JP2013120556A (ja) * | 2011-12-08 | 2013-06-17 | Kddi Corp | 被写体姿勢推定装置および映像描画装置 |
Non-Patent Citations (1)
Title |
---|
岡田隆三,近藤伸宏: "Cell Broadband Engineを用いたマーカレスモーションキャプチャ", 東芝レビュー, vol. 第62巻第6号, JPN6019030895, June 2007 (2007-06-01), JP, pages 48 - 51, ISSN: 0004092871 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7405010B2 (ja) | 2020-06-16 | 2023-12-26 | コニカミノルタ株式会社 | 診断支援システム、診断支援装置及びプログラム |
WO2022074886A1 (ja) * | 2020-10-05 | 2022-04-14 | 株式会社島津製作所 | 姿勢検出装置、姿勢検出方法および寝相判定方法 |
JP7468684B2 (ja) | 2020-10-05 | 2024-04-16 | 株式会社島津製作所 | 姿勢検出装置、姿勢検出方法および寝相判定方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017170761A1 (ja) | 2017-10-05 |
JP6635848B2 (ja) | 2020-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5211069B2 (ja) | ラベル付けを用いた人体姿勢の推定および追跡 | |
JP5931215B2 (ja) | 姿勢を推定する方法及び装置 | |
KR101902702B1 (ko) | 치축 추정 프로그램, 치축 추정 장치 및 그 방법, 및 치형 데이터 생성 프로그램, 치형 데이터 생성 장치 및 그 방법 | |
US9058663B2 (en) | Modeling human-human interactions for monocular 3D pose estimation | |
Schwarz et al. | Estimating human 3d pose from time-of-flight images based on geodesic distances and optical flow | |
Ballan et al. | Marker-less motion capture of skinned models in a four camera set-up using optical flow and silhouettes | |
Hu et al. | 3D Pose tracking of walker users' lower limb with a structured-light camera on a moving platform | |
EP3382648A1 (en) | Three-dimensional model generating system, three-dimensional model generating method, and program | |
WO2017170761A1 (ja) | 3次元動画データ生成装置、3次元動画データ生成プログラム、及びその方法 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP2014522058A (ja) | 三次元オブジェクトのモデリング、フィッティング、およびトラッキング | |
CN102609683A (zh) | 一种基于单目视频的人体关节自动标注方法 | |
KR20110113152A (ko) | 마커가 없는 인물의 모션 캡쳐를 제공하는 장치, 방법 및 컴퓨터 기록 매체 | |
JPWO2018087933A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2020135747A (ja) | 行動分析装置および行動分析方法 | |
CN114926530A (zh) | 用于生成三维姿态估计数据的计算机实现的方法、数据处理装置和计算机程序 | |
JP7171745B2 (ja) | 推定装置、学習装置、推定方法、学習方法及びプログラム | |
JP2010113530A (ja) | 画像認識装置及びプログラム | |
CN110910426A (zh) | 动作过程和动作趋势识别方法、存储介质和电子装置 | |
JP2023527627A (ja) | 逆運動学に基づいた関節の回転の推測 | |
Saroja et al. | Human pose estimation approaches for human activity recognition | |
JPWO2020026677A1 (ja) | 検出装置、処理装置、検出方法、及び処理プログラム | |
WO2022143390A1 (en) | System and method for 3d try-on based on human pose and body shape estimation | |
JP2020140283A (ja) | 情報処理装置、情報処理方法、および、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180622 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6635848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |