JP2020173628A - 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム - Google Patents
情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム Download PDFInfo
- Publication number
- JP2020173628A JP2020173628A JP2019075361A JP2019075361A JP2020173628A JP 2020173628 A JP2020173628 A JP 2020173628A JP 2019075361 A JP2019075361 A JP 2019075361A JP 2019075361 A JP2019075361 A JP 2019075361A JP 2020173628 A JP2020173628 A JP 2020173628A
- Authority
- JP
- Japan
- Prior art keywords
- specific object
- information
- position information
- shape data
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 36
- 238000000034 method Methods 0.000 title claims description 26
- 230000010365 information processing Effects 0.000 claims description 13
- 230000005672 electromagnetic field Effects 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 12
- 238000009795 derivation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000011410 subtraction method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
図1は、本実施形態における、仮想視点映像を生成する画像処理システムの構成の一例を示す図である。なお、仮想視点映像とは、エンドユーザ及び/又は選任のオペレータ等が自由に仮想視点(現実には存在しない仮想カメラ)の位置及び姿勢を操作することによって生成される映像であり、自由視点映像や任意視点映像などとも呼ばれる。また、本実施形態では動画を想定しているが、静止画であってもよい。図1に示す画像処理システムは、画像処理装置100、カメラ群110、アンテナ120、仮想視点映像生成装置130を有する。
図2は、画像処理装置100のハードウェア構成の一例を示す図である。画像処理装置100は、一般的な情報処理装置が有している構成、具体的には、CPU201、メインメモリ202、HDD203、入力部204、表示部205、外部I/F206を備え、各部がバス207を介して接続されている。まず、CPU201は、画像処理装置100を統括的に制御する演算処理装置であり、HDD203等に格納された各種プログラムを実行して、後述する様々な画像処理を行う。メインメモリ202は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、CPU201に作業領域を提供する。HDD203は、各種プログラムや入力された映像データなどを記憶する不揮発性の大容量記憶装置であり、例えばSSD等でもよい。入力部204は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、様々なユーザ入力を受け付ける。表示部205は、液晶パネルなどで構成され、UI画面の表示などを行う。外部I/F部206は、カメラ群110を構成する各カメラ及び仮想視点映像装置130とネットワーク(ここではLAN208)を介して、複数視点映像データや3次元モデルといった各種データの送受信を行う通信インタフェースである。バス207は上述の各部を接続し、データ転送を行う。
次に、前述の図1を参照して、画像処理装置100のソフトウェア構成について説明する。図1において、画像処理装置100を示す枠内には、4つの機能部、すなわち、シルエット画像生成部101、位置情報取得部102、3次元形状導出部103及び形状データ取得部104が示されている。以下、各部について説明する。
本実施形態における3次元モデルの生成方法について説明する前に、アンテナ120が取得する器具オブジェクト位置情報について、ラグビーの試合を撮影シーンとした場合を例に説明する。図3(a)はラグビーを行う実世界空間のフィールド300を俯瞰で見た図であり、フィールド300の周囲には、仮想視点映像の元となる複数視点映像を撮影するための複数のカメラ301が配置されている。複数のカメラ301がそれぞれ異なる方向から同期して撮影を行うことで複数視点映像が得られる。なお、図3(a)ではカメラ台数は4台であるが、スタジアムのような実環境ではより多くのカメラが配置される。また、フィールド300の脇には、器具オブジェクトとしてのコーナーフラッグ303a〜303dの位置情報を取得するためのアンテナ120が設置されている。図4は、このアンテナ120とその周辺を真上から見た図であり、アンテナ120は、ハーフウェイライン305の延長線上の位置400に配置されている。図3(b)に示す拡大図は、ゴールライン306とタッチライン307との交点に設置されたコーナーフラッグ303aの底に、位置情報取得用のRFタグ304が埋め込まれている様子を示している。他のコーナーフラッグ303b〜303dにも同様にRFタグが埋め込まれている。また、各RFタグ303a〜303dにはIDが付与されており、それぞれのRFタグを識別できるようになっている。なお、RFタグは、RFIDタグ、ICタグ、非接触タグ、電子タグなどとも呼ばれる。
続いて、本実施形態に係る、画像処理装置100における処理について、図5のフローチャートを参照しつつ説明する。このフローチャートに示す各処理は、HDD203に格納された制御プログラムがメインメモリ202に読み出され、CPU201がこれを実行することによって実現される。なお、以下の説明において「S」はステップを意味する。
X1=D1・cosθ1 ・・・式(1)
Y1=D1・simθ1 ・・・式(2)
X3=X2−X1 ・・・式(3)
Y3=Y1−Y2 ・・・式(4)
なお、本実施形態では、アンテナの数が1つの場合を例に説明を行ったが、例えば、図7(a)に示すように、フィールドを囲むように複数のアンテナを配置してもよい。また、バスケットボールのような屋内競技を対象に撮影を行う場合であれば、図7(b)に示すように、体育館の床下に複数のアンテナをアレイ上に配置してもよい。複数のアンテナを用いることで、器具オブジェクトの位置情報を高精度に取得することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 シルエット画像生成部
102 位置情報取得部
103 3次元形状導出部
104 形状データ取得部
Claims (14)
- 仮想視点映像を生成する映像生成装置に、オブジェクトの3次元形状を表す3次元形状データを出力する情報処理装置であって、
特定のオブジェクトに付された位置情報通知手段から、当該特定のオブジェクトの位置情報を取得する取得手段と、
前記位置情報に基づき、前記特定のオブジェクトの3次元形状データを3次元空間における前記特定のオブジェクトの位置を特定する情報と対応付けて、前記映像生成装置に出力する出力手段と、
を備えたことを特徴とする情報処理装置。 - 複数の視点で撮影された動画像のフレームからシルエット画像を生成する生成手段をさらに備え、
前記出力手段は、前記生成手段で生成された前記シルエット画像から前景オブジェクトの3次元形状を導出し、前記前景オブジェクトの3次元形状を表す3次元形状データを、前記映像生成装置に出力する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記位置情報通知手段は、RFタグであり、
前記取得手段は、前記RFタグが発する電波を受信するアンテナが当該電波を受信したときの電磁界強度から得られる、前記アンテナから前記RFタグまでの距離と、前記アンテナからみた前記RFタグが存在する方向の情報を、前記位置情報として取得する、
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記アンテナの数は複数であり、
前記取得手段は、前記複数のアンテナそれぞれが前記電波を受信したときの電磁界強度から得られる、複数の位置情報を取得し、
前記出力手段は、前記複数の位置情報に基づいて導出された、前記特定のオブジェクトの前記3次元空間における位置を特定する情報と対応付けて、前記特定のオブジェクトの3次元形状データを出力する、
ことを特徴とする請求項3に記載の情報処理装置。 - 前記特定のオブジェクトに付される前記RFタグの数は複数であり、
前記出力手段は、前記複数のRFタグから得られた複数の位置情報に基づいて導出された、前記特定のオブジェクトの前記3次元空間における位置を特定する情報と対応付けて、前記特定のオブジェクトの3次元形状データを出力する、
ことを特徴とする請求項3に記載の情報処理装置。 - 前記特定のオブジェクトをユーザが選択するためのUI画面を表示する表示手段をさらに備えたことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 請求項1乃至6のいずれか1項に記載の情報処理装置から出力された3次元形状データを用いて、仮想視点映像を生成する映像生成装置。
- 複数の視点で撮影された画像のフレームに存在する特定のオブジェクトの3次元形状を表す3次元形状データを、3次元空間におけるその位置を示す情報と共に外部装置から取得する取得手段と、
前記取得手段が取得した前記特定のオブジェクトの3次元形状データを用いて、仮想視点映像を生成する生成手段と、
を備えたことを特徴とする映像生成装置。 - 前記特定のオブジェクトには位置情報通知手段が付されており、
前記外部装置は、前記位置情報通知手段から前記特定のオブジェクトの位置情報を取得し、当該取得した位置情報に基づき、前記特定のオブジェクトの3次元形状データを3次元空間におけるその位置を特定する情報と対応付けて、前記映像生成装置に出力する、
ことを特徴とする請求項8に記載の映像生成装置。 - 仮想視点映像を生成する画像処理システムであって、
特定のオブジェクトの3次元形状データと、当該特定のオブジェクトに付された位置情報通知手段から通知された当該特定のオブジェクトの位置情報とを取得する取得手段と、
前記取得手段が取得した前記特定のオブジェクトの3次元形状データと前記位置情報とに基づいて、仮想視点映像を生成する生成手段と、
を備えたことを特徴とする画像処理システム。 - 仮想視点映像を生成する映像生成装置に、オブジェクトの3次元形状を表す3次元形状データを出力する情報処理装置の制御方法であって、
特定のオブジェクトに付された位置情報通知手段から、当該特定のオブジェクトの位置情報を取得する取得ステップと、
取得した前記位置情報に基づき、前記特定のオブジェクトの3次元形状データを3次元空間における前記特定のオブジェクトの位置を特定する情報と対応付けて、前記映像生成装置に出力する出力ステップと、
を含むことを特徴とする制御方法。 - 複数の視点で撮影された動画像のフレームに存在する特定のオブジェクトの3次元形状を表す3次元形状データを、3次元空間におけるその位置を示す情報と共に外部装置から取得する取得ステップと、
前記取得ステップにて取得した前記特定のオブジェクトの3次元形状データを用いて、仮想視点映像を生成する生成ステップと、
を含むことを特徴とする映像生成方法。 - 仮想視点映像を生成する画像処理システムの制御方法であって、
特定のオブジェクトの3次元形状データと、当該特定のオブジェクトに付された位置情報通知手段から通知された当該特定のオブジェクトの位置情報とを取得する取得ステップと、
前記取得ステップにて取得した前記特定のオブジェクトの3次元形状データと前記位置情報とに基づいて、仮想視点映像を生成する生成ステップと、
を含むことを特徴とする制御方法。 - コンピュータを、請求項1乃至6のいずれか1項に記載の情報処理装置として、又は、請求項7乃至9のいずれか1項に記載の映像生成装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075361A JP7403967B2 (ja) | 2019-04-11 | 2019-04-11 | 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム |
US16/840,618 US11665332B2 (en) | 2019-04-11 | 2020-04-06 | Information processing apparatus, control method thereof and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075361A JP7403967B2 (ja) | 2019-04-11 | 2019-04-11 | 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020173628A true JP2020173628A (ja) | 2020-10-22 |
JP2020173628A5 JP2020173628A5 (ja) | 2022-04-19 |
JP7403967B2 JP7403967B2 (ja) | 2023-12-25 |
Family
ID=72747481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075361A Active JP7403967B2 (ja) | 2019-04-11 | 2019-04-11 | 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11665332B2 (ja) |
JP (1) | JP7403967B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176103A1 (ja) * | 2022-03-16 | 2023-09-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230175842A1 (en) * | 2021-12-02 | 2023-06-08 | International Business Machines Corporation | Radio frequency identification based three-dimensional metrology |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140361909A1 (en) * | 2013-06-06 | 2014-12-11 | Zih Corp. | Systems and methods for activity determination based on human frame |
WO2019039282A1 (ja) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7929017B2 (en) * | 2004-07-28 | 2011-04-19 | Sri International | Method and apparatus for stereo, multi-camera tracking and RF and video track fusion |
JP4884918B2 (ja) | 2006-10-23 | 2012-02-29 | 株式会社野村総合研究所 | 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム |
US20150116501A1 (en) * | 2013-10-30 | 2015-04-30 | Sony Network Entertainment International Llc | System and method for tracking objects |
US10321117B2 (en) * | 2014-04-11 | 2019-06-11 | Lucasfilm Entertainment Company Ltd. | Motion-controlled body capture and reconstruction |
US9498678B2 (en) * | 2014-07-11 | 2016-11-22 | ProSports Technologies, LLC | Ball tracker camera |
WO2017220148A1 (en) * | 2016-06-23 | 2017-12-28 | Keonn Technologies, S.L. | System for taking inventory and estimating the position of objects |
CN109862949B (zh) * | 2016-08-23 | 2022-01-04 | 沛勒尔维珍公司 | 用于评估篮球投射表现的系统 |
JP2018067106A (ja) | 2016-10-18 | 2018-04-26 | 富士通株式会社 | 画像処理装置、画像処理プログラム、及び画像処理方法 |
US10102657B2 (en) * | 2017-03-09 | 2018-10-16 | Houzz, Inc. | Generating enhanced images using dimensional data |
US10584968B2 (en) * | 2017-09-06 | 2020-03-10 | Motorola Mobility Llc | Visual mapping of geo-located tagged objects |
EP3742336A1 (en) * | 2018-01-10 | 2020-11-25 | Trax Technology Solutions Pte Ltd. | Automatically monitoring retail products based on captured images |
-
2019
- 2019-04-11 JP JP2019075361A patent/JP7403967B2/ja active Active
-
2020
- 2020-04-06 US US16/840,618 patent/US11665332B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140361909A1 (en) * | 2013-06-06 | 2014-12-11 | Zih Corp. | Systems and methods for activity determination based on human frame |
WO2019039282A1 (ja) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023176103A1 (ja) * | 2022-03-16 | 2023-09-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7403967B2 (ja) | 2023-12-25 |
US20200329228A1 (en) | 2020-10-15 |
US11665332B2 (en) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6659187B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8970586B2 (en) | Building controllable clairvoyance device in virtual world | |
US11665332B2 (en) | Information processing apparatus, control method thereof and storage medium | |
JP2020008972A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20140090022A (ko) | 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치 | |
KR102382247B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
US20240071016A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
US20180158171A1 (en) | Display apparatus and controlling method thereof | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
JP6555755B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2023033975A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
US11195322B2 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
EP4224429A1 (en) | Systems and methods for visually indicating stale content in environment model | |
CN116863107A (zh) | 增强现实提供方法、装置以及非暂时性计算机可读介质 | |
KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 | |
JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6859763B2 (ja) | プログラム、情報処理装置 | |
EP4261788A1 (en) | Image processing apparatus, image processing method, and program | |
JP7500333B2 (ja) | 生成装置、生成方法、およびプログラム | |
JP2015121892A (ja) | 画像処理装置、画像処理方法 | |
JP7418107B2 (ja) | 形状推定装置、形状推定方法及びプログラム | |
US20190394442A1 (en) | Image generation apparatus, image generation method, and storage medium | |
JP2022131197A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7403967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |