JP2021068330A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021068330A JP2021068330A JP2019194811A JP2019194811A JP2021068330A JP 2021068330 A JP2021068330 A JP 2021068330A JP 2019194811 A JP2019194811 A JP 2019194811A JP 2019194811 A JP2019194811 A JP 2019194811A JP 2021068330 A JP2021068330 A JP 2021068330A
- Authority
- JP
- Japan
- Prior art keywords
- information
- viewpoint
- virtual viewpoint
- image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 98
- 238000003672 processing method Methods 0.000 title claims 3
- 238000000034 method Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 35
- 230000004044 response Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
図1(a)は、画像処理システム10の構成例を示す図である。画像処理システム10は、複数の撮影装置による撮影に基づく複数の画像(複数視点画像)と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。すなわち、画像処理システム10は、静止画及び動画の何れについても処理可能である。以降の説明に於いては、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。
図1(b)は、情報処理装置103のハードウェア構成例を示す。なお、画像生成装置102のハードウェア構成も、以下で説明する情報処理装置103の構成と同様である。情報処理装置103は、CPU111、RAM112、ROM113、通信部114、操作部115、及び表示部116を有する。
図2(a)は、情報処理装置103の機能構成の例を示す。入力部204は、操作部115を介して、ユーザによる操作に応じた入力を受け付ける。入力部204が受け付ける入力は、例えば、仮想視点の位置及び向きの変更量を示すパラメータを含む。視点設定部201は、入力部204により受け付けられた入力に基づいて仮想視点の位置及び向きを設定する。送信部202は、視点設定部201により設定された仮想視点の位置及び向きを示す視点情報を、通信部114を介して画像生成装置102へ送信する。
図3(a)は、情報処理装置103による注目点を特定するための動作の例を示すフローチャートである。図3(a)に示す処理は、情報処理装置103のCPU111がROM113に格納されたプログラムをRAM112に展開して実行することで実現される。なお、図3(a)に示す処理の少なくとも一部を、CPU111とは異なる1又は複数の専用のハードウェアにより実現してもよい。後述する図6と図9に示すフローチャートの処理も同様である。図3(a)に示す処理は、画像生成装置102と情報処理装置103とが接続され、仮想視点画像の生成に係る仮想視点の指定を行うための指示が情報処理装置103に入力されたタイミングで開始される。ただし、図3(a)に示す処理の開始タイミングはこれに限定されない。なお、図3(a)の処理は、仮想視点画像の動画を構成するフレームごとに実行される。
次に、上述した処理により特定された注目点の使用例について説明する。以下に示す例において、情報処理装置103は、図3を用いて説明した方法により特定された注目点の情報と新たなユーザ操作に応じた入力とに基づいて、S307において表示される仮想視点画像とは視点が異なる別の仮想視点画像を表示する。
次に、視点情報から特定された注目点の使用方法の別の例について説明する。以下に示す例において、情報処理装置103は、仮想視点を示す視点情報とその仮想視点に応じた注目対象のオブジェクトの識別情報とを関連付けて記憶しておき、オブジェクトの指定に基づいて対応する視点情報の検索を行う。
以上では、画像処理システム10及びその処理の例をせつめいしたが、本発明は上述の実施形態に限られるものではなく、種々の変形が行われてもよい。また、上述の実施形態の一部を適宜組み合わせてもよい。
101 撮影システム
102 画像生成装置
103 情報処理装置
Claims (17)
- 所定のオブジェクトを注目対象とする仮想視点画像を生成するために指定された仮想視点の位置及び向きを示す視点情報を取得する第1取得手段と、
オブジェクトの位置を示すオブジェクト情報を取得する第2取得手段と、
前記第1取得手段により取得された視点情報と前記第2取得手段により取得されたオブジェクト情報とに基づいて、前記視点情報に応じた注目対象のオブジェクトを特定する特定手段と、
前記特定手段により特定されたオブジェクトに関する情報を出力する出力手段と、を有することを特徴とする情報処理装置。 - 前記視点情報に応じた注目対象のオブジェクトは、前記視点情報に基づいて生成される仮想視点画像の中心に位置するオブジェクトであることを特徴とする請求項1に記載の情報処理装置。
- 前記仮想視点画像は所定の再生期間の動画であり、
前記特定手段は、前記仮想視点画像における注目対象のオブジェクトが前記再生期間中に切り替わる場合には、切り替え前の注目対象のオブジェクト及び切り替え後の注目対象のオブジェクトを特定することを特徴とする請求項1又は2に記載の情報処理装置。 - 前記仮想視点画像は所定の再生期間の動画であり、
前記視点情報に応じた注目対象のオブジェクトは、前記再生期間の全体において前記仮想視点画像に含まれるオブジェクトであることを特徴とする請求項1に記載の情報処理装置。 - 前記特定手段は、前記視点情報が示す仮想視点の位置から当該仮想視点の向きに応じた方向に延びる直線と前記オブジェクト情報が示すオブジェクトの位置との位置関係に基づいて前記注目対象のオブジェクトを特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
- 前記仮想視点画像は、複数の撮影装置により撮影領域をそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて生成され、
前記第1取得手段により取得される視点情報は、前記撮影領域に関連付けられた3次元空間における仮想視点の位置及び向きを示し、
前記第2取得手段により取得されるオブジェクト情報は、前記3次元空間におけるオブジェクトの位置を示すことを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。 - 前記オブジェクトは前記撮影領域内の人物であることを特徴とする請求項6に記載の情報処理装置。
- 前記第1取得手段により取得される視点情報は、仮想視点の位置、向き、及び、仮想視点に対応する画角を示すことを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
- 前記出力手段は、前記特定手段により特定されたオブジェクトの識別情報と前記視点情報とを関連付けて記憶部に出力することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- オブジェクトを指定するための操作に応じた入力を受け付ける受け付け手段と、
前記記憶部に記憶された視点情報のうち前記操作により指定されたオブジェクトの識別情報に関連付けられた視点情報を、前記受け付け手段により受け付けられた入力に応じて前記記憶部から取得する第3取得手段と、を有することを特徴とする請求項9に記載の情報処理装置。 - 前記出力手段は、前記特定手段により特定されたオブジェクトの位置を示す情報を出力することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- 仮想視点を指定するための操作に応じた入力を受け付ける受け付け手段と、
前記受け付け手段により受け付けられた入力に基づいて決まる位置から前記出力手段により出力された情報が示すオブジェクトの位置に向けられた仮想視点の位置及び向きを示す視点情報を生成する生成手段と、を有することを特徴とする請求項11に記載の情報処理装置。 - 前記生成手段により生成された視点情報に基づく仮想視点画像を表示部に表示させる表示制御手段を有することを特徴とする請求項12に記載の情報処理装置。
- 所定のオブジェクトを注目対象とする仮想視点画像を生成するために指定された仮想視点の位置及び向きを示す視点情報を取得する第1取得工程と、
オブジェクトの位置を示すオブジェクト情報を取得する第2取得工程と、
前記第1取得工程において取得された視点情報と前記第2取得工程において取得されたオブジェクト情報とに基づいて、前記視点情報に応じた注目対象のオブジェクトを特定する特定工程と、
前記特定工程において特定されたオブジェクトに関する情報を出力する出力工程と、を有することを特徴とする情報処理方法。 - 前記出力工程は、前記特定工程において特定されたオブジェクトの識別情報と前記視点情報とを関連付けて記憶部に出力することを特徴とする請求項14に記載の情報処理方法。
- 前記出力手段は、前記特定手段により特定されたオブジェクトの位置を示す情報を出力し、
前記情報処理装置は、
仮想視点を指定するための操作に応じた入力を受け付ける受け付け手段と、
前記受け付け手段により受け付けられた入力に基づいて決まる位置から前記出力手段により出力された情報が示すオブジェクトの位置に向けられた仮想視点の位置及び向きを示す視点情報を生成する生成手段と、を有することを特徴とする請求項11に記載の情報処理装置。
法。 - コンピュータを、請求項1乃至13の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194811A JP7423251B2 (ja) | 2019-10-25 | 2019-10-25 | 情報処理装置、情報処理方法、及びプログラム |
US17/071,890 US11468258B2 (en) | 2019-10-25 | 2020-10-15 | Information processing apparatus, information processing method, and storage medium |
CN202011126622.0A CN112711327A (zh) | 2019-10-25 | 2020-10-20 | 信息处理装置、信息处理方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194811A JP7423251B2 (ja) | 2019-10-25 | 2019-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021068330A true JP2021068330A (ja) | 2021-04-30 |
JP7423251B2 JP7423251B2 (ja) | 2024-01-29 |
Family
ID=75542534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019194811A Active JP7423251B2 (ja) | 2019-10-25 | 2019-10-25 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11468258B2 (ja) |
JP (1) | JP7423251B2 (ja) |
CN (1) | CN112711327A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7418101B2 (ja) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN115908162B (zh) * | 2022-10-28 | 2023-07-04 | 中山职业技术学院 | 一种基于背景纹理识别的虚拟视点生成方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019101795A (ja) * | 2017-12-04 | 2019-06-24 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008232A (ja) * | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
US20170076428A1 (en) * | 2015-09-14 | 2017-03-16 | Canon Kabushiki Kaisha | Information processing apparatus |
JP6674247B2 (ja) * | 2015-12-14 | 2020-04-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
JP6482498B2 (ja) * | 2016-05-25 | 2019-03-13 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
JP6808357B2 (ja) * | 2016-05-25 | 2021-01-06 | キヤノン株式会社 | 情報処理装置、制御方法、及び、プログラム |
JP7086522B2 (ja) * | 2017-02-28 | 2022-06-20 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
WO2018225518A1 (ja) * | 2017-06-07 | 2018-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム |
JP7033865B2 (ja) * | 2017-08-10 | 2022-03-11 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP7030452B2 (ja) * | 2017-08-30 | 2022-03-07 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
JP7349793B2 (ja) * | 2019-02-15 | 2023-09-25 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
CN112102499A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 融合现实系统和方法 |
-
2019
- 2019-10-25 JP JP2019194811A patent/JP7423251B2/ja active Active
-
2020
- 2020-10-15 US US17/071,890 patent/US11468258B2/en active Active
- 2020-10-20 CN CN202011126622.0A patent/CN112711327A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019101795A (ja) * | 2017-12-04 | 2019-06-24 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112711327A (zh) | 2021-04-27 |
US20210124965A1 (en) | 2021-04-29 |
JP7423251B2 (ja) | 2024-01-29 |
US11468258B2 (en) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109889914B (zh) | 视频画面推送方法、装置、计算机设备及存储介质 | |
US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
JP5137970B2 (ja) | ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置 | |
JP2019079298A (ja) | 情報処理装置、表示制御方法、及び、プログラム | |
JP2015001760A (ja) | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2007133660A (ja) | 多視点映像合成装置及び多視点映像合成システム | |
JP2019125303A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7422468B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2020084951A1 (ja) | 画像処理装置および画像処理方法 | |
JP2021013095A (ja) | 画像処理装置、表示方法、及び、プログラム | |
JP7423251B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019106617A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP7207913B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2023057124A (ja) | 画像処理装置及び方法、プログラム | |
EP4333420A1 (en) | Information processing device, information processing method, and program | |
WO2021210403A1 (ja) | 画像処理装置、キャリブレーションボード、および、3dモデルデータ生成方法 | |
JP2022182836A (ja) | 映像処理装置及びその制御方法及びプログラム | |
CN113485547A (zh) | 一种应用于全息沙盘的交互方法及装置 | |
JP2022110751A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101263881B1 (ko) | 무인 방송 제어 시스템 | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
WO2024084943A1 (ja) | 情報処理装置、情報処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
TRDD | Decision of grant or rejection written | ||
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7423251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |