JP2018180654A5 - Information processing apparatus, information processing method, and program - Google Patents

Information processing apparatus, information processing method, and program Download PDF

Info

Publication number
JP2018180654A5
JP2018180654A5 JP2017074829A JP2017074829A JP2018180654A5 JP 2018180654 A5 JP2018180654 A5 JP 2018180654A5 JP 2017074829 A JP2017074829 A JP 2017074829A JP 2017074829 A JP2017074829 A JP 2017074829A JP 2018180654 A5 JP2018180654 A5 JP 2018180654A5
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
virtual
information
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017074829A
Other languages
Japanese (ja)
Other versions
JP2018180654A (en
JP7080586B2 (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2017074829A priority Critical patent/JP7080586B2/en
Priority claimed from JP2017074829A external-priority patent/JP7080586B2/en
Publication of JP2018180654A publication Critical patent/JP2018180654A/en
Publication of JP2018180654A5 publication Critical patent/JP2018180654A5/en
Application granted granted Critical
Publication of JP7080586B2 publication Critical patent/JP7080586B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、撮影範囲をそれぞれ異なる位置から撮影する複数の撮影装置による撮影に基づくデータを取得するデータ取得手段と前記データ取得手段により取得されデータと仮想視点を示す視点情報とに基づいて生成される仮想視点画像が3次元空間における前記撮影範囲外の特定領域を含む場合に、前記特定領域に実在しない仮想オブジェクトが前記仮想視点画像内の前記特定領域に対応する位置に表示されるように、前記仮想オブジェクトの位置を決定する決定手段とを有する。 In order to solve the above problems, an information processing device according to the present invention has, for example, the following configuration. That is, a data acquisition means for acquiring data based on the plurality of by that shooting in image capturing apparatus for capturing an imaging range of different positions, based on the view point information indicating a virtual viewpoint and acquired data by said data acquisition means when the virtual viewpoint image generated have Dzu comprises a specific region outside the shooting range in three-dimensional space, the virtual object does not exist in the specific area is displayed in a position corresponding to the specific area in the virtual viewpoint image in so that, having a determination means for determining the position of the virtual object.

Claims (22)

撮影範囲をそれぞれ異なる位置から撮影する複数の撮影装置による撮影に基づくデータを取得するデータ取得手段と
前記データ取得手段により取得されデータと仮想視点を示す視点情報とに基づいて生成される仮想視点画像が3次元空間における前記撮影範囲外の特定領域を含む場合に、前記特定領域に実在しない仮想オブジェクトが前記仮想視点画像内の前記特定領域に対応する位置に表示されるように、前記仮想オブジェクトの位置を決定する決定手段とを有することを特徴とする情報処理装置。
A data acquisition means for acquiring data based on the plurality of by that shooting in image capturing apparatus for capturing an imaging range of different positions,
When the virtual viewpoint image generated based on the the viewpoint information indicating the virtual viewpoint and acquired data by the data acquisition means comprises a specific region outside the shooting range in three-dimensional space, it does not actually exist in the specific region as the virtual object is displayed at a position corresponding to the specific area in the virtual viewpoint image, the information processing apparatus characterized by having a determining means for determining a position of the virtual object.
前記特定領域は、前記複数の撮影装置により撮影される被写体が存在しない領域であることを特徴とする請求項1に記載の情報処理装置。 The specific region, the information processing apparatus according to claim 1, wherein the subject to be photographed by the plurality of imaging devices is a region that does not exist. 前記特定領域は、前記複数の撮影装置により撮影される被写体の内部領域、及び/又は前記被写体の面であって前記複数の撮影装置により撮影されない表領域であることを特徴とする請求項1に記載の情報処理装置。 The specific region is characterized by a plurality of imaging devices is an area of the table surface is not captured by the plurality of imaging devices to a front surface of the inner region, and / or the object of the subject to be photographed The information processing apparatus according to claim 1. 前記特定領域は、前記撮影範囲に隣接しない領域であることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 The specific region, the information processing apparatus according to any one of claims 1 to 3, characterized in that a region not adjacent to the shooting range. 前記複数の撮影装置の撮影に係るパラメータを取得するパラメータ取得手段を有し、
前記決定手段は、前記パラメータ取得手段により取得されるパラメータに基づいて前記撮影範囲を特定した結果に基づいて前記仮想オブジェクトの位置を決定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
A parameter acquisition unit for acquiring parameters relating to the photographing of the plurality of photographing devices ,
Said determining means any one of claims 1 to 4, characterized in that to determine the position of the virtual object based on the result of identifying the previous SL imaging range based on the parameters acquired by the parameter acquisition means The information processing device according to item.
前記決定手段は、前記仮想視点画像における前記仮想オブジェクトの位置を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。The information processing apparatus according to claim 1, wherein the determining unit determines a position of the virtual object in the virtual viewpoint image. 前記決定手段は、前記3次元空間内における前記仮想オブジェクトの位置を決定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。The information processing apparatus according to claim 1, wherein the determining unit determines a position of the virtual object in the three-dimensional space. 前記特定領域前記仮想視点に応じて変化しない領域であることを特徴とする請求項1乃至の何れか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 7 , wherein the specific area is an area that does not change according to the virtual viewpoint . 前記特定領域は、前記データ取得手段により取得されたデータと前記仮想視点とに基づいて決定されることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。8. The information processing apparatus according to claim 1, wherein the specific area is determined based on the data acquired by the data acquisition unit and the virtual viewpoint. 前記3次元空間における前記仮想オブジェクトの向き前記仮想視点に基づいて決定されることを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 9 orientation of the virtual object in the three-dimensional space characterized in that it is determined based on the virtual viewpoint. 前記仮想視点が移動している間は前記仮想オブジェクトの向きが変化せず、前記仮想視点の移動が停止した後に前記仮想オブジェクトの向きが変化するように、前記仮想オブジェクトの向き決定されることを特徴とする請求項10に記載の情報処理装置。 Wherein while the virtual viewpoint is moving without orientation change of the virtual object, the as the virtual object orientation after the movement of the virtual viewpoint is stopped changes, the fact that the orientation of the virtual object is determined The information processing apparatus according to claim 10 , wherein: 前記仮想オブジェクトの所定の面が3次元空間において地面に略水平または略垂直となるように前記仮想オブジェクトの向きが決定されることを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。The orientation of the virtual object is determined such that a predetermined surface of the virtual object is substantially horizontal or substantially vertical to the ground in a three-dimensional space. Information processing device. 前記特定領域は地中領域であるすることを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。 The specific area information processing apparatus according to any one of claims 1 to 12, characterized in that there in the ground area. 前記特定領域は、前記複数の撮影装置の撮影方向に応じた注視点から3次元空間における鉛直方向に離れた位置領域であることを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。 13. The specific region is a region at a position distant in a vertical direction in a three-dimensional space from a gazing point corresponding to a shooting direction of the plurality of shooting devices , and the specific region is any one of claims 1 to 12. Information processing equipment. 前記特定領域は、前記複数の撮影装置により撮影される被写体から3次元空間における鉛直方向に離れた位置領域であることを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。 The specific region, the information processing according to any one of claims 1 to 12, characterized in that by the plurality of imaging devices is a region of a position away in the vertical direction in three-dimensional space from a subject to be photographed apparatus. 前記仮想オブジェクトは、前記仮想視点画像に広告を表示させるためのオブジェクトであることを特徴とする請求項1乃至15の何れか1項に記載の情報処理装置。 Wherein the virtual object, the information processing apparatus according to any one of claims 1 to 15, characterized in that the object for displaying the advertisement on the virtual viewpoint image. 前記視点情報を取得する情報取得手段を有し、
前記決定手段により決定された位置に前記仮想オブジェクトが表示される前記仮想視点画像を、前記データ取得手段により取得されデータと前記情報取得手段により取得された前記視点情報とに基づいて生成する生成手段を有することを特徴とする請求項1乃至16の何れか1項に記載の情報処理装置。
An information acquisition unit for acquiring the viewpoint information,
Generating for generating on the basis of the virtual viewpoint image in which the virtual object to the position determined by said determining means is displayed on said data acquisition means the viewpoint obtained by the acquired data the information acquiring unit by the information the information processing apparatus according to any one of claims 1 to 16, characterized in that it has means.
前記視点情報を取得する情報取得手段を有し、
前記仮想オブジェクトが挿入されていない仮想視点画像を、前記データ取得手段により取得されデータと前記情報取得手段により取得された前記視点情報とに基づいて生成する生成手段と、
前記生成手段により生成された仮想視点画像と、前記決定手段により決定された位置を特定するための情報とを、前記仮想オブジェクトが挿入された仮想視点画像を生成する装置へ出力する出力手段とを有することを特徴とする請求項1乃至16の何れか1項に記載の情報処理装置。
An information acquisition unit for acquiring the viewpoint information,
Generating means for generating, based the virtual viewpoint image a virtual object is not inserted, the said viewpoint information acquired by the acquired data the information acquiring means by said data acquisition means,
Output means for outputting the virtual viewpoint image generated by the generating means and information for specifying the position determined by the determining means to a device for generating the virtual viewpoint image in which the virtual object is inserted ; The information processing apparatus according to any one of claims 1 to 16 , further comprising:
撮影範囲をそれぞれ異なる位置から撮影する複数の撮影装置による撮影に基づくデータを取得するデータ取得工程と
前記データ取得工程において取得されデータと仮想視点を示す視点情報とに基づいて生成される仮想視点画像が3次元空間における前記撮影範囲外の特定領域を含む場合に、前記特定領域に実在しない仮想オブジェクトが前記仮想視点画像内の前記特定領域に対応する位置に表示されるように、仮想オブジェクトの位置を決定する決定工程と、を有することを特徴とする情報処理方法。
A data acquisition step of acquiring data based on a plurality of I that shooting in image capturing apparatus for capturing an imaging range of different positions,
If the virtual viewpoint image generated based on the data acquired in the data acquisition step and the viewpoint information indicating the virtual viewpoint includes a specific area outside the shooting range in the three-dimensional space, the virtual area does not actually exist in the specific area. as the object is displayed at a position corresponding to the specific area in the virtual viewpoint image, the information processing method characterized by having, a determination step of determining a position of the virtual object.
前記特定領域は、前記複数の撮影装置により撮影される被写体が存在しない領域であることを特徴とする請求項16に記載の情報処理方法。 The information processing method according to claim 16, wherein the specific area is an area in which no subject imaged by the plurality of image capturing devices exists . 前記特定領域は、前記複数の撮影装置により撮影される被写体の内部領域、及び/又は前記被写体の面であって前記複数の撮影装置により撮影されない表領域であることを特徴とする請求項16に記載の情報処理方法。 The specific region is characterized by a plurality of imaging devices is an area of the table surface is not captured by the plurality of imaging devices to a front surface of the inner region, and / or the object of the subject to be photographed The information processing method according to claim 16. コンピュータを、請求項1乃至18の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each unit of the information processing apparatus according to any one of claims 1 to 18 .
JP2017074829A 2017-04-04 2017-04-04 Information processing equipment, information processing methods and programs Active JP7080586B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017074829A JP7080586B2 (en) 2017-04-04 2017-04-04 Information processing equipment, information processing methods and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017074829A JP7080586B2 (en) 2017-04-04 2017-04-04 Information processing equipment, information processing methods and programs

Publications (3)

Publication Number Publication Date
JP2018180654A JP2018180654A (en) 2018-11-15
JP2018180654A5 true JP2018180654A5 (en) 2020-05-14
JP7080586B2 JP7080586B2 (en) 2022-06-06

Family

ID=64276649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017074829A Active JP7080586B2 (en) 2017-04-04 2017-04-04 Information processing equipment, information processing methods and programs

Country Status (1)

Country Link
JP (1) JP7080586B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6833348B2 (en) * 2016-05-25 2021-02-24 キヤノン株式会社 Information processing device, image processing system, information processing device control method, virtual viewpoint image generation method, and program
JP7297439B2 (en) * 2018-12-19 2023-06-26 キヤノン株式会社 File generation device and file generation method, image generation device and image generation method, and program
JP7224894B2 (en) * 2018-12-20 2023-02-20 キヤノン株式会社 Information processing device, information processing method and program
JP7349793B2 (en) * 2019-02-15 2023-09-25 キヤノン株式会社 Image processing device, image processing method, and program
CN112146284B (en) * 2019-06-28 2022-03-04 青岛海尔智能技术研发有限公司 Control method and device for water heater system and water heater system
JP7385385B2 (en) 2019-07-19 2023-11-22 株式会社ソニー・インタラクティブエンタテインメント Image distribution system and image distribution method
JP7390265B2 (en) 2020-08-07 2023-12-01 Kddi株式会社 Virtual viewpoint video rendering device, method and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (en) 1999-04-16 2002-07-08 松下電器産業株式会社 Image processing device and monitoring system
GB2452508A (en) 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
JP5567942B2 (en) 2010-08-30 2014-08-06 Kddi株式会社 Free viewpoint video generation apparatus, method and program for displaying advertisement in free viewpoint video system
JP6309749B2 (en) 2013-12-09 2018-04-11 シャープ株式会社 Image data reproducing apparatus and image data generating apparatus

Similar Documents

Publication Publication Date Title
JP2018180654A5 (en) Information processing apparatus, information processing method, and program
JP2018180655A5 (en)
JP2018049591A5 (en) Image processing apparatus, image processing method, and program
JP2018142164A5 (en) Image processing apparatus, information processing method and program
JP2017212593A5 (en) INFORMATION PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM, CONTROL METHOD OF INFORMATION PROCESSING APPARATUS, GENERATION METHOD OF VIRTUAL VIEWPOINT IMAGE, AND PROGRAM
EP3136204A3 (en) Image processing device and image processing method
JP2018092580A5 (en) Image processing apparatus, image processing method, and program
JP2019016161A5 (en)
JP2018055644A5 (en) Image processing apparatus, image processing method, image processing system, and program
JP2015079444A5 (en)
JP2015090298A5 (en)
JP2015103104A5 (en)
JP2016116774A5 (en)
JP2019036790A5 (en)
JP2015079447A5 (en)
JP2020086983A5 (en)
JP2019040229A5 (en)
JP2016220198A5 (en)
JP2017191492A5 (en)
JP2015079433A5 (en)
JP2018113683A5 (en)
JP2018112790A5 (en)
JP2020036116A5 (en)
JP2010283529A5 (en)
JP2016217944A5 (en)