JP2015114716A5 - - Google Patents

Download PDF

Info

Publication number
JP2015114716A5
JP2015114716A5 JP2013254362A JP2013254362A JP2015114716A5 JP 2015114716 A5 JP2015114716 A5 JP 2015114716A5 JP 2013254362 A JP2013254362 A JP 2013254362A JP 2013254362 A JP2013254362 A JP 2013254362A JP 2015114716 A5 JP2015114716 A5 JP 2015114716A5
Authority
JP
Japan
Prior art keywords
viewpoint
image data
free
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013254362A
Other languages
Japanese (ja)
Other versions
JP6309749B2 (en
JP2015114716A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2013254362A priority Critical patent/JP6309749B2/en
Priority claimed from JP2013254362A external-priority patent/JP6309749B2/en
Publication of JP2015114716A publication Critical patent/JP2015114716A/en
Publication of JP2015114716A5 publication Critical patent/JP2015114716A5/ja
Application granted granted Critical
Publication of JP6309749B2 publication Critical patent/JP6309749B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (11)

少なくとも一つ以上の視点から撮影された視点画像データを入力し、該入力した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置であって、
視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データを含む自由視点メタデータと、
前記視点画像データとを含む、前記自由視点画像データを生成する画像データ生成部を具備することを特徴とする画像データ生成装置。 Image data generation that inputs viewpoint image data taken from at least one viewpoint and generates free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint using the input viewpoint image data A device,
A free viewpoint metadata including the rotation starting point data indicating a rotation center point of view when performing the free-viewpoint display by rotating the viewing point,
An image data generation apparatus comprising: an image data generation unit that generates the free viewpoint image data including the viewpoint image data. 前記自由視点メタデータは、前記視点画像データの撮影範囲に含まれる１つ以上のオブジェクトの各々に対応する前記回転起点データをそれぞれ含んでいることを特徴とする請求項１に記載の画像データ生成装置。2. The image data generation according to claim 1, wherein the free viewpoint metadata includes the rotation starting point data corresponding to each of one or more objects included in a shooting range of the viewpoint image data. apparatus. 前記自由視点メタデータは、前記自由視点表示を行う際の視点を移動させる範囲を制限する視点範囲データをさらに含むことを特徴とする請求項１または２に記載の画像データ生成装置。 The free viewpoint metadata, image data generating apparatus according to claim 1 or 2, further comprising a viewpoint range data to limit the scope for moving the viewpoint of making the free viewpoint display. 前記自由視点メタデータは、前記視点を移動させるときの移動量の単位を示す視点分解能データをさらに含むことを特徴とする請求項１〜３の何れか一項に記載の画像データ生成装置。The image data generation device according to claim 1, wherein the free viewpoint metadata further includes viewpoint resolution data indicating a unit of movement amount when the viewpoint is moved. 前記自由視点メタデータは、背景をモデル化して画像データとして作成した背景モデルデータ上における前記視点画像データの撮影範囲に含まれる１つ以上のオブジェクトの各々の配置位置を示す配置データ、前記オブジェクトの大きさを示すサイズデータ、および、前記オブジェクトを囲む矩形領域の法線により前記オブジェクトの向きを示す法線データをさらに含み、The free viewpoint metadata includes arrangement data indicating an arrangement position of each of one or more objects included in a shooting range of the viewpoint image data on background model data created as image data by modeling a background, Size data indicating the size, and normal data indicating the direction of the object by a normal of a rectangular area surrounding the object,
前記自由視点画像データは、前記背景モデルデータ、および、前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データをさらに含むことを特徴とする請求項１〜４の何れか一項に記載の画像データ生成装置。The free viewpoint image data further includes area image data for identifying the area of each object in the background model data and the viewpoint image data. The image data generation device described. 任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置において、
前記自由視点画像データは、視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データを含む自由視点メタデータと、少なくとも一つ以上の視点から撮影された視点画像データと、を含み、
前記自由視点表示を行う際の視点位置を、前記回転起点データに基づいて設定する視点設定部と、
前記自由視点画像データから、前記視点設定部が設定した視点位置からの画像を生成する自由視点画像生成部と、を具備することを特徴とする画像データ再生装置。 In an image data reproduction apparatus for reproducing free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint,
The free viewpoint image data, a free-viewpoint metadata including the rotation starting point data indicating a rotation center point of view when performing the free-viewpoint display by rotating the viewpoint, and the viewpoint image data photographed from at least one viewpoint Including,
Wherein the point of view of making the free-viewpoint display, and the rotary origin data to set view point setting unit based on,
An image data reproducing apparatus comprising: a free viewpoint image generation unit that generates an image from the viewpoint position set by the viewpoint setting unit from the free viewpoint image data . 前記視点設定部は、前記視点位置を移動させるとき、When the viewpoint setting unit moves the viewpoint position,
前記自由視点画像生成部が生成する前記画像からフレームアウトするオブジェクトが発生しないように前記視点位置の移動を制限するか、またはRestricting the movement of the viewpoint position so as not to generate an object out of frame from the image generated by the free viewpoint image generation unit, or
前記自由視点画像生成部が生成する前記画像内に特定のオブジェクトが入らないように前記視点位置の移動を制限することを特徴とする請求項６に記載の画像データ再生装置。The image data reproducing apparatus according to claim 6, wherein movement of the viewpoint position is limited so that a specific object does not enter the image generated by the free viewpoint image generation unit. 前記視点設定部は、前記視点位置を或るオブジェクトを中心に回転させるときに、前記自由視点画像生成部が生成する前記画像から当該或るオブジェクトがフレームアウトする場合には、前記視点位置の回転中心を他の位置に移動させることを特徴とする請求項６または７に記載の画像データ再生装置。The viewpoint setting unit rotates the viewpoint position when the certain object is out of frame from the image generated by the free viewpoint image generation unit when the viewpoint position is rotated around the object. 8. The image data reproducing apparatus according to claim 6, wherein the center is moved to another position. 少なくとも一つ以上の視点から撮影された視点画像データを入力し、該入力した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置と、
前記画像データ生成装置が生成した自由視点画像データを再生する画像データ再生装置とを備え、
前記画像データ生成装置は、視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データを含む自由視点メタデータと、前記視点画像データとを含む、前記自由視点画像データを生成し、
前記画像データ再生装置は、前記自由視点表示を行う際の視点位置を、前記回転起点データに基づいて設定する視点設定部と、前記自由視点画像データから、前記視点設定部が設定した視点位置からの画像を生成する自由視点画像生成部と、を具備することを特徴とする画像処理システム。 Image data generation that inputs viewpoint image data taken from at least one viewpoint and generates free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint using the input viewpoint image data Equipment,
An image data reproduction device for reproducing the free viewpoint image data generated by the image data generation device,
The image data generation device includes the free viewpoint image data including free viewpoint metadata including rotation starting point data indicating a rotation center of a viewpoint when rotating a viewpoint to perform free viewpoint display, and the viewpoint image data. Generate
The image data reproduction device includes: a viewpoint setting unit that sets a viewpoint position for performing the free viewpoint display based on the rotation starting point data; and the viewpoint position set by the viewpoint setting unit from the free viewpoint image data. An image processing system comprising: a free viewpoint image generation unit that generates the image of 少なくとも一つ以上の視点から撮影された視点画像データを入力し、該入力した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置としてコンピュータを機能させるための画像データ生成プログラムであって、視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データを含む自由視点メタデータと、前記視点画像データとを含む、前記自由視点画像データを生成する画像データ生成部としてコンピュータを機能させるための画像データ生成プログラム。Image data generation that inputs viewpoint image data taken from at least one viewpoint and generates free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint using the input viewpoint image data An image data generation program for causing a computer to function as an apparatus, comprising free viewpoint metadata including rotation starting point data indicating a rotation center of a viewpoint when rotating a viewpoint to perform free viewpoint display, and the viewpoint image data, An image data generation program for causing a computer to function as an image data generation unit that generates the free viewpoint image data. 任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置としてコンピュータを機能させるための画像データ再生プログラムであって、前記自由視点画像データは、視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データを含む自由視点メタデータと、少なくとも一つ以上の視点から撮影された視点画像データと、を含み、前記自由視点表示を行う際の視点位置を、前記回転起点データに基づいて設定する視点設定部、および、前記自由視点画像データから、前記視点設定部が設定した視点位置からの画像を生成する自由視点画像生成部としてコンピュータを機能させるための画像データ再生プログラム。An image data reproduction program for causing a computer to function as an image data reproduction apparatus that reproduces free viewpoint image data that enables reproduction of an image from an arbitrary viewpoint, wherein the free viewpoint image data is obtained by rotating a viewpoint. When performing free viewpoint display, including free viewpoint metadata including rotation starting point data indicating a rotation center of a viewpoint when performing free viewpoint display, and viewpoint image data captured from at least one viewpoint A computer functions as a viewpoint setting unit that sets a viewpoint position based on the rotation starting point data, and a free viewpoint image generation unit that generates an image from the viewpoint position set by the viewpoint setting unit from the free viewpoint image data Image data playback program for
JP2013254362A 2013-12-09 2013-12-09 Image data reproducing apparatus and image data generating apparatus Expired - Fee Related JP6309749B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013254362A JP6309749B2 (en) 2013-12-09 2013-12-09 Image data reproducing apparatus and image data generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013254362A JP6309749B2 (en) 2013-12-09 2013-12-09 Image data reproducing apparatus and image data generating apparatus

Publications (3)

Publication Number Publication Date
JP2015114716A JP2015114716A (en) 2015-06-22
JP2015114716A5 true JP2015114716A5 (en) 2017-05-25
JP6309749B2 JP6309749B2 (en) 2018-04-11

Family

ID=53528505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013254362A Expired - Fee Related JP6309749B2 (en) 2013-12-09 2013-12-09 Image data reproducing apparatus and image data generating apparatus

Country Status (1)

Country Link
JP (1) JP6309749B2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101762041B1 (en) * 2015-12-31 2017-08-04 서울과학기술대학교 산학협력단 Apparatus and method for generating a free viewpoint image
KR101794709B1 (en) * 2016-03-30 2017-11-08 한국과학기술연구원 Method for generating image at an arbitrary viewpointrandom point, recording medium and device for performing the method
JPWO2017195513A1 (en) * 2016-05-10 2019-03-14 ソニー株式会社 Information processing apparatus, information processing system, information processing method, and program
JP6618117B2 (en) * 2016-08-04 2019-12-11 Kddi株式会社 Billboard generating apparatus, method, and program for generating billboard of object
JP6918455B2 (en) * 2016-09-01 2021-08-11 キヤノン株式会社 Image processing equipment, image processing methods and programs
JP6407225B2 (en) 2016-09-30 2018-10-17 キヤノン株式会社 Image processing apparatus, image processing method, image processing system, and program
WO2018123611A1 (en) * 2016-12-28 2018-07-05 ソニー株式会社 Information processing device and method
JP7080586B2 (en) * 2017-04-04 2022-06-06 キヤノン株式会社 Information processing equipment, information processing methods and programs
JP7013139B2 (en) * 2017-04-04 2022-01-31 キヤノン株式会社 Image processing device, image generation method and program
JP7042561B2 (en) * 2017-06-02 2022-03-28 キヤノン株式会社 Information processing equipment, information processing method
JP6924079B2 (en) * 2017-06-12 2021-08-25 キヤノン株式会社 Information processing equipment and methods and programs
US11282265B2 (en) 2017-06-29 2022-03-22 Sony Corporation Image processing apparatus and image processing method for transmitting data of a 3D model
JP6921686B2 (en) * 2017-08-30 2021-08-18 キヤノン株式会社 Generator, generation method, and program
JP6513169B1 (en) * 2017-12-14 2019-05-15 キヤノン株式会社 System, method and program for generating virtual viewpoint image
CA3061699C (en) * 2017-12-14 2023-03-07 Canon Kabushiki Kaisha Generation device, generation method and non-transitory computer-readable meadium storing a program for generating a three-dimensional model from an image
JP6407460B1 (en) 2018-02-16 2018-10-17 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP7054351B2 (en) * 2018-02-23 2022-04-13 Kddi株式会社 System to play replay video of free viewpoint video
JP7165254B2 (en) * 2018-02-23 2022-11-02 Kddi株式会社 System and method for reproducing replay video of free-viewpoint video
JP7045218B2 (en) * 2018-02-28 2022-03-31 キヤノン株式会社 Information processing equipment and information processing methods, programs
EP3806458A4 (en) * 2018-06-01 2022-03-02 LG Electronics Inc. Method and device for transmitting and receiving metadata about plurality of viewpoints
JP7301507B2 (en) * 2018-08-08 2023-07-03 キヤノン株式会社 Information processing device, information processing method, and program
JP7245013B2 (en) 2018-09-06 2023-03-23 キヤノン株式会社 Control device and control method
JP2019021333A (en) * 2018-09-19 2019-02-07 キヤノン株式会社 Image processing device, image processing method and program
JP7068584B2 (en) * 2018-09-28 2022-05-17 日本電信電話株式会社 Information integration method, information integration device, and information integration program
JP6759375B2 (en) * 2019-01-30 2020-09-23 キヤノン株式会社 Systems, methods and programs that generate virtual viewpoint images
WO2022181175A1 (en) * 2021-02-25 2022-09-01 ソニーグループ株式会社 Information processing device, information processing method, program, and display system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057350A (en) * 1998-08-10 2000-02-25 Toshiba Corp Image processor, image processing method and image transmitting method
JP2001286671A (en) * 2001-03-05 2001-10-16 Namco Ltd Sports game device
JP5366258B2 (en) * 2010-02-17 2013-12-11 Ｋｄｄｉ株式会社 Virtual viewpoint image generation method and program based on geometric information in large space camera arrangement

Similar Documents

Publication Publication Date Title
JP2015114716A5 (en)
JP2015187797A5 (en)
JP6559316B2 (en) Method and apparatus for generating haptic feedback based on analysis of video content
JP6826029B2 (en) Methods, devices and computer programs for displaying images
JP2014220723A5 (en) Image display device, image display method, and program
JP2014089513A5 (en)
JP2013533537A5 (en)
JP2016524221A5 (en)
RU2016124468A (en) CONTROL DEVICE, METHOD OF MANAGEMENT AND COMPUTER PROGRAM
JP2016512363A5 (en)
JP2015035806A5 (en)
RU2014151357A (en) CONTROL DEVICE, IMAGE FORMING SYSTEM, MANAGEMENT METHOD AND RECORDING MEDIA
JP2015079447A5 (en)
JP2009116856A5 (en)
JP2016517580A (en) Content delivery segmentation
US11373329B2 (en) Method of generating 3-dimensional model data
JP2017130793A5 (en)
WO2020148109A1 (en) Audio processing
JP2019046055A5 (en)
JP2018082234A5 (en)
JP2013009106A5 (en) IMAGING DEVICE, IMAGING METHOD, PROGRAM, AND CONTROL DEVICE
JP7125983B2 (en) Systems and methods for creating and displaying interactive 3D representations of real objects
JP2015126389A5 (en)
JP2017069920A5 (en)
TW201724054A (en) System, method, and computer program product for simulated reality learning