JP2021057766A5 - Image display system, image processing device, and video distribution method - Google Patents

Image display system, image processing device, and video distribution method Download PDF

Info

Publication number
JP2021057766A5
JP2021057766A5 JP2019179437A JP2019179437A JP2021057766A5 JP 2021057766 A5 JP2021057766 A5 JP 2021057766A5 JP 2019179437 A JP2019179437 A JP 2019179437A JP 2019179437 A JP2019179437 A JP 2019179437A JP 2021057766 A5 JP2021057766 A5 JP 2021057766A5
Authority
JP
Japan
Prior art keywords
display
frame
processing
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019179437A
Other languages
Japanese (ja)
Other versions
JP2021057766A (en
JP7389602B2 (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2019179437A priority Critical patent/JP7389602B2/en
Priority claimed from JP2019179437A external-priority patent/JP7389602B2/en
Priority to US17/763,009 priority patent/US20220353555A1/en
Priority to PCT/JP2020/035832 priority patent/WO2021065629A1/en
Publication of JP2021057766A publication Critical patent/JP2021057766A/en
Publication of JP2021057766A5 publication Critical patent/JP2021057766A5/en
Application granted granted Critical
Publication of JP7389602B2 publication Critical patent/JP7389602B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (17)

動画像のデータを生成するサーバと、前記動画像のデータを受信して表示パネルに表示させるクライアント端末と、を含む画像表示システムであって、
前記サーバは、
前記動画像の各フレームを、前記クライアント端末で実現される表示形態に対応する形式とするのに必要な形成処理の一部を実施するデータ形成部と、
前記データ形成部において実施すべき処理の内容を、所定の規則で切り替える形成内容切り替え部と、
前記形成処理の一部が実施されたフレームのデータと、当該処理の内容に係る情報を送信する通信部と、を備え、
前記クライアント端末は、
前記処理の内容に係る情報に基づき決定した補正処理により、前記サーバから送信された１つのフレームから、複数の表示形態に対応する、互いに異なる形式の複数のフレームを生成する補正部と、
複数の前記表示パネルのそれぞれに、互いに異なる形式とされたフレームのデータを出力する表示制御部と、
を備えたことを特徴とする画像表示システム。 An image display system including a server that generates moving image data and a client terminal that receives the moving image data and displays it on a display panel,
The server is
a data formation unit that performs a part of formation processing necessary to format each frame of the moving image into a format corresponding to a display format realized by the client terminal;
a formation content switching unit for switching the content of processing to be performed in the data formation unit according to a predetermined rule;
a communication unit that transmits data of a frame on which a part of the forming process has been performed and information related to the content of the process;
The client terminal
a correcting unit that generates a plurality of frames of different formats corresponding to a plurality of display formats from one frame transmitted from the server, by correcting processing determined based on information related to the content of the processing;
a display control unit that outputs frame data in different formats to each of the plurality of display panels ;
An image display system comprising: 前記形成内容切り替え部は、前記表示形態および前記補正部の処理性能の少なくともいずれかに基づき、前記実施すべき処理の内容を決定することを特徴とする請求項１に記載の画像表示システム。 2. The image display system according to claim 1 , wherein the formation content switching unit determines the content of the processing to be performed based on at least one of the display mode and the processing performance of the correction unit. 前記形成内容切り替え部は、前記動画像の特徴および、前記クライアント端末との通信状況の少なくともいずれかに基づき、前記実施すべき処理の内容を決定することを特徴とする請求項１に記載の画像表示システム。 2. The image according to claim 1 , wherein the formation content switching unit determines the content of the processing to be performed based on at least one of characteristics of the moving image and communication status with the client terminal. display system. 前記表示形態は、ヘッドマウントディスプレイに表示させた画像を、接眼レンズを介して視認させる形態を含み、
前記形成内容切り替え部は、前記接眼レンズによる歪みを解消するための逆の歪みを前記フレームに与える処理を実施するか否かを切り替えることを特徴とする請求項１から３のいずれかに記載の画像表示システム。 The display form includes a form in which an image displayed on a head-mounted display is viewed through an eyepiece,
4. The method according to any one of claims 1 to 3 , wherein the formation content switching unit switches whether or not to perform a process of imparting an opposite distortion to the frame in order to eliminate the distortion caused by the eyepiece lens. Image display system. 前記表示形態は、ヘッドマウントディスプレイに左目用および右目用の画像を表示させる形態を含み、
前記形成内容切り替え部は、前記フレームから前記左目用および右目用の画像を生成するか否かを切り替えることを特徴とする請求項１から３のいずれかに記載の画像表示システム。 The display mode includes a mode in which left-eye and right-eye images are displayed on the head-mounted display,
4. The image display system according to any one of claims 1 to 3 , wherein the formation content switching unit switches whether to generate the images for the left eye and the images for the right eye from the frame. 前記補正部は、前記フレームを、ヘッドマウントディスプレイに対応する第１の形式および、平板型ディスプレイに対応する第２の形式とし、
前記表示制御部は、前記第１、第２の形式のフレームのデータを、ヘッドマウントディスプレイおよび平板型ディスプレイにそれぞれ出力することを特徴とする請求項１から５のいずれかに記載の画像表示システム。 The correction unit sets the frame to a first format compatible with a head-mounted display and a second format compatible with a flat panel display,
6. The image display system according to any one of claims 1 to 5 , wherein the display control section outputs the frame data of the first and second formats to a head-mounted display and a flat-panel display, respectively. . 前記補正部は、補正処理の時点における前記ヘッドマウントディスプレイの位置および姿勢に基づき、対応する視野となるように、前記サーバから送信されたフレームを補正することを特徴とする請求項６に記載の画像表示システム。 7. The correcting unit corrects the frame transmitted from the server so as to have a corresponding field of view based on the position and orientation of the head mounted display at the time of correction processing. Image display system. 前記補正部は、補正に必要な画素の変位量および変位方向を表す変位ベクトルを画素ごとに表した変位ベクトルマップを、前記位置および姿勢に基づき生成したうえ、前記サーバから送信されたフレームを画素ごとに補正することを特徴とする請求項７に記載の画像表示システム。 The correction unit generates a displacement vector map representing, for each pixel, a displacement vector representing a displacement amount and a displacement direction of a pixel required for correction, based on the position and orientation, and converts the frame transmitted from the server to a pixel displacement vector map. 8. The image display system according to claim 7 , wherein the correction is performed every time. 前記補正部は、前記ヘッドマウントディスプレイの接眼レンズに対応する歪みを与えるための前記変位ベクトルに、前記位置および姿勢に対応する視野とするための前記変位ベクトルを合成することにより、前記変位ベクトルマップを生成することを特徴とする請求項８に記載の画像表示システム。 The correction unit synthesizes the displacement vector for providing a distortion corresponding to an eyepiece lens of the head-mounted display with the displacement vector for providing a field of view corresponding to the position and orientation, thereby obtaining the displacement vector map. 9. The image display system according to claim 8 , wherein the image display system generates 前記補正部は、前記サーバから送信されたフレームを、第１の表示形態に対応する形式とする第１の補正部と、前記第１の表示形態に対応する形式とされたフレームを、第２の表示形態に対応する形式とする第２の補正部と、を含み、
前記表示制御部は、前記第１の補正部からのフレームのデータを前記第１の表示形態を実現する表示装置の表示パネルに出力する第１の表示制御部と、前記第２の補正部からのフレームのデータを前記第２の表示形態を実現する表示装置の表示パネルに出力する第２の表示制御部と、を含むことを特徴とする請求項１から９のいずれかに記載の画像表示システム。 The correcting unit converts the frame transmitted from the server into a format corresponding to a first display form, and converts the frame in a format corresponding to the first display form into a second display form. and a second correction unit having a format corresponding to the display format of
The display control unit includes a first display control unit that outputs frame data from the first correction unit to a display panel of a display device that realizes the first display mode; 10. The image display according to any one of claims 1 to 9 , further comprising: a second display control unit for outputting the data of the frame to a display panel of a display device realizing the second display mode. system. 前記第１の補正部は、前記サーバから送信されたフレームに、ヘッドマウントディスプレイが備えるカメラによる撮影画像を合成したうえ、当該ヘッドマウントディスプレイに対応する形式とし、
前記第２の補正部は、前記撮影画像が合成されたフレームを、平板型ディスプレイに対応する形式とすることを特徴とする請求項１０に記載の画像表示システム。 The first correction unit synthesizes an image captured by a camera included in a head-mounted display with the frame transmitted from the server, and converts the image into a format compatible with the head-mounted display,
11. The image display system according to claim 10 , wherein the second correction unit formats the frame in which the photographed images are combined into a format compatible with a flat panel display. 前記通信部は、異なる表示形態を実現する複数の前記クライアント端末に前記フレームのデータと前記処理の内容に係る情報を送信し、
複数の前記クライアント端末における前記補正部は、前記サーバから送信されたフレームのデータに対し、互いに異なる補正処理を実施することを特徴とする請求項１から５のいずれかに記載の画像表示システム。 The communication unit transmits the data of the frame and information related to the content of the processing to a plurality of the client terminals realizing different display formats,
6. The image display system according to any one of claims 1 to 5 , wherein the correction units in the plurality of client terminals perform different correction processes on the frame data transmitted from the server. 前記データ形成部、前記通信部、および前記補正部は、１フレームより小さい部分画像単位で各処理を実施し、
前記表示制御部は、当該部分画像のデータを順次、前記表示パネルに出力することを特徴とする請求項１から１２のいずれかに記載の画像表示システム。 The data formation unit, the communication unit, and the correction unit perform each process in units of partial images smaller than one frame,
13. The image display system according to any one of claims 1 to 12 , wherein the display control unit sequentially outputs the data of the partial images to the display panel. 前記形成内容切り替え部はさらに、パノラマ画像のデータを送信対象とするか否かを切り替え、
前記パノラマ画像が送信されたとき、前記補正部は、複数の前記表示パネルのそれぞれに対応する複数の視点のフレームのデータを、当該パノラマ画像を用いて生成することを特徴とする請求項１から１３のいずれかに記載の画像表示システム。 The formation content switching unit further switches whether or not to send panoramic image data,
2. When the panorama image is transmitted, the correction unit uses the panorama image to generate frame data of a plurality of viewpoints corresponding to each of the plurality of display panels. 14. The image display system according to any one of 13 . サーバから取得した動画像を表示パネルに表示させる画像処理装置であって、
前記表示パネルにより実現される表示形態に対応する形式とするのに必要な形成処理の一部が施されたフレームのデータと、当該処理の内容に係る情報とを前記サーバから受信する受信部と、
前記処理の内容に係る情報に基づき決定した補正処理により、前記サーバから送信された１つのフレームから、複数の表示形態に対応する、互いに異なる形式の複数のフレームを生成する補正部と、
複数の前記表示パネルのそれぞれに、互いに異なる形式とされたフレームのデータを出力する表示制御部と、
を備えたことを特徴とする画像処理装置。 An image processing device for displaying a moving image acquired from a server on a display panel,
a receiving unit for receiving, from the server, frame data on which part of the forming process necessary for forming a format corresponding to the display form realized by the display panel is performed, and information related to the content of the process; ,
a correcting unit that generates a plurality of frames of different formats corresponding to a plurality of display formats from one frame transmitted from the server, by correcting processing determined based on information related to the content of the processing;
a display control unit that outputs frame data in different formats to each of the plurality of display panels ;
An image processing device comprising: 動画像のデータを生成するサーバが、
動画像の各フレームを、クライアント端末で実現される表示形態に対応する形式とするのに必要な形成処理の一部として実施すべき処理の内容を、所定の規則で切り替えるステップと、
前記実施すべき処理を実施するステップと、
前記形成処理の一部が実施されたフレームのデータと、当該処理の内容に係る情報とを前記クライアント端末に送信するステップと、
前記クライアント端末が、
前記フレームのデータと、前記処理の内容に係る情報とを受信するステップと、
前記処理の内容に係る情報に基づき決定した補正処理により、前記サーバから送信された１つのフレームから、複数の表示形態に対応する、互いに異なる形式の複数のフレームを生成するステップと、
複数の表示パネルのそれぞれに、互いに異なる形式とされたフレームのデータを出力するステップと、
を含むことを特徴とする動画配信方法。 A server that generates video data
a step of switching, according to a predetermined rule, the content of the processing to be performed as part of the formation processing necessary to format each frame of the moving image into a format corresponding to the display format realized by the client terminal;
performing the processing to be performed;
a step of transmitting, to the client terminal, data of a frame on which part of the formation processing has been performed and information related to the content of the processing;
The client terminal
a step of receiving data of the frame and information relating to the content of the processing;
a step of generating a plurality of frames of different formats corresponding to a plurality of display modes from one frame transmitted from the server, by correction processing determined based on information related to the content of the processing;
outputting differently formatted frames of data to each of a plurality of display panels;
A video distribution method comprising: サーバから取得した動画像を表示パネルに表示させるコンピュータに、
前記表示パネルにより実現される表示形態に対応する形式とするのに必要な形成処理の一部が施されたフレームのデータと、当該処理の内容に係る情報とを前記サーバから受信する機能と、
前記処理の内容に係る情報に基づき決定した補正処理により、前記サーバから送信された１つのフレームから、複数の表示形態に対応する、互いに異なる形式の複数のフレームを生成する機能と、
複数の前記表示パネルのそれぞれに、互いに異なる形式とされたフレームのデータを出力する機能と、
を実現させることを特徴とするコンピュータプログラム。 The computer that displays the moving image obtained from the server on the display panel,
a function of receiving, from the server, frame data on which part of the formation processing necessary for forming a format corresponding to the display form realized by the display panel has been performed, and information related to the content of the processing;
A function of generating a plurality of frames of different formats corresponding to a plurality of display modes from one frame transmitted from the server by correction processing determined based on information related to the content of the processing;
a function of outputting frame data in different formats to each of the plurality of display panels;
A computer program characterized by realizing
JP2019179437A 2019-09-30 2019-09-30 Image display system, image processing device, and video distribution method Active JP7389602B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019179437A JP7389602B2 (en) 2019-09-30 2019-09-30 Image display system, image processing device, and video distribution method
US17/763,009 US20220353555A1 (en) 2019-09-30 2020-09-23 Image display system, moving image distribution server, image processing apparatus, and moving image distribution method
PCT/JP2020/035832 WO2021065629A1 (en) 2019-09-30 2020-09-23 Image display system, video distribution server, image processing device, and video distribution method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019179437A JP7389602B2 (en) 2019-09-30 2019-09-30 Image display system, image processing device, and video distribution method

Publications (3)

Publication Number Publication Date
JP2021057766A JP2021057766A (en) 2021-04-08
JP2021057766A5 true JP2021057766A5 (en) 2022-10-03
JP7389602B2 JP7389602B2 (en) 2023-11-30

Family

ID=75271200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019179437A Active JP7389602B2 (en) 2019-09-30 2019-09-30 Image display system, image processing device, and video distribution method

Country Status (3)

Country Link
US (1) US20220353555A1 (en)
JP (1) JP7389602B2 (en)
WO (1) WO2021065629A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572721B2 (en) * 2010-08-09 2020-02-25 Nike, Inc. Monitoring fitness using a mobile device
US10974142B1 (en) * 2019-10-01 2021-04-13 Sony Interactive Entertainment Inc. Synchronization and offset of VSYNC between cloud gaming server and client
US20220046237A1 (en) * 2020-08-07 2022-02-10 Tencent America LLC Methods of parameter set selection in cloud gaming system
KR20230162059A (en) 2021-03-30 2023-11-28 도요보 가부시키가이샤 Polyester and its manufacturing method
CN115883853B (en) * 2021-09-26 2024-04-05 腾讯科技（深圳）有限公司 Video frame playing method, device, equipment and storage medium
CN115209181B (en) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 Video synthesis method based on surrounding view angle, controller and storage medium
WO2024004134A1 (en) * 2022-06-30 2024-01-04 株式会社ソニー・インタラクティブエンタテインメント Image transmission device and image transmission method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229352A (en) 2004-02-13 2005-08-25 Canon Inc Image quality adjustment device and display system
JP2007074512A (en) * 2005-09-08 2007-03-22 Sony Corp Device and method for outputting signal
TWI343020B (en) 2006-05-12 2011-06-01 Nvidia Corp Antialiasing using multiple display heads of a graphics processor
EP3029940B1 (en) 2014-12-04 2017-03-15 Axis AB Method and device for post processing of a video stream

Similar Documents

Publication Publication Date Title
JP2021057766A5 (en) Image display system, image processing device, and video distribution method
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
US8581967B2 (en) Three-dimensional (3D) display method and system
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
US20130141550A1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
JP4827783B2 (en) Image display device
US20100194902A1 (en) Method for high dynamic range imaging
JP2008085446A (en) Image generator and image generation method
JP2008083786A (en) Image creation apparatus and image creation method
CN108259883B (en) Image processing method, head-mounted display, and readable storage medium
CN100594737C (en) 3D image display method and system
EP2472859A1 (en) Image processing method and device
US9766458B2 (en) Image generating system, image generating method, and information storage medium
US20130321596A1 (en) Method and system for reducing stereoscopic display crosstalk
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
CN102160388A (en) Three-dimensional display device and method as well as program
TWI788739B (en) 3D display device, 3D image display method
WO2018069570A1 (en) Display of visual data with a virtual reality headset
JP2013033172A (en) Stereoscopic display device
CN112752085A (en) Naked eye 3D video playing system and method based on human eye tracking
CN112995638A (en) Naked eye 3D acquisition and display system and method capable of automatically adjusting parallax
CN111147883A (en) Live broadcast method and device, head-mounted display equipment and readable storage medium
JP2019083504A (en) Hardware system for inputting stereoscopic image in flat panel
US20130050183A1 (en) System and Method of Rendering Stereoscopic Images
TW201733351A (en) Three-dimensional auto-focusing method and the system thereof