JP2020161995A - 立体画像伝送システム、立体画像送信装置及び立体画像表示装置 - Google Patents
立体画像伝送システム、立体画像送信装置及び立体画像表示装置 Download PDFInfo
- Publication number
- JP2020161995A JP2020161995A JP2019059710A JP2019059710A JP2020161995A JP 2020161995 A JP2020161995 A JP 2020161995A JP 2019059710 A JP2019059710 A JP 2019059710A JP 2019059710 A JP2019059710 A JP 2019059710A JP 2020161995 A JP2020161995 A JP 2020161995A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic image
- display device
- viewpoint
- stereoscopic
- viewing position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 131
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000006866 deterioration Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 14
- 230000007423 decrease Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
図1を参照し、本発明の原理について説明する。
図1(a)に示すように、一般的なディスプレイの表示画面90の正面に視聴者Wが位置し、視聴者Wが表示画面90の中央を向いている場合を考える。この場合、視聴者Wの視線方向と表示画面90の各位置とのなす角θは、視聴者Wの視聴位置と表示画面90の各位置との相対的な関係で定まる。つまり、表示画面90の中央では、なす角θCが大きくなる一方、表示画面90の右端では、なす角θRが小さくなる。
[立体画像伝送システムの全体構成]
図2を参照し、立体画像伝送システム1の全体構成について説明する。
図2に示すように、立体画像伝送システム1は、IP方式の要素画像群(立体画像群)を立体画像送信装置2から立体画像表示装置3に送信するものであり、立体画像送信装置2と、立体画像表示装置3とを備える。本実施形態では、立体画像送信装置2及び立体画像表示装置3が、インターネット等のネットワークで接続されていることとする。
図3を参照し、立体画像送信装置2の構成について説明する。
図3に示すように、立体画像送信装置2は、要素画像群記憶部21と、伝送レート制御部(制御部)22と、符号化部23とを備える。
その後、伝送レート制御部22は、ネットワークを介して、フレームレートが制御された要素画像群を符号化部23に出力する。
さらに、符号化部23は、圧縮されたストリームに階層構造をもたせる階層符号化方式を用いてもよい。
図3を参照し、立体画像表示装置3の構成について説明する。
図3に示すように、立体画像表示装置3は、視聴位置検出部(検出部)33と、復号部34と、表示部35とを備える。
図4〜図6を参照し、伝送レート制御部22によるフレームレートの制御を詳細に説明する。
なお、図4では、説明を簡易にするため、視点Sが水平方向のみに3つ(右視点SR、中央視点SC、左視点SL)であることとする。実際には、視点Sは、水平方向だけでなく、垂直方向にも存在しており、その数も3つに限定されない。
図4(b)は、視聴者Wの視聴位置と表示画面35aとの位置関係を表している。図4の例では、視聴者Wの視聴位置が表示画面35aの左側(左視点SL)であることとする。
以下、第1の制御手法について説明する。
図4(a)に示すように、伝送レート制御部22は、要素画像FRのフレームレートを中央視点SCに対応する要素画像FCのフレームレートより低くする。また、伝送レート制御部22は、中央視点SCに対応する要素画像FCのフレームレートを、左視点SLに対応する要素画像FLのフレームレートより低くする。つまり、左視点SLに対応する要素画像FLのフレームレートが最も高くなる。また、中央視点SCに対応する要素画像FCのフレームレートが2番目に高く、要素画像FLのフレームレートに対して1/2となる。また、右視点SRに対応する要素画像FRのフレームレートが最も低く、要素画像FLのフレームレートに対して1/4となる。
以下、第2の制御手法について説明する。
図6に示すように、伝送レート制御部22は、左視点SLに対応する要素画像FL以外の要素画像FC,FRのフレームレートを等しく低下させる。従って、中央視点SCに対応する要素画像FC及び右視点SRに対応する要素画像FRのフレームレートは、要素画像FLのフレームレートに対して1/4となる。
図7を参照し、立体画像伝送システム1の動作について説明する。
図7に示すように、ステップS1において、立体画像表示装置3の視聴位置検出部33は、視聴者Wの視聴位置を検出し、ネットワークを介して、検出した視聴位置を立体画像送信装置2に送信する。
ステップS4において、立体画像表示装置3の復号部34は、ネットワークを介して、立体画像送信装置2から要素画像群を受信し、受信した要素画像群を復号する。
ステップS5において、立体画像表示装置3の表示部35は、ステップS4で復号した要素画像群を表示画面35aに表示する。
以上のように、立体画像伝送システム1は、オブジェクト91の移動角速度ωが小さくなるとストロボ効果が低減することを利用し、視聴位置と表示画面35aとのなす角θが小さくなる視点Sに対応した要素画像のフレームレートを低下させる。このように、立体画像伝送システム1は、要素画像のフレームレートを低下させつつ、要素画像の品質劣化を抑制できるので、符号化処理の演算量や伝送帯域を低減し、データ量が膨大な要素画像を効率的に伝送することができる。
[立体画像伝送システムの構成]
図3を参照し、立体画像伝送システム1Bの構成について、第1実施形態と異なる点を説明する。
第1実施形態では視聴者Wが一人であることとして説明したが、第2実施形態では視聴者Wが複数である。このため、立体画像表示装置3Bは、複数の視聴者Wの視聴位置を検出する。
立体画像送信装置2Bは、要素画像群記憶部21と、伝送レート制御部(制御部)22Bと、符号化部23とを備える。
立体画像表示装置3Bは、視聴位置検出部(検出部)33Bと、復号部34と、表示部35Bとを備える。
視聴位置検出部33Bは、視聴者Wが複数の場合、視聴者W毎に視聴位置を検出するものである。そして、視聴位置検出部33Bは、ネットワークを介して、検出した各視聴者Wの視聴位置を立体画像送信装置2Bに送信する。なお、視聴位置の検出手法は、第1実施形態と同様のため、これ以上の説明を省略する。
表示部35Bは、画素単位で伝送レートが異なる要素画像を表示するものである。例えば、表示部35Bとしては、画素がLED(Light Emitting Diode)で構成されたLEDアレイがあげられる。
図8を参照し、伝送レート制御部22Bによる伝送レートの制御を詳細に説明する。
なお、図8では、説明を簡易にするため、視点Sが水平方向に3つ(右視点SR、中央視点SC、左視点SL)であることとする。
また、図8の例では、表示画面35aの左右にそれぞれ視聴者WL,WRが位置することとする。
以上のように、立体画像伝送システム1Bは、視聴者Wが複数の場合でも、第1実施形態と同様、要素画像の伝送レートを低下させつつ、要素画像の品質劣化を抑制することができる。これにより、立体画像伝送システム1Bは、符号化処理の演算量や伝送帯域を低減し、データ量が膨大な要素画像を効率的に伝送することができる。
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、立体画像表示装置が、フレームレートが異なる各視点の要素画像を同期して表示することとして説明したが、これに限定されない。例えば、立体画像表示装置は、フレームレートが低い視点の要素画像を時間方向で補間(内挿)してもよい。
2,2B 立体画像送信装置
21 要素画像群記憶部
22,22B 伝送レート制御部(制御部)
23 符号化部
3,3B 立体画像表示装置
31 要素レンズ
32 要素レンズ群
33,33B 視聴位置検出部(検出部)
34 復号部
35,35B 表示部
35a 表示画面
Claims (6)
- 各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムであって、
前記立体画像表示装置は、
前記立体画像送信装置から前記立体画像群を受信し、受信した前記立体画像群を復号する復号部と、
前記復号部が復号した立体画像群を表示画面に表示する表示部と、
視聴者の視聴位置を検出し、検出した前記視聴位置を前記立体画像送信装置に送信する検出部と、を備え、
前記立体画像送信装置は、
前記立体画像表示装置から前記視聴位置を受信し、受信した前記視聴位置と前記表示画面に予め設定された各視点位置とのなす角を算出し、算出した前記なす角が小さくなる視点に対応する立体画像の伝送レートを、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、
前記立体画像群を符号化し、符号化した前記立体画像群を前記立体画像表示装置に送信する符号化部と、を備えることを特徴とする立体画像伝送システム。 - 前記制御部は、予め設定された前記なす角と前記伝送レートとの対応関係に基づいて、前記立体画像群の伝送レートを制御することを特徴とする請求項1に記載の立体画像伝送システム。
- 前記立体画像群は、インテグラル方式の要素画像で構成される要素画像群であることを特徴とする請求項1又は請求項2の何れか一項に記載の立体画像伝送システム。
- 前記検出部は、前記視聴者が複数の場合、前記視聴者毎に前記視聴位置を検出し、
前記制御部は、前記視聴者毎に前記なす角を算出し、何れかの前記視聴者で前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより、前記なす角が小さくなる視点に対応する立体画像の伝送レートを低くすることを特徴とする請求項1から請求項3の何れか一項に記載の立体画像伝送システム。 - 各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムに用いられる前記立体画像送信装置であって、
前記立体画像表示装置から視聴者の視聴位置を受信し、受信した前記視聴位置と前記立体画像表示装置の表示画面に予め設定された各視点位置とのなす角を算出し、算出した前記なす角が小さくなる視点に対応する立体画像の伝送レートを、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、
前記立体画像群を符号化し、符号化した前記立体画像群を前記立体画像表示装置に送信する符号化部と、を備えることを特徴とする立体画像送信装置。 - 各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムに用いられる前記立体画像表示装置であって、
前記立体画像送信装置から前記立体画像群を受信し、受信した前記立体画像群を復号する復号部と、
前記復号部が復号した立体画像群を表示画面に表示する表示部と、
視聴者の視聴位置を検出し、検出した前記視聴位置を前記立体画像送信装置に送信する検出部と、を備え、
前記復号部は、受信する前記立体画像群において、前記視聴位置と前記表示画面に予め設定された各視点位置とのなす角が小さくなる視点に対応する立体画像の伝送レートが、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低いことを特徴とする立体画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059710A JP7300294B2 (ja) | 2019-03-27 | 2019-03-27 | 立体画像伝送システム、立体画像送信装置及び立体画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059710A JP7300294B2 (ja) | 2019-03-27 | 2019-03-27 | 立体画像伝送システム、立体画像送信装置及び立体画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020161995A true JP2020161995A (ja) | 2020-10-01 |
JP7300294B2 JP7300294B2 (ja) | 2023-06-29 |
Family
ID=72640022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019059710A Active JP7300294B2 (ja) | 2019-03-27 | 2019-03-27 | 立体画像伝送システム、立体画像送信装置及び立体画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7300294B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015104107A (ja) * | 2013-11-28 | 2015-06-04 | 日本放送協会 | Ip立体映像推定装置及びそのプログラム |
JP2016116162A (ja) * | 2014-12-17 | 2016-06-23 | 日立マクセル株式会社 | 映像表示装置、映像表示システム、及び映像表示方法 |
-
2019
- 2019-03-27 JP JP2019059710A patent/JP7300294B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015104107A (ja) * | 2013-11-28 | 2015-06-04 | 日本放送協会 | Ip立体映像推定装置及びそのプログラム |
JP2016116162A (ja) * | 2014-12-17 | 2016-06-23 | 日立マクセル株式会社 | 映像表示装置、映像表示システム、及び映像表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7300294B2 (ja) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11120837B2 (en) | System and method for use in playing back panorama video content | |
US9965026B2 (en) | Interactive video display method, device, and system | |
KR102218519B1 (ko) | 비디오 데이터의 콘텐츠 기반 스트림 분할 | |
KR101545008B1 (ko) | 3d 비디오 신호를 인코딩하기 위한 방법 및 시스템, 동봉된 3d 비디오 신호, 3d 비디오 신호용 디코더에 대한 방법 및 시스템 | |
EP2490179B1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
CN113170234B (zh) | 多向视频的自适应编码和流式传输方法、系统和存储介质 | |
US20110157315A1 (en) | Interpolation of three-dimensional video content | |
KR101824439B1 (ko) | 모바일 스테레오 카메라 장치 및 그 촬영방법 | |
US8487983B2 (en) | Viewing area adjusting device, video processing device, and viewing area adjusting method based on number of viewers | |
US11350080B2 (en) | Methods and apparatus for displaying images | |
EP2822281B1 (en) | Image display device and method for controlling same | |
US10979689B2 (en) | Adaptive stereo scaling format switch for 3D video encoding | |
KR20140000317A (ko) | 멀티-뷰 시스템에서 모노-비전을 제공하기 위한 방법 및 장치 | |
WO2011123174A1 (en) | Disparity value indications | |
US20220053222A1 (en) | Apparatus and method for generating an image data stream | |
US9106894B1 (en) | Detection of 3-D videos | |
US20130050444A1 (en) | Video processing apparatus and video processing method | |
JP2013051614A (ja) | 映像処理装置および映像処理方法 | |
JP7300294B2 (ja) | 立体画像伝送システム、立体画像送信装置及び立体画像表示装置 | |
JP4815004B2 (ja) | 多視点画像符号化装置 | |
US11877021B2 (en) | Transmitting device and receiving device | |
US11025804B2 (en) | Modular wedges for generating panoramic video | |
US20160103330A1 (en) | System and method for adjusting parallax in three-dimensional stereoscopic image representation | |
US20130307941A1 (en) | Video processing device and video processing method | |
KR101582131B1 (ko) | 3차원 실사 영상 구현 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7300294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |