JP2011077710A - 映像コミュニケーションシステム、及び映像コミュニケーション方法 - Google Patents
映像コミュニケーションシステム、及び映像コミュニケーション方法 Download PDFInfo
- Publication number
- JP2011077710A JP2011077710A JP2009225373A JP2009225373A JP2011077710A JP 2011077710 A JP2011077710 A JP 2011077710A JP 2009225373 A JP2009225373 A JP 2009225373A JP 2009225373 A JP2009225373 A JP 2009225373A JP 2011077710 A JP2011077710 A JP 2011077710A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- video
- person
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像取得部10は、ユーザBの2次元映像を撮影する。距離情報取得部11は、ディスプレイ面とユーザB間の距離を取得する。3次元画像生成部12は、ユーザBの2次元画像とディスプレイ面とユーザBの距離とに基づいて、ユーザBの2次元画像を、奥行き情報を持つ、ユーザBの3次元画像情報に変換する。視点位置検出部13では、ユーザの視点がどこにあるかを示すユーザの視点位置を取得する。映像生成部14では、ユーザAの視点位置と、奥行き情報を持つ、ユーザBの3次元画像情報とから、ユーザAのディスプレイ面に表示する映像を生成する。映像表示部15は、映像生成部14により生成された、ユーザAの視点位置に応じた、ユーザBの2次元画像を表示する。
【選択図】図2
Description
本件発明は、映像コミュニケーションにおいて、映像の奥行き表現技術に関するものである。より具体的には、本発明の映像コミュニケーション装置は、撮像側と表示側とを有し、撮像側から人物と背景とに分けた多層映像を表示側へ送り、表示側では表示側にいる人物の眼の位置に応じて多層映像の重なり具合を変化させた(あたかも窓(=ディスプレイ)を通して該人物と該背景とが表示側の人物の目の位置から見た位置関係となるように人物の層と背景の層とを移動させた)合成画像を生成し、該変化によって生じた運動視差によって高臨場感を得るものである。
本実施形態では、カメラから撮影された2次元映像から、人物と背景を分離し、多層化して奥行きを持つ3次元映像を生成し、ユーザの視点位置に応じて、ディスプレイ面に投影して表示する方法について説明する。
a)複数カメラを用いた顔認識、及びステレオマッチングを用いた画像処理技術
b)光学式、または磁気式のモーショントラッキング技術、
また、映像コミュニケーションにおいて人物がカメラ映像の中央にいることを前提条件とし、
c)カメラのオートフォーカス機能によるフォーカス距離情報取得
などの手法を用いて、ディスプレイ面とユーザB間の距離を取得する。このとき、「ディスプレイ面とユーザB間の距離」は、ディスプレイ面からユーザBへの法線の長さである。距離を取得する手法は、上記手法だけに限らず、他の手法であってもよい。
画像取得部10は、ユーザBの2次元映像(画像)を撮影し、3次元画像生成部12に供給する。距離情報取得部11は、ディスプレイ面とユーザB間の距離を取得し、3次元画像生成部12に供給する。3次元画像生成部12は、画像取得部10によって撮影された、ユーザBの2次元画像と、距離情報取得部11によって取得された、ディスプレイ面とユーザBの距離とに基づいて、「ユーザBの2次元画像」を、奥行き情報を持つ「ユーザBの3次元画像情報」に変換して映像生成部14に供給する。
11 距離情報取得部
12 3次元画像生成部
13 視点位置検出部
14 映像生成部
15 映像表示部
Claims (6)
- 少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーションシステムであって、
前記撮像側の映像伝送装置は、
前記撮像側の人物と、その背景とを含む2次元画像を取得する画像取得手段と、
前記撮像側の人物と前記撮像側に設けられた表示手段との間の距離情報を取得する距離情報取得手段と、
前記画像取得手段により取得された前記2次元画像と、前記距離情報取得手段により取得された前記距離情報とに基づいて、前記撮像側の人物画像とその背景画像とからなる多層画像に分割した3次元画像を生成する3次元画像生成手段と
を備え、
前記表示側の映像伝送装置は、
前記表示側の人物の視点位置を検出する視点位置検出手段と、
前記視点位置検出手段により検出された前記表示側の人物の視点位置と、前記3次元画像生成手段により生成された前記3次元画像とに基づいて、前記表示側の人物の視点位置に応じた、前記撮像側の2次元画像を生成する映像生成手段と、
前記映像生成手段により生成された前記撮像側の2次元画像を表示する映像表示手段と
を備えることを特徴とする映像コミュニケーションシステム。 - 前記3次元画像生成手段は、
前記距離情報取得手段により取得された前記距離情報に基づいて、前記画像取得手段により取得された前記2次元画像を、前記撮像側の人物画像とその背景画像とからなる多層画像に分割する分割手段と、
前記分割手段により分割された前記撮像側の背景画像を補完する補完手段と、
前記分割手段により分割された前記撮像側の人物画像と、前記補完手段により補完された前記撮像側の背景画像とに対し、実寸の大きさを算出して、実寸情報として取得する実寸取得手段と、
前記距離情報取得手段により取得された前記距離情報と前記実寸取得手段により取得された前記実寸情報とを、奥行き情報として、前記分割手段により分割された前記撮像側の人物画像と、前記補完手段により補完された前記撮像側の背景画像とのそれぞれに付与し、前記撮像側の3次元画像として生成する付与手段と
を備えることを特徴とする請求項1記載の映像コミュニケーションシステム。 - 前記映像生成手段は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換することで、前記表示側の人物の視点位置に応じた、前記撮像側の2次元画像を生成することを特徴とする請求項2記載の映像コミュニケーションシステム。 - 前記映像生成手段は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換する際に、前記映像表示手段の表示面に対して、最前面となる画像のみを投影することを特徴とする請求項3記載の映像コミュニケーションシステム。 - 前記映像生成手段は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置を基点に、前記奥行き情報が付与された前記撮像側の人物画像と前記撮像側の背景画像とを、前記映像表示手段の表示面上に射影変換する際に、前記映像表示手段の表示面に対して全画像を投影し、少なくともある画像に対して前面となる画像に透過性を持たせることを特徴とする請求項3記載の映像コミュニケーションシステム。 - 少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーション方法であって、
前記撮像側の映像伝送装置は、
画像取得手段により、前記撮像側の人物と、その背景とを含む2次元画像を取得するステップと、
距離情報取得手段により、前記撮像側の人物と前記撮像側に設けられた表示手段との間の距離情報を取得するステップと、
3次元画像生成手段により、前記取得された2次元画像と、前記取得された距離情報とに基づいて、前記撮像側の人物画像とその背景画像とからなる多層画像に分割した3次元画像を生成するステップと
を含み、
前記表示側の映像伝送装置は、
視点位置検出手段により、前記表示側の人物の視点位置を検出するステップと、
映像生成手段により、前記表示側の人物の視点位置と、前記3次元画像とに基づいて、前記表示側の人物の視点位置に応じた、前記撮像側の2次元画像を生成するステップと、
映像表示手段により、前記撮像側の2次元画像を表示するステップと
を含むことを特徴とする映像コミュニケーション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009225373A JP5237234B2 (ja) | 2009-09-29 | 2009-09-29 | 映像コミュニケーションシステム、及び映像コミュニケーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009225373A JP5237234B2 (ja) | 2009-09-29 | 2009-09-29 | 映像コミュニケーションシステム、及び映像コミュニケーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011077710A true JP2011077710A (ja) | 2011-04-14 |
JP5237234B2 JP5237234B2 (ja) | 2013-07-17 |
Family
ID=44021242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009225373A Active JP5237234B2 (ja) | 2009-09-29 | 2009-09-29 | 映像コミュニケーションシステム、及び映像コミュニケーション方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5237234B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244433A (ja) * | 2011-05-19 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像提示装置 |
JP2014071871A (ja) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014072880A (ja) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014086774A (ja) * | 2012-10-19 | 2014-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014086775A (ja) * | 2012-10-19 | 2014-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014086773A (ja) * | 2012-10-19 | 2014-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
WO2014192239A1 (en) | 2013-05-30 | 2014-12-04 | Sony Corporation | Information processing apparatus, display control method, and program |
JP2016005055A (ja) * | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | プロジェクター及び投写方法 |
JP2016066918A (ja) * | 2014-09-25 | 2016-04-28 | 大日本印刷株式会社 | 映像表示装置、映像表示制御方法、及びプログラム |
WO2016159163A1 (ja) * | 2015-03-31 | 2016-10-06 | 大和ハウス工業株式会社 | 映像表示システム及び映像表示方法 |
EP3130994A4 (en) * | 2014-04-07 | 2018-01-03 | Sony Corporation | Display control device, display control method, and program |
US10229656B2 (en) | 2014-06-18 | 2019-03-12 | Sony Corporation | Image processing apparatus and image processing method to display full-size image of an object |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03179994A (ja) * | 1989-12-08 | 1991-08-05 | Nippon Hoso Kyokai <Nhk> | 画像表示方法および装置 |
JPH09289638A (ja) * | 1996-04-23 | 1997-11-04 | Nec Corp | 3次元画像符号化復号方式 |
JP2003009108A (ja) * | 2001-06-26 | 2003-01-10 | Minolta Co Ltd | 画像通信システム、画像通信装置、および画像通信方法 |
-
2009
- 2009-09-29 JP JP2009225373A patent/JP5237234B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03179994A (ja) * | 1989-12-08 | 1991-08-05 | Nippon Hoso Kyokai <Nhk> | 画像表示方法および装置 |
JPH09289638A (ja) * | 1996-04-23 | 1997-11-04 | Nec Corp | 3次元画像符号化復号方式 |
JP2003009108A (ja) * | 2001-06-26 | 2003-01-10 | Minolta Co Ltd | 画像通信システム、画像通信装置、および画像通信方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244433A (ja) * | 2011-05-19 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像提示装置 |
JP2014071871A (ja) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014072880A (ja) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014086774A (ja) * | 2012-10-19 | 2014-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014086775A (ja) * | 2012-10-19 | 2014-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP2014086773A (ja) * | 2012-10-19 | 2014-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
CN105247881A (zh) * | 2013-05-30 | 2016-01-13 | 索尼公司 | 信息处理设备、显示控制方法以及程序 |
WO2014192239A1 (en) | 2013-05-30 | 2014-12-04 | Sony Corporation | Information processing apparatus, display control method, and program |
US10038874B2 (en) | 2013-05-30 | 2018-07-31 | Sony Corporation | Information processing apparatus, display control method, and program |
CN105247881B (zh) * | 2013-05-30 | 2020-02-14 | 索尼公司 | 信息处理设备、显示控制方法以及程序 |
EP3130994A4 (en) * | 2014-04-07 | 2018-01-03 | Sony Corporation | Display control device, display control method, and program |
JP2016005055A (ja) * | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | プロジェクター及び投写方法 |
US10229656B2 (en) | 2014-06-18 | 2019-03-12 | Sony Corporation | Image processing apparatus and image processing method to display full-size image of an object |
JP2016066918A (ja) * | 2014-09-25 | 2016-04-28 | 大日本印刷株式会社 | 映像表示装置、映像表示制御方法、及びプログラム |
WO2016159163A1 (ja) * | 2015-03-31 | 2016-10-06 | 大和ハウス工業株式会社 | 映像表示システム及び映像表示方法 |
JP2016192685A (ja) * | 2015-03-31 | 2016-11-10 | 大和ハウス工業株式会社 | 映像表示システム及び映像表示方法 |
US10182206B2 (en) | 2015-03-31 | 2019-01-15 | Daiwa House Industry Co., Ltd. | Image display system and image display method |
Also Published As
Publication number | Publication date |
---|---|
JP5237234B2 (ja) | 2013-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5237234B2 (ja) | 映像コミュニケーションシステム、及び映像コミュニケーション方法 | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
US9595127B2 (en) | Three-dimensional collaboration | |
US9684994B2 (en) | Modifying perspective of stereoscopic images based on changes in user viewpoint | |
US9654734B1 (en) | Virtual conference room | |
JP6377082B2 (ja) | 鏡のメタファを使用した遠隔没入型体験の提供 | |
US20120162384A1 (en) | Three-Dimensional Collaboration | |
JP6558839B2 (ja) | 媒介現実 | |
JP5833526B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
TWI813098B (zh) | 用於新穎視圖合成之神經混合 | |
JP4619216B2 (ja) | 立体画像表示装置及び立体画像表示方法 | |
Avveduto et al. | Real-world occlusion in optical see-through AR displays | |
JP2011113206A (ja) | 映像コミュニケーションシステム、及び映像コミュニケーション方法 | |
JP5731462B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
US20230231983A1 (en) | System and method for determining directionality of imagery using head tracking | |
US20200192550A1 (en) | Methods, apparatus, systems, computer programs for enabling mediated reality | |
EP3623908A1 (en) | A system for controlling audio-capable connected devices in mixed reality environments | |
JP5833525B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
Ishihara et al. | Integrating both parallax and latency compensation into video see-through head-mounted display | |
JP5898036B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
JP5520774B2 (ja) | コミュニケーション装置、コミュニケーション方法、及びプログラム | |
Tat | Holotab: Design and Evaluation of Interaction Techniques for a Handheld 3D Light Field Display | |
JP2022146839A (ja) | 画像を3次元的に表示するための方法、プログラムおよびシステム | |
Joachimiak et al. | View Synthesis with Kinect-Based Tracking for Motion Parallax Depth Cue on a 2D Display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130328 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5237234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |