JP2018088604A5 - - Google Patents

Download PDF

Info

Publication number
JP2018088604A5
JP2018088604A5 JP2016230567A JP2016230567A JP2018088604A5 JP 2018088604 A5 JP2018088604 A5 JP 2018088604A5 JP 2016230567 A JP2016230567 A JP 2016230567A JP 2016230567 A JP2016230567 A JP 2016230567A JP 2018088604 A5 JP2018088604 A5 JP 2018088604A5
Authority
JP
Japan
Prior art keywords
image
information
display device
information amount
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016230567A
Other languages
English (en)
Other versions
JP2018088604A (ja
JP6858007B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2016230567A priority Critical patent/JP6858007B2/ja
Priority claimed from JP2016230567A external-priority patent/JP6858007B2/ja
Priority to US15/819,665 priority patent/US10586392B2/en
Publication of JP2018088604A publication Critical patent/JP2018088604A/ja
Publication of JP2018088604A5 publication Critical patent/JP2018088604A5/ja
Application granted granted Critical
Publication of JP6858007B2 publication Critical patent/JP6858007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

(利点1) … 上記の解像度変換処理を施した撮像画像からではなく、上記の解像度変換処理を施していないオリジナル解像度の撮像画像から関連情報を抽出するので、指標の検出精度は上記の解像度変換処理に関係なく維持できる
(利点2) … HMD100側で撮像した左右の眼の撮像画像をそのままPC200に対して送信するよりも送信情報量を削減することができる
なお、本実施形態では、図1に示す如く、画像入力部11から入力された撮像画像から関連情報を抽出した後、この撮像画像に対して上記の解像度変換処理を行うようにしたが上記の(利点1)を実現可能な構成は、図1に示した構成に限らない。例えば、図1に示したHMD100の構成の代わりに、図3に示したHMD100の構成を採用しても良い。図3に示した構成では、画像入力部11が入力した撮像画像は関連情報取得部14と画像処理部15とに入力され、関連情報取得部14による関連情報の抽出処理と画像処理部15による上記の解像度変換処理とを並行して行っている。

Claims (13)

  1. 撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得手段と、
    前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、
    前記情報量削減画像と前記抽出情報とを外部装置に対して出力する出力手段と、
    前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信手段と
    を備えることを特徴とする画像表示装置。
  2. 前記取得手段は、前記撮像画像中に含まれている指標の識別情報及び画像座標を前記抽出情報として取得することを特徴とする請求項1に記載の画像表示装置。
  3. 前記取得手段は、前記撮像画像中に含まれている指標に基づいて求めた該撮像画像の視点の位置姿勢を表す情報を前記抽出情報として取得することを特徴とする請求項1に記載の画像表示装置。
  4. 更に、指標を含む現実空間の撮像画像を撮像する撮像手段を備えることを特徴とする請求項1乃至3の何れか1項に記載の画像表示装置。
  5. 更に、ユーザの視線方向を検知する手段を備え、
    前記変換手段は、前記撮像画像においてユーザが注視している位置を前記視線方向に基づいて特定し、該特定した位置から離れるに従って情報量を削減した情報量削減画像を生成することを特徴とする請求項1乃至4の何れか1項に記載の画像表示装置。
  6. 前記取得手段による抽出情報の取得と、前記変換手段による情報量削減画像の生成と、は並行して行われることを特徴とする請求項1乃至5の何れか1項に記載の画像表示装置。
  7. 更に、
    前記撮像画像中の手に係る情報を生成する手段を備え、
    前記出力手段は、前記情報量削減画像と前記抽出情報と前記手に係る情報とを前記外部装置に対して送信し、
    前記外部装置は、前記仮想空間の画像において前記手に係る情報によって規定される領域以外を前記撮像画像と合成した合成画像を生成することを特徴とする請求項1乃至6の何れか1項に記載の画像表示装置。
  8. 前記画像表示装置は、頭部装着型表示装置であることを特徴とする請求項1乃至7の何れか1項に記載の画像表示装置。
  9. 前記画像表示装置は、タブレット端末装置であることを特徴とする請求項1乃至7の何れか1項に記載の画像表示装置。
  10. 前記受信手段により受信した合成画像を表示する表示手段を更に備えることを特徴とする請求項1乃至9の何れか1項に記載の画像表示装置。
  11. 前記情報量削減画像の情報量と前記抽出情報の情報量との合計情報量は、前記撮像画像の情報量よりも小さいことを特徴とする請求項1乃至10の何れか1項に記載の画像表示装置。
  12. 画像表示装置が行う画像表示方法であって、
    前記画像表示装置の取得手段が、撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得工程と、
    前記画像表示装置の変換手段が、前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換工程と、
    前記画像表示装置の出力手段が、前記情報量削減画像と前記抽出情報とを外部装置に対して出力する出力工程と、
    前記画像表示装置の受信手段が、前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信工程と
    を備えることを特徴とする画像表示方法。
  13. 画像表示装置と外部装置とを有するシステムであって、
    前記画像表示装置は、
    撮像画像から、該撮像画像の視点の位置姿勢を表す情報若しくは該位置姿勢を導出するための情報を抽出情報として取得する取得手段と、
    前記撮像画像においてユーザが注視している位置から離れるに従って情報量を削減した情報量削減画像を生成する変換手段と、
    前記情報量削減画像と前記抽出情報とを前記外部装置に対して出力する出力手段と、
    前記抽出情報に基づいて前記外部装置が生成した仮想空間の画像と前記情報量削減画像とに基づいて生成された合成画像を受信する受信手段と
    を備え、
    前記外部装置は、
    前記抽出情報に基づいて仮想空間の画像を生成し、該生成した仮想空間の画像と前記情報量削減画像とに基づいて合成画像を生成し、該生成した合成画像を前記画像表示装置に対して送信する手段を備える
    ことを特徴とするシステム。
JP2016230567A 2016-11-28 2016-11-28 画像処理システム、画像処理方法 Active JP6858007B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016230567A JP6858007B2 (ja) 2016-11-28 2016-11-28 画像処理システム、画像処理方法
US15/819,665 US10586392B2 (en) 2016-11-28 2017-11-21 Image display apparatus using foveated rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016230567A JP6858007B2 (ja) 2016-11-28 2016-11-28 画像処理システム、画像処理方法

Publications (3)

Publication Number Publication Date
JP2018088604A JP2018088604A (ja) 2018-06-07
JP2018088604A5 true JP2018088604A5 (ja) 2019-12-26
JP6858007B2 JP6858007B2 (ja) 2021-04-14

Family

ID=62190973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016230567A Active JP6858007B2 (ja) 2016-11-28 2016-11-28 画像処理システム、画像処理方法

Country Status (2)

Country Link
US (1) US10586392B2 (ja)
JP (1) JP6858007B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691392B2 (en) 2017-04-17 2020-06-23 Intel Corporation Regional adjustment of render rate
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5335313A (en) 1976-09-13 1978-04-01 Nippon Telegr & Teleph Corp <Ntt> Picture image communication system
JPH04248793A (ja) 1991-02-04 1992-09-04 Hamamatsu Photonics Kk 撮像表示装置
US6859549B1 (en) 2000-06-07 2005-02-22 Nec Laboratories America, Inc. Method for recovering 3D scene structure and camera motion from points, lines and/or directly from the image intensities
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
US9225969B2 (en) * 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
US9922437B1 (en) * 2013-03-15 2018-03-20 William S. Baron Process for creating an augmented image
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
JP5818857B2 (ja) * 2013-10-24 2015-11-18 キヤノン株式会社 情報処理装置およびその制御方法
US9706114B2 (en) * 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
JP2016086245A (ja) * 2014-10-23 2016-05-19 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
KR20180057668A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US11024014B2 (en) * 2016-06-28 2021-06-01 Microsoft Technology Licensing, Llc Sharp text rendering with reprojection
US10042421B2 (en) * 2016-08-24 2018-08-07 Disney Enterprises, Inc. System and method of latency-aware rendering of a focal area of an animation

Similar Documents

Publication Publication Date Title
JP5260705B2 (ja) 3次元拡張現実提供装置
EP4231245A3 (en) Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
KR102207856B1 (ko) 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
WO2014016986A1 (ja) 3次元環境共有システム及び3次元環境共有方法
WO2015093315A1 (ja) 画像処理装置および方法、並びにプログラム
JP2011227875A5 (ja) 情報処理システム、情報処理方法及びプログラム
JP2010092436A5 (ja)
JP2011175439A5 (ja)
JP2013076924A5 (ja)
EP2491989A3 (en) Information processing system, information processing method, information processing device and information processing program
JP2014199532A5 (ja) 画像処理装置、画像処理方法及びプログラム
EP2648082A3 (en) Information processing apparatus comprising an image generation unit and an imaging unit, related program, and method
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
JP2020086983A5 (ja)
JP2013149242A5 (ja)
KR20170081351A (ko) 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템
JP2015176461A5 (ja)
JP2022046260A5 (ja) 画像処理装置、画像処理方法、記録媒体およびプログラム
JP2018088604A5 (ja)
EP2600606A3 (en) Image processing device, image processing system, image processing method, and recording system
JP2017046233A5 (ja)
WO2018100238A3 (en) Imaging system and method of producing context and focus images
JP2016152023A5 (ja)
JP2017046233A (ja) 表示装置及び情報処理装置及びその制御方法
US20190028690A1 (en) Detection system