JP2017195552A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2017195552A
JP2017195552A JP2016085545A JP2016085545A JP2017195552A JP 2017195552 A JP2017195552 A JP 2017195552A JP 2016085545 A JP2016085545 A JP 2016085545A JP 2016085545 A JP2016085545 A JP 2016085545A JP 2017195552 A JP2017195552 A JP 2017195552A
Authority
JP
Japan
Prior art keywords
viewing angle
image
wide viewing
angle image
exceeding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016085545A
Other languages
English (en)
Other versions
JP6620063B2 (ja
JP2017195552A5 (ja
Inventor
泰史 奥村
Yasushi Okumura
泰史 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to JP2016085545A priority Critical patent/JP6620063B2/ja
Priority to PCT/JP2017/006349 priority patent/WO2017183279A1/ja
Priority to US16/093,212 priority patent/US11107436B2/en
Publication of JP2017195552A publication Critical patent/JP2017195552A/ja
Publication of JP2017195552A5 publication Critical patent/JP2017195552A5/ja
Application granted granted Critical
Publication of JP6620063B2 publication Critical patent/JP6620063B2/ja
Priority to US17/383,195 priority patent/US20210350762A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ヘッドマウントディスプレイにおいて広視野角画像を観察する際のユーザの酔いを低減する。
【解決手段】動き検出部720は、ヘッドマウントディスプレイ100に表示される広視野角画像において許容限度を超える動きを検出する。視野制限処理部750は、広視野角画像において許容限度を超える動きが検出された場合、広視野角画像を観察する視野を制限する。画像提供部760は、視野が制限された前記野角画像をヘッドマウントディスプレイ100に提供する。
【選択図】図4

Description

この発明は、ウェアラブルディスプレイにおける画像を処理する技術に関する。
ヘッドマウントディスプレイに映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じた映像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させることもできる。
ヘッドトラッキング技術を用いれば、ヘッドマウントディスプレイに表示される映像を頭部の動きに追随させることができる。しかしながら、映像のフレームレートが低い場合、映像が頭部の動きに十分に追随せず、「酔い」が生じることがある。また、3次元コンテンツでは頭部の動きとは無関係に映像内のオブジェクトが動いたり、ユーザ自身の位置が移動することがあり、その場合にも酔いが生じやすい。このような3次元コンテンツの視聴中に発生する乗り物酔いに似た症状は「3D酔い」または「シミュレーション酔い」と呼ばれる。ヘッドマウントディスプレイを装着すると、このような酔いが原因で視聴が困難になることがある。
本発明はこうした課題に鑑みてなされたものであり、その目的は、ウェアラブルディスプレイにおいて酔いを低減することのできる画像処理技術を提供することにある。
上記課題を解決するために、本発明のある態様の画像処理装置は、ウェアラブルディスプレイ装置に表示される広視野角画像において許容限度を超える動きを検出する動き検出部と、前記広視野角画像において許容限度を超える動きが検出された場合に、前記広視野角画像を観察する視野を制限する視野制限処理部と、視野が制限された前記広視野角画像を前記ウェアラブルディスプレイ装置に提供する画像提供部とを含む。
本発明の別の態様は、画像処理方法である。この方法は、ウェアラブルディスプレイ装置に表示される広視野角画像において許容限度を超える動きを検出する動き検出ステップと、前記広視野角画像において許容限度を超える動きが検出された場合に、前記広視野角画像を観察する視野を制限する視野制限処理ステップと、視野が制限された前記広視野角画像を前記ウェアラブルディスプレイ装置に提供する画像提供ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ウェアラブルディスプレイにおいて酔いを低減することができる。
ヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 本実施の形態に係る画像処理システムの構成図である。 本実施の形態に係る画像処理装置の機能構成図である。 周辺マスク画像の例を説明する図である。 ヘッドマウントディスプレイに表示される画像をズームインして観察する様子を説明する図である。 ヘッドマウントディスプレイに表示される画像をズームインして観察する様子を説明する図である。 ヘッドマウントディスプレイに表示される画像をズームインして観察する様子を説明する図である。 図5の周辺マスク画像が重ね合わされた広視野角画像を説明する図である。 ヘッドマウントディスプレイに表示される空間の中を仮想的にウォークスルーする様子を説明する図である。 ヘッドマウントディスプレイに表示される空間の中を仮想的にウォークスルーする様子を説明する図である。 ヘッドマウントディスプレイに表示される空間の中を仮想的にウォークスルーする様子を説明する図である。 図5の周辺マスク画像が重ね合わされた広視野角画像を説明する図である。 本実施の形態の画像処理装置による広視野角画像の視野制限処理の手順を示すフローチャートである。
図1は、ヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、前頭部接触部120、および側頭部接触部130を含む。
ヘッドマウントディスプレイ100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。
ヘッドマウントディスプレイ100に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ100を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。
ヘッドマウントディスプレイ100は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。
図2は、ヘッドマウントディスプレイ100の機能構成図である。
制御部10は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース20は、ユーザからの操作信号や設定信号を受け付け、制御部10に供給する。出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。バックライト32は、液晶ディスプレイにバックライトを供給する。
通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。
記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。
姿勢センサ64は、ヘッドマウントディスプレイ100の本体部110の回転角や傾きなどの姿勢情報を検出する。姿勢センサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ72は、フラッシュメモリなどの外部メモリである。
時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。
制御部10は、画像やテキストデータを出力インタフェース30に供給してディスプレイに表示させたり、通信制御部40に供給して外部に送信させることができる。
図3は、本実施の形態に係る画像処理システムの構成図である。ヘッドマウントディスプレイ100は、無線通信またはUSBなどの周辺機器を接続するインタフェース300でゲーム機200に接続される。ゲーム機200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機200に提供してもよい。ヘッドマウントディスプレイ100は、ゲーム機200の代わりに、コンピュータや携帯端末に接続されてもよい。
ヘッドマウントディスプレイ100に表示される広視野角画像は、あらかじめ撮影された全天球の3次元映像の他、ゲーム空間のような人工的な3次元画像であってもよい。また、ネットワーク経由で配信される遠隔地のライブ映像であってもよい。
図4は、本実施の形態に係る画像処理装置700の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
画像処理装置700は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、画像処理装置700の少なくとも一部の機能をヘッドマウントディスプレイ100の制御部10に実装してもよい。あるいは、画像処理装置700の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。
操作入力部710は、ヘッドマウントディスプレイ100の入力インタフェース20やゲーム機200に有線または無線で接続されたコントローラを介してユーザの操作指示を取得する。操作指示には、ヘッドマウントディスプレイ100に表示された画像をズームインまたはズームアウトする指示、仮想空間内を移動する指示、別の仮想空間にワープする指示、画像に特定のエフェクトを与える何らかのアイコンへの操作指示などがある。操作入力部710が取得した操作指示は動き検出部720および画像生成部740に供給される。
視点視線取得部730は、ヘッドマウントディスプレイ100の姿勢センサ64により検知される姿勢情報にもとづいて、ヘッドマウントディスプレイ100を装着したユーザの視点位置と視線方向を取得する。
画像生成部740は、視点視線取得部730からヘッドマウントディスプレイ100の視点位置および視線方向の情報を取得し、視点位置から視線方向に見える画像をヘッドマウントディスプレイ100に表示される広視野角画像として生成する。これにより、ヘッドマウントディスプレイ100を装着したユーザが頭部を動かしたとき、ヘッドマウントディスプレイ100に表示される広視野角画像を頭部の動きに追随させることができる。これは一般に「ヘッドトラッキング」と呼ばれる技術である。
画像生成部740は、操作入力部710からズームインまたはズームアウトの操作指示を受け取った場合、指示された倍率で広視野角画像を拡大または縮小する。
ここで、ヘッドマウントディスプレイ100に表示される広視野角画像は、全周囲画像またはパノラマ画像のように視野角が広い画像であり、動画であっても静止画であってもよく、レンダリングされたコンピュータグラフィックスであってもよい。
画像生成部740は、生成された広視野角画像を視野制限処理部750に与える。
動き検出部720は、画像生成部740により生成される広視野角画像において許容限度を超える動きを検出する。ここで、許容限度とは、ヘッドマウントディスプレイ100において広視野角画像を観察するユーザに酔いが生じない程度を指す。特に広視野角画像に生じる動きがユーザの身体的動きとは無関係である場合、許容限度を超え、広視野角画像を観察するユーザに酔いが生じる。
動き検出部720は、操作入力部710から操作指示を受け取り、その操作指示によって広視野角画像に許容限度を超える動きが生じるかどうかを決定する。たとえば、所定の倍率以上のズームインまたはズームアウトの操作指示や、仮想空間内を所定の速度以上で移動する指示の場合、動き検出部720は、広視野角画像に許容限度を超える動きが生じると決定する。そのほか、ヘッドマウントディスプレイ100に表示される広視野角画像に大きな変化をもたらすエフェクトを施す操作指示があった場合、動き検出部720は広視野角画像に許容限度を超える動きが生じると決定する。
また、動き検出部720は、画像生成部740が生成する広視野角画像のフレーム間の差分により特徴点の動きベクトルを検出し、動きベクトルの大きさが所定の閾値を超える場合、許容限度を超える動きがあると決定する。画像生成部740が生成する広視野角画像のフレームレートが低くなるほど、動き検出部720が動きベクトルの大きさを判定する際の閾値を小さくしてもよい。広視野角画像のフレームレートが低いほど酔いが生じやすいからである。動き検出部720は、ユーザの姿勢変化や物理的移動などの身体的動きとは無関係に、広視野角画像において動きが生じているかどうかを判定してもよい。身体的動きとは独立して広視野角画像に動きが生じるときに酔いが生じやすいからである。
また、動き検出部720は、視点視線取得部730により取得された視点位置または視線方向の変化量が、画像生成部740が生成する広視野角画像のフレームレートに依存して決まる閾値を超える場合、許容限度を超える動きがあると決定する。広視野角画像のフレームレートが低くなるほど、視点位置または視線方向の変化量と比較する閾値を小さくしてもよい。ヘッドトラッキングを行って視点または視線の変化に画像を追随させても広視野角画像のフレームが低くなるほど、追随が不十分になり、酔いが生じやすいからである。たとえば、ユーザがしゃがむ動作を行うと、視点位置や視線方向の変化量が大きく、低いフレームレートでは酔いが生じやすい。
動き検出部720により、広視野角画像において許容限度を超える動きが検出された場合、動き検出部720は視野制限処理部750に視野を制限する指示を与える。
視野制限処理部750は、動き検出部720からの視野制限指示にしたがって、画像生成部740により生成された広視野角画像を観察する視野を制限し、視野が制限された広視野角画像を画像提供部760に与える。動き検出部720からの視野制限指示がない場合、視野制限処理部750は画像生成部740により生成された広視野角画像をそのまま画像提供部760に与える。
視野制限処理は、たとえば、画像生成部740により生成された広視野角画像の少なくとも一部(たとえば周辺領域)をマスクする処理、または広視野角画像をぼかす処理、あるいはそれらの組み合わせにより実現される。何らかの形でユーザが広視野角画像を観察する視野を制限する処理であれば、ここに挙げた処理に限られない。
画像提供部760は、許容限度を超える動きが検出された場合は、視野制限処理部750により視野が制限された広視野角画像を、許容限度を超える動きが検出されていない場合は、視野が制限されていない広視野角画像をヘッドマウントディスプレイ100に提供する。
図5は、周辺マスク画像の例を説明する図である。図5の周辺マスク画像は、一例として、周辺が黒で、中央に向かうにつれて透明度が高くなり、中央では完全に透明になるマスク画像である。視野制限処理部750は、広視野角画像の周辺をマスクする場合、この周辺マスクを広視野角画像に重ねる。これにより、広視野角画像の周辺は黒く塗られて見えなくなり、中央に向かうにつれて透明度が高くなり、元の画像が観察できるようになる。他の例として、中央に向かって透過度が変化しない周辺マスク画像を用いてもよい。周辺マスク画像の色は黒色以外であってもよい。
他の視野制限処理としてぼかし処理がある。広視野角画像の全体を細部が見えないようにブラー処理を施してもよく、広視野角画像の周辺領域のみにブラー処理を施してもよい。あるいは、広視野角画像の周辺を黒色でマスクした上で、広視野角画像にブラー処理を施してもよい。
図6A〜図6Cは、ヘッドマウントディスプレイ100に表示される画像をズームインして観察する様子を説明する図である。図6Aは、遠くから景色を見ている場合に表示される画像である。この画像に対して、ユーザがズームイン操作を行うと、図6Bの画像を経て、最終的に図6Cの拡大画像に至る。ヘッドマウントディスプレイ100において広視野角画像を観察しながら、図6A〜図6Cのようにズームイン操作を行うと、急激に視界が変化するため、酔いが生じる。そこで、視野制限処理部750は、ズームイン操作の開始から完了までの間、ヘッドマウントディスプレイ100に表示される広視野角画像に図5の周辺マスク画像を重ね、視野を一時的に狭くする。
図7は、図5の周辺マスク画像が重ね合わされた広視野角画像を説明する図である。ズームイン操作の間、周辺マスク画像により広視野角画像の周辺が黒塗りされ、ユーザの視野が一時的に狭くなるため、視界に急激な動きがあっても酔いは軽減される。
ズームインモードに入るとすぐに、周辺マスク画像を広視野角画像に重ね、ズームインモードから抜けると周辺マスク画像を消すようにしてもよい。あるいは、広視野角画像に重ねる周辺マスク画像の透過度を可変にして、ズームインの始まりから終わりまで透過度を100%から0%に徐々に変化させ、周辺マスク画像による消し込み量がズームイン操作が進むにつれて徐々に高くなるようにしてもよい。また、別の方法として、周辺マスク画像の透明の中央部の面積を可変にして、ズームイン操作が進むにつれて透明の中央部が狭くなるようにしてもよい。
図8A〜図8Cは、ヘッドマウントディスプレイ100に表示される空間の中を仮想的にウォークスルーする様子を説明する図である。図8Aに示したように、ユーザは公園の芝生の手前にいるとする。そこから、公園の芝生を横切って歩き、芝生の向こう側に見える階段に近づくとする。図8Bは、公園の芝生を横切る途中で観察される画像であり、図8Cは、芝生の向こう側の階段の前にまで来たときに観察される画像である。このようにユーザがヘッドマウントディスプレイ100に表示された3次元空間を仮想的に移動すると、視界が大きく変化するため、酔いが生じることがある。特に高速に移動する場合は、酔いが生じやすい。そこで、視野制限処理部750は、ユーザの移動中は、ヘッドマウントディスプレイ100に表示される広視野角画像に図5の周辺マスク画像を重ね、視野を一時的に狭くする。
図9は、図5の周辺マスク画像が重ね合わされた広視野角画像を説明する図である。ユーザの移動中、周辺マスク画像により広視野角画像の周辺が黒塗りされ、ユーザの視野が一時的に狭くなるため、視界に急激な動きがあっても酔いは軽減される。
周辺マスク画像の消し込み量は、周辺マスク画像の透過度や、透明の中央部の面積によって調整することができる。周辺マスク画像による消し込み量は移動するにつれて大きくなるようにしてもよく、移動の始まりと終わりでは消し込み量を相対的に小さくし、移動の最中に相対的に大きくなるようにしてもよい。あるいは、移動の速度が大きくなるにつれて消し込み量が大きくなるようにしてもよい。
周辺マスク画像による視野の制限は、ズームイン・ズームアウトやウォークスルーなどの場合以外にも、コントローラ操作によって視界を水平方向に回転(Y軸周りに回転)させた場合にも適用することができる。コントローラ操作による視界の急な変化でも酔いが生じやすいからである。
視野制限処理部750による視野の制限方法は周辺マスク処理以外にもいろいろ考えられる。たとえば、画像全体をぼかす処理や、画像の周辺をぼかす処理を施してもよい。あるいは、周辺マスク処理に画像をぼかす処理を組み合わせてもよい。画像の明度を下げたり、画像の解像度を下げてもよい。何らかの形で視野が狭くなるか視界の可視性が制限されるならば、酔いが低減する。
また、ヘッドマウントディスプレイ100がビデオ透過型ヘッドマウントディスプレイである場合、ヘッドマウントディスプレイ100に装着されたカメラにより撮影された画像をマスクすべき周辺領域に表示してもよい。周辺領域に外部の様子が映し出されるため、酔いの低減効果がある。
図10は、本実施の形態の画像処理装置700による広視野角画像の視野制限処理の手順を示すフローチャートである。
操作入力部710は、ヘッドマウントディスプレイ100を装着したユーザから操作指示を取得する(S10)。視点視線取得部730は、ヘッドトラッキングにより、ヘッドマウントディスプレイ100を装着したユーザの現在の視点位置と視線方向を取得して更新する(S20)。操作入力部710が仮想空間内での移動の指示を受け取った場合にも、仮想空間内のユーザの視点位置と視点方向が更新される。
画像生成部740は、ユーザの現在の視点位置から視線方向に見える画像をヘッドマウントディスプレイ100に表示される広視野角画像のフレームとして生成する(S30)。画像生成部740は、操作入力部710からズーム操作の指示を受け取った場合、指示された倍率でフレームを拡大または縮小する。
動き検出部720は、ヘッドマウントディスプレイ100に表示される広視野角画像において許容限度を超える動きの有無を検出する(S40)。動き検出部720は、ズームやワープなどの操作入力があった場合や、ヘッドマウントディスプレイ100を装着したユーザの姿勢変化や物理的移動とは独立して広視野角画像に所定の大きさ以上の動きがある場合などに、許容限度を超える動きがあったと決定する。
許容限度を超える動きが検出されない場合(S40のN)、画像提供部760は、画像生成部740により生成されたフレームをそのままヘッドマウントディスプレイ100に提供して表示させる(S70)。
許容限度を超える動きが検出された場合(S40のY)、視野制限処理部750は画像生成部740により生成されたフレームに対して視野を制限する処理を施す(S50)。視野制限処理部750は、たとえば、画像生成部740により生成されたフレームの周辺をマスクする処理やフレーム全体またはフレーム周辺をぼかす処理を施す。画像提供部760は、視野制限処理部750により視野が制限されたフレームをヘッドマウントディスプレイ100に提供して表示させる(S60)。
ヘッドマウントディスプレイ100における画像の表示を停止する場合(S80のY)、一連の処理を終了する。ヘッドマウントディスプレイ100における画像の表示を継続する場合(S80のN)、ステップS10に戻り、それ以降の処理を繰り返す。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
ヘッドマウントディスプレイ100はビデオ透過型であってもよい。ビデオ透過型のヘッドマウントディスプレイ100を装着するとユーザは外界の様子を見ることはできないが、カメラにより撮影された外界の画像がディスプレイに映し出される。外界の撮影画像が全周囲画像のような広視野角画像である場合、本実施の形態の視野制限処理を用いることで酔いを低減させることができる。特に外界映像のフレームレートが低い場合には、酔いが生じやすいため、周辺マスク処理などの視野制限処理が有効である。
ヘッドマウントディスプレイ100がネットワーク経由で画像を受信する場合、伝送遅延が生じるため、ヘッドマウントディスプレイ100に表示される画像のフレームレートが低くなる。このような状況下で低フレームレートの広視野角画像を観察すると酔いが生じやすい。本実施の形態の視野制限処理はこのような場合にも有効である。
10 制御部、 20 入力インタフェース、 30 出力インタフェース、 32 バックライト、 40 通信制御部、 42 ネットワークアダプタ、 44 アンテナ、 50 記憶部、 64 姿勢センサ、 70 外部入出力端子インタフェース、 72 外部メモリ、 80 時計部、 100 ヘッドマウントディスプレイ、 110 本体部、 120 前頭部接触部、 130 側頭部接触部、 200 ゲーム機、 700 画像処理装置、 710 操作入力部、 720 動き検出部、 730 視点視線取得部、 740 画像生成部、 750 視野制限処理部、 760 画像提供部。

Claims (8)

  1. ウェアラブルディスプレイ装置に表示される広視野角画像において許容限度を超える動きを検出する動き検出部と、
    前記広視野角画像において許容限度を超える動きが検出された場合に、前記広視野角画像を観察する視野を制限する視野制限処理部と、
    視野が制限された前記広視野角画像を前記ウェアラブルディスプレイ装置に提供する画像提供部とを含むことを特徴とする画像処理装置。
  2. 前記視野制限処理部は、前記広視野角画像の周辺領域をマスクする処理、または前記広視野角画像の全体または周辺をぼかす処理により、前記広視野角画像を観察する視野を制限することを特徴とする請求項1に記載の画像処理装置。
  3. 前記動き検出部は、所定の倍率を超える前記広視野角画像のズームインまたはズームアウトの操作指示があった場合、許容限度を超える動きがあると決定することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記動き検出部は、前記ウェアラブルディスプレイ装置に表示される仮想空間内を所定の速度を超えて移動する操作指示があった場合、許容限度を超える動きがあると決定することを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記動き検出部は、前記広視野角画像においてユーザの身体的動きによらない動きが検出される場合、許容限度を超える動きがあると決定することを特徴とする請求項1または2に記載の画像処理装置。
  6. 前記動き検出部は、前記広視野角画像を観察する視点位置または視線方向の変化量が、前記広視野角画像のフレームレートに依存する所定の閾値を超える場合、許容限度を超える動きがあると決定することを特徴とする請求項1または2に記載の画像処理装置。
  7. ウェアラブルディスプレイ装置に表示される広視野角画像において許容限度を超える動きを検出する動き検出ステップと、
    前記広視野角画像において許容限度を超える動きが検出された場合に、前記広視野角画像を観察する視野を制限する視野制限処理ステップと、
    視野が制限された前記広視野角画像を前記ウェアラブルディスプレイ装置に提供する画像提供ステップとを含むことを特徴とする画像処理方法。
  8. ウェアラブルディスプレイ装置に表示される広視野角画像において許容限度を超える動きを検出する動き検出機能と、
    前記広視野角画像において許容限度を超える動きが検出された場合に、前記広視野角画像を観察する視野を制限する視野制限処理機能と、
    視野が制限された前記広視野角画像を前記ウェアラブルディスプレイ装置に提供する画像提供機能とをコンピュータに実行させることを特徴とするプログラム。
JP2016085545A 2016-04-21 2016-04-21 画像処理装置および画像処理方法 Active JP6620063B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016085545A JP6620063B2 (ja) 2016-04-21 2016-04-21 画像処理装置および画像処理方法
PCT/JP2017/006349 WO2017183279A1 (ja) 2016-04-21 2017-02-21 画像処理装置および画像処理方法
US16/093,212 US11107436B2 (en) 2016-04-21 2017-02-21 Image processing device and image processing method
US17/383,195 US20210350762A1 (en) 2016-04-21 2021-07-22 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016085545A JP6620063B2 (ja) 2016-04-21 2016-04-21 画像処理装置および画像処理方法

Publications (3)

Publication Number Publication Date
JP2017195552A true JP2017195552A (ja) 2017-10-26
JP2017195552A5 JP2017195552A5 (ja) 2019-04-04
JP6620063B2 JP6620063B2 (ja) 2019-12-11

Family

ID=60116005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016085545A Active JP6620063B2 (ja) 2016-04-21 2016-04-21 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (2) US11107436B2 (ja)
JP (1) JP6620063B2 (ja)
WO (1) WO2017183279A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190094270A (ko) * 2018-02-02 2019-08-13 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
JP2021022075A (ja) * 2019-07-25 2021-02-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US12001600B2 (en) 2018-11-09 2024-06-04 Beckman Coulter, Inc. Service glasses with selective data provision

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
KR102650572B1 (ko) * 2016-11-16 2024-03-26 삼성전자주식회사 전자 장치 및 그의 제어 방법
US11258999B2 (en) * 2017-05-18 2022-02-22 Samsung Electronics Co., Ltd. Method and device for reducing motion sickness when providing 360-degree video
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
US20220276696A1 (en) * 2021-02-26 2022-09-01 BigBox VR, Inc. Asynchronous multi-engine virtual reality system with reduced vestibular-ocular conflict

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116309A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP2012257252A (ja) * 2012-07-03 2012-12-27 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
KR102281233B1 (ko) * 2013-03-14 2021-07-23 삼성전자 주식회사 화면 제어 방법 및 장치
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
JP6693060B2 (ja) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
JP6092437B1 (ja) 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
US20170255258A1 (en) * 2016-03-02 2017-09-07 The Trustees Of Columbia University In The City Of New York Imperceptible Automatic Field-of-View Restrictors to Combat VR Sickness and Cybersickness
US10175487B2 (en) * 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116309A (ja) * 2005-10-19 2007-05-10 Seiko Epson Corp 画像情報再生装置
JP2012257252A (ja) * 2012-07-03 2012-12-27 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190094270A (ko) * 2018-02-02 2019-08-13 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
KR102519355B1 (ko) 2018-02-02 2023-04-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 구동 방법
US12001600B2 (en) 2018-11-09 2024-06-04 Beckman Coulter, Inc. Service glasses with selective data provision
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
JP2021022075A (ja) * 2019-07-25 2021-02-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11610343B2 (en) 2019-07-25 2023-03-21 Ntt Communications Corporation Video display control apparatus, method, and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP6620063B2 (ja) 2019-12-11
US20190172410A1 (en) 2019-06-06
US20210350762A1 (en) 2021-11-11
US11107436B2 (en) 2021-08-31
WO2017183279A1 (ja) 2017-10-26

Similar Documents

Publication Publication Date Title
JP6620063B2 (ja) 画像処理装置および画像処理方法
US9858643B2 (en) Image generating device, image generating method, and program
JP6518582B2 (ja) 情報処理装置および操作受付方法
EP3321776B1 (en) Operation input device and operation input method
WO2017104579A1 (ja) 情報処理装置および操作受付方法
JP5920897B2 (ja) 画像生成装置および画像生成方法
US10871822B2 (en) Image generation apparatus, image generation system, and image generation method
JP2013258614A (ja) 画像生成装置および画像生成方法
WO2017208957A1 (ja) 画像生成装置、画像生成システム、および画像生成方法
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP6422584B2 (ja) 情報処理装置
WO2016163183A1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
US10771707B2 (en) Information processing device and information processing method
US11835737B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
KR102132406B1 (ko) 디스플레이 장치 및 그의 제어 방법
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
US11159777B2 (en) Image display system, non-transitory storage medium having stored therein image display program, image display apparatus, and image display method
EP4325476A1 (en) Video display system, information processing method, and program
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
WO2024057783A1 (ja) 360度画像視点位置同定部を備える情報処理装置
JP2022184456A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2023096844A (ja) プログラム、情報処理方法、及び情報処理装置
CN115914603A (zh) 图像渲染方法、头戴显示设备和可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191118

R150 Certificate of patent or registration of utility model

Ref document number: 6620063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150