JP2018082356A - 立体視表示プログラム、立体視表示方法、および情報処理装置 - Google Patents

立体視表示プログラム、立体視表示方法、および情報処理装置 Download PDF

Info

Publication number
JP2018082356A
JP2018082356A JP2016224466A JP2016224466A JP2018082356A JP 2018082356 A JP2018082356 A JP 2018082356A JP 2016224466 A JP2016224466 A JP 2016224466A JP 2016224466 A JP2016224466 A JP 2016224466A JP 2018082356 A JP2018082356 A JP 2018082356A
Authority
JP
Japan
Prior art keywords
projection area
image
video
projection
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016224466A
Other languages
English (en)
Inventor
翔太 田中
Shota Tanaka
翔太 田中
天間 司
Tsukasa Tenma
司 天間
龍亮 赤星
Ryusuke Akaboshi
龍亮 赤星
真理 森本
Mari Morimoto
真理 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016224466A priority Critical patent/JP2018082356A/ja
Priority to US15/729,201 priority patent/US20180139438A1/en
Priority to EP17196351.5A priority patent/EP3324620A3/en
Publication of JP2018082356A publication Critical patent/JP2018082356A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Abstract

【課題】注視すべき点を含む面をいずれの位置から見ても同じ大きさで知覚させること。
【解決手段】情報処理装置100は、3次元のシミュレーション空間103において模擬した対象物110を、右目位置に相当する第1位置111から第1投影面113に向かって拡がる第1投影領域115に投影させた第1映像121と、対象物110を、左目位置に相当する第2位置112から第2投影面114に向かって拡がり、右目と左目の視差がゼロとなる特定の面117において第1投影領域115と一致する第2投影領域116に投影させた第2映像122とを表示装置101により所定の空間104に表示させる。情報処理装置100は、対象物110のうちの注視すべき点が特定の面117に含まれる位置となるように移動させた対象物110を、第1投影領域115に投影させた第1映像121と第2投影領域116に投影させた第2映像122を表示装置101に表示させる。
【選択図】図1

Description

本発明は、立体視表示プログラム、立体視表示方法、および情報処理装置に関する。
従来、3次元のCAD(Computer Aided Design)によって人体や物体などを3次元のシミュレーション空間に再現する技術が公知である。また、3次元のCADによって再現された人体や物体などの3次元のモデルを現実の空間に可視化させる技術が公知である(例えば、以下特許文献1参照。)。
3次元のモデルを可視化させる技術では、例えば、左目から得られる映像と、右目から得られる映像と、を同時に表示することにより、立体映像が得られる。
先行技術としては、例えば、医用画像処理装置に関して、光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が閾値以下になるように立体画像を生成する技術がある(例えば、以下特許文献2参照。)。
また、先行技術としては、例えば、医用画像処理装置に関して、立体視画像を実寸大で表示させる技術がある(例えば、以下特許文献3参照。)。
国際公開第2013/069413号 特開2014−236340号公報 特開2015−6327号公報
3次元のモデルを可視化させる技術では、特定の位置から観察されたモデルが表示されるため、モデルを観察する位置に応じて立体感と知覚される大きさとが異なる。このため、例えば原寸大で表示対象のモデルが立体視表示された場合に、観察者が特定の位置にいなければ、原寸大で表示された大きさを観察者に知覚させることはできないという問題点がある。例えば、観察者が複数人の場合、複数の観察者が同時に特定の位置に立つことは困難であるため、観察者はそれぞれ異なる大きさを知覚することになる。
1つの側面では、本発明は、注視すべき点を含む面を、いずれの位置から見ても同じ大きさで知覚させることができる立体視表示プログラム、立体視表示方法、および情報処理装置を提供することを目的とする。
本発明の一側面によれば、3次元のシミュレーション空間において、模擬した表示の対象物を、第1位置から第1投影面に向かって拡がる第1投影領域に投影させた第1映像と、第2位置から第2投影面に向かって拡がり、特定の面において前記第1投影領域と一致する第2投影領域に前記対象物を投影させた第2映像と、を表示装置によって所定の空間に表示させるコンピュータに、前記対象物のうちのいずれかの点の指定を受け付け、指定された前記点が前記特定の面に含まれる位置となる位置に配置された前記対象物を前記第1投影領域に投影させた前記第1映像と、配置された前記対象物を前記第2投影領域に投影させた前記第2映像と、を前記表示装置に表示させる立体視表示プログラム、立体視表示方法、および情報処理装置が提案される。
本発明の一態様によれば、注視すべき点を含む面を、いずれの位置から見ても同じ大きさで知覚させることができる。
図1は、情報処理装置による一動作例を示す説明図である。 図2は、情報処理装置のハードウェア構成例を示すブロック図である。 図3は、3Dデータ例を示す説明図(その1)である。 図4は、3Dデータ例を示す説明図(その2)である。 図5は、情報処理装置の機能的構成例を示すブロック図である。 図6は、3次元空間における右目位置および左目位置の設定例を示す説明図である。 図7は、投影領域の設定例を示す説明図である。 図8は、2つの映像の表示例を示す説明図である。 図9は、スケーリング例1を示す説明図である。 図10は、スケーリング例2を示す説明図である。 図11は、視差ゼロとなる面に相当する部分の強調例を示す説明図である。 図12は、モデルの移動例を示す説明図である。 図13は、モデルの回転移動例を示す説明図である。 図14は、情報処理装置による立体視表示処理手順例を示すフローチャートである。 図15は、図14で示した移動回転処理(ステップS1407)の詳細な説明を示すフローチャート例1である。 図16は、図14で示した移動回転処理(ステップS1407)の詳細な説明を示すフローチャート例2である。
以下に添付図面を参照して、本発明にかかる立体視表示プログラム、立体視表示方法、および情報処理装置の実施の形態を詳細に説明する。
図1は、情報処理装置による一動作例を示す説明図である。情報処理装置100は、3次元のCADによってシミュレーション空間103に再現されたモデルを所定の空間104へ立体視させることを支援するコンピュータである。所定の空間104は現実の空間であり、X軸とY軸とZ軸とを有する3次元の直交座標系が定義される。モデルとは、シミュレーション空間103に再現された人体、製品や部品そのもの、製品や部品などの試作や、建築物などの模型などの物体や人体などである。ここで、シミュレーション空間103とは、コンピュータ上でシミュレーションされる仮想的な3次元空間である。シミュレーション空間103には、例えば、X軸とY軸とZ軸とを有する3次元の直交座標系が定義される。
従来、人体や物体などをシミュレーション空間103上に再現した3次元のモデルを現実の空間に可視化させる技術がある。ここで3次元のモデルを現実の空間に可視化させることは、立体視表示とも称する。立体視表示するためのVR(Virtual Reality)システムは、例えば、産業界などの各分野において活用される。例えば、製造業において、VRシステムは、製造の対象物であるモデルを立体視表示することにより、開発者は事前に対象物110の検証を行うことができる。例えば、モデルが原寸大で立体視表示されることにより、開発者は、ディスプレイなどへのモデルの表示では知覚することができない距離感やサイズ間をより直感的に把握しながら検証することが可能となる。
しかし、VRシステムでは、例えば、特定の位置から観察されたモデルが立体視表示される。そして、VRシステムでは、立体視表示されたモデルを観察する位置に応じてモデルの立体感やモデルの知覚される大きさが異なる。例えば原寸大で表示対象のモデルが立体視表示された場合に、観察者が特定の位置にいなければ、原寸大で表示された大きさを観察者に知覚させることはできないとう問題点がある。そこで、VRシステムでは、例えば、ヘッドトラッキングなどに基づき特定した観察者の位置に応じてモデルを立体視表示する技術がある。しかしながら、例えば、特定の観察者の位置に応じてモデルが立体視表示されるため、観察者が複数人の場合、複数の観察者が同時にモデルの大きさや距離感などを知覚することは困難である。より具体的には複数の観察者は同時に特定の位置に立つことは困難であるため、観察者はそれぞれ異なる大きさを知覚することになる。
そこで、本実施の形態では、情報処理装置100は、モデル内の注視させる点が、右目と左目との視差がゼロとなる面に含まれる位置となるように移動させたモデルを右目と左目ごとの投影領域に投影させた各映像を表示する。立体視を用いた検証では、複数の観察者が立体視表示されたモデル内の同じ点を注視する。このため、情報処理装置100は、注視させる点において視差をゼロとするため、観察者に注視点をどの位置から見ても同じ大きさで知覚させることができる。したがって、情報処理装置100は、立体視を用いた検証の効率化を図ることができる。
情報処理装置100は、第1映像121と第2映像122を表示装置101によって所定の空間104に表示させる。第1映像121は、シミュレーション空間103において模擬した表示の対象物110を、第1位置111から第1投影面113に向かって拡がる第1投影領域115に投影させることにより得られる映像である。第1映像121は、観察者の右目用の映像である。第1位置111はシミュレーション空間103における観察者の右目の位置を示す。第2映像122は、シミュレーション空間103において対象物110を、第2位置112から第2投影面114に向かって拡がり、特定の面117において第1投影領域115と一致する第2投影領域116に投影させることにより得られる映像である。第2映像122は、観察者の左目用の映像である。第2位置112はシミュレーション空間103における観察者の左目の位置を示す。
ここでの対象物110は、例えば、3次元のCADによって作成された3D(Dimension)データが示すモデルである。3Dデータの詳細例については、後述する図3や図4に示す。第1投影領域115や第2投影領域116は、シミュレーション空間103において設定された領域である。表示装置101としては、例えば、VR用のプロジェクターなどが挙げられる。表示させる処理として具体的には、情報処理装置100は、3次元のCADによって、第1投影領域115や第2投影領域116を示す投影情報を生成する。つぎに、情報処理装置100は、対象物110を第1投影領域115に投影させた第1映像121を示す画像情報と、対象物110を第2投影領域116に投影させた第2映像122を示す画像情報と、を生成する。ここで、生成される画像情報は、例えば、表示装置101の表示形式に基づく情報である。例えば、生成される画像情報は、ピクセルごとのRGB(Red Green Blue)の値であってもよい。
そして、情報処理装置100は、表示装置101に、第1映像121を示す画像情報と、第2映像122を示す画像情報と、を送信する。そして、表示装置101は、受信した第1映像121を示す画像情報と第2映像122を示す画像情報と、に基づいて第1映像121と第2映像122とを表示する。面123は、第1映像122と、第2映像123とにおいて特定の面116に相当する。
第1位置111は、シミュレーション空間103に設定された右目の位置である。第2位置112は、シミュレーション空間103に設定された左目の位置である。特定の面117は、例えば、第1投影領域115と、第2投影領域116と、で一致する面である。特定の面117は、シミュレーション空間103において、右目と左目との視差がゼロとなる面である。
情報処理装置100は、対象物110のうちのいずれかの点の指定を受け付ける。情報処理装置100は、例えば、情報処理装置100が有するマウスやキーボードなどの操作入力によっていずれかの点の指定を受け付ける。
情報処理装置100は、指定された点が特定の面117に含まれる位置となる位置に配置された対象物110を第1投影領域115に投影させた第1映像121を表示装置101に表示させる。また、情報処理装置100は、指定された点が特定の面117に含まれる位置となる位置に配置された対象物110を第2投影領域116に投影させた第2映像122を表示装置101に表示させる。
表示させる処理の具体的な例について説明する。具体的には、情報処理装置100は、例えば、指定された点が特定の面117に含まれる位置となるように対象物110を移動させる。ここで、シミュレーション空間103において対象物110を移動させるとは、指定された点が特定の面117に含まれる位置となる位置に配置された対象物110を示す3Dデータを3次元のCADによって生成することを示す。そして、情報処理装置100は、例えば、移動後の対象物110を、第1投影領域115に投影させた第1映像121を示す画像情報と、配置された対象物110を第2投影領域116に投影させた第2映像122を示す画像情報とを生成する。画像情報の情報形式については、表示装置101に応じて決定される。情報処理装置100は、各画像情報を表示装置101に送信する。これにより、表示装置101は、第1映像121と第2映像122とを表示する。
例えば、立体視を用いた検証では、複数の観察者が立体視表示された対象物110内の同じ点を注視する。このため、情報処理装置100は、注視させる点において視差がゼロとなるため、観察者に注視点をどの位置から見ても同じ大きさで知覚させることができる。
(情報処理装置100のハードウェア構成例)
図2は、情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置100は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、を有する。情報処理装置100は、ディスクドライブ204と、ディスク205と、I/F(Inter/Face)206と、キーボード207と、マウス208と、ディスプレイ209と、を有する。また、CPU201と、ROM202と、RAM203と、ディスクドライブ204と、I/F206と、キーボード207と、マウス208と、ディスプレイ209とは、バス200によってそれぞれ接続される。
ここで、CPU201は、情報処理装置100の全体の制御を司る。ROM202は、ブートプログラムなどのプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。ディスクドライブ204は、CPU201の制御にしたがってディスク205に対するデータのリード/ライトを制御する。ディスク205は、ディスクドライブ204の制御で書き込まれたデータを記憶する。ディスク205としては、磁気ディスク、光ディスクなどが挙げられる。
I/F206は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワーク210に接続され、このネットワーク210を介して他の装置に接続される。そして、I/F206は、ネットワーク210と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F206には、例えばモデムやLANアダプタなどを採用することができる。
キーボード207やマウス208は、利用者の操作により、各種データの入力の受け付けを行うインターフェースである。ディスプレイ209は、CPU201の指示により、データを出力するインターフェースである。
また、図示を省略するが、情報処理装置100には、カメラから画像や動画を取り込む入力装置やマイクから音声を取り込む入力装置が設けられていてもよい。また、図示を省略するが、情報処理装置100には、プリンタなどの出力装置が設けられていてもよい。
また、本実施の形態では、情報処理装置100のハードウェア構成として、パーソナル・コンピュータを例に挙げているが、これに限らず、サーバなどであってもよい。情報処理装置100がサーバである場合、情報処理装置100と利用者の操作可能な装置やディスプレイ209などがネットワーク210を介して接続されてもよい。
(各種DB(Database)等の記憶内容)
つぎに、情報処理装置100が有する各種DB等の記憶内容について説明する。各種DB等は、例えば、図2に示した情報処理装置100のROM202、RAM203、ディスク205や不揮発性の半導体メモリ(図示省略)などの記憶部により実現される。
図3は、3Dデータ例を示す説明図(その1)である。ここでは、3Dデータ300として、STL(Standard Triangulated Language)ファイルフォーマットを用いて説明する。図3(1)にはソリッドの名前を表す文字列が記述される。図3(2)には三角形の面法線のベクトルの成分が記述される。図3(3)は、三角形に含まれる点の開始記号が記述される。
図3(4)〜図3(6)には三角形に含まれる点の成分が記述される。図3(7)には、三角形に含まれる点の終了記号が記述される。図3(8)には、三角形の面の終了記号が記述される。図3(9)には、ソリッドを終了する記号が記述される。
図4は、3Dデータ例を示す説明図(その2)である。図4には、X,Y,Zの各長さが30,10,20の立方体のサンプルモデルを例に挙げる。面ごとに面に含まれる点が記述される。図4に示すように、3Dデータ300には、1つ目の面に含まれる点からN番目の面に含まれる点までが記述される。
(情報処理装置100の機能的構成例)
図5は、情報処理装置の機能的構成例を示すブロック図である。情報処理装置100は、入力受付部501と、設定部502と、算出部503と、移動回転部504と、生成部505と、表示制御部506と、記憶部510と、を有する。入力受付部501から表示制御部506までの制御部500の処理は、例えば、図2に示すCPU201がアクセス可能なROM202、RAM203、ディスク205などの記憶装置に記憶されたプログラムにコーディングされている。そして、CPU201が記憶装置から該プログラムを読み出して、プログラムにコーディングされている処理を実行する。これにより、制御部500の処理が実現される。また、制御部500の処理結果は、例えば、RAM203、ROM202、ディスク205などの記憶装置に記憶される。
情報処理装置100と、表示装置101とは、ネットワーク210を介して接続されていてもよいし、有線で接続されていてもよい。
入力受付部501は、例えば、視点位置の指定を受け付ける。視点位置とは、右目位置と、左目位置との中点である。視点位置を示す位置情報は、3次元のベクトル情報である。また、入力受付部501は、右目位置と左目位置との間の距離を示す情報の入力を受け付ける。
設定部502は、例えば、3次元のシミュレーション空間において、指定された視点位置と、右目位置と左目位置との間の距離と、に基づいて、右目位置および左目位置を設定する。なお、右目位置および左目位置を設定する例については図6を用いて後述する。
つぎに、入力受付部501は、注視点位置の指定を受け付ける。また、注視点位置については、3次元CADによって定められてもよい。例えば注視点位置は、シミュレーション空間における対象物の真ん中の点であってもよい。注視点位置は、後述する視差ゼロに相当する面の中点に相当する。そして、設定部502は、視点位置から注視点位置までの方向を視線方向に設定する。ここでの視線方向は、右目および左目の3次元の直交座標系におけるZ軸方向である。
設定部502は、投影領域縦方向長さおよび投影領域横方向長さと、注視点位置と、に基づく特定の面を設定する。ここで特定の面は、右目と左目との視差がゼロとなる面である。視差がゼロとなる面は省略してゼロ面とも称する。投影領域縦方向長さおよび投影領域横方向長さについては、表示装置101が有するディスプレイの画面のサイズ比に基づいて決定される。例えば、表示装置101が有するディスプレイの画面のサイズ比は、横:縦において16:9、4:3などである。
そして、設定部502は、第1投影領域と、第2投影領域と、を設定する。第1投影領域は、右目位置から投影面に向かって広がる領域である。第2投影領域は、左目位置から投影面に向かって広がり、断面がゼロ面において第1投影領域と一致する領域である。
具体的には、設定部502は、例えば、右目位置と、NearClip距離と、FarClip距離と、ゼロ面と、に基づいて、第1投影領域を設定する。第1投影領域は、右目位置から視線方向に向かって広がる領域である。また、第1投影領域は、ゼロ面を断面に含む領域である。また、第1投影領域は、右目位置からNearClip距離までの位置から、右目位置からFarClip距離までの位置との間の領域である。
そして、設定部502は、左目位置と、NearClip距離と、FarClip距離と、視差ゼロとなる平面と、に基づいて、第2投影領域を設定する。
設定部502は、シミュレーション空間において、右目位置から投影面までの第1投影領域と、左目位置から投影面までの第2投影領域と、を設定する。そして、表示制御部506は、対象物を第1投影領域に投影させた第1映像と、対象物を第2投影領域に投影させた第2映像と、を表示装置101に表示させる制御を行う。表示制御部506は、情報処理装置100によって生成された第1映像および第2映像を表示装置101に表示させてもよいし、表示装置101に第1映像および第2映像を生成させて表示させてもよい。なお、第1映像と第2映像とが表示されることによって観察者が見える立体映像の例については、図7を用いて後述する。また、第1映像と第2映像とが表示される例については図8を用いて後述する。
算出部503は、シミュレーション空間において、ゼロ面と、対象物の最大外形の面との交線の各長さを算出する。そして、算出部503は、表示装置101が有するディスプレイの大きさと、算出した長さとの比率に基づいて所定の空間に表示させる際の対象物の長さを算出する。ここで、ゼロ面は、表示装置101が有するディスプレイの縦横のサイズ比に基づいて設定される。
表示制御部506は、ゼロ面と対象物の最大外形面との交線の各長さと、表示装置101が有するディスプレイの大きさと、に基づいて、第1映像が示す対象物と、第2映像が示す対象物と、をスケーリングする。なお、ゼロ面と対象物との交線に基づいてスケーリングする例については図9や図10を用いて後述する。
また、表示制御部506は、第1映像および第2映像において、対象物のうち、ゼロ面と接する部分を強調表示させる。対象物のうち、ゼロ面に接する部分とは、例えば、ゼロ面と対象物の最大外形面との交線または交線の近傍部分である。具体的には、生成部505は、例えば、3Dデータ300に、ゼロ面と対象物の最大外形面との交線を示す情報を追加する。そして、生成部505は、例えば、3Dデータ300が示す交線が追加された対象物を、第1投影領域に投影させた第1映像を示す画像情報と、交線が追加された対象物を、第2投影領域に投影させた第2映像を示す画像情報と、を生成する。つぎに、表示制御部506は、生成された各画像情報を表示装置に送信する。そして、表示装置101は、各画像情報が示す第1映像および第2映像を表示する。
これにより、複数の観察者が立体視表示された対象物に対して検証を行う際に、ゼロ面が強調表示されることにより、複数の観察者が注視すべき位置が分かり易くなり、情報処理装置100は、検証の容易化を図ることができる。なお、強調表示例については、図11を用いて後述する。
また、入力受付部501は、対象物のうちのいずれかの点の指定を受け付ける。具体的には、入力受付部501は、例えば、キーボード207、マウス208、タッチパネル式のディスプレイ209への操作入力によってシミュレーション空間に模擬された対象物のいずれかの点の指定を受け付ける。または、入力受付部501は、例えば、情報処理装置100と通信可能なポインティングデバイスなどの操作入力によって実際の空間に表示された立体映像が示す対象物のいずれかの点の指定を受け付ける。いずれかの点は、例えば、観察者が注視すべき点である。
また、表示制御部506は、指定された点がゼロ面に含まれる位置となる位置に配置された対象物を、第1投影領域に投影させた第1映像と、配置された対象物を、第2投影領域に投影させた第2映像と、を表示装置101に表示させる。ここでの表示させる処理としては、例えば、移動回転部504と、生成部505と、表示制御部506と、によって行われる。
まず、移動回転部504は、シミュレーション空間において、指定された点をゼロ面に含まれる位置となるように対象物を移動させる。ここで、シミュレーション空間において対象物110を移動させるとは、指定された点をゼロ面に含まれる位置となる位置に配置された対象物を示す3Dデータを3次元のCADによって生成することを示す。そして、生成部505は、例えば、移動させた対象物を第1投影領域に投影させた第1映像を生成する。また、生成部505は、例えば、移動させた対象物を第2投影領域に投影させた第2映像を生成する。ここで、映像を生成するとは、映像を示す画像情報を生成することを示す。画像情報とは、例えば、画素値ごとのRGBの情報などである。生成部505による処理については、例えば、CPU201が行う処理でなく、CPU201とは異なるグラフィック専用のカードが行う処理であってもよい。
そして、具体的には、表示制御部506は、例えば、生成部505によって生成された第1映像と第2映像と、を表示装置101に表示させる。より具体的には、表示制御部506は、生成部505によって生成された第1映像および第2映像を表示装置101に転送する。第1映像および第2映像を表示装置101に転送するとは、例えば、第1映像を示す画像情報や第2映像を示す画像情報とを表示装置101が有する表示用RAMに書き込むことを示す。これにより、表示装置101は、表示用のRAMに書き込まれた画像情報に基づいて映像を表示する。なお、いずれかの点がゼロ面に含まれる位置となるように対象物を移動させた例については図12を用いて後述する。
また、入力受付部501は、対象物のうちのいずれかの面の指定を受け付ける。具体的には、入力受付部501は、例えば、キーボード207、マウス208、タッチパネル式のディスプレイ209への操作入力によってシミュレーション空間に模擬された対象物のいずれかの3点の指定を受け付ける。表示制御部506は、3点の指定を受け付けることにより3点に基づいて面を特定可能である。ここで特定される面が指定された面である。
表示制御部506は、例えば、指定された面を、ゼロ面に平行となり、かつ指定された面のいずれかの点がゼロ面に含まれる位置となる位置に配置された対象物を第1投影領域に投影させた第1映像を表示させる。そして、表示制御部506は、例えば、指定された面を、ゼロ面に平行となり、かつ指定された面のいずれかの点がゼロ面に含まれる位置となる位置に配置された対象物を第2投影領域に投影させた第2映像を表示させる。ここでの表示させる処理としては、例えば、移動回転部504と、生成部505と、表示制御部506と、によって行われる。
具体的には、移動回転部504は、指定された面がゼロ面に平行となり、指定された面のいずれかの点がゼロ面と接するように対象物を移動および/または回転させる。ここで、シミュレーション空間において対象物を移動および/または回転させるとは、指定された面がゼロ面に平行となり、指定された面のいずれかの点がゼロ面と接する位置に配置された対象物を示す3Dデータを3次元のCADによって生成することを示す。そして、生成部505は、例えば、移動および/または回転させた対象物を、第1投影領域に投影させた第1映像を生成する。生成部505は、例えば、移動および/または回転させた対象物を、第2投影領域に投影させた第2映像を生成する。そして、表示制御部506は、例えば、第1映像および第2映像を表示装置101に表示させる。
図6は、3次元空間における右目位置および左目位置の設定例を示す説明図である。図6には、3次元のCADによってシミュレーション空間600に対象物601が模擬された例を示す。情報処理装置100は、3次元のCADの処理を実行する。情報処理装置100は、3次元のCADによって3Dデータ300を読み込むことによりシミュレーション空間600上に対象物601を模擬することができる。シミュレーション空間600は、X軸、Y軸、Z軸によって直交座標系が定義されてある。
入力受付部501は、例えば、シミュレーション空間600において、右目位置611と左目位置612との中点である視点位置の指定を受け付ける。入力受付部501は、3Dメガネなどの位置情報を、視点位置を示す位置情報として受け付けてもよい。また、入力受付部501は、右目位置611と左目位置612との間の距離の指定を受け付ける。
設定部502は、受け付けた視点位置と、右目位置611と左目位置612との間の距離と、に基づいて、シミュレーション空間600において、右目位置611および左目位置612を設定する。
図7は、投影領域の設定例を示す説明図である。図7の例では、設定部502は、第1投影領域701と、第2投影領域702と、を設定する。
具体的には、設定部502は、例えば、右目位置611からのFarClip距離によって第1投影面711を設定する。また、設定部502は、例えば、左目位置612からのFarClip距離によって第2投影面712を設定する。
設定部502は、右目位置611から第1投影面711に向かって拡がる第1投影領域701であり、右目位置611からNearClip距離によって定まる面から第1投影面711までにゼロ面700を含む第1投影領域701を設定する。また、設定部502は、左目位置612から第2投影面712に向かって拡がる第2投影領域702であり、右目位置611からNearClip距離によって定まる面から第2投影面712までにゼロ面700を含む第2投影領域702を設定する。
そして、生成部505は、対象物601を第1投影領域701に投影させた右目用の映像を示す画像情報と、対象物601を第2投影領域702に投影させた左目用の映像を示す画像情報と、を生成する。そして、表示制御部506は、右目用の映像を示す画像情報と、左目用の映像を示す画像情報と、を表示装置101に送信する。表示装置101は、受信した画像情報に基づき各目の映像を表示する。これにより、表示制御部506は、右目用の映像と左目用の映像とを表示装置101に表示させることができる。
図8は、2つの映像の表示例を示す説明図である。表示装置101は、例えば、右目用の第1映像801と、左目用の第2映像802と、表示装置101が有するディスプレイを用いて実際の空間800に表示する。図8の例では、理解の容易化のために、対象物601を簡略化して示す。観察者は、右目用の第1映像801と、左目用の第2映像802との両方によって立体映像として認識することができる。右目用の第1映像801と、左目用の第2映像802とにおいて一致する面803は、例えば、ゼロ面700に含まれる。これにより、観察者は、右目用の第1映像801と、左目用の第2映像802とを見ると、対象物601の立体映像に見える。
図9は、スケーリング例1を示す説明図である。算出部503は、例えば、ゼロ面700と、対象物601の外形面との交線の各長さを算出する。算出部503は、例えば、算出した各長さと、表示装置101が有するディスプレイのサイズと、表示装置101が有するディスプレイで表示される対象物601のサイズと、に基づいて、対象物601のスケーリング量を算出する。ここで、表示装置101が有するディスプレイのサイズは、予め定められてある。表示装置101が有するディスプレイによって表示される対象物601のサイズは、生成部505によって特定可能である。
生成部505は、スケーリング量に基づいて、3Dデータ300において対象物601をスケーリングする。そして、生成部505は、スケーリング後の対象物601を第1投影領域701に投影させた第1映像801と、スケーリング後の対象物601を第2投影領域702に投影させた第2映像802と、を生成する。そして、表示制御部506は、生成部505によって生成された第1映像801および第2映像802を表示装置101に表示させる。
または、表示制御部506は、スケーリング量を表示装置101に与えて、表示装置101にスケーリング量に応じてスケーリングして第1映像801および第2映像802を表示させる制御を行う。より詳細なスケーリングの例については図10を用いて説明する。
図10は、スケーリング例2を示す説明図である。図10(1)に示すように、算出部503は、例えば、ゼロ面700と、対象物601の外形面との交線の各長さを算出する。図10(1)では、この外形の縦長さは20cmであり、横の長さは10cmである。つぎに、図10(2)に示すように、スケーリング部は、立体映像が示す対象物601のうちゼロ面700に接する部分の外形の各長さと、表示装置101が有するディスプレイのサイズとを特定する。
ディスプレイのサイズや立体映像が示す対象物601のうちゼロ面700に接する部分の外形の各長さは、ピクセルによって表される。1ピクセルの長さは、ディスプレイに応じて定まる。図10(2)に示すように、例えば、立体映像が示す対象物601のゼロ面700に接する部分のサイズは、例えば、縦400ピクセル×横300ピクセルである。表示装置101が有するディスプレイのサイズは、例えば、縦800ピクセル×横1000ピクセルである。ここでは、1ピクセルが0.25cmである。400ピクセルは1mであり、800ピクセルは2mである。交線の長さは縦20cmである。スケーリング量は、1/5である。
表示制御部506は、例えば、スケーリング量に応じてスケーリングされた第1映像801および第2映像802を表示装置101に表示させる。図10(3)の例では、対象物601のゼロ面700に接する部分のサイズは、例えば、縦80ピクセル×横60ピクセルである。
そして、表示制御部506は、スケーリング後の対象物601を第1投影領域701に投影させた第1映像801と、スケーリング後の対象物601を第2投影領域702に投影させた第2映像802と、を表示装置101に表示させる。
図11は、視差ゼロとなる面に相当する部分の強調例を示す説明図である。表示制御部506は、例えば、ゼロ面700と対象物601の最大外形との交線を強調表示させる。図11(1)に示すように、表示制御部506は、強調表示形式として、交線を強調して表示させる。また、図11(2)に示すように、表示制御部506は、強調表示形式として、スケーリングの基準となる交線に基づく対象物601の断面を表示させる。また、図11(3)に示すように、表示制御部506は、対象物601のうち、交線の近傍以外の部分をぼかして表示させる。
表示制御部506は、例えば、シミュレーション空間において、交線を強調させた対象物を投影させた映像を示す画像情報を表示装置101に送信する。これにより、表示装置101は、画像情報に基づいて映像を表示する。これにより、交線が強調表示させる。
または、表示制御部506は、対象物を投影させた映像を示す画像情報と共に、強調表示させる部分の情報を表示装置101に送信する。表示装置101は、画像情報を表示する際に、強調表示させる部分の情報に基づいて映像において交線を強調表示させてもよい。
図12は、モデルの移動例を示す説明図である。入力受付部501は、シミュレーション空間600において対象物601のいずれかの点の指定を受け付ける。図12の例ではいずれかの点は●印の部分である。移動回転部504は、いずれかの点がゼロ面700の位置となるように対象物601を移動させる。そして、表示制御部506は、移動させた対象物601を第1投影領域701に投影させた映像と、移動させた対象物601を第2投影領域702に投影させた映像と、を表示装置101に表示させる。
図13は、モデルの回転移動例を示す説明図である。入力受付部501は、例えば、対象物601のいずれかの3点の指定を受け付ける。そして、移動回転部504は、指定された3点によって面を特定する。そして、移動回転部504は、シミュレーション空間600において、特定した面がゼロ面700に平行になり、かつ特定される面がゼロ面700のいずれかの点に接するように、対象物601を回転および/または移動させる。そして、表示制御部506は、回転および/または移動させた対象物601を、第1投影領域701に投影させた映像と、移動させた対象物601を第2投影領域702に投影させた映像と、を表示装置101に表示させる。これにより、情報処理装置100は、表示させる対象物601の向きを変えつつ、注視すべき面を、いずれの位置から見ても同じ大きさで知覚させることができる。
(情報処理装置100による立体視表示処理手順例)
図14は、情報処理装置による立体視表示処理手順例を示すフローチャートである。情報処理装置100は、右目位置611および左目位置612を設定する(ステップS1401)。情報処理装置100は、各目からの投影領域を設定して立体視表示を制御する(ステップS1402)。情報処理装置100は、視差ゼロとなる面を抽出する(ステップS1403)。
情報処理装置100は、視差ゼロとなる平面とモデルの外形面との交線の長さを特定する(ステップS1404)。情報処理装置100は、スケーリングして立体視表示を制御する(ステップS1405)。そして、情報処理装置100は、視差ゼロとなる面の強調表示を制御する(ステップS1406)。ステップS1406において、情報処理装置100は、図11に示すよう強調表示させる。情報処理装置100は、移動回転処理を行い(ステップS1407)、一連の処理を終了する。ここで、移動回転処理については、観察者の操作入力に応じて複数行われてもよい。
図15は、図14で示した移動回転処理(ステップS1407)の詳細な説明を示すフローチャート例1である。情報処理装置100は、モデル内の点の指定を受け付ける(ステップS1501)。そして、情報処理装置100は、モデル内の指定された点を視差ゼロとなる面に平行移動させる(ステップS1502)。つぎに、情報処理装置100は、平行移動後のモデルを第1投影領域701に投影させた第1映像801と、平行移動後のモデルを第2投影領域702に投影させた第2映像802と、を表示させる制御を行い(ステップS1503)、一連の処理を終了する。
図16は、図14で示した移動回転処理(ステップS1407)の詳細な説明を示すフローチャート例2である。情報処理装置100は、モデル内の3点の指定を受け付ける(ステップS1601)。そして、情報処理装置100は、3点により定義される平面を生成する(ステップS1602)。
情報処理装置100は、生成した平面が視差ゼロの平面と平行になるように回転させる(ステップS1603)。情報処理装置100は、生成した平面の一点が視差ゼロの面上に配置されるように平行移動させる(ステップS1604)。情報処理装置100は、平行移動後のモデルを第1投影領域701に投影させた第1映像801と、平行移動後のモデルを第2投影領域702に投影させた第2映像802と、を表示させる制御を行い(ステップS1605)、一連の処理を終了する。
以上説明したように、情報処理装置100は、表示対象のモデルの注視点が、右目と左目の視差がゼロとなる面に含まれる位置となる位置にあるモデルを各目の位置に応じた投影領域に投影させた各映像を表示する。これにより、情報処理装置100は、観察者に注視点をどの位置から見ても同じ大きさで知覚させることができる。したがって、情報処理装置100は、複数の観察者による立体視されたモデルの検証の容易化を図ることができる。
また、情報処理装置100は、モデルの注視点が、右目と左目の視差がゼロとなる面に含まれる位置となるようにモデルを移動させて移動後のモデルを投影させる。これにより、情報処理装置100は、観察者に注視点をどの位置から見ても同じ大きさで知覚させることができる。
また、情報処理装置100は、指定された面が視差ゼロとなる面に平行となり、かつ指定された面の一部が、視差ゼロとなる面のいずれかの位置となる位置に配置されたモデルが各投影領域に投影された各映像を表示装置に表示させる。これにより、情報処理装置100は、観察者に注視面をどの位置から見ても同じ大きさで知覚させることができる。
また、情報処理装置100は、モデルのうち、視差がゼロとなる面にある領域を強調表示させる。これにより、複数の観察者が、対象物601を立体視表示することにより検証を行う際に、ゼロ面700が強調表示されることにより、複数の観察者が注視すべき位置が分かり易くなり、情報処理装置100は、検証の容易化を図ることができる。
なお、本実施の形態で説明した立体視表示方法は、予め用意された立体視表示プログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本立体視表示プログラムは、磁気ディスク、光ディスク、USB(Universal Serial Bus)フラッシュメモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、立体視表示プログラムは、インターネット等のネットワークを介して配布してもよい。
100 情報処理装置
101 表示装置
103,600 シミュレーション空間
104,800 空間
110,601 対象物
111 第1位置
112 第2位置
113,711 第1投影面
114,712 第2投影面
115,701 第1投影領域
116,702 第2投影領域
117,803 面
121,801 第1映像
122,802 第2映像
300 3Dデータ
500 制御部
501 入力受付部
502 設定部
503 算出部
504 移動回転部
505 生成部
506 表示制御部
510 記憶部
611 右目位置
612 左目位置
700 ゼロ面

Claims (9)

  1. 3次元のシミュレーション空間において、模擬した表示の対象物を、第1位置から第1投影面に向かって拡がる第1投影領域に投影させた第1映像と、第2位置から第2投影面に向かって拡がり、特定の面において前記第1投影領域と一致する第2投影領域に前記対象物を投影させた第2映像と、を表示装置によって所定の空間に表示させるコンピュータに、
    前記対象物のうちのいずれかの点の指定を受け付け、
    指定された前記点が前記特定の面に含まれる位置となる位置に配置された前記対象物を前記第1投影領域に投影させた前記第1映像と、配置された前記対象物を前記第2投影領域に投影させた前記第2映像と、を前記表示装置に表示させる、
    処理を実行させることを特徴とする立体視表示プログラム。
  2. 前記コンピュータに、
    指定された前記点が前記特定の面に含まれる位置となる位置に前記対象物を移動させる、
    処理を実行させ、
    前記第1映像と前記第2映像とを表示させる処理では、
    移動させた前記対象物を前記第1投影領域に投影させた前記第1映像と、移動させた前記対象物を前記第2投影領域に投影させた前記第2映像と、を表示させる、
    処理を実行させることを特徴とする請求項1に記載の立体視表示プログラム。
  3. 前記いずれかの点の指定を受け付ける処理では、
    前記シミュレーション空間における前記対象物のうちのいずれかの面の指定を受け付け、
    前記第1映像と前記第2映像とを表示させる処理では、
    指定された前記面が前記特定の面に平行となり、かつ指定された前記面の少なくとも一部が、前記特定の面のいずれかの位置となる位置に配置された前記対象物を前記第1投影領域に投影させた前記第1映像と、配置された前記対象物を前記第2投影領域に投影させた前記第2映像と、を表示させることを特徴とする請求項1または2に記載の立体視表示プログラム。
  4. 前記コンピュータに、
    指定された前記面が前記特定の面に平行となり、かつ指定された前記面の少なくとも一部が、前記特定の面のいずれかの位置となる位置に前記対象物を移動および/または回転させる処理を実行させ、
    前記第1映像と前記第2映像を表示させる処理では、
    移動および/または回転させた前記対象物を前記第1投影領域に投影させた前記第1映像と、移動および/または回転させた前記対象物を前記第2投影領域に投影させた前記第2映像と、を表示させる、
    ことを特徴とする請求項3に記載の立体視表示プログラム。
  5. 前記コンピュータに、
    前記特定の面を強調表示させる、
    処理を実行させることを特徴とする請求項1〜4のいずれか一つに記載の立体視表示プログラム。
  6. 前記第1位置は、前記シミュレーション空間における人の右目の位置を示し、
    前記第2位置は、前記シミュレーション空間における前記人の左目の位置を示すことを特徴とする請求項1〜5のいずれか一つに記載の立体視表示プログラム。
  7. 前記特定の面は、前記シミュレーション空間における前記人の右目と前記人の左目との視差がゼロとなる面であることを特徴とする請求項6に記載の立体視表示プログラム。
  8. 3次元のシミュレーション空間において、模擬した表示の対象物を、第1位置から第1投影面に向かって拡がる第1投影領域に投影させた第1映像と、第2位置から第2投影面に向かって拡がり、特定の面において前記第1投影領域と一致する第2投影領域に前記対象物を投影させた第2映像と、を表示装置によって所定の空間に表示させるコンピュータが、
    前記対象物のうちのいずれかの点の指定を受け付け、
    指定された前記点が前記特定の面に含まれる位置となる位置に配置された前記対象物を前記第1投影領域に投影させた前記第1映像と、配置された前記対象物を前記第2投影領域に投影させた前記第2映像と、を前記表示装置に表示させる、
    処理を実行することを特徴とする立体視表示方法。
  9. 3次元のシミュレーション空間において、模擬した表示の対象物を、第1位置から第1投影面に向かって拡がる第1投影領域に投影させた第1映像と、第2位置から第2投影面に向かって拡がり、特定の面において前記第1投影領域と一致する第2投影領域に前記対象物を投影させた第2映像と、を表示装置によって所定の空間に表示させる情報処理装置であって、
    前記対象物のうちのいずれかの点の指定を受け付け、指定された前記点が前記特定の面に含まれる位置となる位置に配置された前記対象物を前記第1投影領域に投影させた前記第1映像と、配置された前記対象物を前記第2投影領域に投影させた前記第2映像と、を前記表示装置に表示させる制御部を有することを特徴とする情報処理装置。
JP2016224466A 2016-11-17 2016-11-17 立体視表示プログラム、立体視表示方法、および情報処理装置 Pending JP2018082356A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016224466A JP2018082356A (ja) 2016-11-17 2016-11-17 立体視表示プログラム、立体視表示方法、および情報処理装置
US15/729,201 US20180139438A1 (en) 2016-11-17 2017-10-10 Stereoscopic image display program, stereoscopic image display method, and information processing apparatus
EP17196351.5A EP3324620A3 (en) 2016-11-17 2017-10-13 Stereoscopic image display program, stereoscopic image display method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016224466A JP2018082356A (ja) 2016-11-17 2016-11-17 立体視表示プログラム、立体視表示方法、および情報処理装置

Publications (1)

Publication Number Publication Date
JP2018082356A true JP2018082356A (ja) 2018-05-24

Family

ID=60117532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016224466A Pending JP2018082356A (ja) 2016-11-17 2016-11-17 立体視表示プログラム、立体視表示方法、および情報処理装置

Country Status (3)

Country Link
US (1) US20180139438A1 (ja)
EP (1) EP3324620A3 (ja)
JP (1) JP2018082356A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580127B1 (ko) * 2009-08-28 2015-12-28 엘지전자 주식회사 이동 단말기 및 그의 3차원 인터페이스를 이용한 제어 방법
EP2544579B1 (en) * 2010-03-12 2018-08-15 Viking Systems, Inc. Stereoscopic visualization system
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
JP5725902B2 (ja) * 2011-02-24 2015-05-27 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム
JP5920911B2 (ja) 2011-11-10 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6430149B2 (ja) 2013-05-28 2018-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2014236340A (ja) 2013-05-31 2014-12-15 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Also Published As

Publication number Publication date
EP3324620A2 (en) 2018-05-23
EP3324620A3 (en) 2018-08-01
US20180139438A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
US11282264B2 (en) Virtual reality content display method and apparatus
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
US10587868B2 (en) Virtual reality system using mixed reality and implementation method thereof
CN111164971B (zh) 用于3d内容的视差观察器系统
EP3591966B1 (en) Image processing apparatus, image processing method, and program
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
EP2787734B1 (en) Apparatus and method for forming light field image
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
JP2011164781A (ja) 立体画像生成プログラム、情報記憶媒体、立体画像生成装置、及び立体画像生成方法
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
EP3616402A1 (en) Methods, systems, and media for generating and rendering immersive video content
KR20110088995A (ko) 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
EP3542877A1 (en) Optimized content sharing interaction using a mixed reality environment
JP6011567B2 (ja) 情報処理装置、その制御方法、及びプログラム
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
WO2019163128A1 (ja) 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
JP6357412B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP2018082356A (ja) 立体視表示プログラム、立体視表示方法、および情報処理装置
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
CN111405262B (zh) 一种视点信息生成方法、装置、系统、设备和介质
Hoang et al. Real-time stereo rendering technique for virtual reality system based on the interactions with human view and hand gestures
Szabó et al. Processing 3D scanner data for virtual reality