JP2023111647A - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP2023111647A
JP2023111647A JP2022013591A JP2022013591A JP2023111647A JP 2023111647 A JP2023111647 A JP 2023111647A JP 2022013591 A JP2022013591 A JP 2022013591A JP 2022013591 A JP2022013591 A JP 2022013591A JP 2023111647 A JP2023111647 A JP 2023111647A
Authority
JP
Japan
Prior art keywords
writing
information
information processing
processing apparatus
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022013591A
Other languages
English (en)
Inventor
裕丈 佐々木
Hirotake Sasaki
靖 飯田
Yasushi Iida
尚 森川
Takashi Morikawa
俊彦 鈴木
Toshihiko Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2022013591A priority Critical patent/JP2023111647A/ja
Priority to US17/901,411 priority patent/US20230298292A1/en
Publication of JP2023111647A publication Critical patent/JP2023111647A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2008Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想現実、拡張現実、または複合現実の空間に複数の書き込み面を設けて、書き込み先として選択された面以外に書き込まれた情報を隠すことなく、書き込み先として選択された面を明示可能な情報処理装置及び情報処理プログラムを提供することを目的とする。【解決手段】空間生成部が、ユーザがVRデバイス12及び入力装置14と共に存在する現実空間とは別の3次元空間に書き込み可能な仮想現実空間をコンピュータ上に生成し、書き込み面設定部は、仮想現実空間に入力装置14によって書き込み可能な書き込み面26を設定し、表示処理部24は、入力装置14からの情報を取得して、入力装置14の移動軌跡を画像として書き込み面26に表示する処理と、書き込み対象の書き込み面26を識別可能な表面情報を表示する処理を行う。【選択図】図4

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力部と、書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出部と、手書き画像の書き込み位置に関する相対座標を検出する相対座標検出部と、手書き画像を相対座標と共に記録する画像記録部と、手書き画像を表示する画像表示部及び画像表示部からの光を反射すると共に使用者の視線方向の実視野からの光を透過するコンバイナーを有する手書き画表示装置とを備え、コンバイナーを通すことで画像表示部に表示した手書き画像の虚像を重畳して表示する画像表示システムが提案されている。
また、特許文献2には、電子ペンと表示装置とが通信可能に接続された空間手書きシステムの電子ペンに、ペン先の3次元空間の座標を検出する座標検出部と、空間内に設定されたポイントに基づいて仮想平面を作成する仮想平面作成部と、3次元空間の座標の変化に基づいて仮想平面の法線方向のペン先の動作を検出し、法線方向のペン先の移動量又は移動速度又は移動加速度が予め定めた閾値を超えた場合にストロークの切れ目として認識するストローク検出部と、ストロークの切れ目から次の切れ目までの連続するストロークのペン先の軌跡を示す3次元空間の座標を、仮想平面の特定点を原点とする平面座標に変換する座標変換部と、変換した平面座標の情報を外部機器に出力する通信部と、を備えることが提案されている。
また、特許文献3には、ポインタの移動軌跡の3次元座標を検出する座標検出部と、仮想平面を3次元空間内に設定する仮想平面設定部と、ポインタの移動軌跡の3次元座標を変換する座標変換部と、ポインタの移動軌跡のうち、XY平面上の軌跡を入力軌跡として取得する入力軌跡取得部と、ポインタの移動軌跡のうち、Z軸方向の位置から仮想平面に対する接触度を算出して取得する接触度取得部と、接触度が閾値を超える場合に入力軌跡をGUI画面に表示し、かつ、ポインタの位置および仮想平面までの距離を示すためのインジケータをGUI画面に表示する表示部と、を備え、表示部が接触度に応じて表示軌跡の表現を変化させることを特徴とする空間手書き入力システムが提案されている。
特開2006-154900号公報 特開2013-003961号公報 特開2016-110249号公報
仮想現実、拡張現実、または複合現実の空間に書き込みを行うシステムにおいて、複数の書き込み面を設けることが想定される。しかしながら、複数の書き込み面を仮想現実、拡張現実、または複合現実の空間内に設けた場合、書き込み先として選択された面以外に書き込まれた情報を隠すことなく、書き込み先として選択された面を明示することが難しい。
そこで、本発明では、仮想現実、拡張現実、または複合現実の空間に複数の書き込み面を設けて、書き込み先として選択された面以外に書き込まれた情報を隠すことなく、書き込み先として選択された面を明示可能な情報処理装置及び情報処理プログラムを提供することを目的とする。
上記目的を達成するために、第1態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、仮想現実、拡張現実、または複合現実の空間を生成し、前記空間内に複数の書き込み面を設け、前記複数の書き込み面のうち、書き込み対象に選択された面を、他の面に書き込まれた情報が隠れない範囲で認識可能な表面情報を表示する処理を行う。
第2態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記表面情報は、半透明の色、格子模様、及び枠の少なくとも1つである。
第3態様に係る情報処理装置は、第1態様又は第2態様に係る情報処理装置において、前記複数の書き込み面は、奥行き方向に配列した面である。
第4態様に係る情報処理装置は、第3態様に係る情報処理装置において、前記複数の書き込み面は、複数の方向の奥行き方向に配列した面である。
第5態様に係る情報処理装置は、第1態様又は第2態様に係る情報処理装置において、前記複数の書き込み面は、予め定めた三次元対象物を囲むように配置した面である。
第6態様に係る情報処理装置は、前記複数の書き込み面は、予め定めた三次元対象物の内部に入り込むように配置した面である。
第7態様に係る情報処理装置は、第1態様又は第2態様に係る情報処理装置において、前記複数の書き込み面は、曲面形状の面である。
第8態様に係る情報処理装置は、第7態様に係る情報処理装置において、前記曲面形状の面は、ユーザを囲む球面形状の面である。
第9態様に係る情報処理装置は、第1態様~第8態様の何れか1の態様に係る情報処理装置において、前記プロセッサは、前記複数の書き込み面のうち、書き込み対象に選択された面に書き込まれた情報と、他の面に書き込まれた情報とを異なる態様で表示する。
第10態様に係る情報処理装置は、第1態様~第9態様の何れか1の態様に係る情報処理装置において、前記プロセッサは、前記空間に表示したボタン操作、機械的なスイッチ操作、または現実空間の移動により、前記複数の書き込み面のうち、書き込み対象となる面を変更する。
第11態様に係る情報処理装置は、第1態様~第10態様の何れか1の態様に係る情報処理装置において、前記プロセッサは、予め定めた操作を受け付けた場合、前記書き込み面毎に非表示又は削除を行う。
第12態様に係る情報処理装置は、第1態様~第11態様の何れか1の態様に係る情報処理装置において、前記プロセッサは、書き込み面を追加する予め定めた追加操作を受け付けた場合に、書き込み面を追加する。
第13態様に係る情報処理装置は、第12態様に係る情報処理装置において、前記プロセッサは、追加された書き込み面を書き込み対象の面として前記表面情報を表示する。
第14態様に係る情報処理装置は、第1態様~第13態様の何れか1の態様に係る情報処理装置において、前記プロセッサは、前記複数の書き込み面の間隔を調整する予め定めた調整操作を受け付けた場合、前記間隔を変更する。
第15態様に係る情報処理プログラムは、コンピュータに、仮想現実、拡張現実、または複合現実の空間を生成し、前記空間内に複数の書き込み面を設け、前記複数の書き込み面のうち、書き込み対象に選択された面を、他の面に書き込まれた情報が隠れない範囲で認識可能な表面情報を表示する処理を実行させる。
第1態様によれば、仮想現実、拡張現実、または複合現実の空間に複数の書き込み面を設けて、書き込み先として選択された面以外に書き込まれた情報を隠すことなく、書き込み先として選択された面を明示可能な情報処理装置を提供できる。
第2態様によれば、書き込み対象の書き込み面と他の面を認識できる。
第3態様によれば、書き込まれた情報の位置に対して意味を付加することができる。
第4態様によれば、単一の方向に複数の書き込み面を配列する場合に比べて、多くの情報を書き込むことができる。
第5態様によれば、三次元対象物に対して意味を付加した情報を書き込むことが可能となる。
第6態様によれば、三次元対象物の内部に対して意味を付加した情報を書き込むことが可能となる。
第7態様によれば、平面では付加できない意味を付加した情報を書き込むことが可能となる。
第8態様によれば、ユーザを取り囲むように情報を書き込むことが可能となる。
第9態様によれば、書き込み対象に選択された面に書き込まれた情報と、他の面に書き込まれた情報を識別し易くすることが可能となる。
第10態様によれば、複数の書き込み面の中から所望の書き込み面に書き込むことが可能となる。
第11態様によれば、所望の書き込み面に書き込まれた情報を非表示又は削除することが可能となる。
第12態様によれば、必要に応じて書き込み面を追加することが可能となる。
第13態様によれば、追加した書き込み面に直ぐに書き込むことが可能となる。
第14態様によれば、書き込み面の間隔を所望の間隔に調整することが可能となる。
第15態様によれば、仮想現実、拡張現実、または複合現実の空間に複数の書き込み面を設けて、書き込み先として選択された面以外に書き込まれた情報を隠すことなく、書き込み先として選択された面を明示可能な情報処理プログラムを提供できる。
本実施形態に係る情報処理システムの概略構成を示す図である。 本実施形態に係る情報処理システムにおけるVRデバイスの電気系の要部構成を示すブロック図である。 本実施形態に係る情報処理システムにおけるVRデバイスの機能的な構成の一例を示すブロック図である。 現実空間と仮想現実空間を示す図である。 書き込み面に表面情報として枠を表示した例を示す図である。 本実施形態に係る情報処理システムのVRデバイスで行われる処理の流れの一例を示すフローチャートである。 3つの書き込み面に書き込まれた文字の対応関係を示す図である。 2つの書き込み面に書き込まれた画像の位置関係を示す図である。 ユーザを取り囲むように複数の方向に対して書き込み面を配置する例を示す図絵ある。 三次元CADモデルを囲むように書き込み面を配置する例を示す図絵ある。 三次元3Dモデルの内部に入り込むように書き込み面を配置する例を示す図絵ある。 ユーザを囲む球面として書き込み面を配置する例を示す図である。 本実施形態に係る情報処理システムのVRデバイスで行われる処理の流れの変形例を示すフローチャートである。 書き込み面設定変更処理の流れの一例を示すフローチャートである。
以下、図面を参照して本実施形態の一例を詳細に説明する。本実施形態では、仮想現実(VR:Virtual Reality)空間に書き込みを行う情報処理システムを一例として説明する。図1は、本実施形態に係る情報処理システム10の概略構成を示す図である。なお、仮想現実とは、コンピュータの中に作られた仮想的な世界を、あたかも現実のように体験させる技術である。
本実施形態に係る情報処理システム10は、図1に示すように、ヘッドマウントディスプレイ(HMD:Head Mounted Display)12等のデバイスに仮想現実空間の画像を表示可能な情報処理装置としてのVRデバイス12と、仮想現実空間に書き込みを行うための入力装置14とを備えている。VRデバイス12と入力装置14は、無線通信可能とされ、無線通信により情報の授受が行われる。VRデバイス12と入力装置14の無線通信は、例えば、Wi-Fi(登録商標)や、Wi-Fi DIRECT(登録商標)、Bluetooth(登録商標)等が一例として適用される。なお、VRデバイス12と入力装置14は無線通信ではなく有線接続して有線通信としてもよい。
本実施形態では、VRデバイス12が仮想現実空間を生成し、入力装置14からの情報を受信して仮想現実空間に書き込まれた画像を表示する処理を行う。例えば、図1に示すように、ペン型の入力装置14を適用し、ペン型の入力装置14を仮想現実空間で移動することで、VRデバイス12が生成する仮想現実空間に移動軌跡を画像として表示することで、仮想現実空間に書き込みを行う。
なお、図1の点線で示すように、ネットワーク等の通信回線18に接続されたクライアントコンピュータやサーバ等の情報処理端末装置16と、無線基地局13を介して接続し、仮想現実空間の生成や、仮想現実空間への書き込み制御を情報処理端末装置16が行うようにしてもよい。或いは、情報処理端末装置16とVRデバイス12とを無線通信又は有線通信により直接接続して、仮想現実空間の生成や、仮想現実空間への書き込み制御を情報処理端末装置16が行うようにしてもよい。
図2は、本実施形態に係る情報処理システム10におけるVRデバイス12の電気系の要部構成を示すブロック図である。
本実施形態に係るVRデバイス12は、図2に示すように、プロセッサの一例としてのCPU(Central Processing Unit)12A、ROM(Read Only Memory)12B、RAM(Random Access Memory)12C、ストレージ12D、操作部12E、表示部12F、通信回線I/F(インタフェース)部12G、及び撮影部12Hを備えている。CPU12Aは、VRデバイス12の全体の動作を司る。ROM12Bは、各種制御プログラムや各種パラメータ等が予め記憶される。RAM12Cは、CPU12Aによる各種プログラムの実行時のワークエリア等として用いられる。ストレージ12Dは、各種のデータやアプリケーション・プログラム等が記憶される。操作部12Eは各種の情報を入力するために用いられる。表示部12Fは、各種の情報を表示するために用いられる。撮影部12Hは、撮影によって得られる画像情報を出力する。通信回線I/F部12Gは、通信回線18に接続され、当該通信VRデバイス12は、CPU12Aにより、通信回線I/F部12Gを介した通信データの送受信の制御を実行する。以上のVRデバイス12の各部はシステムバス12Iにより電気的に相互に接続されている。
なお、情報処理端末装置16は、基本的には一般的なコンピュータ構成とされ、図2の撮影部12H以外は、VRデバイス12と同様に、CPU、ROM、及びRAM等の一般的なコンピュータ構成であるため、詳細な説明は省略する。また、同様に、入力装置14についても、基本的にはVRデバイス12と同様の構成であるため詳細な説明は省略する。
本実施形態に係る情報処理システム10では、VRデバイス12のCPU12Aが、ストレージ12Dに記憶されたプログラムをRAM12Cに書き込んで実行することにより、図3に示す各部として機能する。
図3は、本実施形態に係る情報処理システム10におけるVRデバイス12の機能的な構成の一例を示すブロック図である。
図3に示すように、本実施形態に係る情報処理システム10におけるVRデバイス12のCPU12Aは、空間生成部20、書き込み面設定部22、及び表示処理部24の各々の機能を含む。
空間生成部20は、図4に示すように、ユーザがVRデバイス12及び入力装置14と共に存在する現実空間とは別の3次元空間に書き込み可能な仮想現実空間をコンピュータ上に生成する。
書き込み面設定部22は、空間生成部20によって生成された仮想現実空間に、図4に示すように、入力装置14によって書き込み可能な書き込み面26を設定する。書き込み面26は複数設定可能とされ、例えば、予め定めた数の書き込み面26を設定してもよいし、ユーザによって設定された数の書き込み面26を設定してもよい。或いは、1つの書き込み面26を設定し、ユーザの指示に応じて書き込み面26を順次追加設定可能としてもよい。書き込み面26は、例えば、20×10m等のように予め定めた大きさの面を設定し、複数の書き込み面26を設定する場合には、予め定めた間隔(例えば、20cm間隔等)で、ユーザに対して奥行き方向に配列した面を設定する。
表示処理部24は、入力装置14からの情報を取得して、入力装置14の移動軌跡を画像として書き込み面26に表示する処理を行う。また、表示処理部24は、仮想現実空間に複数の書き込み面26が設定されている場合、他の面に書き込まれた情報が隠れない範囲で書き込み対象の書き込み面26認識可能な表面情報を表示する処理を行う。例えば、表面情報としては、書き込み対象の書き込み面26と他の面の表示対象を異なる表示態様になるような表面情報を表示する。具体的には、図4に示すように書き込み対象の書き込み面26に半透明の色を付与したり、格子模様等の予め定めた模様を付与したり、図5に示すように書き込み対象の書き込み面26に枠30を付与したりする表面情報を生成して表示する処理を行う。
また、表示処理部24は、複数の書き込み面26が設定されている場合、書き込み対象の面を変更するためのボタン等を仮想現実空間に表示する処理を行う。そして、入力装置14によって当該ボタン操作等による書き込み面26を変更する操作を受け付けた場合に、表面情報を表示する書き込み面26を変更する。例えば、図5に示すように、仮想現実空間に生成した書き込み面26を識別するための番号等を空間の下方等に表示し、書き込み面26を選択する2つの矢印ボタン32を表示する。そして、矢印ボタン32をペン型の入力装置14で操作することで、矢印ボタン32の操作毎に表面情報を移動して、書き込み対象の書き込み面26を移動する。或いは、書き込み面26に対応する番号を操作することで、書き込み対象の書き込み面26を移動して表面情報を当該書き込み面26に表示する。
なお、入力装置14による書き込み方法は、種々の周知技術を適用して書き込み面26への書き込みが行われる。例えば、ペン型の入力装置14に機械的なボタン等を設けて、ボタンを押しながら入力装置14を移動させることで書き込みを行う。VRデバイス12が撮影部12H等により入力装置14を撮影してボタンを押している間の入力装置の先端の軌跡を検出したり、入力装置14の加速度や姿勢等を検出することでペン型の入力装置14の軌跡等を検出したりする。そして、検出した軌跡を書き込み面26に表示することで、書き込み面26への書き込みが行われる。
また、入力装置14の操作により、書き込み面26は上下左右にスライドして書き込み位置を変えるようにしてもよい。また、ボタン操作等により書き込み面26を前後の面と切り替えてもよい。当該操作の際には面同士の位置関係は維持される。
続いて、上述のように構成された本実施形態に係る情報処理システム10のVRデバイス12で行われる処理について説明する。図6は、本実施形態に係る情報処理システム10のVRデバイス12で行われる処理の流れの一例を示すフローチャートである。なお、図6の処理は、例えば、VRデバイス12の図示しない電源がオンされた場合に開始する。
ステップ100では、CPU12Aが、3次元空間に書き込みが可能な仮想空間を生成して表示部12Fに表示してステップ102へ移行する。すなわち、空間生成部20が、図4に示すように、VRデバイス12及び入力装置14と共にユーザが存在する現実空間とは別の3次元空間に書き込み可能な仮想現実空間をコンピュータ上に生成する
ステップ102では、CPU12Aが、書き込み面26を生成して表示部12Fに表示してステップ104へ移行する。すなわち、書き込み面設定部22が、空間生成部20によって生成された仮想現実空間に、入力装置14によって書き込み可能な書き込み面26を設定する。
ステップ104では、CPU12Aが、書き込み面26に表面情報を表示してステップ106へ移行する。例えば、表示処理部24が、図4に示すように書き込み対象の書き込み面26に半透明の色を付与したり、格子模様等の予め定めた模様を付与したり、図5に示すように書き込み対象の書き込み面26に枠30を付与したりする表面情報を生成して表示する処理を行う。
ステップ106では、CPU12Aが、書き込みを受け付けたか否かを判定する。該判定は、例えば、入力装置14が操作されて書き込みが行われたか否かを判定する。該判定が肯定された場合にはステップ108へ移行し、否定された場合にはステップ110へ移行する。
ステップ108では、CPU12Aが、受け付けた軌跡を表示部12Fに表示してステップ110へ移行する。すなわち、入力装置14が操作されて書き込まれた情報を表示部12Fに表示する。これにより、仮想現実空間上の書き込み面26に書き込まれた画像が表示部12Fに表示される。このとき、現在の書き込み対象の書き込み面26に書き込まれた情報と、他の書き込み面26に書き込まれている情報とを異なる態様で表示してもよい。例えば、異なる色で表示してもよいし、異なる太さで表示してもよいし、異なる表示濃度で表示してもよいし、一方を点滅表示してもよい。
ステップ110では、CPU12Aが、書き込み面26が選択されたか否かを判定する。該判定は、書き込み面26を選択する操作が行われたか否かを判定する。例えば、書き込み面26を選択する矢印ボタン32が操作されたか否かを判定してもよいし、入力装置14に設けられた書き込み面26を切り替えるボタン等のスイッチ操作が行われたか否かを判定してもよい。或いは、撮影部12Hの撮影結果等からユーザの現実空間の移動を検出したか否かを判定してもよい。該判定が肯定された場合にはステップ112へ移行し、否定された場合にはステップ114へ移行する。
ステップ112では、CPU12Aが、選択された書き込み面26に表面情報を表示してステップ114へ移行する。すなわち、書き込み面26が変更された場合には、現在の書込み面に表示している表面情報を変更された書き込み面26に変更して表示する。これにより、書き込み面26が変更されても、表面情報により書き込み対象の書き込み面26が認識可能となる。
ステップ114では、CPU12Aが、表示を終了するか否かを判定する。該判定は、例えば、図示しない電源をオフする操作が行われたか否かを判定する。該判定が否定された場合にはステップ106に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。
本実施形態に係る情報処理システム10のように、複数の書き込み面26が配列され、書き込み面26の前後の面も含めて情報が見えることが価値を持つ場面としては下記のものが想定される。
例えば、現実のホワイトボードや二次元ディスプレイでは文字や図形情報の位置は二次元でしか意味を与えることができないが、本実施形態に係る情報処理システム10では奥行方向を使い情報の位置に対してさらに意味が付加される。
また、図面に書き込みを行うような場合、現実の紙ではレイヤーを分けることができず、二次元ディスプレイでレイヤーを分けることで情報のまとまりを表現できるが、その認識には表示と非表示の切り替え等が必要であるのに対して、本実施形態に係る情報処理システム10では奥行方向の位置によって認識が可能となる。例えば、図7に示すように、3つの書き込み面26に書き込まれた文字の対応関係や、図8に示すように、2つの書き込み面26に書き込まれた画像の位置関係等が分かる。
なお、複数の書き込み面26は、生成する面の方向は一方向に限定するものではなく、例えば、図9に示すように、ユーザを取り囲むように複数の奥行き方向(図9では2方向)に対して面を配置してもよい。或いは、図10に示すように、三次元対象物としての予め定めた三次元CAD(Computer Aided Design)モデル34を囲むように配置してもよい。或いは、図11に示すように、三次元CADモデル34の内部に入り込むように配置してもよい。
さらに、書き込み面26の形状は、平面に限定されるものではなく、曲面形状の面であってもよいし、図12に示すように、ユーザを囲む球面形状の面としてもよい。
また、上記の実施形態における図6のVRデバイス12で行われる処理は、図13に示すように、ステップ113A、113Bの処理を追加してもよい。図13は、本実施形態に係る情報処理システム10のVRデバイス12で行われる処理の流れの変形例を示すフローチャートである。なお、図13では、図6の処理と同一処理については同一符号を付して説明する。
すなわち、ステップ110の判定が否定された場合、及びステップ112の処理後に、ステップ113Aへ移行する。
ステップ113Aでは、CPU12Aが、書き込み面設定変更操作が行われたか否かを判定する。該判定は、例えば、入力装置14により、予め定めた書き込み面26の設定を変更する操作が行われたか否かを判定する。該判定が肯定された場合にはステップ113Bへ移行し、否定された場合にはステップ114へ移行する。
ステップ113Bでは、CPU12Aが、書き込み面設定変更処理を行ってステップ114へ移行する。
ここで、図14を参照して、書き込み面設定変更処理について詳細に説明する。図14は、書き込み面設定変更処理の流れの一例を示すフローチャートである。
ステップ200では、CPU12Aが、書き込み面26を追加する操作が行われたか否かを判定する。該判定は、例えば、入力装置14に設けられたスイッチや、表示部12Fに表示されたボタン等により、書き込み面追加操作を検出したか否か等を判定する。該判定が肯定された場合にはステップ202へ移行し、否定された場合にはステップ204へ移行する。
ステップ202では、CPU12Aが、書き込み面26を追加してステップ204へ移行する。なお、このとき、追加された書き込み面26に表面情報を表示して、書き込み対象の面に設定してもよい。或いは、追加した書き込み面26を書き込み対象の面にするか否かを問い合わせる表示を行って、ユーザに選択させるようにしてもよい。
ステップ204では、CPU12Aが、書き込み面26を削除する操作が行われたか否かを判定する。該判定は、例えば、入力装置14に設けられたスイッチや、表示部12Fに表示されたボタン等により、書き込み面26の削除操作を検出したか否か等を判定する。該判定が肯定された場合にはステップ206へ移行し、否定された場合にはステップ208へ移行する。
ステップ206では、CPU12Aが、対象の書き込み面26を削除してステップ208へ移行する。すなわち、表示部12Fに表示された書き込み面26のうち、削除指示された書き込み面26を削除する。
ステップ208では、CPU12Aが、書き込み面26を非表示にする操作が行われたか否かを判定する。該判定は、例えば、入力装置14に設けられたスイッチや、表示部12Fに表示されたボタン等により、書き込み面26を非表示にする操作を検出したか否か等を判定する。該判定が肯定された場合にはステップ210へ移行し、否定された場合にはステップ212へ移行する。
ステップ210では、CPU12Aが、対象の書き込み面26を非表示にしてステップ212へ移行する。すなわち、表示部12Fに表示された書き込み面26のうち、指示された書き込み面26を非表示にする。
ステップ212では、CPU12Aが、面間隔を調整する操作が行われたか否かを判定する。該判定は、例えば、入力装置14に設けられたスイッチや、表示部12Fに表示されたボタン等により、書き込み面26の間隔を調整する調整操作を検出したか否か等を判定する。該判定が肯定された場合にはステップ214へ移行し、否定された場合には一連の書き込み面設定変更処理をリターンしてステップ114へ移行する。
ステップ214では、CPU12Aが、書き込み面26の間隔を調整し、一連の書き込み面設定変更処理をリターンしてステップ114へ移行する。すなわち、指示された間隔になるように、表示部12Fに表示された書き込み面26の間隔を調整する。なお、間隔の調整方法としては、例えば、書き込み面26をドラッグ操作して移動する等の操作により行う。
図14の書き込み面設定変更処理は、ステップ200~214の一部の処理を行うようにしてもよい。すなわち、ステップ200~202の書き込み面26を追加する処理、ステップ204~206の書き込み面26を削除する処理、ステップ208~210の書き込み面26を非表示にする処理、及びステップ212~214の書き込み面26の間隔を調整する処理は、少なくとも1つの処理を行う書き込み面設定変更処理としてもよい。
なお、上記の実施形態では、仮想現実空間に書き込み面26を複数設ける例を説明したが、仮想現実空間以外の他の空間を適用してもよい。例えば、拡張現実(Augmented Reality)、または複合現実(Mixed Reality)の空間を適用してもよい。ここで、拡張現実とは、現実世界に仮想世界を重ね合わせて表示する技術であり、復号現実とは、現実世界と、コンピュータによって人工的に作り出された現実感を組み合わせ、複合的な空間知覚を生み出す技術である。
また、上記の実施形態において、CPUをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。
また、上記の実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記の実施形態に係る情報処理システム10で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、情報処理システム10で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
10 情報処理システム
12 VRデバイス
12A CPU
14 入力装置
20 空間生成部
22 書き込み面設定部
24 表示処理部
26 書き込み面
30 枠
32 矢印ボタン

Claims (15)

  1. プロセッサを備え、前記プロセッサは、
    仮想現実、拡張現実、または複合現実の空間を生成し、
    前記空間内に複数の書き込み面を設け、
    前記複数の書き込み面のうち、書き込み対象に選択された面を、他の面に書き込まれた情報が隠れない範囲で認識可能な表面情報を表示する処理を行う情報処理装置。
  2. 前記表面情報は、半透明の色、格子模様、及び枠の少なくとも1つである請求項1に記載の情報処理装置。
  3. 前記複数の書き込み面は、奥行き方向に配列した面である請求項1又は請求項2に記載の情報処理装置。
  4. 前記複数の書き込み面は、複数の方向の奥行き方向に配列した面である請求項3に記載の情報処理装置。
  5. 前記複数の書き込み面は、予め定めた三次元対象物を囲むように配置した面である請求項1又は請求項2に記載の情報処理装置。
  6. 前記複数の書き込み面は、予め定めた三次元対象物の内部に入り込むように配置した面である請求項1又は請求項2に記載の情報処理装置。
  7. 前記複数の書き込み面は、曲面形状の面である請求項1又は請求項2に記載の情報処理装置。
  8. 前記曲面形状の面は、ユーザを囲む球面形状の面である請求項7に記載の情報処理装置。
  9. 前記プロセッサは、前記複数の書き込み面のうち、書き込み対象に選択された面に書き込まれた情報と、他の面に書き込まれた情報とを異なる態様で表示する請求項1~8の何れか1項に記載の情報処理装置。
  10. 前記プロセッサは、前記空間に表示したボタン操作、機械的なスイッチ操作、または現実空間の移動により、前記複数の書き込み面のうち、書き込み対象となる面を変更する請求項1~9の何れか1項に記載の情報処理装置。
  11. 前記プロセッサは、予め定めた操作を受け付けた場合、前記書き込み面毎に非表示又は削除を行う請求項1~10何れか1項に記載の情報処理装置。
  12. 前記プロセッサは、書き込み面を追加する予め定めた追加操作を受け付けた場合に、書き込み面を追加する請求項1~11の何れか1項に記載の情報処理装置。
  13. 前記プロセッサは、追加された書き込み面を書き込み対象の面として前記表面情報を表示する請求項12に記載の情報処理装置。
  14. 前記プロセッサは、前記複数の書き込み面の間隔を調整する予め定めた調整操作を受け付けた場合、前記間隔を変更する請求項1~13の何れか1項に記載の情報処理装置。
  15. コンピュータに、
    仮想現実、拡張現実、または複合現実の空間を生成し、
    前記空間内に複数の書き込み面を設け、
    前記複数の書き込み面のうち、書き込み対象に選択された面を、他の面に書き込まれた情報が隠れない範囲で認識可能な表面情報を表示する処理を実行させるための情報処理プログラム。
JP2022013591A 2022-01-31 2022-01-31 情報処理装置及び情報処理プログラム Pending JP2023111647A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022013591A JP2023111647A (ja) 2022-01-31 2022-01-31 情報処理装置及び情報処理プログラム
US17/901,411 US20230298292A1 (en) 2022-01-31 2022-09-01 Information processing apparatus, non-transitory computer readable medium storing program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022013591A JP2023111647A (ja) 2022-01-31 2022-01-31 情報処理装置及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2023111647A true JP2023111647A (ja) 2023-08-10

Family

ID=87551733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022013591A Pending JP2023111647A (ja) 2022-01-31 2022-01-31 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20230298292A1 (ja)
JP (1) JP2023111647A (ja)

Also Published As

Publication number Publication date
US20230298292A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US9342925B2 (en) Information processing apparatus, information processing method, and program
JP2019149202A5 (ja)
CN110163942B (zh) 一种图像数据处理方法和装置
CN111158469A (zh) 视角切换方法、装置、终端设备及存储介质
CN107615214A (zh) 界面控制系统、界面控制装置、界面控制方法及程序
JP5709440B2 (ja) 情報処理装置、情報処理方法
MXPA02005288A (es) Procesador de imagen, metodo de procesamiento de imagen, medio de registro, programa de computadora y dispositivo esmi conductor.
WO2012040827A2 (en) Interactive input system having a 3d input space
US10234964B2 (en) Image processing apparatus
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN111813214B (zh) 虚拟内容的处理方法、装置、终端设备及存储介质
JP2023111647A (ja) 情報処理装置及び情報処理プログラム
CN111488090A (zh) 交互方法、装置、交互系统、电子设备及存储介质
JP7210131B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
CN106055108B (zh) 一种虚拟触摸屏的操控方法和系统
CN106125937B (zh) 一种信息处理方法和处理器
JP2019046472A (ja) 画像処理装置、画像処理方法
KR101211178B1 (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
Eitsuka et al. Authoring animations of virtual objects in augmented reality-based 3d space
JP3413145B2 (ja) 仮想空間の編集方法及び仮想空間の編集装置
KR101388668B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치와 방법 및 그에 대한 기록매체
CN109753219B (zh) 基于虚拟现实的手工艺品制作系统、方法及装置
JP2020129167A (ja) 情報処理装置および情報処理方法