JP2018120598A - Information processing device, information processing system, control method thereof, and program - Google Patents
Information processing device, information processing system, control method thereof, and program Download PDFInfo
- Publication number
- JP2018120598A JP2018120598A JP2018025118A JP2018025118A JP2018120598A JP 2018120598 A JP2018120598 A JP 2018120598A JP 2018025118 A JP2018025118 A JP 2018025118A JP 2018025118 A JP2018025118 A JP 2018025118A JP 2018120598 A JP2018120598 A JP 2018120598A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- information
- data
- progress
- printer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
情報処理装置、情報処理システム、その制御方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, a control method thereof, and a program.
近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及し、ＭＲ技術を用いて、室内に、現実物体と３Ｄモデル（ＣＧモデル）が配置されることが行われている。ＭＲでは、ＣＧの示す物体があたかも目の前に存在するかのように見え、臨場感が非常に高い。このため、ＭＲ技術の様々な活用方法が検討されている。 In recent years, mixed reality (hereinafter referred to as MR) technology has become widespread, and real objects and 3D models (CG models) have been placed indoors using MR technology. In MR, the object indicated by the CG looks as if it exists in front of the eyes, and the presence is very high. For this reason, various utilization methods of MR technology are being studied.
また、ＣＧモデルを現実物として生成する方法として、３Ｄプリンタ技術がある。３Ｄプリンタは、一般的には、専用のソフトウェアがインストールされたＰＣの画面上でマウス等による３Ｄモデルの選択を行い、出力対象の３Ｄプリンタを指定することで、選択されたＣＧに基づいた現実物体の生成処理を行う。 As a method for generating a CG model as a real object, there is a 3D printer technology. In general, a 3D printer selects a 3D model with a mouse or the like on a PC screen on which dedicated software is installed, and designates a 3D printer to be output, thereby realizing a reality based on the selected CG. Object generation processing is performed.
特許文献１には、当該マーカの存在をユーザに意識させないために、マーカを検出した場合に、当該マーカを隠した画像を描画する技術が記載されている。
また、特許文献２では、仮想のペットを育成する複合現実感提示装置において、ユーザの所定部位による所定動作により、仮想のペットを示す３次元モデルの内部状態を遷移させ、仮想物体の存在感の認知を容易にするＭＲに関する技術が開示されている。 Further, in Patent Document 2, in the mixed reality presentation device that nurtures a virtual pet, the internal state of the three-dimensional model indicating the virtual pet is changed by a predetermined operation by a predetermined part of the user, and the presence of the virtual object is detected. Techniques relating to MR that facilitate recognition are disclosed.
特許文献３には、３Ｄモデルの選択を受け付け、選択された３Ｄモデルを３Ｄプリンタで印刷する技術について開示されている。 Patent Document 3 discloses a technique for receiving selection of a 3D model and printing the selected 3D model with a 3D printer.
ＭＲによるＣＧの表示・操作（ＭＲ体験）をしている最中に、ＭＲ空間で表示中のＣＧモデルを３Ｄプリンタに出力する場合、ユーザは一度、ＭＲ体験をするために装着したＨＭＤ（ヘッドマウントディスプレイ）を頭部から外して、３ＤプリンタへＣＧモデル（３Ｄモデル／オブジェクト／仮想オブジェクト）を出力するため、ＰＣ画面上でソフトウェアの操作を行うことが考えられる。ＨＭＤを装着したまま、ＰＣ端末を操作することも考えられるが、ＨＭＤの視野は広いものではなく、ＰＣ端末の操作がし辛い。 When the CG model being displayed in the MR space is output to the 3D printer during the display / operation (MR experience) of the CG by the MR, the user must once install the HMD (head) that is worn for the MR experience. It is conceivable to operate the software on the PC screen in order to output the CG model (3D model / object / virtual object) to the 3D printer by removing the mount display). Although it is conceivable to operate the PC terminal with the HMD attached, the field of view of the HMD is not wide and it is difficult to operate the PC terminal.
また、プリンタ出力のためのソフトウェアでＣＧモデルを選択する場合、それまでＨＭＤで閲覧していたＣＧモデル全体、あるいはその一部のパーツを、わざわざＰＣ画面上で探し出して、選択し、３Ｄプリンタへの出力指示をしなければならない。 In addition, when selecting a CG model with software for printer output, the entire CG model or part of the CG model that has been browsed by the HMD is searched for on the PC screen and selected, and then sent to the 3D printer. Must be instructed to output.
本発明は、仮想空間で選択されるオブジェクトにかかるデータを他のオブジェクトに対応する装置に容易に送信可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of easily transmitting data relating to an object selected in a virtual space to an apparatus corresponding to another object.
本発明の情報処理装置は、仮想空間におけるオブジェクトの位置と、当該オブジェクトの形状にかかるデータを記憶する記憶手段を備え、当該オブジェクトの形状にかかるデータを処理する処理装置と通信可能な情報処理装置であって、前記記憶手段に記憶されているオブジェクトの位置情報から、前記仮想空間で選択される第１のオブジェクトと、前記処理装置に対応するオブジェクトである第２のオブジェクトとの仮想空間上の距離が所定の距離内か判定する第１の距離判定手段と、前記第１の距離判定手段で前記第１のオブジェクトと前記第２のオブジェクトの距離が所定距離内であると判定された場合、当該第２のオブジェクトと所定の距離内にあると判定された前記第１のオブジェクトの形状にかかるデータを、当該第２のオブジェクトに対応する前記処理装置に処理させるべく送信する送信手段と、を備えることを特徴とする。 An information processing apparatus according to the present invention includes a storage unit that stores data relating to the position of an object in the virtual space and the shape of the object, and is capable of communicating with a processing apparatus that processes the data relating to the shape of the object A first object selected in the virtual space from a position information of the object stored in the storage means and a second object that is an object corresponding to the processing device on the virtual space. When it is determined that the distance between the first object and the second object is within a predetermined distance by a first distance determination unit that determines whether the distance is within a predetermined distance, and the first distance determination unit, Data relating to the shape of the first object determined to be within a predetermined distance from the second object is represented by the second object. Transmitting means for transmitting to be processed to the processing device corresponding to the defect, characterized in that it comprises a.
本発明によれば、仮想空間で選択されるオブジェクトにかかるデータを他のオブジェクトに対応する装置に容易に送信可能な仕組みを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the structure which can transmit easily the data concerning the object selected in virtual space to the apparatus corresponding to another object can be provided.
図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。 With reference to FIG. 1, an example of the configuration of an information processing system in the embodiment of the present invention will be described.
本発明の情報処理システムは、ＰＣ２００、ＨＭＤ１００（ヘッドマウントディスプレイ１００）、３Ｄプリンタ３００、光学センサ１０４、選択デバイス１０５等から構成される。ＰＣ２００とＨＭＤ１００（表示装置）、３Ｄプリンタ３００、光学センサ１０４、選択デバイス１０５は、図１に示すＬＡＮ１０１や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を介して相互にデータ通信可能に接続されている。
The information processing system of the present invention includes a PC 200, an HMD 100 (head mounted display 100), a 3D printer 300, an
ＰＣ２００は、外部メモリ内に、ＭＲ空間に配置して表示するオブジェクト（３ＤＣＧモデル／３Ｄモデル／仮想オブジェクトともいう）を記憶している。ＰＣ２００は、ＨＭＤ１００から受信した現実画像にオブジェクトを重畳した重畳画像（ＭＲ画像）を生成して、ＨＭＤに送信する。例えば、ＨＭＤで撮像した現実画像に対して、ＨＭＤの現実空間における位置姿勢・画角と同じ位置姿勢・画角で仮想空間を撮像した画像（仮想空間に配置されたオブジェクトを撮影した画像）を重ね合わせて合成する。ＭＲ技術の仕組みの詳細については前述した先行技術文献や従来技術の通りであるためこれ以上の詳細な説明は割愛する。
The PC 200 stores an object (also referred to as a 3DCG model / 3D model / virtual object) arranged and displayed in the MR space in an external memory. The PC 200 generates a superimposed image (MR image) in which an object is superimposed on the real image received from the
ＨＭＤ１００は、ＰＣ２００から受信した重畳画像をディスプレイに表示する。選択デバイス１０５は、ＭＲ空間上に配置されたオブジェクトを選択して、移動するためのデバイスである。
The HMD 100 displays the superimposed image received from the PC 200 on the display. The
ＨＭＤ１００と選択デバイス１０５には、それぞれオプティカルマーカーが設置されており、光学センサ１０４が当該オプティカルマーカーを撮影（検知・検出）することで、ＨＭＤ１００と選択デバイス１０５の位置姿勢（座標の情報）を特定し、ＰＣ２００に送信する。
Optical markers are installed in the
３Ｄプリンタ３００は、ＰＣ２００からの指示に応じてオブジェクトを出力する３次元印刷装置（造形装置）である。選択デバイス１０５により選択されたオブジェクトと、３Ｄプリンタ３００とが接触した場合に、ＰＣ２００が当該選択中のオブジェクトを３Ｄプリンタ３００に送信して印刷させる。つまり、立体物を造形する（３次元モデル（オブジェクト）のデータを処理）させる。
The 3D printer 300 is a three-dimensional printing apparatus (modeling apparatus) that outputs an object in response to an instruction from the PC 200. When the object selected by the
また、３Ｄプリンタ３００は、印刷中のオブジェクトの印刷進捗（印刷の進捗状況）を監視しており、何％印刷が完了したかを記憶している。当該印刷進捗の情報をＰＣ２００に送信し、ＰＣ２００は当該印刷進捗に応じたオブジェクトを生成・描画してＨＭＤ１００に送信することで、ユーザ（ＨＭＤ１００をかけたユーザ）に対して印刷進捗を通知する。以上が図１の説明である。
In addition, the 3D printer 300 monitors the printing progress (printing progress status) of the object being printed, and stores the percentage of printing completed. The printing progress information is transmitted to the
尚、現実空間とＭＲ空間（原点座標Ｘ，Ｙ，Ｚ＝０，０，０を原点として、オブジェクトを配置した仮想空間）との位置合わせ（キャリブレーション）は既に行われているものとして、以下、本発明の実施形態について説明する。 Note that the alignment (calibration) between the real space and the MR space (virtual space where the object is arranged with the origin coordinates X, Y, Z = 0, 0, 0 as the origin) has already been performed. Embodiments of the present invention will be described.
次に図２を参照して、本発明の実施形態における、ＰＣ、ＨＭＤのハードウェア構成の一例について説明する。図２は、本発明の実施形態における、ＰＣ２００、ＨＭＤ１００のハードウェア構成の一例を示す図である。尚、図２のＰＣ２００とＨＭＤ１００のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。
Next, an example of the hardware configuration of the PC and the HMD in the embodiment of the present invention will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a hardware configuration of the
まず、ＰＣ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。
First, the
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
The
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。 An input controller (input C) 205 controls input from a pointing device such as a keyboard or a mouse 250.
ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。
A video controller (VC) 206 controls display on a display device such as the
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。
The memory controller (MC) 207 is an adapter to a hard disk (HD), flexible disk (FD) or PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。通信Ｉ／Ｆコントローラ２０８は、光学センサ１０４との通信を制御する。
A communication I / F controller (communication I / FC) 208 is connected to and communicates with an external device via a network, and executes communication control processing in the network. For example, Internet communication using TCP / IP is possible. The communication I /
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本発明のＰＣ２００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
Various programs used by the
次に、ＨＭＤ１００は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。
Next, the
右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ５２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像／現実画像）は、コントローラ２２５がＰＣ２００に送信し、通信Ｉ／Ｆコントローラ２０８を通じてＰＣ２００が受信する。
The right
ＰＣ２００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像（ＭＲ画像／重畳画像）が送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。以上が図２の説明である。
When a mixed reality image (MR image / superimposed image) is transmitted from the
次に図３を参照して、本発明の実施形態における、３Ｄプリンタのハードウェア構成の一例について説明する。 Next, an example of the hardware configuration of the 3D printer in the embodiment of the present invention will be described with reference to FIG.
図３に示す３Ｄプリンタは、インクジェット方式で３次元物体を形成（印刷／造形）する３Ｄプリンタである。 The 3D printer shown in FIG. 3 is a 3D printer that forms (prints / models) a three-dimensional object by an inkjet method.
本発明の実施形態において、図３は、あくまで、３Ｄプリンタのハードウェア構成の一例であって、ＰＣから取得した３Ｄモデルの印刷ができれば、どのような印刷方式、ハードウェア構成であってもよいものとする。 In the embodiment of the present invention, FIG. 3 is merely an example of the hardware configuration of the 3D printer, and any printing method and hardware configuration may be used as long as the 3D model acquired from the PC can be printed. Shall.
図３において、コントローラユニット３１０は、３Ｄモデルのデータ（３Ｄモデルデータ／オブジェクト）を、現実物体（３次元物体）として形成するための材料である粉体を供給する粉体供給部や、粉体を硬化させて形状を整える３次元物体の印刷処理（プリント）を行うためのインクを吐出するインクジェットヘッド他、各機構と接続される。また、ＬＡＮ（例えば、図１に示したＬＡＮ１０１）や公衆回線（ＷＡＮ）（例えば、ＰＳＴＮまたはＩＳＤＮ等）と接続することで、３Ｄモデルデータやデバイス情報（例えば印刷進捗の情報等）の入出力を行う。
In FIG. 3, a
コントローラユニット３１０において、３０１はＣＰＵで、システム全体を制御するプロセッサである。３０２はＲＡＭで、ＣＰＵ３０１が動作するためのシステムワークメモリであり、プログラムを記録するためのプログラムメモリや、画像データを一時記録するための画像メモリでもある。
In the
３０３はＲＯＭで、システムのブートプログラムや各種制御プログラムが格納されている。３０４はハードディスクドライブ（ＨＤＤ）で、システムを制御するための各種プログラム，画像データ等を格納する。
A
３０７は操作部インタフェース（操作部Ｉ／Ｆ）で、操作部３０８（タッチパネルディスプレイ３０８）とのインタフェース部である。また、操作部Ｉ／Ｆ３０７は、操作部３０８から入力したキー情報（例えば、印刷スタートのためのスタートアイコンの押下）をＣＰＵ３０１に伝える役割をする。
An operation unit interface (operation unit I / F) 307 is an interface unit with the operation unit 308 (touch panel display 308). Further, the operation unit I /
３０５はネットワークインタフェース（Ｎｅｔｗｏｒｋ Ｉ／Ｆ）で、ネットワーク（ＬＡＮ）１０１に接続する。また、無線通信も可能な構成となっており、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ-Ｆｉ（登録商標）を用いた通信にて他の装置と接続する。データの入出力を行う。３０６はモデム（ＭＯＤＥＭ）で、公衆回線に接続し、データの入出力を行う。 A network interface (Network I / F) 305 is connected to the network (LAN) 101. In addition, wireless communication is also possible, and connection is made with other devices by communication using infrared rays, Bluetooth (registered trademark), or Wi-Fi (registered trademark). Input and output data. A modem (MODEM) 306 is connected to a public line and inputs and outputs data.
３２２は外部インタフェース（外部Ｉ／Ｆ）で、ＵＳＢ、ＩＥＥＥ１３９４，プリンタポート，ＲＳ−２３２Ｃ等の外部入力を受け付けるＩ／Ｆ部である。他に、ユーザ認証で必要となる携帯端末のＩＣカード（記憶媒体）の読み取り用のカードリーダ３２３が外部Ｉ／Ｆ部３２２に接続可能である。
An external interface (external I / F) 322 is an I / F unit that accepts external inputs such as USB, IEEE 1394, printer port, RS-232C, and the like. In addition, a
カードリーダ３２３が接続されている場合、ＣＰＵ３０１は、この外部Ｉ／Ｆ３２２を介してカードリーダ３２３による携帯端末のＩＣカードからの情報読み取りを制御し、該携帯端末のＩＣカードから読み取られた情報を取得する。以上のデバイスがシステムバス３０９上に配置される。
When the
その他、粉体供給コントローラ３１１、造形ステージコントローラ３１３、インクジェットヘッドコントローラ３１５、ローラ移動コントローラ３１７、回転モータコントローラ３１９等のデバイスがシステムバス３０９上に配置される。
In addition, devices such as a
粉体供給部３１２は、３次元物体（印刷の成果物）を形成するための粉末（粉体）を貯留する貯留タンクと、当該貯留タンクにあけた穴であって、当該貯留タンク内の粉体を、プレート３２１上に噴出するための穴を備える。また、当該プレート３２１上に粉体を噴出するために、貯留タンク内の粉体を穴の方向に向かって押し出す粉体供給ステージ（昇降機構）を備える。
The
プレート３２１は、粉体供給部３１２から供給された粉体を、後述する、３次元物体を形成する物理空間である造形ステージ３１４に運ぶための平面体である。ローラ３１８をプレート３２１上に、粉体供給部３１２から造形ステージ３１４方向に転がすことで、粉体を造形ステージ３１４上に移動させ、また、造形ステージ３１４上の粉体の滞留状態を平面化する（平らにする）。
The
粉体供給コントローラ３１１は、粉体をステージ上に噴出するため、粉体供給ステージを駆動させる。ここでは、プレート３２１の下部に、粉体供給部３１２が設置されているものとする。
The
当該粉体供給部３１２に隣接する位置に、プレート３２１の一部をくり抜いて、造形ステージ３１４が設置される。当該造形ステージ３１４は、３次元物体が形成される物理空間（フィールド）である。
At a position adjacent to the
造形ステージコントローラ３１３は、インクジェットヘッド３１６を用いて、造形ステージ３１４上の粉体への印刷処理（３次元物体を形成するため、粉体を硬化させる液体を吐出する処理）を行うにあたり、造形ステージ３１４を、所定の間隔で、所定の高さ分下降させるため、造形ステージ３１４下部に設置されたシリンダの駆動制御を行う。
The
インクジェットヘッドコントローラ３１５は、インクジェットヘッド３１６に付されたモータを制御して、インクジェットヘッド３１６を造形ステージ３１４の上部に移動させ、印刷中の３次元モデルデータ及び印刷進捗の情報に従って、造形ステージ３１４の上の粉体の所定の位置に、所定量のインク（粉体硬化用の液体）を吐出させる制御を行う。
The ink-
回転モータコントローラ３１９は、ローラ３１８が備える回転モータ３２０の回転動作を制御して、ローラ３１８を回転させ、ローラ移動コントローラ３１７は、ローラ３１８を粉体供給部３１２から造形ステージ３１４方向に移動させて、粉体を造形ステージ３１４上に移動させ、また、造形ステージ３１４上の粉体の滞留状態を平面化する（平らにする）。以上が図３の説明である。
The
次に図４を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 4, an example of a functional configuration of various apparatuses in the embodiment of the present invention will be described.
ＰＣ２００の、オブジェクト記憶部４２１は、オブジェクト（ＭＲ空間上に配置する３ＤＣＧモデル）を記憶する記憶部である。当該オブジェクトの記憶形式については、図８の説明で後述する。
The
オブジェクト位置特定部４２２は、ＭＲ空間上の、オブジェクトが配置されている位置（座標）を特定する処理部である。重畳画像送信部４２３は、ＨＭＤ１００から取得したＨＭＤ１００の位置・姿勢の情報（ＭＲ空間上／仮想空間上の座標・姿勢）と、オブジェクト位置特定部４２２で特定したオブジェクトの位置の情報を用いて、ＨＭＤ１００のディスプレイに表示する現実画像に重畳すべきオブジェクトを、当該現実画像に、ＨＭＤ１００の位置姿勢から見た角度で重畳した重畳画像（ＭＲ画像）を、ＨＭＤ１００に送信する送信部である。
The object
接触判定部４２４は、オブジェクト位置特定部４２２で特定した各オブジェクトの位置と、オブジェクトのサイズの情報を用いて、オブジェクト同士が接触したか否かを判定する判定部である。
The
オブジェクト送信部４２５は、３Ｄプリンタ３００のオブジェクト（３Ｄプリンタオブジェクト）に接触したオブジェクトのデータを、３Ｄプリンタ３００で印刷させるべく、３Ｄプリンタ３００に送信する送信部である。
印刷進捗情報受信部４２６は、３Ｄプリンタ３００より、３Ｄモデル（オブジェクト）の印刷進捗の情報（図８の８１０）を受信する受信部である。
The
The printing progress
通知処理部４２７は、当該印刷進捗情報受信部４２６で受信した印刷進捗の情報を、ＨＭＤ１００に送信して、ユーザに通知する。例えば、印刷が完了している分（印刷が完了しているパーセンテージ分）だけ、透過率０％で描画した、印刷中のオブジェクトを生成して現実画像に重畳し（進捗情報表示制御手段）、ＨＭＤ１００のディスプレイに表示させるために、ＨＭＤ１００に送信する処理を行うことで、印刷状況をユーザに通知する。
The
光学センサ１０４の、位置情報特定部４４１は、ＨＭＤ１００と選択デバイス１０５に付されたオプティカルマーカーを検知し、ＭＲ空間上のＨＭＤ１００と選択デバイス１０５の位置を特定する特定部である。位置情報送信部４４２は、位置情報特定部４４１で特定した各デバイスの位置情報をＰＣ２００に送信する送信部である。
The position
ＨＭＤ１００の、撮像処理部４１１は、ＨＭＤ１００に設置されたカメラ装置を用いた現実画像の撮像処理を実行する処理部である。ＨＭＤ１００は、当該撮像処理部４１１で撮像した画像データをＰＣ２００に送信する。
An
そして、重畳画像受信部４１２が、当該ＰＣ２００で生成された、ＨＭＤ１００の位置・姿勢から見た重畳画像を受信して、重畳画像表示部４１３が、当該受信した重畳画像をディスプレイ上に表示する。
Then, the superimposed
３Ｄプリンタ３００の、オブジェクト受信部４３１は、ＰＣ２００より、３次元印刷（造形）をすべき３Ｄモデルのデータを受信する受信部である。印刷処理部４３２は、当該オブジェクト受信部４３１で受信した３Ｄモデルデータ（オブジェクト）の印刷処理（造形処理）を実行する。印刷進捗情報送信部４３３は、当該３Ｄプリンタ３００で印刷中または印刷が完了したオブジェクトの印刷状況（印刷完了のパーセンテージの情報）をＰＣ２００に送信する送信部である。以上が図４の説明である。
The
＜第１の実施形態＞
以下、図５〜図９Ｄを参照して、本発明の第１の実施形態について説明する。
<First Embodiment>
Hereinafter, the first embodiment of the present invention will be described with reference to FIGS.
まず、図９Ａを参照して、本発明の第１の実施形態における、選択デバイス及び選択デバイスに対応するオブジェクトの一例について説明する。図９Ａにおいて、選択デバイス１０５はマウスである。選択デバイス１０５（マウス１０５）は、ポインティングデバイスであり、ＰＣ２００とデータ通信可能に接続されている。
First, with reference to FIG. 9A, an example of a selection device and an object corresponding to the selection device in the first exemplary embodiment of the present invention will be described. In FIG. 9A, the
選択デバイス１０５とＰＣ２００との接続は、有線接続であってもよいし、無線接続であってもよい。また、選択デバイス１０５は第１のボタン９０１と第２のボタン９０２を備える。
The connection between the
更に、選択デバイス１０５にもＨＭＤ１００と同様のオプティカルマーカーを備える。このオプティカルマーカーによって、ＨＭＤ１００だけでなく、選択デバイス１０５の位置や姿勢も特定することができる。
また、９０３は、オブジェクトの属性を示す図８の属性８０３＝選択デバイスである、選択用オブジェクトの一例である。
選択用オブジェクト９０２は、図９Ａに示すように、選択デバイス１０５に重畳するように表示される。
Further, the
The
選択用オブジェクト９０３は、当該選択用オブジェクト９０３と接触している他のオブジェクト（属性８０３＝被選択 のオブジェクト）を、選択デバイス１０５を介して操作するための、選択デバイス１０５と他のオブジェクトの接触判定に用いられるオブジェクトである。
The
例えば、ユーザが移動して選択デバイス１０５をオブジェクトに近づけ、選択用オブジェクト９０３とオブジェクトとを接触させる。そして、接触している状態で選択デバイス１０５の第１のボタン９０１をユーザが押下する。すると、当該第１のボタンが押下されたことをＰＣ２００のＣＰＵ２０１が検知し、当該選択用オブジェクト９０３に接触しているオブジェクトを、選択用オブジェクト９０３に追従するように制御する。
For example, the user moves to bring the
例えば、図９Ｂに示すように、被選択用オブジェクトを移動する。図９Ｂの９１０、９２０は、ＨＭＤ１００のディプレイに表示される重畳画像である。
For example, as shown in FIG. 9B, the selected object is moved.
図９Ｂにおいて、９１１と９１３は被選択用オブジェクトである。図９Ｂでは、被選択用オブジェクト９１１と選択デバイス１０５のオブジェクト（選択用オブジェクト９０３）とが接触しているものとする。図９Ｂの９１０の状態で、被選択用オブジェクト９１１と選択用オブジェクト９０３とが接触し、第１ボタン９０１が押下されている状態で選択デバイス１０５を移動させることで、９３０に示すように、選択デバイス１０５（選択用オブジェクト９０３）に追従して、被選択用オブジェクト９１１を移動させる。
In FIG. 9B, 911 and 913 are objects for selection. In FIG. 9B, it is assumed that the selected
また、第１のボタンの押下が解除されると、当該第１のボタンの押下が解除されたことをＰＣ２００のＣＰＵ２０１が検知し、前記接触しているオブジェクトの、選択用オブジェクト９０３への追従を取りやめる。つまり、接触していたオブジェクトは、選択用オブジェクト９０３から分離し、当該第１のボタンの押下が解除された時点で、当該接触していたオブジェクトが存在した座標に停止する。
When the first button is released, the
本発明の第１の実施形態においては、前記第２のボタンは使用しないため、当該第２のボタンについては、他の実施形態の説明で後述する。以上が図９Ａの説明である。 In the first embodiment of the present invention, since the second button is not used, the second button will be described later in the description of another embodiment. The above is the description of FIG. 9A.
次に、図８を参照して、本発明の第１の実施形態における、各種データの構成の一例について説明する。図８に記載の情報は、ＰＣ２００の外部メモリに予め記憶されているものとする。
Next, with reference to FIG. 8, an example of the configuration of various data in the first embodiment of the present invention will be described. It is assumed that the information described in FIG. 8 is stored in advance in the external memory of the
オブジェクト情報８００のオブジェクトＩＤ８０１は、各オブジェクトのデータ（オブジェクト情報）の識別情報である。オブジェクト名８０２は、オブジェクト（ここでは３ＤＣＧモデル）の名称（ファイル名）である。
An
属性８０３は、各オブジェクトが、３Ｄプリンタに対応するオブジェクトか、選択デバイス１０５に対応するオブジェクト（選択用オブジェクト）か、選択デバイスのオブジェクトに接触することで選択される選択対象のオブジェクト（３Ｄプリンタで印刷されるＣＧモデルを示すオブジェクト／被選択用オブジェクト）か、を示す情報である。
The
座標８０４は、各オブジェクトの、ＭＲ空間上（仮想空間上）の配置位置（Ｘ．Ｙ．Ｚ＝０００．０００．０００ を原点とするＸＹＺ座標）を示す。図８によれば、オブジェクトＩＤ＝Ｍ０００の座標８０４＝０００．０００．０００のため、３Ｄプリンタのオブジェクトは、ＭＲ空間上の原点座標に配置されていることとなる。ここでは、実際の３Ｄプリンタ３００の現実空間上の位置＝ＭＲ空間の原点座標（Ｘ．Ｙ．Ｚ＝０００．０００．０００）である。つまり、３Ｄプリンタオブジェクトの座標＝３Ｄプリンタの座標であり、３Ｄプリンタオブジェクトは、現実の３Ｄプリンタ３００に重畳して配置されているものとする。各座標８０４の座標値は、各オブジェクトの中心点の座標であるものとする。
A coordinate 804 indicates an arrangement position (XYZ coordinates with XYZ = 0.000.000.000 as an origin) of each object in the MR space (on the virtual space). According to FIG. 8, since the
尚、選択デバイス１０５の座標８０４は、光学センサにより補足されており、例えばユーザが選択デバイスを移動させることで、当該座標８０４がリアルタイムに更新される。当該更新に用いる選択デバイス１０５のリアルタイムの座標８０４の情報は、光学センサ１０４からＰＣ２００に送信され、ＰＣ２００が、当該光学センサ１０４から受信した座標の情報（位置情報）を、選択デバイスの座標８０４に上書することで更新を行う。
The
サイズ（スケール）８０５は、各オブジェクトの大きさを示す。ファイルパス８０６は、各オブジェクトのファイル（オブジェクトの形状を示すファイル）が記憶されている、記憶領域上のアドレスを示す。
A size (scale) 805 indicates the size of each object. A
選択中フラグ８０７は、被選択用オブジェクトが選択されている状態か否かを示すフラグである。選択中フラグ８０７＝０の場合、選択されていない状態であり、選択中フラグ８０７＝１の場合、選択中であることを示す。
The
印刷進捗情報８１０は、３Ｄプリンタ３００、ＰＣ２００の外部メモリにそれぞれ記憶されている。ＰＣ２００は、３Ｄプリンタ３００より当該印刷進捗情報を受信して外部メモリに記憶するものとする。
The print progress information 810 is stored in the external memory of the 3D printer 300 and the
オブジェクトＩＤ８１１は、各オブジェクト（オブジェクト情報）の識別情報である。進捗８１２は、当該オブジェクトＩＤ８１１の示す各オブジェクトの、３Ｄプリンタ３００における印刷状況（印刷の進捗）を示す情報である。
The
３Ｄプリンタ特定情報８２０は、ＰＣ２００の外部メモリに予め記憶されている、３Ｄプリンタオブジェクトと３Ｄプリンタ３００の対応付けを示す情報である。オブジェクトＩＤ８２１は、３ＤプリンタオブジェクトのオブジェクトＩＤである。３Ｄプリンタ識別情報８２２は、オブジェクトＩＤ８２１の３Ｄプリンタオブジェクトに対応する３Ｄプリンタ３００の識別情報である。
The 3D printer specifying information 820 is information indicating a correspondence between the 3D printer object and the 3D printer 300 stored in advance in the external memory of the
３Ｄプリンタ識別情報８２２には、例えば、３Ｄプリンタ３００のＩＰアドレス等の識別情報が記憶されている。オブジェクトＩＤ８２１の３Ｄプリンタオブジェクトに被選択用オブジェクトが接触した場合には、当該被選択用オブジェクトを印刷すべく、当該被選択用オブジェクトのデータを、３Ｄプリンタ識別情報８２２の示す３Ｄプリンタ３００に送信する。以上が図８の説明である。
In the 3D
次に図５を参照して、本発明の第１の実施形態における、重畳画像の表示処理の概要について説明する。図５は、本発明の第１の実施形態における、重畳画像の表示処理の概要を示すフローチャートである。 Next, with reference to FIG. 5, an outline of the superimposed image display processing in the first embodiment of the present invention will be described. FIG. 5 is a flowchart showing an outline of the superimposed image display processing in the first embodiment of the present invention.
ＨＭＤ１００は、撮像処理の開始指示を受け付ける（ステップＳ５０１）。一方、ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１００より撮像画像を取得した場合に、重畳画像を生成してＨＭＤに返信する処理を開始する指示を、不図示の指示受付画面で受け付け、待機する（ステップＳ５０５）。
The
光学センサ１０４は、ＨＭＤ１００の位置を検知すべく、検知の開始指示を受け付ける（ステップＳ５１２）。つまり、例えば、光学センサ１０４の起動指示を受け付ける。
The
ＨＭＤ１００は、撮像処理を行い（ステップＳ５０２）、撮像した画像である撮像画像（現実画像）をＰＣ２００に順次送信する（ステップＳ５０３）。ここでいう撮像処理は例えばビデオ撮像である。
The
光学センサ１０４は、ＨＭＤ１００に設置された光マーカ、選択デバイス１０５に設置された光マーカの位置姿勢（座標）の特定処理を行い（ステップＳ５１３）、ＨＭＤ１００の位置姿勢、選択デバイス１０５の位置姿勢の情報をＰＣ２００に送信する（ステップＳ５１４）。
The
当該位置姿勢の情報（座標）とは、ＭＲ空間上の位置である。つまり、例えば、原点マーカにより定義されたＭＲ空間の世界座標の原点からのＨＭＤ１００の相対位置（相対座標）、及び、ＨＭＤの角度・方向の情報を取得して、ＰＣ２００に送信する。選択デバイス１０５についても同様に、ＭＲ空間の世界座標の原点からの選択デバイス１０５の相対位置（相対座標）、及び、選択デバイス１０５の角度・方向の情報を取得して、ＰＣ２００に送信する。
The position / orientation information (coordinates) is a position in the MR space. That is, for example, the relative position (relative coordinates) of the
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１００より撮像画像を受信し（ステップＳ５０６）、光学センサ１０４よりＨＭＤ１００、選択デバイス１０５の位置、姿勢の情報を受信する（ステップＳ５０７／位置取得手段）。ＰＣ２００は当該位置・姿勢の情報を外部メモリに記憶する。
The
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１００より受信した撮像画像（現実画像）に、仮想空間上に配置したオブジェクトの画像を重畳した重畳画像（ＭＲ画像）を生成する処理、及びＨＭＤ１００に当該重畳画像を表示させるべく送信する処理を実行する（ステップＳ５０８）。ＨＭＤ１００は、重畳画像を受信してディスプレイに表示する（ステップＳ５１６）。
The
尚、当該重畳画像の生成処理の手法（例えば、オブジェクトのＭＲ空間上の位置・ＭＲ空間と現実空間の位置合わせを行い、ＨＭＤの位置姿勢の情報からユーザの視界に映すべきオブジェクトを特定して、ＨＭＤに設置されたカメラから取得した画像に、当該ユーザの視界に映すべきオブジェクトを重畳して重畳画像を生成し、ＨＭＤに送信して表示させる手法／ユーザのモーションに応じて、オブジェクトの状態を変化させる手法）、その具体的方法については、引用文献２：特開２００２−１１２２８６号公報にも記載されているように公知であるため、ここでは説明を割愛する。 Note that the superimposed image generation processing method (for example, the position of the object in the MR space, the MR space and the real space are aligned, and the object to be displayed in the user's field of view is specified from the information on the position and orientation of the HMD. A method of generating a superimposed image by superimposing an object to be displayed in the user's field of view on an image acquired from a camera installed in the HMD, and transmitting and displaying the image on the HMD / object state according to the user's motion The specific method is known as described in the cited document 2: Japanese Patent Application Laid-Open No. 2002-112286, and the description thereof is omitted here.
ＰＣ２００のＣＰＵ２０１は、オブジェクト（オブジェクトの示す３Ｄモデル／３Ｄプリンタオブジェクト）の印刷処理（ステップＳ５０９／図６で後述）、及び、当該印刷処理がされているオブジェクトの印刷状況（印刷進捗）の表示処理（ステップＳ５１０／図７で後述）を行って、重畳画像を生成してＨＭＤ１００に返信する処理を終了する終了指示を受け付けたか判定し（ステップＳ５１１）、終了指示を受け付けた場合には処理を終了し、終了指示を受け付けていない場合は処理を継続する（ステップＳ５０６に処理を戻す）。
The
ＨＭＤ１００は撮像処理の終了指示を受け付けたか判定し（ステップＳ５０４）、終了指示を受け付けた場合には処理を終了し、終了指示を受け付けていない場合は撮像処理を継続する（ステップＳ５０２に処理を戻す）。
The
光学センサ１０４は、ＨＭＤ１００、選択デバイス１０５の位置情報を特定する処理の終了指示を受け付けたか判定し（ステップＳ５１５）、終了指示を受け付けた場合には処理を終了し、終了指示を受け付けていない場合は撮像処理を継続する（ステップＳ５１３に処理を戻す）。以上が図５の、重畳画像の表示処理の概要についての説明である。
The
次に図６を参照して、本発明の第１の実施形態における、オブジェクトの印刷処理の流れについて説明する。 Next, with reference to FIG. 6, the flow of object printing processing in the first embodiment of the present invention will be described.
ＰＣ２００のＣＰＵ２０１は、オブジェクト情報８００より、選択デバイス１０５の位置情報を読み出す（ステップＳ６０１）。具体的には、属性８０３＝選択デバイスであるオブジェクトの座標８０４を読み出して取得する。
The
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５から操作信号を受信する（ステップＳ６０２）。ここでは、第１のボタン９０１が押下された操作信号を受信し、第１のボタン９０１が押下されたことを検知したものとする。
The
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５が（モデル選択デバイス１０５に対応するオブジェクト（属性８０３＝モデル選択デバイスである選択用オブジェクト９０３））が、ＭＲ空間内に配置されているオブジェクト（選択対象オブジェクト（属性８０３＝被選択のオブジェクトである被選択用オブジェクト））と接触しているかを判定する（ステップＳ６０３）。
The
つまり、選択用オブジェクトの座標８０４及びサイズ８０５を特定し、当該選択用オブジェクトから所定範囲内にある他のオブジェクト（被選択用オブジェクト）の座標８０４及びサイズ８０５を特定して、選択用オブジェクトと重なっている他のオブジェクトが存在するか判定する。例えば、図９Ｂの９３０に示すように、被選択用オブジェクト９１１と３Ｄプリンタオブジェクト９１２が接触しているか判定する。接触しているか否かは、例えばオブジェクトの座標８０３と、後述する図１５の所定範囲１５１０や図２２の所定距離２２４０の値、各オブジェクトのサイズ８０５を用いて特定可能である。例えば、座標８０３＝０００．０００．０００を中心とした１０００ｍｍ×１０００ｍｍ×１０００ｍｍの直方体の内側の空間に、座標８０３＝ＸＸ２．ＹＹ２．ＺＺ２を中心とした１００ｍｍ×１００ｍｍ×１００ｍｍの直方体の外面が入り込んでいる場合に（距離が０以下である場合に）、被選択用オブジェクト９１１と３Ｄプリンタオブジェクト９１２が接触していることを特定可能である。
That is, the
当該接触判定のための所定範囲の値（不図示）は、予め、ＰＣ２００の外部メモリに記憶されているものとする。
It is assumed that a predetermined range value (not shown) for the contact determination is stored in advance in the external memory of the
また、当該接触判定の方法は一例であり、オブジェクト同士が接触したか否かを判断できれば、他の既知の技術を使用してもよい。 The contact determination method is merely an example, and other known techniques may be used as long as it can be determined whether or not the objects have contacted each other.
尚、座標８０４とサイズ８０５の他に、オブジェクトの角度をＰＣ２００に記憶しておき、当該座標８０４とサイズ８０５、角度の情報を用いて、オブジェクト同士が接触しているか判定するようにしてもよい。
In addition to the
ＰＣ２００のＣＰＵ２０１は、選択用オブジェクト９０３が、被選択用オブジェクトと接触していないと判定した場合（ステップＳ６０３でＮＯ）、処理をステップＳ６０３の前に戻す。選択用オブジェクト９０３が、被選択用オブジェクトと接触していると判定した場合に（ステップＳ６０３でＹＥＳ）、接触している被選択用オブジェクトの選択中フラグ８０７を１に変更し（つまり、被選択用オブジェクトを選択し／選択受付手段）、描画フレーム毎の選択デバイス１０５の移動量を取得する（ステップＳ６０４）。ここでいう移動量は、ＭＲ空間上での選択デバイス１０５の位置の変化量、および回転角度の変化量を指す。
If the
また、ステップＳ６０３で、選択デバイス１０５で選択される直前の、被選択用オブジェクトの座標８０４の値を、外部メモリの所定の領域に、当該被選択用オブジェクトのオブジェクトＩＤと対応付けて記憶する。
In step S603, the value of the coordinate 804 of the selected object immediately before being selected by the
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５（選択用オブジェクト９０３）と接触している被選択用オブジェクトの表示位置を、ステップＳ６０４で取得した、選択デバイス１０５の移動量の分だけ変更する（ステップＳ６０５／移動制御手段）。つまり、選択デバイス１０５（選択用オブジェクト９０３）の移動に追従して、接触中の被選択用オブジェクトを表示するよう、接触中の被選択用オブジェクトの位置（座標８０４）を更新する。追従の様子は、例えば図９Ｂに示す。
The
ＰＣ２００のＣＰＵ２０１は、３Ｄプリンタオブジェクトと、ステップ６０４で表示位置を変更している、選択中の被選択用オブジェクトが接触しているか否かを判定する（ステップＳ６０６）。
The
つまり、選択中フラグ８０７＝１の被選択用オブジェクト（選択中のオブジェクト）の座標８０４及びサイズ８０５を特定し、当該選択用オブジェクトから所定範囲内にある３Ｄプリンタオブジェクトの座標８０４及びサイズ８０５を特定して、選択中のオブジェクトと重なっている３Ｄプリンタオブジェクトが存在するか判定する。
That is, the
当該接触判定のための所定範囲の値（不図示）は、予め、ＰＣ２００の外部メモリに記憶されているものとする。
It is assumed that a predetermined range value (not shown) for the contact determination is stored in advance in the external memory of the
また、当該接触判定の方法は一例であり、オブジェクト同士が接触したか否かを判断できれば、他の既知の技術を使用してもよい。 The contact determination method is merely an example, and other known techniques may be used as long as it can be determined whether or not the objects have contacted each other.
３Ｄプリンタオブジェクトと、選択中の被選択用オブジェクトが接触していないと判定した場合（ステップＳ６０６でＮＯ）、処理をステップＳ６０６の前に戻す。３Ｄプリンタオブジェクトと、選択中の被選択用オブジェクトが接触したと判定した場合（ステップＳ６０６でＹＥＳ）、ＰＣ２００のＣＰＵ２０１は、被選択用オブジェクトの移動を停止する（ステップＳ６０７）。つまり、選択デバイスに追従して移動させる処理を終了する。
If it is determined that the 3D printer object is not in contact with the selected object to be selected (NO in step S606), the process returns to step S606. If it is determined that the 3D printer object and the selected object being selected have come into contact (YES in step S606), the
ＰＣ２００のＣＰＵ２０１は、当該３Ｄプリンタオブジェクトに接触している被選択用オブジェクトのサイズ８０５を参照し（ステップＳ６０８）、当該３Ｄプリンタオブジェクトに対応する３Ｄプリンタの印刷可能サイズの情報を、外部メモリより取得する（ステップＳ６０９）。当該印刷可能サイズの情報は、３ＤプリンタオブジェクトのオブジェクトＩＤに対応付けられており、予めＰＣ２００の外部メモリに記憶されているものとする。
The
ＰＣ２００のＣＰＵ２０１は、選択中の被選択用オブジェクトのサイズが、接触している３Ｄプリンタオブジェクトの示す３Ｄプリンタで印刷可能なサイズか判定する（ステップＳ６１０／印刷可否判定手段／処理可否判定手段）。
The
出力が不可能なサイズの場合（ステップＳ６１０でＮＯ）、つまり、例えば、被選択用オブジェクトの大きさが、３Ｄプリンタで印刷可能なオブジェクトの大きさを超えていた場合、エラーを示す情報を３Ｄプリンタ３００のディスプレイに表示させるべく、当該エラーを示す情報を、ステップＳ６０６で接触していると判定された３Ｄプリンタオブジェクトに対応する３Ｄプリンタ３００に送信する（ステップＳ６１２）。 If the size cannot be output (NO in step S610), that is, for example, if the size of the selected object exceeds the size of an object that can be printed by the 3D printer, information indicating an error is displayed in 3D. In order to be displayed on the display of the printer 300, information indicating the error is transmitted to the 3D printer 300 corresponding to the 3D printer object determined to be in contact in step S606 (step S612).
ＰＣ２００のＣＰＵ２０１は、選択中の被選択用オブジェクトのサイズが、接触している３Ｄプリンタオブジェクトの示す３Ｄプリンタ３００で印刷可能なサイズであると判定した場合（ステップＳ６１０でＹＥＳ）、当該３Ｄプリンタオブジェクトに接触中の被選択用オブジェクトのファイルパス８０６を取得して（ステップＳ６１１）、当該被選択用オブジェクトの示す３Ｄモデルのファイル（オブジェクト名８０２に示す名称のファイル）を取得する（ステップＳ６１３）。
When the
ＰＣ２００のＣＰＵ２０１は、取得した３Ｄモデルのファイル及び当該３Ｄモデルを示す被選択用オブジェクトのオブジェクトＩＤを、ステップＳ６０６で接触していると判定された３Ｄプリンタ３００に対して送信し（ステップＳ６１４／出力して印刷指示を行い）、３Ｄプリンタ３００がこれを受信する（ステップＳ６１５）。
The
３Ｄプリンタ３００のＣＰＵ３０１は、受信した３Ｄモデルのファイルを用いて、当該３Ｄモデルの印刷処理を開始し（ステップＳ６１６）、３Ｄプリンタ３００の外部メモリ上に、印刷中の３Ｄモデルを示す被選択用オブジェクトのオブジェクトＩＤを、オブジェクトＩＤ８１１に有する印刷進捗情報８１０（図８）を作成し、進捗８１２に０（％）の値を挿入して記憶する（ステップＳ６１７）。以降、３Ｄプリンタ３００のＣＰＵ３０１は、当該３Ｄモデルの印刷進捗状況を監視し、定期的に、進捗８１２の値を更新する。
The
ＰＣ２００のＣＰＵ２０１は、ステップＳ６１４で印刷指示をした（３Ｄモデルのファイルを送信した）被選択用オブジェクトのオブジェクトＩＤを用いて、ステップＳ６０３で選択が行われる直前の当該被選択用オブジェクトの座標８０４を外部メモリから読み出し、当該被選択用オブジェクトを、当該選択前の座標８０４に配置しなおす（ステップＳ６１８）。つまり、選択前の位置に、被選択用オブジェクトを戻す処理を行う。以上が図６の説明である。
次に図７を参照して、本発明の第１の実施形態における、ＭＲを用いた印刷状況の通知処理の流れについて説明する。
The
Next, with reference to FIG. 7, the flow of a printing status notification process using MR in the first embodiment of the present invention will be described.
ＰＣ２００のＣＰＵ２０１は、ステップＳ５０７で継続して取得している、ＨＭＤ１００の位置姿勢の情報と、ＰＣ２００の外部メモリに予め記憶されている、ＨＭＤ１００の画角（ＨＭＤ１００に搭載されているカメラで撮像可能な範囲）、オブジェクトの座標８０４の情報を用いて、ＨＭＤ１００の視野内（カメラ２２１又はカメラ２２２の画角）に、印刷中の被選択用オブジェクト（オブジェクトＩＤ８１１のオブジェクト）が存在するか判定する（ステップＳ７０１）。
The
ＨＭＤ１００の視野内に印刷中の被選択用オブジェクトが存在しないと判定した場合（ステップＳ７０１でＮＯ）、処理を終了する。ＨＭＤ１００の視野内に印刷中の被選択用オブジェクトが存在すると判定した場合（ステップＳ７０１でＹＥＳ）、当該画角内に含まれる印刷中の被選択用オブジェクトの印刷進捗の情報（進捗８１２）の取得要求を、当該印刷中の被選択用オブジェクトを印刷している３Ｄプリンタに送信する（ステップＳ７０２）。当該印刷進捗の取得要求には、印刷進捗を要求する被選択用オブジェクトのオブジェクトＩＤが含まれているものとする。 If it is determined that there is no object to be selected being printed within the field of view of the HMD 100 (NO in step S701), the process ends. When it is determined that there is a selected object being printed within the field of view of the HMD 100 (YES in step S701), acquisition of printing progress information (progress 812) of the selected object being printed included in the angle of view. The request is transmitted to the 3D printer that is printing the selected object being printed (step S702). It is assumed that the print progress acquisition request includes the object ID of the selected object that requests the print progress.
３Ｄプリンタ３００のＣＰＵ３０１は、印刷進捗状況の取得要求を受け付け（ステップ７０３）、当該取得要求に含まれるオブジェクトＩＤをオブジェクトＩＤ８１１に持つ印刷進捗情報８１０（オブジェクトＩＤ８１１及び進捗８１２の）をＰＣ２００に送信する（ステップＳ７０４）。
The
ＰＣ２００のＣＰＵ２０１は、当該印刷進捗情報８１０を受信して（ステップＳ７０５／印刷状況取得手段／進捗情報取得手段）、印刷が完了しているか判定する（ステップＳ７０６）。つまり、進捗８１２＝１００％か判定する。
The
印刷が完了していると判定した場合（ステップＳ７０６でＹＥＳ）、当該印刷が完了した被選択用オブジェクトを画角内（視野内）に収めていない、他のＨＭＤ（同一のＭＲ空間上で起動しているＨＭＤ）に対して、当該被選択用オブジェクトの印刷が完了した旨を通知する（ステップＳ７１１）。 If it is determined that printing has been completed (YES in step S706), the selected object whose printing has been completed is not within the angle of view (in the field of view) and is activated in another HMD (in the same MR space) HMD) is notified that printing of the selected object has been completed (step S711).
例えば、当該他のＨＭＤの位置姿勢の情報と、印刷が完了した被選択用オブジェクトの座標を用いて、印刷が完了した被選択用オブジェクトの方向を示す矢印のオブジェクトを生成して現実画像に重畳し（図９Ｄのような画像を生成し）、当該他のＨＭＤに表示させるべく送信する。 For example, using the information on the position and orientation of the other HMD and the coordinates of the selected object for which printing has been completed, an arrow object indicating the direction of the selected object for which printing has been completed is generated and superimposed on the real image. Then, an image as shown in FIG. 9D is generated and transmitted to be displayed on the other HMD.
ここでいう矢印のオブジェクトとは、印刷完了をユーザに通知する通知オブジェクトであり、図９Ｄの９５１のようなオブジェクトである。図９ＤはＨＭＤ１００のディスプレイに表示された重畳画像を示す。つまり、ユーザ（ＨＭＤ１００）の視界を示す。図９Ｄによれば、印刷が完了した被選択用オブジェクトは、ユーザの右方に存在する。
The arrow object here is a notification object for notifying the user of printing completion, and is an object such as 951 in FIG. 9D. FIG. 9D shows a superimposed image displayed on the display of the
当該印刷完了を示す通知オブジェクトは、矢印の形状に限るものではなく、例えば、図９Ｄのオブジェクト９５１のように、印刷完了を示す吹き出しのようなオブジェクトでもよい。図９Ｄにおいては、矢印の通知オブジェクト９５２と、吹き出しの通知オブジェクト９５２の両方を、ステップＳ７１１で生成して重畳画像を生成している。
The notification object indicating the completion of printing is not limited to the shape of the arrow, and may be an object such as a balloon indicating the completion of printing, for example, an
尚、当該通知オブジェクトは複数生成して重畳してもよいし、１つだけ生成して１つだけ重畳するようにしてもよい（矢印の通知オブジェクト９５２と、吹き出しの通知オブジェクト９５２いずれか一方を重畳するようにしてもよい）。
A plurality of the notification objects may be generated and superimposed, or only one may be generated and only one may be superimposed (either one of the
当該矢印のオブジェクト９５１を生成して、ユーザに提示することで、ユーザから見ていずれの方向に、印刷が完了した被選択用オブジェクトが配置されているかを、ユーザに通知することができる。
By generating the
また、当該被選択用オブジェクトを画角内（視野内）に収めているＨＭＤ１００に対しては、当該印刷が完了した被選択用オブジェクトを点滅させる等、強調表示した重畳画像を生成して、印刷完了を通知すべく送信する。ＨＭＤ１００は当該重畳画像を受信して表示画面に表示する。
For the
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１００の画角内にある被選択用オブジェクトの印刷が完了していないと判定した場合（ステップＳ７０６でＮＯ）、当該ＨＭＤ１００と当該ＨＭＤ１００の画角内に存在する被選択用オブジェクトを印刷中である、３Ｄプリンタ（３Ｄプリンタオブジェクト）の間の距離が、所定の距離範囲内か判定する（ステップＳ７０７／第２の距離判定手段）。つまり、ユーザが３Ｄプリンタから所定以上離れているか、３Ｄプリンタの近くにいるかを判定する。
If the
ＨＭＤ１００と３Ｄプリンタの間の距離が所定範囲内である場合（ステップＳ７０７でＹＥＳ／ユーザが３Ｄプリンタから近い位置にいると判定した場合）、印刷中の被選択用オブジェクトの印刷進捗を示すオブジェクトを生成して（ステップＳ７０８）、当該被選択用オブジェクトの代わりにＭＲ空間上に配置し、ＨＭＤ１００から取得した現実画像に重ね合わせた重畳画像を生成する（ステップＳ７０９）。そして、当該重畳画像をＨＭＤ１００に送信する（ステップＳ７１０／印刷状況表示制御手段）
When the distance between the
ステップＳ７０８で生成するオブジェクトは、例えば、図９Ｃに示す、オブジェクト９３１や、オブジェクト９４１のようなオブジェクトである。例えばオブジェクト９３１の場合、進捗８１２＝２０％のため、当該印刷がされた２０％分を透過率０％とし、未印刷の８０％分を所定の透過率（例：透過率５０％）とした、当該印刷中の被選択用オブジェクトと同一形状のオブジェクトであるものとする。オブジェクト９３１とオブジェクト９４１は、印刷の進捗を通知する進捗通知オブジェクトである。尚、図９Ｃの９３０、９４０は、ＨＭＤ１００のディプレイに表示される重畳画像である。
The objects generated in step S708 are objects such as the
オブジェクト９３１、オブジェクト９４１のように、印刷中の被選択用オブジェクトの表示を変更する（印刷進捗を示す、印刷中の被選択用オブジェクトに置き換える）ことで、ユーザに、いずれの被選択用オブジェクトが印刷中かを通知することができる。
By changing the display of the selected object being printed, such as the
また、当該印刷の進捗を、印刷中の被選択用オブジェクトと対応付けて、視覚的にユーザに確認させることができる。 Further, the progress of the printing can be visually confirmed by the user in association with the selected object being printed.
つまり、印刷中の被選択用オブジェクトの印刷状態をユーザに通知することができる。 That is, it is possible to notify the user of the printing state of the selected object being printed.
尚、進捗通知オブジェクトの態様・形状は、オブジェクト９３１、オブジェクト９４１の態様・形状に限るものではなく、印刷の進捗を示す情報（オブジェクト）を、印刷中のオブジェクトに紐付けて通知できればよい。
The form / shape of the progress notification object is not limited to the form / shape of the
例えば、ステップＳ７０８で進捗通知オブジェクト９３２、進捗通知オブジェクト９４２のようなオブジェクトを生成し、図９Ｃに示すように、印刷中のオブジェクトから所定の距離範囲内に、進捗のパーセンテージを示す吹き出しのようなオブジェクトを生成・配置し、重畳画像を生成して（ステップＳ７０９）ＨＭＤ１００に送信するようにしてもよい（ステップＳ７１０）。
For example, in step S708, objects such as a
また、ステップＳ７０１でＨＭＤ１００の視界内に存在すると判定された被選択用オブジェクトを印刷中の３Ｄプリンタの３Ｄプリンタオブジェクト９１２が、ＨＭＤ１００の視界内に存在するかを、例えば、ステップＳ７０７とＳ７０８の間で判定し、視界内に当該３Ｄプリンタオブジェクト９１２が存在する場合、ステップＳ７０８で、前記通知オブジェクトとあわせて、図９Ｃの９３３に示す、いずれの３Ｄプリンタでいずれの被選択用オブジェクトが印刷中かを示す印刷通知オブジェクトを生成して、３Ｄプリンタオブジェクト９１２から所定の距離範囲内に配置するようにしてもよい。
Also, whether or not the
また、印刷中の被選択用オブジェクトを、印刷進捗のパーセンテージに応じて透過率０％で描画するようにしてもよい。つまり、オブジェクトそのものを置き換えるのではなく、ステップＳ７０８で、印刷中の被選択用オブジェクトを取得して、当該印刷の進捗８１２の割合（進捗分）に応じた当該被選択用オブジェクトの画像（ＨＭＤ１００の方向から見た画像）を生成して、ステップＳ７０９で重畳画像を生成するようにしてもよい。
Further, the object to be selected during printing may be drawn with a transmittance of 0% in accordance with the percentage of printing progress. In other words, instead of replacing the object itself, in step S708, the object to be selected being printed is acquired, and the image of the object to be selected (in the HMD 100) corresponding to the ratio (progress) of the
また、印刷中の被選択用オブジェクトの色を、印刷進捗のパーセンテージに応じて変更するようにしてもよい（進捗８１２＝２０％の場合、オブジェクトの２０％分の表面積部分の色を赤に変更して描画する等してもよい）。
Further, the color of the object to be selected during printing may be changed according to the percentage of the printing progress (when
当該印刷通知オブジェクト９３３を表示することで、ユーザに、いずれのいずれの３Ｄプリンタでいずれの被選択用オブジェクトが印刷中かを通知することができる。つまり、被選択用オブジェクトの印刷状態を通知することができる。
By displaying the
ＰＣ２００のＣＰＵ２０１は、印刷の進捗状況をＨＭＤ１００に通知すべく、ステップＳ７０９で生成した重畳画像（印刷された割合だけ透過率０％で描画された被選択用オブジェクトが写った重畳画像）を、ＨＭＤ１００で表示させるべく、ＨＭＤ１００に送信する（ステップＳ７１０／印刷状況表示制御手段）。
In order to notify the
尚、ＨＭＤ１００の画角内に存在する印刷中の被選択用オブジェクトが複数存在する場合は、ステップＳ７０１〜Ｓ７１１の処理を、当該印刷中の被選択用オブジェクト分実行して処理を終了する。以上が図７の説明である。
If there are a plurality of objects to be selected for printing that exist within the angle of view of the
ＭＲは、現実空間とＭＲ空間を合成して、より現実に近い空間をユーザに体感させるものと考えられ、そのため、ＭＲ空間上のオブジェクト（３Ｄモデル）は、極力現実に近しいものを作成・用意して配置し、ユーザに提示する。よって、オブジェクトの透明化（透明度の変更）や、図９Ｃの９３３等に示すような付加情報を示す、現実空間に存在しないようなオブジェクトは、普段は、空間上に配置・描画しないことが望まれる場合がある。 MR is considered to synthesize the real space and MR space and let the user experience a more realistic space. Therefore, the object (3D model) on the MR space is created and prepared as close to reality as possible. And then present it to the user. Therefore, objects that do not exist in the real space, such as objects that are transparent (change in transparency), or that show additional information such as 933 in FIG. 9C, are normally not placed or drawn in the space. May be.
図７では、ＨＭＤ１００（ユーザ）が３Ｄプリンタに近い位置にいる場合、３Ｄプリンタの操作部、パネル又は、造形ステージを除くことが出来る窓を通して、どのオブジェクトを印刷中で、どの程度の印刷進捗か、３Ｄプリンタで直接確認可能であるため、例えば、（図９Ｃの９３１、９４１のような）印刷中の被選択用オブジェクトの透明化（一部透明化したオブジェクトとの置き換え）は行わない。よって、ユーザに、オブジェクトの印刷状況を確認させつつ、より現実感のある空間を体感させることができる。 In FIG. 7, when the HMD 100 (user) is in a position close to the 3D printer, which object is being printed and how much printing progressed through the window that can remove the operation unit, panel, or modeling stage of the 3D printer. Since it can be directly confirmed by the 3D printer, for example, the object to be selected during the printing (such as 931 and 941 in FIG. 9C) is not made transparent (replaced with the partially transparent object). Therefore, the user can experience a more realistic space while confirming the printing status of the object.
また、不要な処理（オブジェクト９３１、オブジェクト９４１の作成処・描画の処理）を省略することができ、ＰＣ２００の処理負荷を軽減できる。
Also, unnecessary processing (
以上説明したように、本発明の第１の実施形態によれば、ＭＲ空間上でオブジェクトの選択を行うことで、容易に、印刷装置にオブジェクトを印刷させる仕組みを提供することができる。 As described above, according to the first embodiment of the present invention, it is possible to provide a mechanism that allows a printing apparatus to easily print an object by selecting the object in the MR space.
また、印刷状態を示すオブジェクトを生成して、印刷中の被選択用オブジェクトと対応付けて配置し、重畳画像を生成して、ＨＭＤに送信することで、印刷中の被選択用オブジェクトの印刷状態を、視覚的にユーザに通知することができる。 In addition, an object indicating a printing state is generated, arranged in association with the object to be selected being printed, a superimposed image is generated, and the image is transmitted to the HMD, thereby printing the object to be selected being printed. Can be visually notified to the user.
例えば、オブジェクト９３１、オブジェクト９４１のように、印刷中の被選択用オブジェクトの表示を変更する（印刷進捗を示す、印刷中の被選択用オブジェクトに置き換える）ことで、ユーザに、いずれの被選択用オブジェクトが印刷中かを通知することができる。
For example, by changing the display of the object to be selected during printing such as the
また、例えば、矢印のオブジェクト９５１を生成して、ユーザに提示することで、ユーザから見ていずれの方向に、印刷が完了した被選択用オブジェクトが配置されているかを、ユーザに通知することができる。
Also, for example, by generating an
また、例えば、当該印刷通知オブジェクト９３３を表示することで、ユーザに、いずれのいずれの３Ｄプリンタでいずれの被選択用オブジェクトが印刷中かを通知することができる。
Further, for example, by displaying the
以上が本発明の第１の実施形態の説明である。 The above is the description of the first embodiment of the present invention.
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described.
第２の実施形態においては、第１の実施形態で説明した図５〜図９Ｄの内容・処理を実行するが、３Ｄプリンタオブジェクトと被選択用オブジェクトとが接触した場合に、被選択用オブジェクトが３Ｄプリンタで印刷可能なサイズでなかった場合（ステップＳ６１０でＮＯ）、当該被選択用オブジェクトのサイズ（モデルサイズ）を変更する処理（図１０のＳ１００１＝図１１）を行う点で、第１の実施形態と異なる。 In the second embodiment, the contents and processing of FIGS. 5 to 9D described in the first embodiment are executed. When the 3D printer object and the selected object come into contact with each other, the selected object is displayed. If it is not a size that can be printed by the 3D printer (NO in step S610), a process of changing the size (model size) of the object to be selected (S1001 in FIG. 10 = FIG. 11) is performed. Different from the embodiment.
本発明の第２の実施形態では、３Ｄプリンタでのオブジェクトの印刷可否に応じて、ＭＲ空間上で、印刷対象のオブジェクトの状態を変更できる。 In the second embodiment of the present invention, the state of the object to be printed can be changed in the MR space according to whether or not the object can be printed by the 3D printer.
以下、図１０〜図１２を参照して、本発明の第２の実施形態について説明する。 Hereinafter, a second embodiment of the present invention will be described with reference to FIGS.
まず図１０を参照して、本発明の第２の実施形態における、オブジェクトの印刷処理の流れについて説明する。 First, with reference to FIG. 10, the flow of object printing processing according to the second embodiment of the present invention will be described.
ＰＣ２００のＣＰＵ２０１は、ステップＳ６０１〜Ｓ６１０の処理を実行する。詳細は第１の実施形態の説明で記載したため、ここでは説明を割愛する。 CPU201 of PC200 performs processing of Steps S601-S610. Details have been described in the description of the first embodiment, and thus description thereof is omitted here.
ＰＣ２００のＣＰＵ２０１は、図６のステップＳ６１０において、被選択用オブジェクトが３Ｄプリンタで印刷可能なサイズでないと判定した場合（ステップＳ６１０でＮＯ）、当該被選択用オブジェクトのサイズ変更処理を行う（ステップＳ１００１）。
When the
ＰＣ２００のＣＰＵ２０１は、ステップＳ６１１〜Ｓ６１８の処理を実行する。詳細は第１の実施形態の説明で記載したため、ここでは説明を割愛する。以上が図１０の説明である。 CPU201 of PC200 performs processing of Steps S611-S618. Details have been described in the description of the first embodiment, and thus description thereof is omitted here. The above is the description of FIG.
次に図１１を参照して、本発明の第２の実施形態における、オブジェクトのサイズ変更処理について説明する。 Next, an object size changing process in the second embodiment of the present invention will be described with reference to FIG.
ＰＣ２００のＣＰＵ２０１は、ステップＳ６０６で、３Ｄプリンタの印刷可能サイズより大きいと判定された被選択用オブジェクトの外形を覆うような、立方体（立方体オブジェクト）を生成し、当該立方体オブジェクトの各頂点に、サイズ変更用の小型の立方体（サイズ変更用オブジェクト）を生成する（ステップＳ１１０１／サイズ変更用オブジェクト生成手段）。
In step S606, the
立方体オブジェクトとは、図１２でいう立方体オブジェクト１２０２であり、立方体内部の被選択用オブジェクト９１１をユーザが閲覧可能なよう、半透明に描画される。つまり、ＰＣ２００のＣＰＵ２０１は、例えば、所定の透過率（例：透過率＝７０％）の立方体オブジェクトをステップＳ１１０１で作成する。
The cube object is the
当該立方体オブジェクト１２０２は、サイズ変更を行う被選択用オブジェクト９１１の中心位置１２０１（被選択用オブジェクト９１１の座標８０４）を位置情報（図８のオブジェクト情報８００でいう座標８０４）とするよう生成される。
The
また、サイズ変更用オブジェクトとは、図１２でいうサイズ変更用オブジェクト１２０３である。サイズ変更用オブジェクト１２０３は、立方体オブジェクト１２０２の各頂点を位置情報として有する（図８のオブジェクト情報８００でいう座標８０４とする）、所定のサイズのオブジェクトである。
The size changing object is the
図１２の１２００に示すように、ユーザは、選択デバイス１０５を移動・操作し、選択用オブジェクト９０３とサイズ変更用オブジェクト１２０３を接触させて、選択デバイス１０５を移動させることで、立方体オブジェクト１２０２内の被選択用オブジェクト９１１を拡大・縮小する。
As indicated by 1200 in FIG. 12, the user moves / operates the
図１１の説明に戻る。ＰＣ２００のＣＰＵ２０１は、ステップＳ１１０１で生成した立方体オブジェクト１２０２、サイズ変更用オブジェクト１２０３を、ＭＲ空間上に配置して重畳画像を生成し、ＨＭＤ１００に送信する（ステップＳ１１０２／識別画像生成手段）。ここでは、立方体オブジェクト１２０２は、サイズ変更を行う被選択用オブジェクト９１１と同一の座標８０４に配置し、サイズ変更用オブジェクト１２０３は当該立方体オブジェクト１２０２の各頂点の座標に配置する。つまり、印刷が不可能である旨（印刷不可を示す判定結果）をＭＲ空間上で（ＨＭＤ１００のディスプレイに）識別表示し、ユーザに通知する（印刷可否識別表示手段）。
Returning to the description of FIG. The
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５から、第１ボタン９０１の押下指示を受け付けた旨の操作信号を受け付ける（ステップＳ１１０３）。
The
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５の選択用オブジェクト９０３と、サイズ変更用オブジェクト１２０３とが接触しているか判定する（ステップＳ１１０４）。接触していないと判定した場合には（ステップＳ１１０４でＮＯ）、処理をステップＳ１１０４の前に戻す。
The
選択用オブジェクト９０３と、サイズ変更用オブジェクト１２０３とが接触していると判定した場合（ステップＳ１１０４でＹＥＳ）、ＰＣ２００のＣＰＵ２０１は、選択デバイスか１０４の移動量の取得を開始する（ステップＳ１１０５）。ここでいう移動量は、ＭＲ空間上での選択デバイス１０５の位置（選択用オブジェクト９０３の座標８０４）の変化量を指す。また、ＰＣ２００のＣＰＵ２０１は、ステップＳ１１０４で、選択用オブジェクト９０３とサイズ変更用オブジェクト１２０３とが接触し、選択デバイス１０５の第１ボタン９０１が押下された時点（サイズ変更用オブジェクト１２０３が選択された時点）での、選択用オブジェクト９０３の座標８０４、サイズ８０５を外部メモリに記憶する。
If it is determined that the
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５が移動され、選択用オブジェクト９０３が、被選択用オブジェクト９１１の座標８０４（中心位置）から離れたか、近付いたかを判定する（ステップＳ１１０６）。つまり、選択デバイス１０５で、サイズ変更用オブジェクトを選択し、空間上を移動させる処理（移動指示／移動処理）がされたか判定し、当該移動方向に基づいて、被選択用オブジェクト９１１の座標８０４（中心位置）から離れたか、近付いたかを判定する。
The
具体的には、ＰＣ２００のＣＰＵ２０１は、外部メモリに記憶した、サイズ変更用オブジェクト１２０３が選択された時点での選択用オブジェクト９０３の座標８０４と被選択用オブジェクト９１１の座標８０４の間の距離と、現在の選択用オブジェクト９０３と被選択用オブジェクト９１１の座標８０４の間の距離とを比較する。そして、サイズ変更用オブジェクト１２０３選択時点における選択用オブジェクト９０３から被選択用オブジェクトまでの距離の方が大きい場合、選択用オブジェクト９０３が被選択用オブジェクト９１１に近付いたと判定する。また、サイズ変更用オブジェクト１２０３選択時点における選択用オブジェクト９０３から被選択用オブジェクトまでの距離の方が小さい場合、選択用オブジェクト９０３が被選択用オブジェクト９１１から離れたと判定する。
Specifically, the
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５が移動され、選択用オブジェクト９０３が、被選択用オブジェクト９１１の座標８０４から離れたと判定した場合、当該移動量に応じて被選択用オブジェクト９１１、及び立方体オブジェクト１２０２を拡大する（ステップＳ１１０７）。つまり、移動量に応じて変更されたサイズの情報を、被選択用オブジェクト９１１のサイズ８０５に上書して、被選択用オブジェクト９１１を拡大する。
When the
選択デバイス１０５が移動され、選択用オブジェクト９０３が、被選択用オブジェクト９１１の座標８０４に近付いたと判定した場合、当該移動量に応じて被選択用オブジェクト９１１、及び立方体オブジェクト１２０２を縮小する（ステップＳ１１１１）。つまり、移動量に応じて変更されたサイズの情報を、被選択用オブジェクト９１１のサイズ８０５に上書して、被選択用オブジェクト９１１を縮小する。
When it is determined that the
当該移動量がどの程度の場合に、どの程度、各オブジェクトを縮小するかを示す情報は、予め、ＰＣ２００の外部メモリに記憶されているものとする（不図示）。 It is assumed that information indicating how much the moving amount is and how much each object is reduced is stored in advance in the external memory of the PC 200 (not shown).
ＰＣ２００のＣＰＵ２０１は、被選択用オブジェクト９１１の拡大・縮小後のサイズが、３Ｄプリンタ３００の印刷可能サイズ以下か判定する（ステップＳ１１１２）。つまり、被選択用オブジェクト９１１のサイズが印刷可能サイズになったか判定する。
The
ＰＣ２００のＣＰＵ２０１は、被選択用オブジェクト９１１の拡大・縮小後のサイズが、３Ｄプリンタ３００の印刷可能サイズ以下でないと判定した場合（ステップＳ１１１２でＮＯ）、処理をステップＳ１１０８に移行する。
If the
被選択用オブジェクト９１１の拡大・縮小後のサイズが、３Ｄプリンタ３００の印刷可能サイズ以下であると判定した場合（ステップＳ１１１２でＹＥＳ）、被選択用オブジェクト９１１が印刷可能なサイズになったことを識別表示すべく、被選択用オブジェクトの全面の色を、所定の色に変更する（ステップＳ１１１３）。当該所定の色の情報は、予め、ＰＣ２００の外部メモリに記憶されているものとする。
If it is determined that the size of the selected
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５から操作信号を受け付け（ステップＳ１１０８）、当該操作信号が、第２ボタン９０２（図９Ａ）の押下指示を受け付けた旨の操作信号か判定する（ステップＳ１１０９）。第２の実施形態において、第２ボタン９０２（図９Ａ）は、サイズ変更用オブジェクト１２０３の選択の解除に用いられる。
The
ＰＣ２００のＣＰＵ２０１は、選択デバイス１０５から操作信号を受け付け（ステップＳ１１０８）、当該操作信号が、第２ボタン９０２（図９Ａ）の押下指示を受け付けた旨の操作信号か判定する（ステップＳ１１０９）。第２の実施形態において、第２ボタン９０２（図９Ａ）は、サイズ変更用オブジェクト１２０３の選択の解除に用いられる。
The
ＰＣ２００のＣＰＵ２０１は、受け付けた操作信号が、第２ボタン９０２（図９Ａ）の押下を示す信号でないと判定した場合（ステップＳ１１０８でＮＯ／例えば、第１ボタン９０１の押下等）、処理をステップＳ１１０５に戻す。
If the
受け付けた操作信号が、第２ボタン９０２（図９Ａ）の押下を示す信号であると判定した場合（ステップＳ１１０８でＹＥＳ）、当該第２ボタン９０２が押下された時点での、被選択用オブジェクト９１１のサイズを、当該被選択用オブジェクト９１１の印刷サイズとして決定し、外部メモリに、当該被選択用オブジェクト９１１のオブジェクトＩＤと対応付けて、当該印刷サイズの情報を記憶する（ステップＳ１１１０）。以上が図１１の説明である。
If it is determined that the received operation signal is a signal indicating that the second button 902 (FIG. 9A) is pressed (YES in step S1108), the selected
ＰＣ２００のＣＰＵ２０１は、図１１の処理後、図１０のステップＳ６０８において、ステップＳ１１１０で決定・記憶した印刷サイズを取得して、ステップＳ６１０で、当該印刷サイズが、３Ｄプリンタ３００において印刷可能なサイズかを判定するものとする。
After the processing in FIG. 11, the
また、図１０のステップＳ６１８においては、サイズ変更にあたって、図１１のステップＳ１１０４で記憶した、被選択用オブジェクト９１１が選択された時点でのサイズ８０５（サイズ変更前のサイズ）を取得して、被選択用オブジェクト９１１が選択された時点でのサイズ８０５の情報を、現在の被選択用オブジェクト９１１のサイズ８０５に上書して（つまり被選択用オブジェクトのサイズを、サイズ変更前の、元のサイズに戻して）、配置位置を戻す処理を行う。
In step S618 in FIG. 10, when the size is changed, the size 805 (size before the size change) at the time when the object to be selected 911 stored in step S1104 in FIG. 11 is selected is acquired. The information of the
以上説明したように、本発明の第２の実施形態によれば、３Ｄプリンタでのオブジェクトの印刷可否に応じて、ＭＲ空間上で、印刷対象のオブジェクトの状態を変更できる。 As described above, according to the second embodiment of the present invention, the state of the object to be printed can be changed in the MR space according to whether or not the object can be printed by the 3D printer.
以上が本発明の第２の実施形態の説明である。 The above is the description of the second embodiment of the present invention.
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described.
第３の実施形態においては、第１の実施形態で説明した図５〜図９Ｄの内容・処理を実行するが、ＨＭＤの利用及び印刷進捗の表示にユーザ情報を用いる点で、第１の実施形態と異なる。また、第３の実施形態においては、複数のＨＭＤ１００（ＨＭＤ１００を装着したユーザ）が、同一のＭＲ空間上に存在し、現実画像の撮像・重畳画像の表示を行っているものとする。 In the third embodiment, the contents and processes shown in FIGS. 5 to 9D described in the first embodiment are executed. However, the first embodiment is used in that user information is used to display the use of the HMD and the printing progress. Different from form. In the third embodiment, it is assumed that a plurality of HMDs 100 (users wearing the HMDs 100) are present in the same MR space and are capturing a real image and displaying a superimposed image.
本発明の第３の実施形態では、印刷指示を行ったユーザのＨＭＤに対して、当該ユーザが印刷指示をしたオブジェクトにかかる印刷状態を通知することができる。 In the third embodiment of the present invention, it is possible to notify the HMD of the user who has issued a print instruction of the print state relating to the object for which the user has issued the print instruction.
以下、図１３〜図１５を参照して、本発明の第３の実施形態について説明する。第３の実施形態において、各装置は、ＨＭＤ１００の台数分（ユーザの人数分）、各フローチャートの処理を実行する。 Hereinafter, the third embodiment of the present invention will be described with reference to FIGS. In the third embodiment, each device executes the processing of each flowchart for the number of HMDs 100 (for the number of users).
ＰＣ２００のＣＰＵ２０１は、ステップＳ６０１〜Ｓ６１０の処理を実行する。詳細は第１の実施形態の説明で記載したため、ここでは説明を割愛する。 CPU201 of PC200 performs processing of Steps S601-S610. Details have been described in the description of the first embodiment, and thus description thereof is omitted here.
まず図１３を参照して、本発明の第３の実施形態における、印刷者の特定処理の流れについて説明する。 First, with reference to FIG. 13, the flow of a printer identification process in the third embodiment of the present invention will be described.
ＰＣ２００のＣＰＵ２０１は、ステップＳ６１０で、被選択用オブジェクトが３Ｄプリンタ３００で印刷可能なサイズであると判定した場合（ステップＳ６１０でＹＥＳ）、３Ｄプリンタ３００に接触した被選択用オブジェクト（印刷指示される３Ｄモデル）のオブジェクトＩＤと、当該被選択用オブジェクトの座標から所定範囲内に位置するＨＭＤの識別情報を取得して（ステップＳ１３０１）、当該当該被選択用オブジェクトの座標から所定範囲内に位置するＨＭＤの識別情報を、当該被選択用オブジェクトの印刷指示をした印刷者（ユーザ）の識別情報として、被選択用オブジェクトのオブジェクトＩＤと対応付けて記憶する（ステップＳ１３０２）。
If the
当該対応付けの情報は、例えば図１５に示す印刷者特定情報１５００のような情報であり、ＰＣ２００の外部メモリに生成・記憶される。また、当該所定範囲の情報は、所定範囲１５１０のような情報であり、予め、ＰＣ２００の外部メモリに記憶されているものとする。図１５によれば、所定範囲１５１０は、３Ｄプリンタオブジェクトと接触し、印刷指示された被選択用オブジェクトの中心位置からＸ＝１ｍ（横）、Ｙ＝１ｍ（奥行き）、Ｚ＝１ｍ（高さ）の範囲を示す。
The association information is information such as the printer identification information 1500 shown in FIG. 15, for example, and is generated and stored in the external memory of the
印刷者ＨＭＤ識別情報１５０１は、ユーザからの印刷指示がされた時点（ステップＳ６１０でＹＥＳと判定した時点）で、印刷指示された被選択用オブジェクト（印刷中オブジェクトＩＤ１５０２の示すオブジェクト）から、所定範囲１５１０内に存在したＨＭＤ１００の識別情報（ＩＤ）である。
The printer
尚、ここでは、所定範囲１５１０内にあるＨＭＤ１００が複数存在した場合、印刷指示された被選択用オブジェクトから最も近い位置にあるＨＭＤ１００の識別情報を、印刷者ＨＭＤ識別情報１５０１に記憶するものとする。
Here, when there are a plurality of
また、印刷中オブジェクトＩＤ１５０２の示すオブジェクトの印刷完了が通知された場合（ステップＳ７１１）、当該印刷完了通知がされた、印刷中オブジェクトＩＤ１５０２、印刷者ＨＭＤ識別情報１５０１は、印刷者特定情報１５００から削除されるものとする。
When the printing completion of the object indicated by the
ＰＣ２００のＣＰＵ２０１は、ステップＳ６１１〜Ｓ６１８の処理を実行する。詳細は第１の実施形態の説明で記載したため、ここでは説明を割愛する。以上が図１３の説明である。 CPU201 of PC200 performs processing of Steps S611-S618. Details have been described in the description of the first embodiment, and thus description thereof is omitted here. The above is the description of FIG.
次に図１４を参照して、本発明の第３の実施形態における、ＭＲを用いた印刷状況の通知処理の流れについて説明する。 Next, with reference to FIG. 14, the flow of a printing status notification process using MR in the third embodiment of the present invention will be described.
ＰＣ２００のＣＰＵ２０１は、ステップＳ７０１の処理を実行する。詳細は第１の実施形態の説明で記載したため、ここでは説明を割愛する。
The
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１００の視界内にオブジェクトが存在すると判定した場合（ステップＳ７０１でＹＥＳ）、当該ＨＭＤ１００の識別情報をＨＭＤ１００から取得し、視界内にあると判定されたオブジェクトの識別情報（オブジェクトＩＤ８０１）を、外部メモリから取得する（ステップＳ１４０１）。
When the
ＰＣ２００のＣＰＵ２０１は、当該ＨＭＤ１００が印刷者となった、印刷中の被選択用オブジェクトが、ＨＭＤ１００の視界内に存在するか判定する（ステップＳ１４０２）。
The
具体的には、ＰＣ２００のＣＰＵ２０１は、外部メモリに記憶されている印刷者特定情報１５００を参照し、ステップＳ１４０１で取得したＨＭＤ１００の識別情報を印刷者ＨＭＤ識別情報１５０１に有する印刷中オブジェクトＩＤ１５０２を取得して、当該視界内にあるオブジェクトのオブジェクトＩＤが、当該印刷中オブジェクトＩＤ１５０２と一致するか判定する。当該印刷中オブジェクトＩＤ１５０２と一致するオブジェクトＩＤの被選択用オブジェクト＝ＨＭＤ１００が印刷者となった、印刷中の被選択用オブジェクトである。
Specifically, the
ＰＣ２００のＣＰＵ２０１は、ステップＳ１４０１で識別情報を取得したＨＭＤ１００が印刷者となった、印刷中の被選択用オブジェクトが、ＨＭＤ１００の視界内に存在しないと判定した場合（ステップＳ１４０２でＮＯ）、処理を終了する。
If the
ステップＳ１４０１で識別情報を取得したＨＭＤ１００が印刷者となった、印刷中の被選択用オブジェクトが、ＨＭＤ１００の視界内に存在すると判定した場合（ステップＳ１４０２でＹＥＳ）、ステップＳ７０２〜Ｓ７１１の処理を実行する。詳細は第１の実施形態の説明で記載したため、ここでは説明を割愛する。
When it is determined that the
ＰＣ２００のＣＰＵ２０１は、印刷中オブジェクトＩＤ１５０２の示すオブジェクトの印刷完了が通知された場合（ステップＳ７１１）、当該印刷完了通知がされた、印刷中オブジェクトＩＤ１５０２、印刷者ＨＭＤ識別情報１５０１は、印刷者特定情報１５００から削除する（ステップＳ１４０３）。
When the printing completion of the object indicated by the
以上説明したように、本発明の第３の実施形態によれば、印刷指示を行ったユーザのＨＭＤに対して、当該ユーザが印刷指示をしたオブジェクトにかかる印刷状態を通知することができる。 As described above, according to the third embodiment of the present invention, it is possible to notify the HMD of the user who has issued a print instruction of the print state relating to the object for which the user has issued the print instruction.
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
<Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described.
第４の実施形態においては、第１の実施形態で説明した図５〜図９Ｄの内容・処理を実行するが、図７のステップＳ７０７で、ＨＭＤと、印刷中の被選択用オブジェクトとの間の距離が所定距離以内か判定して、印刷進捗を示すオブジェクトの生成、重畳画像の生成、重畳画像の送信を行うか否かを決定する点で、第１の実施形態と異なる。 In the fourth embodiment, the contents and processing in FIGS. 5 to 9D described in the first embodiment are executed. In step S707 in FIG. 7, the HMD and the selected object being printed are displayed. It is different from the first embodiment in that it is determined whether the distance is within a predetermined distance and whether to generate an object indicating the printing progress, generate a superimposed image, and transmit the superimposed image is determined.
本発明の第４の実施形態では、ユーザと印刷中のオブジェクトとの距離に応じて、オブジェクトの印刷状況を確認させつつ、より現実感のある空間を体感させることができる。 In the fourth embodiment of the present invention, it is possible to experience a more realistic space while checking the printing status of an object according to the distance between the user and the object being printed.
ＭＲは、現実空間とＭＲ空間を合成して、より現実に近い空間をユーザに体感させるものと考えられる。そのため、ＭＲ空間上のオブジェクト（３Ｄモデル）は、極力現実に近しいものを作成・用意して配置し、ユーザに提示する。よって、オブジェクトの透明化（透明度の変更）や、図９Ｃの９３３等に示すような付加情報を示す、現実空間に存在しないようなオブジェクトは、特別な場合を除き、空間上に配置・描画しないことが望まれる場合がある。 MR is considered to make the user experience a more realistic space by combining the real space and the MR space. Therefore, an object (3D model) on the MR space is created, prepared and arranged as close to reality as possible, and presented to the user. Therefore, objects that do not exist in the real space, such as object transparency (change of transparency) and additional information as shown in 933 in FIG. 9C, are not placed or drawn in the space except in special cases. Sometimes it is desirable.
本発明の第４の実施形態においては、ユーザと印刷中のオブジェクトが所定以上接近した場合に、ユーザが、当該印刷中のオブジェクトの詳細を確認したいものと推測し、印刷進捗を示すオブジェクトを表示するよう制御するものとする。 In the fourth embodiment of the present invention, when the user and the object being printed are closer than a predetermined distance, the user assumes that he / she wants to confirm details of the object being printed and displays an object indicating the printing progress. Shall be controlled.
本発明の第４の実施形態において、ＰＣ２００のＣＰＵ２０１は、第１の実施形態で説明した図７のステップＳ７０１〜Ｓ７０６の処理を実行した後、図７のステップＳ７０７で、ＨＭＤ１００の座標と、ステップＳ７０１で視界内にあると判定された、印刷中の被選択用オブジェクトの座標８０４とを特定して、当該２つの座標の間の距離が所定距離以内か判定する。当該所定距離の情報は、予め、ＰＣ２００の外部メモリに記憶されているものとする。
In the fourth embodiment of the present invention, the
ＨＭＤ１００と印刷中の被選択用オブジェクトとが所定距離以内に存在すると判定した場合、処理をステップＳ７０８に移行して、第１の実施形態で説明したように、ステップＳ７０８〜Ｓ７１０の処理を行う。つまり、例えば、ユーザ（ＨＭＤ１００）から近い位置にある、印刷中の被選択用オブジェクト印刷進捗を示すオブジェクトを生成して、重畳画像を生成し、ＨＭＤ１００に送信する。
If it is determined that the
ＨＭＤ１００と印刷中の被選択用オブジェクトとが所定距離以内にないと判定した場合、処理を終了する。
If it is determined that the
以上説明したように、本発明の第４の実施形態によれば、ユーザと印刷中のオブジェクトとの距離に応じて、オブジェクトの印刷状況を確認させつつ、より現実感のある空間を体感させることができる。 As described above, according to the fourth embodiment of the present invention, the user can experience a more realistic space while checking the printing status of the object according to the distance between the user and the object being printed. Can do.
＜第５の実施形態＞ <Fifth Embodiment>
次に図１６〜図２２を参照して、本発明の第５の実施形態について説明する。 Next, a fifth embodiment of the present invention will be described with reference to FIGS.
第５の実施形態においては、３Ｄプリンタやその他の装置に対してどのようにデータを送信するかを詳細に説明する。 In the fifth embodiment, how to transmit data to a 3D printer and other devices will be described in detail.
また、第５の実施形態においては、第１の実施形態でいう３Ｄプリンタに対応する３Ｄオブジェクトの他に、例えば他の３Ｄプリンタに対応する３Ｄプリンタオブジェクト、ファクシミリ装置Ａ（ＦＡＸ装置Ａ）に対応するＦＡＸ装置オブジェクトなど、ＭＲ空間上に、現実の装置に対応するオブジェクト（装置オブジェクト）が複数配置されているものとする。 In the fifth embodiment, in addition to the 3D object corresponding to the 3D printer in the first embodiment, for example, the 3D printer object corresponding to another 3D printer, the facsimile apparatus A (FAX apparatus A). It is assumed that a plurality of objects (device objects) corresponding to actual devices are arranged in the MR space, such as a FAX device object.
第５の実施形態によれば、所定距離内に接近したオブジェクトに対応する装置に、接近した他のオブジェクトの情報を適切に送信させることができる。 According to the fifth embodiment, it is possible to appropriately transmit information on another approached object to a device corresponding to the object approaching within a predetermined distance.
図１６は、本発明の第５の実施形態における情報処理システムの構成の一例を示す図である。前述したように、第５の実施形態においては、第１の実施形態で記載した装置（３Ｄプリンタ３００）に加え、ＦＡＸ装置１６０１、プリンタ１６０２、データ送信装置１６０３等の装置がネットワークを介して情報処理装置と通信可能に接続されている。また、３Ｄプリンタは、３ＤプリンタＡと３ＤプリンタＢの２機種が接続されているものとする。
FIG. 16 is a diagram illustrating an example of a configuration of an information processing system according to the fifth embodiment of the present invention. As described above, in the fifth embodiment, in addition to the device (3D printer 300) described in the first embodiment, devices such as a FAX device 1601, a printer 1602, a
３Ｄプリンタ３００、ＦＡＸ装置１６０１、プリンタ１６０２、データ送信装置１６０３は、３次元モデル（仮想オブジェクト／オブジェクト）の形状にかかるデータを造形処理、ＦＡＸ処理、印刷処理、送信処理するデータ処理装置である。
The 3D printer 300, the FAX apparatus 1601, the printer 1602, and the
図１７は、本発明の第５の実施形態における、複合機のハードウェア構成の一例を示す図である。図１７のハードウェア構成は、ＦＡＸ装置１６０１、プリンタ１６０２、データ送信装置１６０３に適用可能な構成の一例であり、各装置の機能を１つの装置に搭載したと複合機のハードウェア構成を示す。第５の実施形態の説明においては、ＦＡＸ装置１６０１、プリンタ１６０２、データ送信装置１６０３は別の筐体として説明するため、各装置は必ずしも図１７に示す全ての構成を備えていなければならないものではなく、ＣＰＵや記憶領域及び各装置の主たる機能（プリンタであれば印刷データの受信と印刷機能、ＦＡＸ装置であればＦＡＸデータの受信と印刷機能、データ送信装置であればデータの送受信機能など）が実現できる程度の構成を最低限備えていればよいものとする。
FIG. 17 is a diagram illustrating an example of a hardware configuration of a multifunction machine according to the fifth embodiment of the present invention. The hardware configuration in FIG. 17 is an example of a configuration applicable to the FAX apparatus 1601, the printer 1602, and the
図１７において、１７１６はコントローラユニットで、画像入力デバイスとして機能するスキャナ１７１４や、画像出力デバイスとして機能するプリンタ部１７１２と接続する一方、ＬＡＮ（例えば、図１６に示したＬＡＮ１０１）や公衆回線（ＷＡＮ）（例えば、ＰＳＴＮまたはＩＳＤＮ等）と接続することで、画像データやデバイス情報の入出力を行う。
In FIG. 17,
コントローラユニット１７１６において、１７０１はＣＰＵで、システム全体を制御するプロセッサである。１７０２はＲＡＭで、ＣＰＵ１７０１が動作するためのシステムワークメモリであり、プログラムを記録するためのプログラムメモリや、画像データを一時記録するための画像メモリでもある。
In the
１７０３はＲＯＭで、システムのブートプログラムや各種制御プログラムが格納されている。１７０４はハードディスクドライブ（ＨＤＤ）で、システムを制御するための各種プログラム，画像データ等を格納する。
A
１７０７は操作部インタフェース（操作部Ｉ／Ｆ）で、操作部（キーボード）１７０８とのインタフェース部である。また、操作部Ｉ／Ｆ１７０７は、操作部１７０８から入力したキー情報（例えば、スタートボタンの押下）をＣＰＵ１７０１に伝える役割をする。
An operation unit interface (operation unit I / F) 1707 is an interface unit with the operation unit (keyboard) 1708. The operation unit I /
１７０５はネットワークインタフェース（Ｎｅｔｗｏｒｋ Ｉ／Ｆ）で、ネットワーク（ＬＡＮ）１０１に接続する。また、無線通信も可能な構成となっており、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ-Ｆｉ（登録商標）を用いた通信にて他の装置と接続する。データの入出力を行う。１７０６はモデム（ＭＯＤＥＭ）で、公衆回線に接続し、ＦＡＸの送受信等のデータの入出力を行う。
１７１８は外部インタフェース（外部Ｉ／Ｆ）で、ＵＳＢ、ＩＥＥＥ１３９４，プリンタポート，ＲＳ−２３２Ｃ等の外部入力を受け付けるＩ／Ｆ部であり、本実施形態においては認証で必要となる携帯端末のＩＣカード（記憶媒体）の読み取り用のカードリーダ１７１９が外部Ｉ／Ｆ部１７１８に接続されている。そして、ＣＰＵ１７０１は、この外部Ｉ／Ｆ１７１８を介してカードリーダ１７１９による携帯端末のＩＣカードからの情報読み取りを制御し、該携帯端末のＩＣカードから読み取られた情報を取得可能である。以上のデバイスがシステムバス１７０９上に配置される。
１７２０はイメージバスインタフェース（ＩＭＡＧＥ ＢＵＳ Ｉ／Ｆ）であり、システムバス１７０９と画像データを高速で転送する画像バス１７１５とを接続し、データ構造を変換するバスブリッジである。
画像バス１７１５は、ＰＣＩバスまたはＩＥＥＥ１３９４で構成される。画像バス１７１５上には以下のデバイスが配置される。
The
１７１０はラスタイメージプロセッサ（ＲＩＰ）で、例えば、ＰＤＬコード等のベクトルデータをビットマップイメージに展開する。１７１１はプリンタインタフェース（プリンタＩ／Ｆ）で、プリンタ部１７１２とコントローラユニット１７１６を接続し、画像データの同期系／非同期系の変換を行う。また、１７１３はスキャナインタフェース（スキャナＩ／Ｆ）で、スキャナ１７１４とコントローラユニット１７１６を接続し、画像データの同期系／非同期系の変換を行う。
１７１７は画像処理部で、入力画像データに対し補正、加工、編集を行ったり、プリント出力画像データに対して、プリンタの補正、解像度変換等を行う。また、これに加えて、画像処理部１７１７は、画像データの回転や、多値画像データに対してはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、ＭＨ等の圧縮伸張処理を行う。
An
スキャナ部１７１４は、原稿となる紙上の画像を照明し、ＣＣＤラインセンサで走査することで、ラスタイメージデータとして電気信号に変換する。原稿用紙は原稿フィーダのトレイにセットし、装置使用者が操作部１７０８から読み取り起動指示することにより、ＣＰＵ１７０１がスキャナ１７１４に指示を与え、フィーダは原稿用紙を１枚ずつフィードし原稿画像の読み取り動作を行う。
The
プリンタ部１７１２は、ラスタイメージデータを用紙上の画像に変換する部分であり、その方式は感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式等があるが、どの方式でも構わない。プリント動作の起動は、ＣＰＵ１７０１からの指示によって開始する。なお、プリンタ部１７１２には、異なる用紙サイズまたは異なる用紙向きを選択できるように複数の給紙段を持ち、それに対応した用紙カセットがある。
The
操作部１７０８は、ＬＣＤ表示部を有し、ＬＣＤ上にタッチパネルシートが貼られており、システムの操作画面を表示するとともに、表示してあるキーが押されるとその位置情報を操作部Ｉ／Ｆ１７０７を介してＣＰＵ１７０１に伝える。また、操作部１７０８は、各種操作キーとして、例えば、スタートキー、ストップキー、ＩＤキー、リセットキー等を備える。
The
尚、表示部は複合機によって表示性能が異なり、タッチパネルを介して操作をできる複合機、単に液晶画面を備え文字列を表示（印刷状態や印刷している文書名の表示）させるだけの複合機によって本発明は構成されている。 The display unit has a different display performance depending on the multifunction device. The multifunction device can be operated via a touch panel. The multifunction device is simply equipped with a liquid crystal display and displays a character string (displays the print status and printed document name). Thus, the present invention is constituted.
ここで、操作部１７０８のスタートキーは、原稿画像の読み取り動作を開始する時などに用いる。スタートキーの中央部には、緑と赤の２色ＬＥＤがあり、その色によってスタートキーが使える状態にあるかどうかを示す。また、操作部１７０８のストップキーは、稼働中の動作を止める働きをする。また、操作部１７０８のＩＤキーは、使用者のユーザＩＤを入力する時に用いる。リセットキーは、操作部からの設定を初期化する時に用いる。
Here, the start key of the
カードリーダ１７１９は、ＣＰＵ１７０１からの制御により、ＩＣカード（ＩＣチップとして携帯端末内に備えられていてもよい）に記憶されている情報を読み取り、該読み取った情報を外部Ｉ／Ｆ１７１８を介してＣＰＵ１７０１へ通知する。また、カードリーダ１７１９はＮＦＣの通信規格に対応しており、ＩＣカードや携帯端末のＩＣチップへの読み書きを行うことが可能な構成となっている（カードリーダ／ライタ）。なお、ＮＦＣ規格対応のカードリーダに、ＮＦＣ規格対応の携帯端末をかざすと、認証を行い、携帯端末と複合機とのペアリングを行う。そして、かざされた携帯端末と複合機で通信（Ｐ２Ｐ）を確立してデータの通信を行うことが可能である。その他、高速通信規格である、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ-Ｆｉ（登録商標）に通信を引き継ぎ（ハンドオーバー）、携帯端末と複合機間で通信を行わせることも可能である。例えば、携帯端末をカードリーダにかざすことで、携帯端末に記憶されている画像を複合機へ送信することが可能となる。なお、ＮＦＣの通信規格の詳細は、従来技術であるため、説明を省略するものとする。
The
上述した複合機では、複合機を制御するためのプラットフォームが存在し、このプラットフォーム上で、認証サーバと通信するための認証アプリケーションが動作している。認証アプリケーションはＨＤＤ１７０４に記憶されている。プラットフォームが管理する、ログイン時にユーザ情報を格納するログインコンテキストや、各種設定情報は、ＨＤＤ１７０４上に領域が確保されている。
In the above-described multifunction peripheral, there is a platform for controlling the multifunction peripheral, and an authentication application for communicating with the authentication server is operating on the platform. The authentication application is stored in the
また、プラットフォーム上には、複合機の本体機能を拡張したアプリケーションがインストールされ、動作している。これらアプリケーションは、プラットフォームのＡＰＩを用いて実行される。 On the platform, an application that expands the main body function of the multifunction peripheral is installed and operating. These applications are executed using the platform API.
このプラットフォームを介して、複合機の各機能を制御することが可能な構成となっている。 Through this platform, each function of the multifunction peripheral can be controlled.
また、複合機には、Ｗｅｂブラウザも記憶されており、Ｗｅｂシステムと連携することも可能である。この場合、Ｗｅｂアプリケーションサーバから受信した画面をＷｅｂブラウザを用いて表示する。Ｗｅｂブラウザ上で指示した命令は、Ｗｅｂアプリケーションサーバへ要求がなされ、Ｗｅｂアプリケーションサーバからの命令を受け付けることによって、複合機により動作（スキャンやプリント処理）を実行することが可能である。 In addition, a Web browser is also stored in the multi-function peripheral, and can be linked to a Web system. In this case, the screen received from the web application server is displayed using a web browser. A command instructed on the Web browser is requested to the Web application server, and an operation (scanning or print processing) can be executed by the multifunction device by receiving the command from the Web application server.
以上のような構成によって、複合機は、スキャナ１７１４から読み込んだ画像データをＬＡＮ１０１上に送信したり、ＬＡＮ１０１から受信した印刷データをプリンタ部１７１２により印刷出力することができる。
With the configuration as described above, the multifunction peripheral can transmit the image data read from the
また、スキャナ１７１４から読み込んだ画像データをモデム１７０６により、公衆回線上にＦＡＸ送信したり、公衆回線からＦＡＸ受信した画像データをプリンタ部１７１２により出力することできる。以上が図１７の説明である。
Further, the image data read from the
図１８は、本発明の第５の実施形態における各種装置の機能構成の一例を示す図である。 FIG. 18 is a diagram illustrating an example of a functional configuration of various apparatuses according to the fifth embodiment of the present invention.
ＰＣ２００の、オブジェクト記憶部４２１は、オブジェクト（ＭＲ空間上に配置する３ＤＣＧモデル／仮想オブジェクトともいう）を記憶する記憶部である。例えば外部メモリに、図２２のオブジェクト情報２２００を記憶する。
The
オブジェクト位置特定部４２２、重畳画像送信部４２３の動作は図４の説明で前述したため割愛する。
The operations of the object
距離判定部１８０１は、オブジェクト位置特定部４２２で特定した各オブジェクトの仮想空間上の位置の情報を用いて、選択されているオブジェクトと、データ処理装置に対応するオブジェクト（装置オブジェクト）との距離が所定距離内になったか判定する判定部である。例えば接触した場合は、２つのオブジェクトの距離が０になっているものとし、当該距離の値（０を示す値）が外部メモリに記憶されている閾値（所定距離・所定範囲の値）内になった場合に、選択されているオブジェクトと、データ処理装置に対応するオブジェクト（第１の実施形態でいう３Ｄプリンタオブジェクト／装置オブジェクト）との距離が所定距離内になったと判定する。距離判定部１８０１は図４でいう接触判定部４２４である。
The
データ送信部１８０２は、後述する送信用データ生成部で送信先の装置用に生成・変換された、距離判定部１８０１で所定距離内になったと判定されたオブジェクトに対応する、例えばオブジェクトの形状にかかるデータを、当該オブジェクトと所定距離内にあると判定された装置オブジェクトに対応する装置を送信先として送信する送信部である。データ送信部１８０２は、図４でいうオブジェクト送信部４２５である。
The
進捗情報受信部１８０３は、各データ処理装置より、データ送信部１８０２により送信されたデータの処理の進捗の情報を受信する受信部である。例えば造形の進捗、印刷の進捗、送信先への送信が何パーセント完了しているかを示す情報を受信する。進捗情報受信部１８０３は、図４でいう印刷進捗情報受信部４２６である。ＰＣ２００のＣＰＵ２０１は、例えば図２２の進捗情報２２１０に示すように、オブジェクトごとにどの装置でどの程度処理が完了したかを受信して外部メモリに記憶する。進捗情報２２１０は、各データ処理装置、ＰＣ２００の外部メモリにそれぞれ記憶されている。
The progress
通知処理部４２７は、進捗情報受信部１８０３で受信した進捗の情報を、ＨＭＤ１００に送信して、ユーザに通知する。例えば、処理が完了している分（造形が完了しているパーセンテージ分）だけ、透過率０％で描画した、印刷中のオブジェクトを生成して現実画像に重畳し、ＨＭＤ１００のディスプレイに表示させるために、ＨＭＤ１００に送信する処理を行うことで、印刷状況をユーザに通知する。
The
ドライバ記憶部１８０４は、各データ処理装置に対応するドライバソフトウェアを記憶する記憶部である。例えば図２２のドライバ一覧２２３０に示すように、各データ処理装置の機種に応じたドライバ（ドライバ名２２３１の示すドライバ）を記憶している。
The
ドライバ特定部１８０５は、距離判定部１８０１で所定距離内にあると判定された装置オブジェクト（例えば３Ｄプリンタオブジェクト）が、どの種類の装置のどの機種に対応する装置オブジェクトかを特定し、当該機種に対して送信する送信用データを生成するドライバソフトウェアを特定する特定部である。
The
送信用データ生成部１８０６は、ドライバ特定部１８０５で特定されたドライバを起動して、例えば３Ｄプリンタオブジェクトに近づいた被選択用オブジェクトを、当該３Ｄプリンタオブジェクトが対応する３Ｄプリンタの機種で造形可能な形式に変換する（生成する）。
The transmission
光学センサ１０４の、位置情報特定部４４１、位置情報送信部４４２、ＨＭＤ１００の、撮像処理部４１１、重畳画像受信部４１２、重畳画像表示部４１３については、図４の説明で前述したため説明を割愛する。
The position
各データ処理装置の、データ受信部１８３１は、ＰＣ２００のデータ送信部１８０２で送信されたデータを受信する受信部である。処理部１８３２は、当該データ受信部１８３１で受信したデータの処理（例えば３Ｄプリンタの場合は受け付けた３オブジェクトの形状にかかるデータの造形処理、プリンタの場合は受け付けた印刷データの印刷などである）を実行する。進捗情報送信部１８３３は、各種データ処理装置で処理途中または処理が完了したオブジェクトの進捗状況（処理完了のパーセンテージの情報）をＰＣ２００に送信する送信部である。以上が図１８の説明である。
The
図１９〜図２２の説明に移る。ＰＣ２００のＣＰＵ２０１は、前述した実施形態同様、図５、図９Ａ〜図９Ｄで説明した内容・当該内容に基づく処理を実行する。また、図６の処理の代わりに図１９の処理（図１９の一部を説明する図２０のフローチャートの処理）を実行し、図７の処理の代わり図２１の処理を行う。つまり、図５のステップＳ５０９で図１９の処理を実行し、ステップＳ５１０で図２１の処理を実行する。第１の実施形態と共通処理については説明を割愛する。
Turning to the description of FIGS. Similar to the above-described embodiment, the
図１９を参照して、本発明の第５の実施形態における、装置に対するオブジェクトのデータ送信処理の流れについて説明する。図１９は、図２０でデータ生成処理（データ送信のための詳細な処理）を説明するために、図６のステップＳ６０８〜Ｓ６１８の処理を簡略化して記載した図である。 Referring to FIG. 19, the flow of object data transmission processing for an apparatus according to the fifth embodiment of the present invention will be described. FIG. 19 is a diagram illustrating the process of steps S608 to S618 in FIG. 6 in a simplified manner in order to explain the data generation process (detailed process for data transmission) in FIG.
図１９のステップＳ６０１〜Ｓ６０５の処理は図６の同ステップ番号の処理と同じであるため説明は割愛する。 The processing in steps S601 to S605 in FIG. 19 is the same as the processing of the same step number in FIG.
ステップＳ１９０１で、ＰＣ２００のＣＰＵ２０１は、装置オブジェクト（例えば３Ｄプリンタオブジェクト）と、ステップ６０４で表示位置を変更している、選択中の被選択用オブジェクトが所定距離内にあるか判定する（ステップＳ１６０１）。当該所定距離の情報は例えば図２２の所定距離２２４０に示すような情報であり、予めＰＣ２００の外部メモリに記憶されているものとする。（図２２の各テーブルの情報はＰＣ２００の外部メモリに記憶されている。）例えば、第１の実施形態で説明したように２つのオブジェクトが接触している場合は、２つのオブジェクトの距離は０以下であるため、所定距離２２４０内であると判定する。
In step S1901, the
尚、ここでいう装置オブジェクトとは、図２２の属性２２０３に所定の値を持つオブジェクト（例えば上述した実施形態における３Ｄプリンタオブジェクト）である。図２２では、例えば、属性２２０３に３Ｄプリンタ、ＦＡＸ装置、データ送信装置、プリンタの属性を持つオブジェクトを装置オブジェクトとする。
The device object here is an object having a predetermined value in the
なお、２２０１〜２２０２、２２０４〜２２０７の説明はそれぞれ図８の８０１〜８０２、８０４〜８０７の説明と同じであるため説明は割愛する。送信先２２０８は、装置オブジェクトに対応する送信先の情報である。例えばＦＡＸ装置に対応する装置オブジェクトには、当該装置オブジェクトに近づいた（所定距離内の）被選択用オブジェクトの画像をＦＡＸ送信する送信先が対応付けて記憶されている。また、例えばデータ送信装置に対応する装置オブジェクトには、当該装置オブジェクトに近づいた被選択用オブジェクトのデータを送信して格納する先のＵＲＩ（ＵＲＬ）の情報が送信先として記憶されている。処理可能な装置１８０９は、当該オブジェクトを処理可能な（処理を許可する）装置の識別情報である。
The description of 2201 to 2202, 2204 to 2207 is the same as the description of 801 to 802 and 804 to 807 in FIG. The
ステップＳ１９０１で、ＰＣ２００のＣＰＵ２０１は、装置オブジェクトの座標２２０４と、選択中フラグ２２０７＝１の選択中の被選択用オブジェクトの座標２２０４が、所定距離２２４０に示す距離以内にあるか判定する。
In step S1901, the
装置オブジェクトと選択中の被選択用オブジェクトが所定距離内にないと判定した場合（ステップＳ１９０１でＮＯ）、処理をステップＳ１９０１の前に戻す。装置オブジェクトと選択中の被選択用オブジェクトが所定距離内にあると判定した場合（ステップＳ１９０１でＹＥＳ）、ＰＣ２００のＣＰＵ２０１は、選択中の被選択用オブジェクトの移動を終了し（ステップＳ６０７）、移動を終了した被選択用オブジェクトのファイルパス２２０６を取得して（ステップＳ６１１）、当該ファイルパスの示す記憶領域からオブジェクト名２２０２のファイル（当該オブジェクトの形状にかかるファイル）を取得する（ステップＳ６１３）。その後、処理をステップＳ１９０２に移行して、選択中の被選択用オブジェクトと所定距離まで近付いた装置オブジェクトの装置に送信するデータの生成処理を行う（ステップＳ１９０２）。当該データの生成処理とは、３次元モデルのデータ（オブジェクトの形状にかかるデータ）を、例えば３Ｄプリンタ等のデータ処理装置で造形可能なように、３Ｄプリンタのドライバで変換する処理である。当該データ生成処理の詳細については図２０の説明で後述する。
If it is determined that the device object and the selected object to be selected are not within the predetermined distance (NO in step S1901), the process returns to step S1901. When it is determined that the device object and the selected object to be selected are within a predetermined distance (YES in step S1901), the
図２０を参照して、本発明の第５の実施形態における、装置に対して送信するデータ生成処理の流れについて説明する。 With reference to FIG. 20, the flow of data generation processing to be transmitted to the apparatus in the fifth embodiment of the present invention will be described.
ＰＣ２００のＣＰＵ２０１は、図１９のステップＳ１９０１で所定距離内にあると判定された被選択用オブジェクトの、処理可能な装置２２０９（図２２）の値を取得する（ステップＳ２００１）。また、図１９のステップＳ１９０１で所定距離内にあると判定された装置オブジェクトのオブジェクトＩＤ２２０１を特定し（ステップＳ２００２）、当該オブジェクトＩＤ２２０１に対応する属性２２０３を取得する（ステップＳ２００３）。
The
ＰＣ２００のＣＰＵ２０１は、ステップＳ２００３で取得した属性が３Ｄプリンタを示すか判定する（ステップＳ２００４）。つまり、図１９のステップＳ１９０１で所定距離内にあると判定された装置オブジェクトが３Ｄプリンタに対応するオブジェクトか判定する。
The
取得した属性が３Ｄプリンタを示す場合（ステップＳ２００４でＹＥＳ）、所定距離内にあると判定された当該被選択用オブジェクトについて、３Ｄプリンタでの造形処理が可能か（許可されているか）判定する（ステップＳ２００５／処理可否判定手段）。具体的には、ステップＳ２００１で取得した処理可能な装置２２０９に３Ｄプリンタが含まれているか判定する。含まれている場合は処理が可能と判定し、含まれていない場合は処理ができない（不許可）と判定する。
When the acquired attribute indicates a 3D printer (YES in step S2004), it is determined whether or not the 3D printer can perform the modeling process on the selected object determined to be within a predetermined distance (whether it is permitted). Step S2005 / Processing availability determination unit). Specifically, it is determined whether the
処理が可能でないと判定された場合（ステップＳ２００５でＮＯ）、ステップＳ２０２２に移行して、エラーを示す仮想オブジェクト（エラーオブジェクト／例えば図２４の２４１１）を生成して（識別画像生成手段）、当該処理が不可能であると判定された装置オブジェクトの近傍の仮想空間中の位置に、図２４の２４１０に示すように、当該エラーオブジェクトを配置する。ＨＭＤ１００のカメラが当該エラーオブジェクトの位置を撮影する方向を向いている場合は、図５のステップＳ５０８で当該エラーオブジェクトを含むＭＲ画像を生成し、ＨＭＤ１００に送信する。
If it is determined that the processing is not possible (NO in step S2005), the process proceeds to step S2022, and a virtual object (error object / for example, 2411 in FIG. 24) indicating an error is generated (identification image generating unit). The error object is arranged at a position in the virtual space in the vicinity of the device object determined to be unprocessable, as indicated by 2410 in FIG. If the camera of the
ステップＳ２００５で処理が可能であると判定された場合（ステップＳ２００５でＹＥＳ）、ＰＣ２００のＣＰＵ２０１は、当該装置オブジェクト（３Ｄプリンタオブジェクト）に対応する装置の機種を、装置特定情報２２２０を取得して参照し、特定する。オブジェクトの識別情報はオブジェクトＩＤ２２２１に示し、機種の情報は機種名２２２３に示す。オブジェクトＩＤ２２２１及び装置識別情報２２２２は、図８の８２１、８２２と同じであるため説明は割愛する。ＰＣ２００のＣＰＵ２０１は、図２２のドライバ一覧２２３０（ＰＣ２００にインストールされているドライバソフトウェアの一覧）から当該３Ｄプリンタの機種名２２２３を対応機種２２３２に持つドライバを特定して起動し（ステップＳ２００６）、図１９のステップＳ１９０１で装置オブジェクトから所定距離内にあると判定された被選択用オブジェクトを当該３Ｄプリンタで造形可能なように、当該被選択用オブジェクト（オブジェクトの形状にかかるデータ／図２２のファイルパス２２０６に保存されているデータ）を当該ドライバの機能を用いて変換する（ステップＳ２００７）。つまり、データ処理装置で処理が可能なオブジェクトのデータを生成する。
If it is determined in step S2005 that processing is possible (YES in step S2005), the
ステップＳ２００３で取得された属性が３Ｄプリンタを示さない場合（ステップＳ２００４でＮＯ）、ステップＳ２００３で取得された属性がプリンタ（例えば複合機／２Ｄプリンタ）を示すか判定する（ステップＳ２００８）。 If the attribute acquired in step S2003 does not indicate a 3D printer (NO in step S2004), it is determined whether the attribute acquired in step S2003 indicates a printer (for example, a multifunction machine / 2D printer) (step S2008).
ステップＳ２００３で取得された属性がプリンタを示す場合（ステップＳ２００８でＹＥＳ）、所定距離内にあると判定された当該被選択用オブジェクトについて、プリンタでの印刷処理が可能か（許可されているか）判定する（ステップＳ２００９／処理可否判定手段）。具体的には、ステップＳ２００１で取得した処理可能な装置２２０９にプリンタ（印刷装置）が含まれているか判定する。含まれている場合は処理可能と判定し、含まれていない場合は処理ができない（不許可）と判定する。
If the attribute acquired in step S2003 indicates a printer (YES in step S2008), it is determined whether the selected object determined to be within a predetermined distance can be printed (permitted) by the printer. (Step S2009 / Processing availability determination unit). Specifically, it is determined whether the
処理が可能でないと判定された場合（ステップＳ２００９でＮＯ）、処理をステップＳ２０２２に移行する。処理が可能であると判定された場合（ステップＳ２００９でＹＥＳ）、当該被選択用オブジェクトに対応する画像を取得する（ステップＳ２０１０）。例えば、当該被選択用オブジェクトに対応付けられて当該被選択用オブジェクトの２次元図面の画像データが外部メモリに予め記憶されており、ステップＳ２０１０において当該２次元図面の画像データを取得するものとする。 If it is determined that the process is not possible (NO in step S2009), the process proceeds to step S2022. If it is determined that the process is possible (YES in step S2009), an image corresponding to the selected object is acquired (step S2010). For example, the image data of the two-dimensional drawing of the selected object associated with the selected object is stored in advance in the external memory, and the image data of the two-dimensional drawing is acquired in step S2010. .
ＰＣ２００のＣＰＵ２０１は、当該装置オブジェクト（プリンタに対応する装置オブジェクトであるプリンタオブジェクト）に対応するプリンタの機種を、装置特定情報２２２０を取得して参照し、特定する。そして当該機種に対応するドライバを図２２のドライバ一覧２２３０の対応機種２２３２と機種名２２２３から特定して起動する（ステップＳ２０１１）。
The
そして、ステップＳ１９０１で当該プリンタオブジェクトから所定距離内にあると判定された被選択用オブジェクトの画像データを当該プリンタオブジェクトの示すプリンタで印刷可能なように、当該画像データを当該ドライバの機能を用いて変換する（ステップＳ２０１２）。つまり、データ処理装置で処理が可能なオブジェクトのデータ（ここでは印刷データ）を生成する。 In step S1901, the image data of the selected object determined to be within the predetermined distance from the printer object is printed using the function of the driver so that the image data can be printed by the printer indicated by the printer object. Conversion is performed (step S2012). That is, object data (print data here) that can be processed by the data processing device is generated.
ステップＳ２００３で取得された属性がプリンタを示さない場合（ステップＳ２００８でＮＯ）、ステップＳ２００３で取得された属性がＦＡＸ装置を示すか判定する（ステップＳ２０１３）。 If the attribute acquired in step S2003 does not indicate a printer (NO in step S2008), it is determined whether the attribute acquired in step S2003 indicates a FAX apparatus (step S2013).
ステップＳ２００３で取得された属性がＦＡＸ装置を示す場合（ステップＳ２０１３でＹＥＳ）、所定距離内にあると判定された当該被選択用オブジェクトについて、ＦＡＸ装置でのＦＡＸ送信処理が可能か（許可されているか）判定する（ステップＳ２０１４／処理可否判定手段）。具体的には、ステップＳ２００１で取得した処理可能な装置２２０９にＦＡＸ装置を示す値が含まれているか判定する。含まれている場合は処理可能と判定し、含まれていない場合は処理ができない（不許可）と判定する。
If the attribute acquired in step S2003 indicates a FAX apparatus (YES in step S2013), is it possible to perform FAX transmission processing in the FAX apparatus for the selected object determined to be within a predetermined distance (allowed)? (Step S2014 / process availability determination means). Specifically, it is determined whether the
処理が可能でないと判定された場合（ステップＳ２０１４でＮＯ）、処理をステップＳ２０２２に移行する。処理が可能であると判定された場合（ステップＳ２０１４でＹＥＳ）、例えばステップＳ２０１０で説明したように、装置オブジェクト（ＦＡＸ装置の装置オブジェクトであるＦＡＸ装置オブジェクト）から所定距離内にあると判定された被選択用オブジェクトの画像データを取得する（ステップＳ２０１５）。 If it is determined that the process is not possible (NO in step S2014), the process proceeds to step S2022. If it is determined that processing is possible (YES in step S2014), for example, as described in step S2010, it is determined that the device is within a predetermined distance from the device object (FAX device object that is a device object of the FAX device). Image data of the selected object is acquired (step S2015).
ＰＣ２００のＣＰＵ２０１は、当該ＦＡＸ装置オブジェクトに対応するＦＡＸ装置の機種を装置特定情報２２２０を取得して参照し、特定する。そして当該機種に対応するＦＡＸドライバを図２２のドライバ一覧２２３０の対応機種２２３２と、機種名２２２３から特定して起動する（ステップＳ２０１６）。
The
そして、ステップＳ１９０１で当該ＦＡＸ装置オブジェクトから所定距離内にあると判定された被選択用オブジェクトの画像データを当該ＦＡＸ装置オブジェクトの示すＦＡＸ装置でＦＡＸ送信可能なように、当該画像データを当該ＦＡＸドライバの機能を用いて変換する（ステップＳ２０１７）。つまり、データ処理装置で処理が可能なオブジェクトのデータを生成する。また、当該ＦＡＸ装置オブジェクトに対応する送信先２２０８を取得する（ステップＳ２０１８）。
In step S1901, the image data is sent to the FAX driver so that the image data of the selected object determined to be within a predetermined distance from the FAX device object can be sent by the FAX device indicated by the FAX device object. Conversion is performed using the function (step S2017). That is, data of an object that can be processed by the data processing device is generated. Also, the
ステップＳ２００３で取得された属性がＦＡＸ装置を示さない場合（ステップＳ２０１３でＮＯ）、ステップＳ２００３で取得された属性がデータ送信装置を示すか判定する（ステップＳ２０１９）。データ送信装置を示す場合は（ステップＳ２０１９でＹＥＳ）、所定距離内にあると判定された当該被選択用オブジェクトについて、データ送信装置によるデータの送信処理が可能か（許可されているか）判定する（ステップＳ２０２０／処理可否判定手段）。具体的には、ステップＳ２００１で取得した処理可能な装置２２０９にデータ送信装置を示す値が含まれているか判定する。含まれている場合は処理可能と判定し、含まれていない場合は処理ができない（不許可）と判定する。
If the attribute acquired in step S2003 does not indicate a FAX apparatus (NO in step S2013), it is determined whether the attribute acquired in step S2003 indicates a data transmission apparatus (step S2019). When a data transmission device is indicated (YES in step S2019), it is determined whether data transmission processing by the data transmission device is possible (permitted) for the selected object determined to be within a predetermined distance ( Step S2020 / Processing availability determination unit). Specifically, it is determined whether the
処理が可能でないと判定された場合（ステップＳ２０２０でＮＯ）、処理をステップＳ２０２２に移行する。処理が可能であると判定された場合（ステップＳ２０２０でＹＥＳ）、当該データ送信装置の装置オブジェクト（データ送信装置オブジェクト）のに対応する識別情報（図２２の装置識別情報２２２２）、装置オブジェクトに対応する送信先２２０８を取得する（ステップＳ２０２１）。以上が図２０の説明である。
If it is determined that the process is not possible (NO in step S2020), the process proceeds to step S2022. If it is determined that processing is possible (YES in step S2020), identification information (
図１９の説明に戻る。ＰＣ２００のＣＰＵ２０１は、被選択用オブジェクトのデータを、当該被選択用オブジェクトから所定距離内にあると判定された装置オブジェクトの示すデータ処理装置に送信する（ステップＳ１９０３）。
Returning to the description of FIG. The
具体的には、例えば、ステップＳ２００７で３Ｄプリンタのドライバの機能を用いて生成したオブジェクトの形状にかかるデータを、ステップＳ２００６で取得した装置特定情報２２２０における当該３Ｄプリンタの装置識別情報２２２２を送信先として、造形処理の開始指示とあわせて送信する。そして、進捗情報２２１０の２２１１に当該送信したデータに対応するオブジェクトのＩＤを書き込み、機種名２２１３に送信先の装置の機種名を書き込んで記憶する。また、当該データを受信した３ＤプリンタのＣＰＵは、自装置の外部メモリに当該受信したデータを記憶し、進捗情報２２１０を生成し、オブジェクトＩＤ２２１１に受信したオブジェクトのＩＤを進捗２２１２に処理進捗のパーセンテージを書き込む。進捗２２１２には最初は０％を書き込み、外部メモリに記憶したオブジェクトのデータを読み出してオブジェクトの立体形状の造形処理（出力）を行い、当該処理が進むにつれて処理が完了したパーセンテージの値を進捗２２１２に書き込む。
Specifically, for example, the data relating to the shape of the object generated using the function of the 3D printer driver in step S2007, the
また、例えば、ステップＳ２０１２でプリンタドライバの機能を用いて生成した印刷データを、ステップＳ２００１で取得した装置特定情報２２２０における当該プリンタの装置識別情報２２２２を送信先として、印刷処理の開始指示とあわせて送信する。そして、進捗情報２２１０の２２１１に当該送信したデータに対応するオブジェクトのＩＤを書き込み、機種名２２１３に送信先の装置の機種名を書き込んで記憶する。また、当該データを受信したプリンタのＣＰＵは、自装置の外部メモリに当該受信したデータを記憶し、進捗情報２２１０を生成し、オブジェクトＩＤ２２１１に受信したオブジェクトのＩＤを進捗２２１２に処理進捗のパーセンテージを書き込む。進捗２２１２には最初は０％を書き込み、外部メモリに記憶したオブジェクトのデータを読み出して印刷処理（出力）し、当該処理が進むにつれて処理が完了したパーセンテージの値を進捗２２１２に書き込む。
Further, for example, the print data generated by using the printer driver function in step S2012 is transmitted together with the print processing start instruction using the
また、例えば、ステップＳ２０１７でＦＡＸドライバの機能を用いて生成したＦＡＸデータを、ステップＳ２００１で取得した装置特定情報２２２０における当該ＦＡＸ装置の装置識別情報２２２２を送信先として、ステップＳ２０１８で取得した送信先及び当該送信先に対するＦＡＸ処理の開始指示とあわせて送信する。そして、進捗情報２２１０の２２１１に当該送信したデータに対応するオブジェクトのＩＤを書き込み、機種名２２１３に送信先の装置の機種名を書き込んで記憶する。また、当該データを受信したＦＡＸ装置のＣＰＵは、自装置の外部メモリに当該受信したデータを記憶し、進捗情報２２１０を生成し、オブジェクトＩＤ２２１１に受信したオブジェクトのＩＤを進捗２２１２に処理進捗のパーセンテージを書き込む。進捗２２１２には最初は０％を書き込み、外部メモリに記憶したオブジェクトのデータを読み出して、ＰＣ２００から受信した（ステップＳ２０１８で取得された）送信先に対してＦＡＸ送信処理（出力）し、当該処理が進むにつれて送信処理が完了したパーセンテージの値を進捗２２１２に書き込む。
Further, for example, the FAX data generated using the function of the FAX driver in step S2017 is the transmission destination acquired in step S2018, with the
また、例えば、図１９のステップＳ６１３で取得した被選択用オブジェクトの形状にかかるデータを、ステップＳ２００１で取得した装置特定情報２２２０における当該データ送信装置の装置識別情報２２２２を送信先として、ステップＳ２０２１で取得した送信先及び当該送信先に対するデータ送信処理の開始指示とあわせて送信する。そして、進捗情報２２１０の２２１１に当該送信したデータに対応するオブジェクトのＩＤを書き込み、機種名２２１３に送信先の装置の機種名を書き込んで記憶する。また、当該データを受信したデータ送信装置のＣＰＵは、自装置の外部メモリに当該受信したデータを記憶し、進捗情報２２１０を生成し、オブジェクトＩＤ２２１１に受信したオブジェクトのＩＤを進捗２２１２に処理進捗のパーセンテージを書き込む。進捗２２１２には最初は０％を書き込み、外部メモリに記憶したオブジェクトのデータを読み出して、ＰＣ２００から受信した（ステップＳ２０２１で取得された）送信先の当該データのＵＲＩへの送信・格納処理（出力）を行い、当該処理が進むにつれて処理が完了したパーセンテージの値を進捗２２１２に書き込む。
Further, for example, the data related to the shape of the selected object acquired in step S613 in FIG. 19 is transmitted in step S2021 with the
ＰＣ２００のＣＰＵ２０１は、処理をステップＳ６１８に移行し、ステップＳ６０３で選択が行われる直前の当該被選択用オブジェクトの座標２２０４を外部メモリから読み出し、当該被選択用オブジェクトを、当該選択前の座標２２０４に配置しなおす（ステップＳ６１８）。つまり、選択前の位置に、被選択用オブジェクトを戻す処理を行う。以上が図１９の説明である。
The
次に図２１を参照して、本発明の第５の実施形態における、ＭＲを用いた処理状況の通知処理の流れについて説明する。 Next, the flow of processing status notification processing using MR in the fifth embodiment of the present invention will be described with reference to FIG.
図２１の処理の流れは、基本的には第１の実施形態における図７と同じである。 The processing flow in FIG. 21 is basically the same as that in FIG. 7 in the first embodiment.
ＰＣ２００のＣＰＵ２０１は、ステップＳ５０７で継続して取得している、ＨＭＤ１００の位置姿勢の情報と、ＰＣ２００の外部メモリに予め記憶されている、ＨＭＤ１００の画角（ＨＭＤ１００に搭載されているカメラで撮像可能な範囲）、オブジェクトの座標８０４の情報を用いて、ＨＭＤ１００の視野内（カメラ２２１又はカメラ２２２の画角）に、データ処理装置で処理中の被選択用オブジェクト（オブジェクトＩＤ２２１１の示すオブジェクト＝データ処理装置にデータを送信済みのオブジェクト）が存在するか判定する（ステップＳ２１０１）。
The
ＨＭＤ１００の視野内に処理中の被選択用オブジェクトが存在しないと判定した場合（ステップＳ２１０１でＮＯ）処理を終了する。ＨＭＤ１００の視野内に処理中の被選択用オブジェクトが存在すると判定した場合（ステップＳ２１０１でＹＥＳ）、当該オブジェクトの処理をしている装置（機種名２２１３の示す装置）を特定し（ステップＳ２１１２）、当該画角内に含まれる処理中の被選択用オブジェクトの処理進捗の情報（進捗２２１２に記憶する情報）の取得要求を、当該特定した装置に送信する（ステップＳ２１０２）。進捗情報の取得要求には、処理進捗を要求する被選択用オブジェクトのオブジェクトＩＤ２２１１の値が含まれているものとする。
If it is determined that there is no object to be selected being processed within the field of view of the HMD 100 (NO in step S2101), the process ends. If it is determined that there is a selected object being processed within the field of view of the HMD 100 (YES in step S2101), the device (device indicated by the model name 2213) that processes the object is specified (step S2112). An acquisition request for processing progress information (information stored in the progress 2212) of the selected object being processed included in the angle of view is transmitted to the identified device (step S2102). It is assumed that the progress information acquisition request includes the value of the
データ処理装置（本実施形態においては、３Ｄプリンタ、プリンタ、ＦＡＸ装置、データ送信装置のいずれか）のＣＰＵは、進捗情報の取得要求を受け付け（ステップ２００３）、当該取得要求に含まれるオブジェクトＩＤに対応する値を進捗情報２２１０のオブジェクトＩＤ２２１１に持つ、自装置の外部メモリに記憶された進捗情報２２１０（オブジェクトＩＤ２２１１及び進捗２２１２の）をＰＣ２００に送信する（ステップＳ２１０４）。
The CPU of the data processing apparatus (in this embodiment, any one of a 3D printer, a printer, a FAX apparatus, and a data transmission apparatus) accepts a progress information acquisition request (step 2003), and sets the object ID included in the acquisition request. The progress information 2210 (
ＰＣ２００のＣＰＵ２０１は、当該進捗情報２２１０を受信して（ステップＳ２１０５／進捗情報取得手段）、処理が完了しているか判定する（ステップＳ２１０６）。つまり、進捗２２１２＝１００％か判定する。
The
処理が完了していると判定した場合（ステップＳ２１０６でＹＥＳ）、当該処理が完了した旨を各ＨＭＤ１００に通知する（ステップＳ２１１１）。通知の方法は図７のステップＳ７１１の説明で上述したとおりである。
If it is determined that the process is complete (YES in step S2106), the
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１００の画角内にある被選択用オブジェクトの処理が完了していないと判定した場合（ステップＳ２１０６でＮＯ）、当該ＨＭＤ１００と、当該ＨＭＤ１００の画角内に存在する被選択用オブジェクトのデータを処理中であるデータ処理装置との間の距離が所定の距離範囲内か判定する（ステップＳ２１０７）。つまり、ユーザがデータ処理装置から所定以上離れているか、データ処理装置の近くにいるかを判定する。
If the
ＨＭＤ１００とデータ処理装置の間の距離が所定範囲内である場合（ステップＳ２１０７でＹＥＳ／ユーザがデータ処理装置から近い位置にいると判定した場合）、処理中の被選択用オブジェクトの処理進捗を示すオブジェクトを生成して（ステップＳ２１０８）、当該被選択用オブジェクトの代わりにＭＲ空間上に（当該被選択用オブジェクトの仮想空間上の位置／座標２２０４の位置に）配置し、ＨＭＤ１００から取得した現実画像に重ね合わせた重畳画像を生成する（ステップＳ２１０９）。そして、当該重畳画像をＨＭＤ１００に送信する（ステップＳ２１１０）
When the distance between the
ステップＳ２１１０で生成するオブジェクトは、例えば、図９Ｃに示す、オブジェクト９３１や、オブジェクト９４１のようなオブジェクトであり、その説明は図７のステップＳ７１０の説明で上述した通りである。
The objects generated in step S2110 are, for example, objects such as the
当該進捗を示すオブジェクトの生成・表示により、処理中の被選択用オブジェクトの処理進捗をユーザに通知することができる。 By generating / displaying the object indicating the progress, it is possible to notify the user of the processing progress of the selected object being processed.
尚、進捗通知オブジェクトの態様・形状は、オブジェクト９３１、オブジェクト９４１の態様・形状に限るものではなく、進捗を示す情報（オブジェクト）を、印刷中のオブジェクトに紐付けて通知できればよい。例えば、上述したように、進捗のパーセンテージを示す吹き出しのようなオブジェクトを生成・配置し、重畳画像を生成してＨＭＤ１００に送信するようにしてもよいし、進捗のパーセンテージに応じた色の情報を記憶しておき、当該パーセンテージに応じた色で処理中の被選択用オブジェクトを描画・重畳するようにしてもよい。
The form / shape of the progress notification object is not limited to the form / shape of the
ＰＣ２００のＣＰＵ２０１は、進捗状況をＨＭＤ１００に通知すべく、ステップＳ２１０９で生成した重畳画像（例えば、処理がされた割合だけ透過率０％で描画された被選択用オブジェクトが写った重畳画像）を、ＨＭＤ１００で表示させるべく、ＨＭＤ１００に送信する（ステップＳ２１１０）。
In order to notify the
尚、ＨＭＤ１００の画角内に存在する処理中の被選択用オブジェクトが複数存在する場合は、ステップＳ２１０１〜Ｓ２１１１の処理を、当該処理中の被選択用オブジェクト分実行して処理を終了する。以上が図２１の説明である。
If there are a plurality of objects to be selected being processed that exist within the angle of view of the
以上説明したように、本発明の第５の実施形態によれば、所定距離内に接近したオブジェクトに対応する装置に、接近した他のオブジェクトの情報を適切に送信させることができる。 As described above, according to the fifth embodiment of the present invention, it is possible to appropriately transmit information on another approached object to an apparatus corresponding to the object approaching within a predetermined distance.
具体的には、所定距離まで接近したオブジェクトの装置で処理可能な形式に、送信するデータを変換して送信することができる。よって、当該データを受信した装置において、当該データ適切に処理可能となる。 Specifically, the data to be transmitted can be converted into a format that can be processed by the object device approaching a predetermined distance. Therefore, the data can be appropriately processed in the device that has received the data.
つまり、本発明によれば、仮想空間で選択されるオブジェクトにかかるデータを他のオブジェクトに対応する装置に容易に送信可能な仕組みを提供することができる。 That is, according to the present invention, it is possible to provide a mechanism capable of easily transmitting data related to an object selected in the virtual space to an apparatus corresponding to another object.
尚、上述した第５の実施形態の説明においては１つの装置オブジェクトに対して１つの送信先の情報が対応付けて記憶されている例を記載したが、例えば１つの装置オブジェクトに対して複数の送信先の情報を対応付けて記憶するようにし、ＰＣ２００のＣＰＵ２０１が当該複数の送信先を読み込んでユーザに選択させて、ユーザから選択された送信先をステップＳ２０１８またはステップＳ２０２１で取得するようにしてもよい。具体的には、例えばＦＡＸ装置の場合を例にあげて説明する。ＰＣ２００のＣＰＵ２０１は、ステップＳ２０１８で複数の送信先を取得した場合、図２３に示すようにＦＡＸ送信先選択オブジェクト２３１１を生成してＦＡＸ装置オブジェクトの近傍（装置オブジェクトの座標２２０４から所定距離はなれた座標／当該所定距離の値はＰＣ２００の外部メモリに予め記憶されているものとする）の仮想空間上に配置し、重畳画像を生成してＨＭＤ１００に送信する。当該ＦＡＸ送信先選択オブジェクト２３１１は、選択デバイス１０５のオブジェクト（オブジェクトの属性２２０３＝選択デバイスのオブジェクト）に接している状態で選択デバイス１０５で所定のボタンのクリック操作を受け付けることで選択可能な送信先２２０８に対応するオブジェクト２３１２（送信先オブジェクト）を複数並べたオブジェクトである。また、ＦＡＸ送信先選択オブジェクト２３１１上には「ＯＫ」ボタン、「キャンセル」ボタンのオブジェクトが配置されている。ＰＣ２００のＣＰＵ２０１は、送信先オブジェクトを選択する操作を受け付けた場合に選択中であることが分かるように選択中の送信先オブジェクトの色を変更し、「ＯＫ」ボタンのオブジェクトの押下指示を受け付けることで、選択中の送信先オブジェクトの示す送信先を、選択中の被選択用オブジェクトのデータをＦＡＸ送信する送信先としてステップＳ２０１８で取得したものと決定する。よって、複数の送信先を取得した場合においても、データ処理装置において、所望の送信先に対してデータを送信させることができる。
In the above description of the fifth embodiment, an example has been described in which information on one transmission destination is stored in association with one device object. The destination information is associated and stored, and the
尚、「キャンセル」ボタンが押されると、ＦＡＸ送信をキャンセルして処理を終了するものとする。 When the “Cancel” button is pressed, FAX transmission is canceled and the process is terminated.
また、例えば被選択用オブジェクトに対応する２次元図面等の画像データをデータ処理装置に送信する場合、図２４に示すような、送信するデータの確認用オブジェクト２４０１を生成して、２４００のようにデータ処理装置の装置オブジェクトの近傍（装置オブジェクトの座標２２０４から所定距離はなれた座標／当該所定距離の値はＰＣ２００の外部メモリに予め記憶されているものとする）に配置して、ＭＲ画像を生成、ＨＭＤ１００に送信して表示させるようにしてもよい。確認用オブジェクト２４０１上には、上述した送信先選択オブジェクト２３１１と同じように「ＯＫ」ボタン、「キャンセル」ボタンのオブジェクトが配置されている。また、実際にデータ処理装置に送信するデータを確認させるために、例えばデータ送信装置に送信する画像データ（例：２次元図面の画像）をテクスチャとして確認用オブジェクト２４０１上の所定の領域に貼り付けて、ユーザに当該画像を確認させるものである。ＰＣ２００のＣＰＵ２０１は、例えばステップＳ２０１０又はステップＳ２０１６の後、当該確認用オブジェクト２４０１の生成とＨＭＤへの送信処理を行い、「ＯＫ」ボタンの押下指示を受け付けた場合に処理をステップＳ２０１１、Ｓ２０１６にそれぞれ進めるものとする。当該確認用オブジェクト２４０１の生成、表示により、ユーザが選択したオブジェクトの形状自体とは異なるデータが装置に送信される場合であっても、当該送信するデータをユーザに確認させることできる。
For example, when transmitting image data such as a two-dimensional drawing corresponding to the object to be selected to the data processing apparatus, a
また、上述した実施形態においては、プリンタ又はＦＡＸ装置に送信するデータは、各装置から所定距離内に接近した被選択用オブジェクトの２次元図面のデータであるものとしたが、例えば当該被選択用オブジェクトの立体を展開した展開図（３次元モデル／オブジェクトの形状にかかるデータの１つ）を送信するようにしてもよい。例えば展開図をプリンタで印刷し、組み立てることで当該オブジェクトの形状を現実物体として再現可能である。当該展開図の作成方法は公知技術であり、例えば特開２０１０−８６２３７号公報等に記載されている方法を用いるものとする。 In the above-described embodiment, the data to be transmitted to the printer or the FAX apparatus is data of a two-dimensional drawing of an object to be selected that has approached within a predetermined distance from each apparatus. A development view (three-dimensional model / one of data relating to the shape of the object) in which the solid of the object is developed may be transmitted. For example, it is possible to reproduce the shape of the object as a real object by printing and assembling the developed view with a printer. The method of creating the developed view is a known technique, and for example, a method described in JP 2010-86237 A or the like is used.
また、上述した実施形態においては、プリンタ、ＦＡＸ装置、データ送信装置は別の装置であるものとして説明したが、例えばプリント機能、ＦＡＸ機能、データ送信機能を備える１つの装置（複合機）を用いるようにしてもよい。複合機の場合、例えば図２２のオブジェクト情報２２００において複数の装置オブジェクトの属性２２０３に「複合機」の値が記憶される。また、これらの装置オブジェクトのＩＤ（２２２１）に対応する装置識別情報２２２２、機種名２２２３は同一の複合機の値が記憶される。ステップＳ１９０３により送信された処理の開始指示及びデータを受信した複合機のＣＰＵは、受け付けた指示内容に応じて当該指示の示す処理を実行可能な自機機能（例えば、印刷機能、ＦＡＸ機能、データ送信機能のいずれか）を起動して、受信したデータの処理（例えば、印刷、ＦＡＸ送信、データ送信のいずれか）を実行するものである。
In the above-described embodiment, the printer, the FAX apparatus, and the data transmission apparatus are described as different apparatuses. However, for example, a single apparatus (multifunction machine) having a print function, a FAX function, and a data transmission function is used. You may do it. In the case of a multifunction machine, for example, the value “multifunction machine” is stored in the
また、上述した実施形態においては、３Ｄプリンタ、プリンタ、ＦＡＸ装置、データ送信装置を例にあげたが、装置オブジェクトに対応するデータ処理装置はこれに限るものではない。例えば大型のディスプレイを備え画像を表示する表示装置であってもよい。表示装置の場合、当該表示装置の装置オブジェクトとの距離が所定距離内であると判定された被選択用オブジェクトのデータを受信して記憶部に記憶し、自装置の備えるディスプレイに当該オブジェクトのデータを表示（出力）することができる。 In the above-described embodiment, a 3D printer, a printer, a FAX device, and a data transmission device are taken as examples. However, the data processing device corresponding to the device object is not limited to this. For example, a display device that includes a large display and displays an image may be used. In the case of a display device, the data of the object to be selected that is determined that the distance from the device object of the display device is within a predetermined distance is received and stored in the storage unit, and the data of the object is displayed on the display of the own device. Can be displayed (output).
また、オブジェクト同士が接触している場合に、オブジェクトＩＤを接触している先のオブジェクトのオブジェクトＩＤと対応付けた接触情報（不図示）をＰＣ２００の外部メモリに記憶し、当該接触情報に基づいて、オブジェクト同士の接触の判定、オブジェクト同士が所定距離内にあるかの判定を行ってもよい。具体的には、例えば上述した第５の実施形態において、ステップＳ１９０１で外部メモリに記憶されている接触情報を取得して、選択中の被選択用オブジェクトが接触しているオブジェクトが装置オブジェクトである場合に、当該被選択用オブジェクトが装置オブジェクトと所定距離内にあるものと判定して、処理をステップＳ６０７に移行し、選択中の被選択用オブジェクトが他のオブジェクトに接触していない又は接触しているオブジェクトが装置オブジェクトでない場合に、当該被選択用オブジェクトが装置オブジェクトと所定距離内にないものと判定して、処理をステップＳ１９０１の前に戻すようにしてもよい。
Further, when the objects are in contact with each other, contact information (not shown) associated with the object ID of the previous object in contact with the object ID is stored in the external memory of the
また、第５の実施形態と第２の実施形態を組み合わせてもよい。 Further, the fifth embodiment and the second embodiment may be combined.
具体的には、図１０のステップＳ６０８〜Ｓ６１０、ステップＳ１００１の処理を、図２０のステップＳ２００５で処理可能と判定された後に実行する。ステップＳ６０８〜ステップＳ６０９の処理は前述した通りのため説明は割愛する。ＰＣ２００のＣＰＵ２０１は、３Ｄプリンタオブジェクトから所定距離内にあると判定された選択中の被選択用オブジェクトが、当該３Ｄプリンタオブジェクトの示す３Ｄプリンタで出力（造形）可能なサイズか判定する（ステップＳ６１０／処理可否判定手段）。造形可能なサイズの場合、処理をステップＳ２００６に移行し、造形可能なサイズでない場合、処理をステップＳ１００１に移行して図１１の処理を実行する。ステップＳ１００１の処理が終了したら、処理をステップＳ６０８の前に戻す。よって、３Ｄプリンタでのオブジェクトの造形可否に応じて、ＭＲ空間上で、造形対象のオブジェクトの状態を変更できる。
Specifically, the processes in steps S608 to S610 and step S1001 in FIG. 10 are executed after it is determined in step S2005 in FIG. Since the processing from step S608 to step S609 is as described above, description thereof is omitted. The
また、第５の実施形態と第３の実施形態を組み合わせてもよい。 Further, the fifth embodiment and the third embodiment may be combined.
具体的には、ＰＣ２００のＣＰＵ２０１は、図１９のステップＳ１９０２の後に、図１３のステップＳ１３０１、ステップＳ１３０２の処理を順次行う。そして、処理をステップＳ１８０３に移行する。また、図２１のステップＳ２１０１でＨＭＤ１００の視界内に処理中のオブジェクトがあると判定された場合に、図１４のステップＳ１４０１、ステップＳ１４０２の処理を順次行う。そして、ＰＣ２００のＣＰＵ２０１は、ステップＳ１４０２で、処理中のオブジェクトが当該オブジェクトの仮想空間上の位置を視界内におさめたＨＭＤ１００と対応付けて記憶されているオブジェクトであると判定された場合に、処理をステップＳ２１１２に移行する。また、ＰＣ２００のＣＰＵ２０１は、ステップＳ２１１１の後に図１４のステップＳ１４０３の処理を実行して図２１の処理を終了するようにする。よって、処理開始の指示を行ったユーザのＨＭＤに対して、当該ユーザが処理の開始指示をしたオブジェクトにかかる処理の進捗状態を通知することができる。
Specifically, the
また、第５の実施形態と第３の実施形態を組み合わせてもよい。 Further, the fifth embodiment and the third embodiment may be combined.
具体的には、図２１のステップＳ２１０６で、処理が完了していないと判定された場合に、ステップＳ２１０６で判定の対象となった被選択用オブジェクトを視界におさめたＨＭＤ１００の座標２２０４と、当該被選択用オブジェクトの座標２２０４との値に基づいて、当該ＨＭＤ１００と当該被選択用オブジェクトとの距離が所定の距離内か判定する。所定の距離内であると判定した場合に処理をステップＳ２１０８に進め、所定の距離内でないと判定した場合は処理を終了する。よって、ユーザと処理中のオブジェクトとの距離に応じて、オブジェクトの処理の進捗を確認させることができる。
Specifically, when it is determined in step S2106 in FIG. 21 that the process has not been completed, the coordinates 2204 of the
以上説明したように、本発明によれば、ＭＲ空間上でオブジェクトの選択を行うことで、容易に、印刷装置にオブジェクトを印刷させる仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism for easily printing an object on a printing apparatus by selecting the object in the MR space.
本発明によれば、仮想空間で選択されるオブジェクトにかかるデータを他のオブジェクトに対応する装置に容易に送信可能な仕組みを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the structure which can transmit easily the data concerning the object selected in virtual space to the apparatus corresponding to another object can be provided.
具体的には、仮想空間で選択されたオブジェクトの形状にかかるデータを他のオブジェクトに対応する装置であって、当該形状にかかるデータを処理する装置に容易に送信可能な仕組みを提供することができる。 Specifically, it is possible to provide a mechanism that can easily transmit data related to the shape of an object selected in a virtual space to another object and that can process the data related to the shape. it can.
また、所定距離内に接近したオブジェクトに対応する装置に、接近した他のオブジェクトの情報を適切に送信させることができる。 In addition, it is possible to appropriately transmit information on another approached object to a device corresponding to the object approaching within a predetermined distance.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。 The present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system including a plurality of devices. You may apply to the apparatus which consists of one apparatus.
また、本発明の各実施形態を組み合わせることが可能である。例えば、本発明の第３の実施形態における図１３の処理を、本発明の第２の実施形態における図５の処理の代わりに各端末が実行し、本発明の第３の実施形態における図１４の処理を、本発明の第２の実施形態における図７の処理の代わりに各端末が実行するようにしてもよい。 Moreover, it is possible to combine each embodiment of this invention. For example, each terminal executes the process of FIG. 13 in the third embodiment of the present invention instead of the process of FIG. 5 in the second embodiment of the present invention, and FIG. 14 in the third embodiment of the present invention. This process may be executed by each terminal instead of the process of FIG. 7 in the second embodiment of the present invention.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 Note that the present invention includes a software program that implements the functions of the above-described embodiments directly or remotely from a system or apparatus. The present invention also includes a case where the system or the computer of the apparatus is achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a flexible disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００ ＨＭＤ
２００ ＰＣ
３００ ３Ｄプリンタ
１０１ ＬＡＮ
１０４ 光学センサ
１０５ 選択デバイス
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力デバイス
２１０ ディスプレイ
２１１ 外部メモリ
２２１ 右目ビデオカメラ
２２２ 左目ビデオカメラ
２２３ 右目ディスプレイ
２２４ 左目ディスプレイ
２２５ コントローラ
100 HMD
200 PC
300 3D printer 101 LAN
104
202 ROM
203 RAM
204
Claims (14)
前記記憶手段に記憶されているオブジェクトの位置情報から、前記仮想空間で選択される第１のオブジェクトと、前記処理装置に対応するオブジェクトである第２のオブジェクトとの仮想空間上の距離が所定の距離内か判定する第１の距離判定手段と、
前記第１の距離判定手段で前記第１のオブジェクトと前記第２のオブジェクトの距離が所定距離内であると判定された場合、当該第２のオブジェクトと所定の距離内にあると判定された前記第１のオブジェクトの形状にかかるデータを、当該第２のオブジェクトに対応する前記処理装置に処理させるべく送信する送信手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus comprising storage means for storing data relating to the position of an object in the virtual space and the shape of the object, and capable of communicating with a processing apparatus that processes the data relating to the shape of the object,
The distance in the virtual space between the first object selected in the virtual space and the second object corresponding to the processing device is determined from the position information of the object stored in the storage unit. First distance determining means for determining whether the distance is within the distance;
When it is determined by the first distance determination means that the distance between the first object and the second object is within a predetermined distance, the first object is determined to be within a predetermined distance from the second object. Transmitting means for transmitting data related to the shape of the first object to be processed by the processing device corresponding to the second object;
An information processing apparatus comprising:
前記第１の距離判定手段で、前記第１のオブジェクトとの距離が所定距離内であると判定された前記第２のオブジェクトが、前記複数の処理装置のうちいずれの装置に対応するオブジェクトかを特定する特定手段と、
前記特定手段で特定された前記処理装置において処理可能な形式の、前記第１のオブジェクトの形状にかかるデータを生成する生成手段と、
を備え、
前記送信手段は、前記生成手段で生成された前記特定手段で特定された前記処理装置において処理可能な形式のデータを、前記特定手段で特定された前記処理装置に対して送信することを特徴とする請求項１または２に記載の情報処理装置。 The information processing apparatus can communicate with a plurality of the processing apparatuses,
Which of the plurality of processing devices corresponds to the second object that is determined by the first distance determination means that the distance to the first object is within a predetermined distance. Identification means to identify;
Generating means for generating data relating to the shape of the first object in a format that can be processed by the processing device specified by the specifying means;
With
The transmitting means transmits data in a format that can be processed by the processing device specified by the specifying means generated by the generating means to the processing device specified by the specifying means. The information processing apparatus according to claim 1 or 2.
前記選択受付手段で選択を受け付けた第１のオブジェクトを、前記第３のオブジェクトの移動に伴って、仮想空間上を移動させる移動制御手段と、
を備え、
前記送信手段は、前記第１の距離判定手段で、前記移動制御手段で移動した前記第１のオブジェクトと前記第２のオブジェクトとの距離が所定距離内になったと判定した場合に、前記第１のオブジェクトの形状にかかるデータを前記２のオブジェクトに対応する前記処理装置に送信することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 Selection accepting means for accepting selection of the first object by bringing a third object for selecting the first object into contact with the first object;
A movement control means for moving the first object whose selection has been received by the selection receiving means in the virtual space in accordance with the movement of the third object;
With
When the transmission means determines that the distance between the first object moved by the movement control means and the second object is within a predetermined distance by the first distance determination means, the first distance determination means 4. The information processing apparatus according to claim 1, wherein data regarding the shape of the object is transmitted to the processing apparatus corresponding to the second object. 5.
前記進捗情報取得手段で取得した前記第１のオブジェクトの形状にかかるデータの処理の進捗情報を用いて、前記第２のオブジェクトに対応付けて、処理の進捗を示す情報を表示すべく制御する進捗情報表示制御手段と、
を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 Progress information acquisition means for acquiring, from the processing device, progress information indicating the progress of processing in the processing device of the data relating to the shape of the first object transmitted to the processing device by the transmitting means;
The progress that is controlled to display information indicating the progress of the processing in association with the second object, using the progress information of the processing of the data relating to the shape of the first object acquired by the progress information acquisition means. Information display control means;
The information processing apparatus according to any one of claims 1 to 4, further comprising:
を備え、
前記進捗情報表示制御手段は、前記表示装置特定手段で特定した前記第１のオブジェクトを選択したユーザの前記表示装置において、当該第１のオブジェクトの形状にかかるデータの処理の進捗を示す情報を表示すべく、前記表示装置特定手段で特定した表示装置に対して、前記進捗情報を表示する画像データを送信することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。 A display device specifying means for specifying a display device of a user who has selected the first object within a predetermined distance from the second object;
With
The progress information display control means displays information indicating the progress of data processing relating to the shape of the first object on the display device of the user who has selected the first object specified by the display device specifying means. The information processing apparatus according to claim 5, wherein image data for displaying the progress information is transmitted to the display device specified by the display device specifying means.
前記表示装置の位置と、前記第１のオブジェクトと所定距離内にあると判定された前記第２のオブジェクトの位置とが、所定距離離れているか判定する第２の距離判定手段と、
を備え、
前記進捗情報表示制御手段は、前記第２の距離判定手段で前記表示装置の位置と前記第２のオブジェクトの位置とが所定距離離れていると判定した場合に、前記第２のオブジェクトに対応する処理装置で処理中の前記第１のオブジェクトの形状にかかるデータの処理の進捗を示す情報を、前記第１のオブジェクトに対応付けて表示すべく制御することを特徴とする請求項５乃至８のいずれか１項に記載の情報処理装置。 Display device position acquisition means for acquiring the position of the display device;
Second distance determination means for determining whether the position of the display device and the position of the second object determined to be within a predetermined distance from the first object are separated by a predetermined distance;
With
The progress information display control means corresponds to the second object when the second distance determination means determines that the position of the display device and the position of the second object are separated from each other by a predetermined distance. 9. The control according to claim 5, wherein information indicating a progress of data processing on the shape of the first object being processed by the processing device is displayed in association with the first object. The information processing apparatus according to any one of claims.
前記処理可否判定手段における処理可否の判定の結果を識別表示する識別画像を生成する識別画像生成手段と、
前記識別画像生成手段で生成した識別画像を重畳した画像データを表示装置に送信する画像送信手段と、
を備えることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。 When the first distance determination means determines that the distance between the first object and the second object is within a predetermined distance, the first object corresponds to the second object. Processing availability determination means for determining whether processing is possible in the processing device;
An identification image generating means for generating an identification image for identifying and displaying the result of the determination of the process availability in the process availability determination means;
Image transmission means for transmitting image data on which the identification image generated by the identification image generation means is superimposed to a display device;
The information processing apparatus according to claim 1, further comprising:
前記サイズ変更用オブジェクト生成手段で生成された前記サイズ変更用オブジェクトに対する指示を受け付けることで、前記第１のオブジェクトのサイズを変更するサイズ変更手段と、
を備え、
前記送信手段は、前記サイズ変更手段でサイズが変更された前記第１のオブジェクトにかかる形状のデータを送信することを特徴とする請求項１０に記載の情報処理装置。 When it is determined that the processing cannot be performed by the processing availability determination unit, a size changing object corresponding to the first object is resized so as to resize the first object to a size that can be processed by the processing device. A resizing object generating means for generating;
A size changing means for changing the size of the first object by receiving an instruction for the size changing object generated by the size changing object generating means;
With
The information processing apparatus according to claim 10, wherein the transmission unit transmits data of a shape related to the first object whose size has been changed by the size changing unit.
前記記憶手段に記憶されているオブジェクトの位置情報から、前記仮想空間で選択される第１のオブジェクトと、前記処理装置に対応するオブジェクトである第２のオブジェクトとの仮想空間上の距離が所定の距離内か判定する第１の距離判定工程と、
前記第１の距離判定工程で前記第１のオブジェクトと前記第２のオブジェクトの距離が所定距離内であると判定された場合、当該第２のオブジェクトと所定の距離内にあると判定された前記第１のオブジェクトの形状にかかるデータを、当該第２のオブジェクトに対応する前記処理装置に処理させるべく送信する送信工程と、
を含むことを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus, comprising storage means for storing data relating to the position of an object in the virtual space and the shape of the object, and capable of communicating with a processing apparatus that processes the data relating to the shape of the object,
The distance in the virtual space between the first object selected in the virtual space and the second object corresponding to the processing device is determined from the position information of the object stored in the storage unit. A first distance determining step for determining whether the distance is within the distance;
If it is determined in the first distance determining step that the distance between the first object and the second object is within a predetermined distance, it is determined that the distance between the second object is within a predetermined distance A transmission step of transmitting data relating to the shape of the first object to be processed by the processing device corresponding to the second object;
A method for controlling an information processing apparatus, comprising:
前記情報処理装置を、
前記記憶手段に記憶されているオブジェクトの位置情報から、前記仮想空間で選択される第１のオブジェクトと、前記処理装置に対応するオブジェクトである第２のオブジェクトとの仮想空間上の距離が所定の距離内か判定する第１の距離判定手段と、
前記第１の距離判定手段で前記第１のオブジェクトと前記第２のオブジェクトの距離が所定距離内であると判定された場合、当該第２のオブジェクトと所定の距離内にあると判定された前記第１のオブジェクトの形状にかかるデータを、当該第２のオブジェクトに対応する前記処理装置に処理させるべく送信する送信手段として機能させることを特徴とする情報処理装置のプログラム。 A program that includes storage means for storing data relating to the position of an object in the virtual space and the shape of the object, and that can be executed by an information processing device that can communicate with a processing device that processes the data relating to the shape of the object. And
The information processing apparatus;
The distance in the virtual space between the first object selected in the virtual space and the second object corresponding to the processing device is determined from the position information of the object stored in the storage unit. First distance determining means for determining whether the distance is within the distance;
When it is determined by the first distance determination means that the distance between the first object and the second object is within a predetermined distance, the first object is determined to be within a predetermined distance from the second object. A program for an information processing apparatus that causes data relating to the shape of a first object to function as a transmission unit that transmits the data to be processed by the processing apparatus corresponding to the second object.
前記情報処理装置は、
前記記憶手段に記憶されているオブジェクトの位置情報から、前記仮想空間で選択される第１のオブジェクトと、前記処理装置に対応するオブジェクトである第２のオブジェクトとの仮想空間上の距離が所定の距離内か判定する第１の距離判定手段と、
前記第１の距離判定手段で前記第１のオブジェクトと前記第２のオブジェクトの距離が所定距離内であると判定された場合、当該第２のオブジェクトと所定の距離内にあると判定された前記第１のオブジェクトの形状にかかるデータを、当該第２のオブジェクトに対応する前記処理装置に処理させるべく送信する送信手段と、
前記処理装置は、
前記送信手段により送信された、当該処理装置に対応する第２のオブジェクトとの距離が所定距離内であると判定された前記第１のオブジェクトの形状にかかるデータを受信する受信手段と、
前記受信手段で受信したデータを出力する出力手段と、
を備えることを特徴とする情報処理システム。 An information processing system including an information processing device including a storage unit that stores data relating to the position of an object in the virtual space and the shape of the object, and a processing device that processes data relating to the shape of the object,
The information processing apparatus includes:
The distance in the virtual space between the first object selected in the virtual space and the second object corresponding to the processing device is determined from the position information of the object stored in the storage unit. First distance determining means for determining whether the distance is within the distance;
When it is determined by the first distance determination means that the distance between the first object and the second object is within a predetermined distance, the first object is determined to be within a predetermined distance from the second object. Transmitting means for transmitting data related to the shape of the first object to be processed by the processing device corresponding to the second object;
The processor is
Receiving means for receiving data relating to the shape of the first object, which has been determined to be within a predetermined distance from the second object corresponding to the processing device, transmitted by the transmitting means;
Output means for outputting data received by the receiving means;
An information processing system comprising:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014132004 | 2014-06-27 | ||
| JP2014132004 | 2014-06-27 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015129466A Division JP6292181B2 (en) | 2014-06-27 | 2015-06-29 | Information processing apparatus, information processing system, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018120598A true JP2018120598A (en) | 2018-08-02 |
| JP2018120598A5 JP2018120598A5 (en) | 2018-09-13 |
Family
ID=55352816
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015129466A Active JP6292181B2 (en) | 2014-06-27 | 2015-06-29 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2018025118A Pending JP2018120598A (en) | 2014-06-27 | 2018-02-15 | Information processing device, information processing system, control method thereof, and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015129466A Active JP6292181B2 (en) | 2014-06-27 | 2015-06-29 | Information processing apparatus, information processing system, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6292181B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6189496B1 (en) * | 2016-07-20 | 2017-08-30 | 株式会社コロプラ | Method for providing virtual space, method for providing virtual experience, program, and recording medium |
| JP6113897B1 (en) * | 2016-08-22 | 2017-04-12 | 株式会社コロプラ | Method for providing virtual space, method for providing virtual experience, program, and recording medium |
| KR20180058097A (en) * | 2016-11-23 | 2018-05-31 | 삼성전자주식회사 | Electronic device for displaying image and method for controlling thereof |
| US20200363924A1 (en) * | 2017-11-07 | 2020-11-19 | Koninklijke Philips N.V. | Augmented reality drag and drop of objects |
| JP7302838B2 (en) * | 2018-05-29 | 2023-07-04 | 慶應義塾 | Article provision system, article provision device, management server, article provision method and program |
| CN112839794B (en) * | 2018-10-18 | 2022-05-06 | 三菱电机株式会社 | Display system, additive manufacturing apparatus, and progress display method |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62249225A (en) * | 1986-04-23 | 1987-10-30 | Hitachi Ltd | Display system for information processing system |
| JPH01295372A (en) * | 1988-05-23 | 1989-11-29 | Sony Corp | Feature display method for three-dimensional pattern |
| JPH07175618A (en) * | 1993-12-16 | 1995-07-14 | Fuji Xerox Co Ltd | Processing state display method and display controller for printer |
| JPH07311743A (en) * | 1994-05-17 | 1995-11-28 | Hitachi Ltd | Processor specification system |
| JPH09265480A (en) * | 1996-03-29 | 1997-10-07 | Nippon Telegr & Teleph Corp <Ntt> | Method and system for providing information in three-dimensional virtual space |
| JPH1166351A (en) * | 1997-08-15 | 1999-03-09 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for controlling object operation inside three-dimensional virtual space and recording medium recording object operation control program |
| JPH11272892A (en) * | 1998-03-24 | 1999-10-08 | Rekusaa Research:Kk | Device and method for moving and arranging object in three-dimensional space display system |
| JP2001034631A (en) * | 1999-07-22 | 2001-02-09 | Olympus Optical Co Ltd | Image file device and data base production method of the image file device |
| JP2001087288A (en) * | 1999-09-24 | 2001-04-03 | Ngk Spark Plug Co Ltd | Filling artificial bone designing system and manufacture of filling artificial bone using the system |
| JP2001175374A (en) * | 1999-12-21 | 2001-06-29 | Sony Corp | Information input/output system and information input/ output method |
| JP2001352562A (en) * | 2000-06-07 | 2001-12-21 | Minolta Co Ltd | Stereoscopic data processing system |
| JP2002049934A (en) * | 2000-08-07 | 2002-02-15 | Atr Ningen Joho Tsushin Kenkyusho:Kk | System for constructing virtual space |
| JP2002245488A (en) * | 2001-02-15 | 2002-08-30 | Nippon Telegr & Teleph Corp <Ntt> | Texture and model dynamic distributing method and three-dimensional cooperative virtual space system applied with the same method |
| JP2002359887A (en) * | 2001-06-01 | 2002-12-13 | Seiko Epson Corp | System and method for providing output service, terminal for managing virtual object, output device, program for virtual object managing terminal and program for the output device |
| JP2002359885A (en) * | 2001-06-01 | 2002-12-13 | Seiko Epson Corp | Operation control system, system for providing output service, terminal for managing portable object, portable terminal, program for portable object managing terminal and program for the portable terminal |
| JP2004158040A (en) * | 2004-01-29 | 2004-06-03 | Fujitsu Ltd | Virtual space sharing system |
| JP2004341924A (en) * | 2003-05-16 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | Display device and method |
| JP2004355510A (en) * | 2003-05-30 | 2004-12-16 | Seiko Epson Corp | Printing system, display method therefor, and program and recording medium |
| JP2005050120A (en) * | 2003-07-28 | 2005-02-24 | Matsushita Electric Works Ltd | Pointing device in virtual space |
| JP2010020526A (en) * | 2008-07-10 | 2010-01-28 | Ritsumeikan | Manipulation system |
| JP2010122795A (en) * | 2008-11-18 | 2010-06-03 | Fujifilm Corp | Electronic apparatus and method of controlling the same |
| JP2011164666A (en) * | 2010-02-04 | 2011-08-25 | Sony Corp | Communication control device, communication control method and program |
| JP2012029164A (en) * | 2010-07-26 | 2012-02-09 | Konica Minolta Business Technologies Inc | Portable terminal and device managing method |
| US20120139907A1 (en) * | 2010-12-06 | 2012-06-07 | Samsung Electronics Co., Ltd. | 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system |
| JP2012230625A (en) * | 2011-04-27 | 2012-11-22 | Canon Inc | Information processor, information processing method and program |
| JP2013067117A (en) * | 2011-09-22 | 2013-04-18 | Keyence Corp | Setting data generation device for three-dimensional shaping apparatus, three-dimensional shaping apparatus, setting data generation program for the same, and computer-readable recording medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2558984B2 (en) * | 1991-03-12 | 1996-11-27 | 松下電器産業株式会社 | 3D information conversation system |
| JP5257437B2 (en) * | 2010-10-20 | 2013-08-07 | コニカミノルタビジネステクノロジーズ株式会社 | Method for operating portable terminal and processing device |
| JP6044079B2 (en) * | 2012-02-06 | 2016-12-14 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
-
2015
- 2015-06-29 JP JP2015129466A patent/JP6292181B2/en active Active
-
2018
- 2018-02-15 JP JP2018025118A patent/JP2018120598A/en active Pending
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62249225A (en) * | 1986-04-23 | 1987-10-30 | Hitachi Ltd | Display system for information processing system |
| JPH01295372A (en) * | 1988-05-23 | 1989-11-29 | Sony Corp | Feature display method for three-dimensional pattern |
| JPH07175618A (en) * | 1993-12-16 | 1995-07-14 | Fuji Xerox Co Ltd | Processing state display method and display controller for printer |
| JPH07311743A (en) * | 1994-05-17 | 1995-11-28 | Hitachi Ltd | Processor specification system |
| JPH09265480A (en) * | 1996-03-29 | 1997-10-07 | Nippon Telegr & Teleph Corp <Ntt> | Method and system for providing information in three-dimensional virtual space |
| JPH1166351A (en) * | 1997-08-15 | 1999-03-09 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for controlling object operation inside three-dimensional virtual space and recording medium recording object operation control program |
| JPH11272892A (en) * | 1998-03-24 | 1999-10-08 | Rekusaa Research:Kk | Device and method for moving and arranging object in three-dimensional space display system |
| JP2001034631A (en) * | 1999-07-22 | 2001-02-09 | Olympus Optical Co Ltd | Image file device and data base production method of the image file device |
| JP2001087288A (en) * | 1999-09-24 | 2001-04-03 | Ngk Spark Plug Co Ltd | Filling artificial bone designing system and manufacture of filling artificial bone using the system |
| JP2001175374A (en) * | 1999-12-21 | 2001-06-29 | Sony Corp | Information input/output system and information input/ output method |
| JP2001352562A (en) * | 2000-06-07 | 2001-12-21 | Minolta Co Ltd | Stereoscopic data processing system |
| JP2002049934A (en) * | 2000-08-07 | 2002-02-15 | Atr Ningen Joho Tsushin Kenkyusho:Kk | System for constructing virtual space |
| JP2002245488A (en) * | 2001-02-15 | 2002-08-30 | Nippon Telegr & Teleph Corp <Ntt> | Texture and model dynamic distributing method and three-dimensional cooperative virtual space system applied with the same method |
| JP2002359887A (en) * | 2001-06-01 | 2002-12-13 | Seiko Epson Corp | System and method for providing output service, terminal for managing virtual object, output device, program for virtual object managing terminal and program for the output device |
| JP2002359885A (en) * | 2001-06-01 | 2002-12-13 | Seiko Epson Corp | Operation control system, system for providing output service, terminal for managing portable object, portable terminal, program for portable object managing terminal and program for the portable terminal |
| JP2004341924A (en) * | 2003-05-16 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | Display device and method |
| JP2004355510A (en) * | 2003-05-30 | 2004-12-16 | Seiko Epson Corp | Printing system, display method therefor, and program and recording medium |
| JP2005050120A (en) * | 2003-07-28 | 2005-02-24 | Matsushita Electric Works Ltd | Pointing device in virtual space |
| JP2004158040A (en) * | 2004-01-29 | 2004-06-03 | Fujitsu Ltd | Virtual space sharing system |
| JP2010020526A (en) * | 2008-07-10 | 2010-01-28 | Ritsumeikan | Manipulation system |
| JP2010122795A (en) * | 2008-11-18 | 2010-06-03 | Fujifilm Corp | Electronic apparatus and method of controlling the same |
| JP2011164666A (en) * | 2010-02-04 | 2011-08-25 | Sony Corp | Communication control device, communication control method and program |
| JP2012029164A (en) * | 2010-07-26 | 2012-02-09 | Konica Minolta Business Technologies Inc | Portable terminal and device managing method |
| US20120139907A1 (en) * | 2010-12-06 | 2012-06-07 | Samsung Electronics Co., Ltd. | 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system |
| JP2012230625A (en) * | 2011-04-27 | 2012-11-22 | Canon Inc | Information processor, information processing method and program |
| JP2013067117A (en) * | 2011-09-22 | 2013-04-18 | Keyence Corp | Setting data generation device for three-dimensional shaping apparatus, three-dimensional shaping apparatus, setting data generation program for the same, and computer-readable recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6292181B2 (en) | 2018-03-14 |
| JP2016027468A (en) | 2016-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6292181B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
| JP6225669B2 (en) | Apparatus, system, control method thereof, and program | |
| JP5574854B2 (en) | Information processing system, information processing apparatus, information processing method, and program | |
| KR20120033246A (en) | Image processing apparatus, image processing method, and computer program | |
| JP6179653B1 (en) | Information processing apparatus and program | |
| JP2004206175A (en) | Image processing device, program, and method | |
| KR20170102749A (en) | Apparatus and Method for Generating 3D Model using Mobile Device | |
| JP2019197596A (en) | Image management system, image management server, control method of image management system, control method of image management server, program of image management system, program of image management server | |
| JP2015164021A (en) | Image processing system and processing method and program thereof | |
| JP2013107257A (en) | Image forming apparatus, and method and program for controlling the same | |
| JP6743447B2 (en) | Server program, image generation device, and image data generation method | |
| JP6331654B2 (en) | Image forming apparatus, image forming system, control method thereof, and program | |
| US9883059B2 (en) | Image forming apparatus and terminal apparatus using short-range communication for retrieving image data from a network apparatus, displaying the image data on the terminal apparatus and printing the image data on the image forming apparatus | |
| JP5838179B2 (en) | Print preview program and electronic device | |
| JP6308759B2 (en) | Portable terminal, control method therefor, image forming system, and program | |
| JP2024077081A (en) | Printing system, terminal apparatus, and program | |
| JP6620837B2 (en) | Information processing system, information processing apparatus, control method thereof, and program | |
| JP6455551B2 (en) | Information processing apparatus and program | |
| JP6589957B2 (en) | Image forming apparatus, control method thereof, and program | |
| JP2015079457A (en) | Image processor, control method of image processor, and program | |
| JP2017143464A (en) | Image processing system, image processing apparatus, image processing method, and program | |
| JP2023139517A (en) | Image processing device, image processing method, and program | |
| JP2014131193A (en) | Image processor, control method of image processor and program | |
| JP2016118850A (en) | Image processing apparatus, image dimension calculation method, and image dimension calculation program | |
| JP2019114976A (en) | Information processor, control method thereof and program, information processing system, control method thereof and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180628 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180628 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191217 |