JP2010117691A - Information processor, information processing system, and program - Google Patents
Information processor, information processing system, and program Download PDFInfo
- Publication number
- JP2010117691A JP2010117691A JP2008292836A JP2008292836A JP2010117691A JP 2010117691 A JP2010117691 A JP 2010117691A JP 2008292836 A JP2008292836 A JP 2008292836A JP 2008292836 A JP2008292836 A JP 2008292836A JP 2010117691 A JP2010117691 A JP 2010117691A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- orientation
- view
- perspective
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, and a program.
従来より、別々の投影面を表示する各ウインドウに、常に対象物の所定部分の正面図、側面図、及び底面図を表示し、主ウインドウの動きに従ウインドウを追従させる表示装置が知られている(例えば、特許文献1参照)。 Conventionally, there has been known a display device that always displays a front view, a side view, and a bottom view of a predetermined portion of an object on each window that displays different projection planes, and that follows the movement of the main window. (For example, refer to Patent Document 1).
また、ユーザが手にする物体にCADデータに従った仮想物体を重畳させる場合に、この仮想物体に対する視覚と、この物体に対する触覚との間の違和感を軽減させる技術が知られている(例えば、特許文献2参照)。この技術では、ヘッドマウントディスプレイが必要であり、複数のユーザが仮想物体が重畳された物体を観察する場合には、複数のヘッドマウントディスプレイが必要となる。
本発明の目的は、対象物の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる情報処理装置、情報処理システム及びプログラムを提供することにある。 An object of the present invention is to provide an information processing apparatus, an information processing system, and a program capable of projecting drawing data onto an object in consideration of the depth of the projection surface of the object.
上記目的を達成するため、請求項1の情報処理装置は、投影装置の位置及び向きを表す位置/向き情報を取得する取得手段と、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段と、前記選択手段により選択された図面データから投影図を作成する作成手段と、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段と、前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段とを備えていることを特徴とする。 In order to achieve the above object, an information processing apparatus according to a first aspect of the present invention includes an acquisition unit that acquires position / orientation information indicating a position and an orientation of a projection apparatus, and at least one drawing data from a plurality of drawing data related to components provided on the object. Selection means for selecting drawing data, creation means for creating a projection view from the drawing data selected by the selection means, distance between the object and the projection apparatus from the position / orientation information, and the projection apparatus And a control means for controlling the projection device to project the perspective view onto the object using the calculated distance and orientation and converting the projection view into a perspective view. Means.
請求項2の情報処理装置は、請求項1記載の情報処理装置において、前記取得手段は、前記投影装置を移動させる移動装置から当該投影装置の移動後の位置/向き情報を取得し、前記変換手段は、前記投影装置の移動後の位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換することを特徴とする。
The information processing apparatus according to
請求項3の情報処理装置は、請求項1又は2に記載の情報処理装置において、前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、前記作成手段は、前記指定位置に対応する部品に関する図面データから投影図を作成し、前記制御手段は、前記パース図が前記対象物上に投影される際に、前記パース図を強調表示するように前記投影装置を制御することを特徴とする。
The information processing device according to
請求項4の情報処理装置は、請求項3に記載の情報処理装置において、前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする。
The information processing apparatus according to
請求項5の情報処理装置は、請求項1又は2に記載の情報処理装置において、前記対象物の撮影画像から当該対象物上のユーザによる指定位置を検出する検出手段を備え、前記作成手段は、前記指定位置に対応する部品に関する図面データに基づいて、当該指定位置を通る平面で前記対象物を切った場合の断面図を作成し、前記変換手段は、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記断面図をパース図に変換し、前記制御手段は、前記パース図を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする。
The information processing apparatus according to
請求項6の情報処理装置は、請求項5に記載の情報処理装置において、前記制御手段は、前記パース図及び前記指定位置の切り口に対応する画像を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする。
The information processing apparatus according to
請求項7の情報処理装置は、請求項5又は6に記載の情報処理装置において、前記検出手段は、前記情報処理装置に接続される外部装置から前記対象物上のユーザによる指定位置を取得することを特徴とする。
The information processing device according to
請求項8の情報処理システムは、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択し、当該選択された図面データを示す情報を第1情報処理装置に通知する第2情報処理装置と、投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、前記第2情報処理装置から通知される情報に対応する図面データから投影図を作成する作成手段、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段を有する第1情報処理装置とを備えていることを特徴とする。 The information processing system according to claim 8 selects at least one drawing data from a plurality of drawing data related to parts provided on the object, and notifies the first information processing apparatus of information indicating the selected drawing data. Information processing apparatus, acquisition means for acquiring position / orientation information indicating the position and orientation of the projection apparatus, creation means for creating a projection map from drawing data corresponding to information notified from the second information processing apparatus, and the position Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the orientation information, and converting the projection view into a perspective view using the calculated distance and orientation; And a first information processing apparatus having control means for controlling the projection apparatus to project the perspective view onto the object.
請求項9のプログラムは、コンピュータを、投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段、前記選択手段により選択された図面データから投影図を作成する作成手段、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段として機能させることを特徴とする。
10. The program according to
請求項1の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。 According to the first aspect of the present invention, the drawing data can be projected onto the object in consideration of the depth of the projection surface on the object.
請求項2の発明によれば、投影装置が移動された場合にも、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。
According to the invention of
請求項3の発明によれば、対象物側のユーザによる指定位置に対応する部品のパース図を強調表示して、対象物上に投影させることができる。 According to the third aspect of the present invention, it is possible to highlight the perspective view of the part corresponding to the position designated by the user on the object side and project it on the object.
請求項4の発明によれば、外部装置のユーザによる指定位置に対応する部品のパース図を強調表示して、対象物上に投影させることができる。
According to invention of
請求項5の発明によれば、対象物上の投影面の奥行きを考慮して、対象物側のユーザによる指定位置に対応する部品の断面図を対象物上に投影することができる。
According to the invention of
請求項6の発明によれば、対象物上の投影面の奥行きを考慮して、対象物側のユーザによる指定位置に対応する部品の断面図及び指定位置の切り口に対応する画像を対象物上に投影することができる。
According to the invention of
請求項7の発明によれば、対象物上の投影面の奥行きを考慮して、外部装置のユーザによる指定位置に対応する部品の断面図を対象物上に投影することができる。 According to the seventh aspect of the present invention, in consideration of the depth of the projection surface on the object, the cross-sectional view of the part corresponding to the position designated by the user of the external device can be projected onto the object.
請求項8の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。 According to invention of Claim 8, drawing data can be projected on a target object in consideration of the depth of the projection surface on a target object.
請求項9の発明によれば、対象物上の投影面の奥行きを考慮して、図面データを対象物上に投影させることができる。
According to invention of
以下、本発明の実施の形態について、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an information processing system according to an embodiment of the present invention.
図1の情報処理システムは、サーバ1(第1情報処理装置)、クライアント3(第2情報処理装置)を備えており、これらは、ネットワーク2を介して互いに接続されている。サーバ1には、カメラ4及びプロジェクタ5が接続されている。プロジェクタ5は、サーバ1からの制御コマンドに基づいて、対象物9に対して、アノテーション画像(注釈画像)又はCADデータ(図面データ)を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント(書体)等のあらゆる態様の画像を含む。対象物9は、図1に示すように、基準位置((x、y、z)=(0,0,0))に設置されている。
The information processing system of FIG. 1 includes a server 1 (first information processing apparatus) and a client 3 (second information processing apparatus), which are connected to each other via a
カメラ4には、カメラ4を上下左右に移動させるアーム6が接続されており、プロジェクタ5には、プロジェクタ5を上下左右に移動させるアーム7が接続されている。またアーム6,7には、アーム6,7を駆動するアクチュエータ8が接続されている。カメラ4及びプロジェクタ5は、アーム6,7によって移動するが、カメラ4及びプロジェクタ5の画角と光軸が常に一致するように移動する。
The
サーバ1は、操作部11(選択手段)、位置測定部12、投影制御部13(制御手段)、投影画像作成部14(取得手段、作成手段、変換手段)、記憶部15、指示位置検出部16(検出手段)及び通信部17を備えている。投影画像作成部14は、操作部11、位置測定部12、投影制御部13、記憶部15、指示位置検出部16及び通信部17に接続されている。操作部11及び位置測定部12は、アクチュエータ8に接続され、投影制御部13はプロジェクタ5に接続されている。指示位置検出部16はカメラ4に接続されている。
The
操作部11は、アクチュエータ8に、アーム6,7を移動させる操作指示を入力する。尚、アーム6,7を移動させる操作指示は、クライアント3からネットワーク2、通信部17、及び操作部11を介してアクチュエータ8に入力されてもよい。また、操作部11は、記憶部15に記憶されているCADデータを選択する際に利用される。
The operation unit 11 inputs an operation instruction for moving the
位置測定部12は、アクチュエータ8の駆動により生じる駆動信号に基づいてカメラ4及びプロジェクタ5の位置を測定する。記憶部15は、対象物9に含まれる部品(以下パーツという)の3次元CAD(Computer Aided Design)データ(例えば、設計図のデータ)を保存している(以下、3次元CADデータを単にCADデータという)。また、記憶部15は、図2に示すような、パーツ名、パーツの位置及び向きを示す位置/向き情報、及びCADデータを互いに関連付けしたデータベースを備えている。具体的には、位置/向き情報は、3次元の座標で表される。また、1つのパーツに対して複数のCADデータ(X面、Y面、Z面のCADデータ)が設定されている。尚、記憶部15に記憶されるCADデータ、データベース、その他のデータは、サーバ1の外部記憶装置(不図示)に記憶されてもよい。
The
投影画像作成部14は、位置測定部12で測定されたプロジェクタ5の位置/向き情報及び記憶部15に保存されているCADデータに基づいて、プロジェクタ5の位置から対象物9を見た場合の投影画像(ここでは、CADデータ)としてのパース図を作成する。パース図とは、物体を2次元の平面上に描く際に遠近感をともなって描かれた図である。
Based on the position / orientation information of the
投影制御部13は、投影画像作成部14で作成されたパース図を受信し、プロジェクタ5に当該パース図を投影させる。指示位置検出部16は、カメラ4から送信される撮影画像を受信し、受信した撮影画像に含まれる特定の光源(即ち、色)の位置を検出する。また、指示位置検出部16は、受信した撮影画像を通信部17を介してクライアント3に送信する。また、指示位置検出部16は、受信した撮影画像を記憶部15に記憶してもよい。
The
クライアント3には、表示装置32が接続されており、表示装置32は、通信部17から送信される撮影画像を表示するウインドウ33、及びアノテーション画像を書き込むためのユーザインターフェース(UI)34を表示する。UI34は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。例えば、UI34のペンボタンが押下されて、ウインドウ33内の対象物9上にアノテーション画像が記載されると、当該アノテーション画像はクライアント3からサーバ1を介してプロジェクタ5に出力される。プロジェクタ5は当該アノテーション画像のデータ(具体的には、座標データ)に基づいて対象物9上にアノテーション画像を描く。
A
図3は、サーバ1及びクライアント3のハードウエア構成を示すブロック図である。
FIG. 3 is a block diagram showing the hardware configuration of the
クライアント3のハードウエア構成は、サーバ1のハードウエア構成と同一であるので、ここではサーバ1のハードウエア構成について説明する。
Since the hardware configuration of the
サーバ1は、装置全体を制御するCPU21、制御プログラムを備えるROM22、ワーキングエリアとして機能するRAM23、各種の情報やプログラムを備えるハードディスクドライブ(HDD)24、マウス及びキーボードを接続するためのPS/2インターフェース25、他のコンピュータと接続するためのネットワークインターフェース26、表示装置を接続するためのビデオインターフェース27、及び不図示のUSB機器と接続するためのUSB(universal serial bus)インターフェース28を備えている。CPU21は、システムバス29を介してROM22、RAM23、ハードディスクドライブ(HDD)24、PS/2インターフェース25、ネットワークインタフェース26、ビデオインターフェース27及びUSBインタフェース28に接続されている。
The
操作部11は、不図示のマウス及びキーボードに相当する。位置測定部12、投影制御部13、投影画像作成部14、及び示位置測定部16は、CPU21に対応する。記憶部15は、ROM22、RAM23及びHDD24に対応する。通信部17は、ネットワークインターフェース26に対応する。
The
以下、各処理では、対象物9側のユーザが、予め対象物9を基準位置(x、y、z)=(0,0,0)にセットしているものとする。
Hereinafter, in each process, it is assumed that the user on the
図4は、サーバ1で実行される投影処理を示すフローチャートである。
FIG. 4 is a flowchart showing the projection processing executed by the
まず、操作部11で対象物9に設けられているパーツに対応するCADデータが選択されると、操作部11は撮影画像作成部14に選択されたCADデータを示す情報を通知する(ステップS1)。次に、位置測定部12がアクチュエータ8の駆動信号からプロジェクタ5の位置及び向きを測定する(ステップS2)。影画像作成部14は、プロジェクタ5の位置/向き情報を位置測定部12から取得する(ステップS3)。
First, when CAD data corresponding to a part provided on the
影画像作成部14は、ステップS1で通知されたCADデータを示す情報に基づいて、記憶部15から対応するCADデータを読み出し、当該CADデータから投影対象のパーツの投影図を作成する(ステップS4)。投影図の一例を図5(A)に示す。この投影図は、図5(A)に示すように、投影対象のパーツをXYZの各方向に平行移動させ、対象物9の外郭上にパーツの輪郭を描いた図である。
The shadow
次に、影画像作成部14は、ステップS3で取得されたプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換し(ステップS5)、投影制御部13にパース図を送信する(ステップS6)。
Next, the shadow
投影制御部13は、パース図を受信し、パース図を対象物9上に投影するようにプロジェクタ5を制御して(ステップS7)、本処理を終了する。これにより、パース図は対象物9に投影される。図5(B)にパース図が投影された対象物9を示す。
The
本処理によれば、対象物9側のユーザが、対象物9に含まれるパーツとそのパーツのCADデータとを観察する場合に、視点をパーツとCADデータとの間で切り換える必要がなくなる。即ち、ユーザは、パーツとCADデータとを同一視点で観察する。
According to this process, when the user on the
上記処理では、対象物9に設けられているパーツに対応するCADデータが操作部11により選択されているが、クライアント3から対象物9に設けられているパーツに対応するCADデータを選択してもよい。この場合、クライアント3のCPU31が撮影画像作成部14に選択されたCADデータを示す情報を通知する。
In the above processing, the CAD data corresponding to the part provided on the
図6は、プロジェクタ5が移動する場合の投影処理を示すフローチャートであり、図7は、プロジェクタ5と対象物9の配置関係を示す図である。本処理では、図4の処理が予め実行されているものとする。
FIG. 6 is a flowchart illustrating a projection process when the
位置測定部12は、プロジェクタ5の移動により生じるアクチュエータ8の駆動信号を受信したか否かを判別する(ステップS11)。ステップS11でNOの場合には、本判別を繰り返す。一方、ステップS11でYESの場合には、位置測定部12はアクチュエータ8の駆動信号からプロジェクタ5の最新の位置及び向きを測定する(ステップS12)。影画像作成部14は、プロジェクタ5の最新の位置/向き情報を位置測定部12から取得する(ステップS13)。
The
影画像作成部14は、ステップS13で取得されたプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換し(ステップS14)、投影制御部13にパース図を送信する(ステップS15)。尚、投影画像作成部14は、図4のステップS3で投影図を作成しているため、投影図の再作成は実行されない。
The shadow
投影制御部13は、パース図を受信し、パース図を対象物9上に投影するようにプロジェクタ5を制御して(ステップS16)、本処理を終了する。これにより、パース図は対象物9に投影される。
The
本処理によれば、図7に示すように、対象物9の影であった領域にも、プロジェクタ5の移動によりパース図が投影される。
According to this processing, as shown in FIG. 7, the perspective view is projected by the movement of the
図8は、対象物9側のユーザが指定した位置のパーツに関するパース図の投影処理を示すフローチャートである。図9は、強調されたパース図が投影される状態を示す図である。本処理では、対象物9側のユーザが、特定の色(例えば赤色)の光を発する指示装置41を対象物9に接触させて、対象物上の位置を指定するものとする。
FIG. 8 is a flowchart showing the projection processing of the perspective diagram related to the part at the position designated by the user on the
指示位置検出部16は、カメラ4から撮影画像を取得し(ステップS21)、撮影画像内に特定の色(例えば赤色)の発光があるか否かを判別する(ステップS22)。
The designated
ステップS22でNOの場合には、当該判別を繰り返す。一方、ステップS22でYESの場合には、指示位置検出部16は、撮影画像内の発光の位置を検出し、発光の位置情報を投影画像作成部14に送信する(ステップS23)。
If NO in step S22, the determination is repeated. On the other hand, in the case of YES in step S22, the designated
投影画像作成部14は、指示位置検出部16から送信される発光の位置情報、及び記憶部15に格納されている図2のデータベースに基づいて、発光の位置にあるパーツを特定する(ステップS24)。
The projection
その後、影画像作成部14は、記憶部15から特定されたパーツに対応するCADデータを読み出し、当該CADデータから投影対象のパーツの投影図を作成する(ステップS5)。
Thereafter, the shadow
次に、影画像作成部14は、プロジェクタ5の位置/向き情報を位置測定部12から取得し、プロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、投影図をパース図に変換する(ステップS26)。さらに、影画像作成部14は、パース図の投影パラメータと共にパース図を投影制御部13に送信する(ステップS27)。パース図の投影パラメータとは、パース図の色を変更するパラメータ、パース図を点滅するパラメータ、又はパース図を太線に変更するパラメータ等のようなパース図を強調表示するパラメータである。
Next, the shadow
投影制御部13は、パース図の投影パラメータと共にパース図を受信し、パース図の投影パラメータに従ってパース図を投影するようにプロジェクタ5を制御して(ステップS28)、本処理を終了する。これにより、パース図は対象物9に投影される。
The
本処理によれば、図9に示すように別のパーツのパース図が対象物9に投影されている場合でも、対象物9側のユーザが指示したパーツのパース図のみが強調表示される。
According to this process, even when a perspective view of another part is projected on the
本処理では、対象物9側のユーザが指示装置41を対象物9に接触させて、対象物9上の位置を指定しているが、クライアント3のユーザが表示装置32に表示される対象物9の画像にマークを付けることで、対象物9上の位置を指定してもよい。この場合、指示位置検出部16はクライアント3からマークの位置情報を取得することで、ユーザに指定された対象物9上の位置を把握する。
In this process, the user on the
図10は、ユーザが指定した位置への対象物9の断面図の投影処理を示すフローチャートである。図11は、対象物9の断面図が投影される状態を示す図である。本処理では、対象物9側のユーザが、特定の色(例えば赤色)の光を発する指示装置41を対象物9に接触させて、対象物上の位置を指定するものとする。
FIG. 10 is a flowchart showing the projection processing of the cross-sectional view of the
指示位置検出部16は、カメラ4から撮影画像を取得し(ステップS31)、撮影画像内に特定の色(例えば赤色)の発光があるか否かを判別する(ステップS32)。
The designated
ステップS32でNOの場合には、当該判別を繰り返す。一方、ステップS32でYESの場合には、指示位置検出部16は、撮影画像内の発光の位置を検出し、発光の位置情報を投影画像作成部14に送信する(ステップS33)。ここでは、発光の位置の座標は(x1,y1)であるとする。
If NO in step S32, the determination is repeated. On the other hand, in the case of YES in step S32, the designated
投影画像作成部14は、位置測定部12から取得されるプロジェクタ5の位置/向き情報に基づいて撮影画像内における対象物9のX面、Y面及びZ面の位置を算出し、撮影画像内の発光の位置の座標(x1,y1)が対象物9のX面、Y面及びZ面のどの位置にあるかを特定する(ステップS34)。ここでは、発光の位置の座標がY面の(x2,z2)にあるものとする。
Based on the position / orientation information of the
次に、投影画像作成部14は、記憶部15に記憶されている、点x2に対応する部品のCADデータに基づいて、X面に平行で点x2を通る面で対象物9を切った場合の断面図をX面への投影図として作成する(ステップS35)。同様に、投影画像作成部14は、記憶部15に記憶されている、点z2に対応する部品のCADデータに基づいて、Z面に平行で点z2を通る面で対象物9を切った場合の断面図をZ面への投影図として作成する(ステップS36)。
Next, the projection
影画像作成部14は、位置測定部12から取得されるプロジェクタ5の位置/向き情報からプロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを算出し、プロジェクタ5と対象物9との間の距離及びプロジェクタ5の向きを用いて、X面及びZ面への投影図をパース図に変換する(ステップS37)。影画像作成部14は、パース図と共に各面の切り口に対応する画像を投影制御部13に送信する(ステップS38)。
The shadow
投影制御部13は、パース図及び各面の切り口に対応する画像を受信し、X面及びZ面用のパース図を対象物9のX面及びZ面に、且つ、各面の切り口に対応する画像を各面に投影するようにプロジェクタ5を制御し(ステップS39)、本処理を終了する。これにより、パース図及び各面の切り口に対応する画像は、ユーザが指定した位置で対象物を切る平面と平行な対象物の外郭に投影される。
The
本処理によれば、図11に示すように、ユーザが指定した位置の対象物9の断面図及び各面の切り口に対応する画像が対象物9上に投影される。
According to this process, as shown in FIG. 11, a cross-sectional view of the
また、本処理では、対象物9側のユーザが指示装置41を対象物9に接触させて、対象物9上の位置を指定しているが、クライアント3のユーザが表示装置32に表示される対象物9の画像にマークを付けることで、対象物9上の位置を指定してもよい。この場合、指示位置検出部16はクライアント3からマークの位置情報を取得することで、ユーザに指定された対象物9上の位置を把握する。
In this process, the user on the
また、本処理では、ユーザが指定した位置で対象物を切る平面と断面図が投影される対象物の外郭とが平行である(即ち、点x2を通る面とX面は平行であり、点z2を通る面とZ面は平行である)が、ユーザが指定した位置で対象物を切る平面と断面図が投影される対象物の外郭とは略平行であってもよい。略平行とは、ユーザが指定した位置で対象物を切る平面が断面図が投影される対象物の外郭に対し所定の角度(例えば、0〜5度)傾いている場合である。 In this process, the plane that cuts the object at the position specified by the user and the outline of the object on which the sectional view is projected are parallel (that is, the plane passing through the point x2 and the X plane are parallel, The plane passing through z2 and the Z plane are parallel), but the plane that cuts the object at the position specified by the user and the outline of the object on which the cross-sectional view is projected may be substantially parallel. The term “substantially parallel” refers to a case where a plane that cuts the object at a position specified by the user is inclined at a predetermined angle (for example, 0 to 5 degrees) with respect to the outline of the object on which the sectional view is projected.
以上詳細に説明したように、本実施の形態によれば、投影画像作成部14がプロジェクタ5の位置及び向きを表す位置/向き情報を取得し、操作部11が、対象物9に設けられるパーツ(部品)に関する複数のCADデータから少なくとも1つのCADデータを選択する。さらに、投影画像作成部14が操作部11により選択されたCADデータから投影図を作成し、位置/向き情報から対象物9とプロジェクタ5との間の距離及びプロジェクタ5の向きを算出し、当該算出された距離及び向きを用いて、投影図をパース図に変換する。投影制御部13は、パース図を対象物9上に投影するようにプロジェクタ5を制御する。よって、選択された部品の図面が精度良く対象物上に表示される。
As described above in detail, according to the present embodiment, the projection
上記実施の形態では、図8の処理と図10の処理とを別々に説明したが、これらの処理は組み合わされても良い。これにより、あるパーツの断面図のみが強調表示される。 In the above embodiment, the process of FIG. 8 and the process of FIG. 10 have been described separately, but these processes may be combined. Thereby, only a cross-sectional view of a certain part is highlighted.
また、本実施の形態では、カメラ4及びプロジェクタ5の画角と光軸は一致することが好ましいが、投影画像作成部14がキャリブレーションを実行し、撮影画像の特定の位置が投影画像の特定の位置に変換されるようにしてもよい。
In the present embodiment, it is preferable that the angles of view of the
また、カメラ4及びプロジェクタ5に含まれるレンズの収差が予め決められている場合には、投影画像作成部14はレンズの収差を考慮して投影画像を作成してもよい。さらに、本実施の形態では、対象物9は、実物でも、紙や樹脂などで作成されたモックでもよい。
In addition, when the aberration of the lenses included in the
また、図1の情報処理システムは、1台のカメラ及び1台のプロジェクタを備えているが、複数のカメラ及び複数のプロジェクタを備えていてもよい。この場合、位置測定部12が各プロジェクタの位置や向きを測定し、各プロジェクタに投影画像を割り当ててもよい。あるいは、操作部11で予め各プロジェクタに対象物9の投影面の割り当てを設定し、位置測定部12が各プロジェクタの位置や向きを制御するようにしてもよい。この場合、操作部11での設定情報は投影画像作成部14を介して位置測定部12に送られる。
The information processing system in FIG. 1 includes one camera and one projector, but may include a plurality of cameras and a plurality of projectors. In this case, the
サーバ1の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、サーバ1に供給し、CPU21が記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、CD−ROM、DVD、又はSDカードなどがある。
Similar to the above embodiment, the recording medium in which the software program for realizing the function of the
サーバ1のCPU21が、サーバ1の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
Even when the
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。 Note that the present invention is not limited to the above-described embodiment, and can be implemented with various modifications without departing from the scope of the invention.
1 サーバ
2 ネットワーク
3 クライアント
4 カメラ
5 プロジェクタ
6,7 アーム
8 アクチュエータ
11 操作部
12 位置測定部
13 投影制御部
14 投影画像作成部
15 記憶部
16 指示位置検出部
17 通信部
DESCRIPTION OF
Claims (9)
対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段と、
前記選択手段により選択された図面データから投影図を作成する作成手段と、
前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段と、
前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段と
を備えていることを特徴とする情報処理装置。 Acquisition means for acquiring position / orientation information representing the position and orientation of the projection device;
Selecting means for selecting at least one drawing data from a plurality of drawing data related to a part provided on the object;
Creating means for creating a projection from the drawing data selected by the selecting means;
Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the position / orientation information, and converting the projection view into a perspective view using the calculated distance and orientation. When,
An information processing apparatus comprising: control means for controlling the projection apparatus so as to project the perspective view onto the object.
前記変換手段は、前記投影装置の移動後の位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換することを特徴とする請求項1に記載の情報処理装置。 The acquisition means acquires position / orientation information after movement of the projection apparatus from a movement apparatus that moves the projection apparatus,
The conversion means calculates the distance between the object and the projection device and the orientation of the projection device from the position / orientation information after the projection device is moved, and uses the calculated distance and orientation, The information processing apparatus according to claim 1, wherein the projection diagram is converted into a perspective diagram.
前記作成手段は、前記指定位置に対応する部品に関する図面データから投影図を作成し、
前記制御手段は、前記パース図が前記対象物上に投影される際に、前記パース図を強調表示するように前記投影装置を制御することを特徴とする請求項1又は2に記載の情報処理装置。 Detecting means for detecting a position designated by a user on the object from a captured image of the object;
The creating means creates a projection view from drawing data related to a part corresponding to the designated position,
3. The information processing according to claim 1, wherein the control unit controls the projection device to highlight the perspective view when the perspective view is projected onto the object. 4. apparatus.
前記作成手段は、前記指定位置に対応する部品に関する図面データに基づいて、当該指定位置を通る平面で前記対象物を切った場合の断面図を作成し、
前記変換手段は、前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記断面図をパース図に変換し、
前記制御手段は、前記パース図を前記指定位置を通る平面と平行又は略平行な対象物の外郭に投影するように前記投影装置を制御することを特徴とする請求項1又は2に記載の情報処理装置。 Detecting means for detecting a position designated by a user on the object from a captured image of the object;
The creation means creates a cross-sectional view when the object is cut on a plane passing through the designated position based on drawing data relating to a part corresponding to the designated position,
The converting means calculates a distance between the object and the projection device and a direction of the projection device from the position / orientation information, and uses the calculated distance and orientation to parse the cross-sectional view. Converted to
3. The information according to claim 1, wherein the control unit controls the projection device to project the perspective view onto an outline of an object parallel or substantially parallel to a plane passing through the designated position. Processing equipment.
投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、
前記第2情報処理装置から通知される情報に対応する図面データから投影図を作成する作成手段、
前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び
前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段を有する第1情報処理装置と
を備えていることを特徴とする情報処理システム。 A second information processing apparatus that selects at least one drawing data from a plurality of drawing data related to a component provided on the object, and notifies the first information processing apparatus of information indicating the selected drawing data;
Acquisition means for acquiring position / orientation information representing the position and orientation of the projection device;
Creating means for creating a projection drawing from drawing data corresponding to information notified from the second information processing apparatus;
Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the position / orientation information, and converting the projection view into a perspective view using the calculated distance and orientation. An information processing system comprising: a first information processing device having a control unit that controls the projection device so as to project the perspective view onto the object.
投影装置の位置及び向きを表す位置/向き情報を取得する取得手段、
対象物に設けられる部品に関する複数の図面データから少なくとも1つの図面データを選択する選択手段、
前記選択手段により選択された図面データから投影図を作成する作成手段、
前記位置/向き情報から前記対象物と前記投影装置との間の距離及び前記投影装置の向きを算出し、当該算出された距離及び向きを用いて、前記投影図をパース図に変換する変換手段、及び
前記パース図を前記対象物上に投影するように前記投影装置を制御する制御手段
として機能させることを特徴とするプログラム。 Computer
Acquisition means for acquiring position / orientation information representing the position and orientation of the projection device;
Selection means for selecting at least one drawing data from a plurality of drawing data related to a part provided on the object;
Creating means for creating a projection from the drawing data selected by the selecting means;
Conversion means for calculating the distance between the object and the projection device and the orientation of the projection device from the position / orientation information, and converting the projection view into a perspective view using the calculated distance and orientation. And a program for causing the projection apparatus to function as control means for controlling the projection apparatus to project the perspective view onto the object.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292836A JP4666060B2 (en) | 2008-11-14 | 2008-11-14 | Information processing apparatus, information processing system, and program |
US12/418,163 US8441480B2 (en) | 2008-11-14 | 2009-04-03 | Information processing apparatus, information processing system, and computer readable medium |
CN200910140988.0A CN101739722B (en) | 2008-11-14 | 2009-05-15 | Signal conditioning package and information handling system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008292836A JP4666060B2 (en) | 2008-11-14 | 2008-11-14 | Information processing apparatus, information processing system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010117691A true JP2010117691A (en) | 2010-05-27 |
JP4666060B2 JP4666060B2 (en) | 2011-04-06 |
Family
ID=42171634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008292836A Expired - Fee Related JP4666060B2 (en) | 2008-11-14 | 2008-11-14 | Information processing apparatus, information processing system, and program |
Country Status (3)
Country | Link |
---|---|
US (1) | US8441480B2 (en) |
JP (1) | JP4666060B2 (en) |
CN (1) | CN101739722B (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140259A (en) * | 2008-12-11 | 2010-06-24 | Fuji Xerox Co Ltd | Information processing apparatus, and information processing system and program |
JP2016522905A (en) * | 2013-03-28 | 2016-08-04 | ヒルティ アクチエンゲゼルシャフト | Method and apparatus for displaying design object and object data |
JP2018084614A (en) * | 2016-11-21 | 2018-05-31 | 富士通株式会社 | Image projection system and image projection method |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169768A (en) * | 2008-01-17 | 2009-07-30 | Fuji Xerox Co Ltd | Information processor and program |
JP5598232B2 (en) * | 2010-10-04 | 2014-10-01 | ソニー株式会社 | Information processing apparatus, information processing system, and information processing method |
US9832352B2 (en) * | 2011-11-16 | 2017-11-28 | Autofuss | System and method for 3D projection mapping with robotically controlled objects |
CN104054023B (en) | 2011-11-16 | 2017-11-17 | 欧特法斯公司 | The system and method that the 3D of object Mapping for being controlled with robot is projected |
JP2014145813A (en) * | 2013-01-28 | 2014-08-14 | Funai Electric Co Ltd | Projector |
CN104822037B (en) * | 2014-01-30 | 2019-03-08 | 德思来科技有限公司 | Nested type projector with built-in electric cantilever |
JP6735644B2 (en) * | 2016-09-20 | 2020-08-05 | キヤノン株式会社 | Information processing apparatus, control method thereof, and computer program |
US10425625B2 (en) * | 2018-02-06 | 2019-09-24 | The Boeing Company | Projecting images and videos onto engineered curved surfaces |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07200663A (en) * | 1993-12-28 | 1995-08-04 | Misawa Homes Co Ltd | Line drawing method and plotting device |
JP2003132068A (en) * | 2001-10-22 | 2003-05-09 | Nec Corp | Navigation system and navigation terminal |
JP2003270719A (en) * | 2002-03-13 | 2003-09-25 | Osaka Industrial Promotion Organization | Projection method, projector, and method and system for supporting work |
JP2007226765A (en) * | 2006-01-26 | 2007-09-06 | Fuji Xerox Co Ltd | Instruction device, instruction system, instruction method and instruction program |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3470771B2 (en) | 1994-10-26 | 2003-11-25 | 沖電気工業株式会社 | Projection plane linked display device |
CN1126025C (en) | 1997-08-12 | 2003-10-29 | 松下电器产业株式会社 | Window display |
US6999073B1 (en) * | 1998-07-20 | 2006-02-14 | Geometrix, Inc. | Method and system for generating fully-textured 3D |
US20030210244A1 (en) * | 2002-05-10 | 2003-11-13 | Canon Kabushiki Kaisha | Information processing apparatus and method |
DE10256659A1 (en) | 2002-12-04 | 2004-07-08 | Siemens Ag | Input device for orientating a 3D medical image has means for selecting a reference point and means for fixing a viewing direction and setting a scale |
US8085388B2 (en) * | 2005-02-01 | 2011-12-27 | Laser Projection Technologies, Inc. | Laser radar projection with object feature detection and ranging |
US7306339B2 (en) * | 2005-02-01 | 2007-12-11 | Laser Projection Technologies, Inc. | Laser projection with object feature detection |
JP4422074B2 (en) * | 2005-06-16 | 2010-02-24 | Necディスプレイソリューションズ株式会社 | Projector and focus adjustment method |
JP2007034981A (en) | 2005-07-29 | 2007-02-08 | Canon Inc | Image processing system, and image processing device |
JP5538667B2 (en) * | 2007-04-26 | 2014-07-02 | キヤノン株式会社 | Position / orientation measuring apparatus and control method thereof |
-
2008
- 2008-11-14 JP JP2008292836A patent/JP4666060B2/en not_active Expired - Fee Related
-
2009
- 2009-04-03 US US12/418,163 patent/US8441480B2/en active Active
- 2009-05-15 CN CN200910140988.0A patent/CN101739722B/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07200663A (en) * | 1993-12-28 | 1995-08-04 | Misawa Homes Co Ltd | Line drawing method and plotting device |
JP2003132068A (en) * | 2001-10-22 | 2003-05-09 | Nec Corp | Navigation system and navigation terminal |
JP2003270719A (en) * | 2002-03-13 | 2003-09-25 | Osaka Industrial Promotion Organization | Projection method, projector, and method and system for supporting work |
JP2007226765A (en) * | 2006-01-26 | 2007-09-06 | Fuji Xerox Co Ltd | Instruction device, instruction system, instruction method and instruction program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140259A (en) * | 2008-12-11 | 2010-06-24 | Fuji Xerox Co Ltd | Information processing apparatus, and information processing system and program |
JP2016522905A (en) * | 2013-03-28 | 2016-08-04 | ヒルティ アクチエンゲゼルシャフト | Method and apparatus for displaying design object and object data |
JP2018084614A (en) * | 2016-11-21 | 2018-05-31 | 富士通株式会社 | Image projection system and image projection method |
Also Published As
Publication number | Publication date |
---|---|
US8441480B2 (en) | 2013-05-14 |
JP4666060B2 (en) | 2011-04-06 |
CN101739722A (en) | 2010-06-16 |
US20100123687A1 (en) | 2010-05-20 |
CN101739722B (en) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4666060B2 (en) | Information processing apparatus, information processing system, and program | |
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
US9342925B2 (en) | Information processing apparatus, information processing method, and program | |
JP6689559B2 (en) | Image projection apparatus, system, image projection method and program | |
US8929628B2 (en) | Measuring device and measuring method | |
JP2008293357A (en) | Information processing method and information processor | |
JP2016162162A (en) | Contact detection device, projector device, electronic blackboard device, digital signage device, projector system, and contact detection method | |
JP2016114963A (en) | Input operation detection device, projector device, electronic blackboard device, digital signage device, and projector system | |
JP5332576B2 (en) | Information processing apparatus, information processing system, and program | |
JP6918648B2 (en) | Image processing equipment, image processing methods and programs | |
JP2016186672A (en) | Interactive projector and interactive projection system | |
JP2015212927A (en) | Input operation detection device, image display device including input operation detection device, and projector system | |
JP2016218893A (en) | Input operation detection device, image display device, projector device, projector system and input operation detection method | |
JP5828671B2 (en) | Information processing apparatus and information processing method | |
JP2005147894A (en) | Measuring method and measuring instrument | |
JP2006018444A (en) | Image processing system and additional information indicating device | |
JPWO2014061310A1 (en) | Display object control system, display object control method, and program | |
JP5742379B2 (en) | Projection system and projection method | |
JP2018097645A (en) | Information processing apparatus, information processing system, control methods therefor, and program | |
JP4828395B2 (en) | 3D map display device | |
JP2017125764A (en) | Object detection apparatus and image display device including the same | |
JP6704698B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
JP2010117465A (en) | Information processing device, information processing system and program | |
US20230068299A1 (en) | Information processing device, information processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4666060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |